robot.txt 文件 作用和语法_deling0052的博客

seo工作者应该不陌生，robots.txt文件是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件，robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件，搜索引擎就可以知道在你的网站中哪些文件是可以被索引的，哪些文件是被拒绝索引的，我们就可以很方便地控制搜索索引网站内容了。seo工作者应该不陌生，robots.txt文件是每一个搜索引擎蜘蛛到你的网站之后要寻