robots.txt毫无疑问是一个文本文件，关键在于这是一个特殊的文本文件。
在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。在这个文件中
阅读背景：
robots.txt文件的奥秘
来源：互联网
分享到：
