robots协议

robots.txt文件是一个 文本文件，使用 任何一个常见的 文本编辑器，比如 Windows系统自带的Notepad，就可以创建和编辑它 [1]  。 robots.txt是一个协议，而不是一个 命令。robots.txt是 搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉 蜘蛛程序在服务器上什么文件是可以被查看的。 robots.txt文件是一个 文本文件，使用 任何一个常见的 文本编辑器，比如 Windows系