做优化的朋友都知道网站的robots的目的是让搜索引擎知道我们网站哪些目录可以收录，哪些目录禁止收录。通常情况蜘蛛访问网站时，会首先检查你的网站根目录是否有robots文件，如果有，则会根据此文件来进行抓取判断，如果不存在robots，那么网站的所有页面都有可能被收录，这将会给网站带来安全隐患。 做优化的朋友都知道网站的robots的目的是让搜索引擎知道我们网站哪些目录可以收录，哪些目
阅读背景：
网络安全：robots.txt防止向黑客泄露后台地址和隐私目录的写法
来源：互联网
分享到：
