转述总结：
方法一：创立一个robots.txt文本篇文章件，然后在文档内设置好代码，告知搜索引擎我网站的哪些文件你不能拜访。然后上传到网站根目录下面，由于当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是不是有robots.txt文件。方法一：创立一个robots.txt文本篇文章件，然后在文档内设置好代码，告知搜索引擎
阅读背景：
Nginx防爬虫优化
来源：互联网
分享到：
