Robots.txt文件的作用：
1、屏蔽网站内的死链接。
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。2、屏蔽搜索引擎蜘蛛抓取站
阅读背景：
robots.txt文件的作用
来源：互联网
分享到：
