-
robots.txt有甚么用？
如果您不愿望互联网爬虫（又叫蜘蛛、Crawler、Spider等）抓取您网站的每一个公然的连接，而只抓取您指定的某一部份连接，或基本不抓取任何连接，你可以应用robots.txt向我们汇报爬虫信息。 如果您不愿望互联网爬虫（又叫蜘蛛、Crawler、Spider等）
阅读背景：
关于robots.txt
来源：互联网
分享到：
