详细参考百科
搜索引擎通过一种爬虫spider程序（又称搜索蜘蛛、robot、搜索机器人等），自动搜集互联网上的网页并获取相关信息。 搜索引擎通过一种爬虫spider程序（又称搜索蜘蛛、robot、搜索机器人
阅读背景：
robots.txt在SEO中作用
来源：互联网
分享到：
