一，爬虫及Robots协议

          爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。          爬虫，是一种自动获取网页内容的