目前网络上有不少开源的网络爬虫可供我们使用，爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表：目前网络上有不少开源的网络爬虫可供我们使用，爬虫里面做的最好的肯