一.Scrapy介绍

经常发现使用python编写爬虫的相关文章，可以使用urllib2便可以简单的实现，当然如果涉及到更进阶的东西比如爬取时的网站认证、内容的分析处理、重复抓取、分布式爬取等等也时间很复杂的事。所以实现一个鲁棒，功能丰富的爬虫也并不是容易的事。经常发现使用python编写爬虫的相关文章，可以使用u