由于单进程爬虫的种种弊端，以及大量获取数据的需要，我最近开始写分布式爬虫。尽管网上已经有比较现成的方案，如scrapy+rq等，但是出于种种原因考虑，比如部署的难易程度，任务比较单一，以及想自己练练手等，还是决定由自己实现尽可能多的功能。由于单进程爬虫的种种弊端，以及大量获取数据的需要，我最近开始写分布式爬虫。尽管网上已经有比较现成的方
阅读背景：
[Python]多线程编程&线程间共享变量&消费者生产者问题的解决
来源：互联网
分享到：
