今天学习了分布式爬虫和爬虫的部署，分布式爬虫也叫scrapy_redis,Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式,我们使用命令：今天学习了分布式爬虫和爬虫的部署，分布式爬虫也叫scrapy_redis,Scr
阅读背景：
分布式爬虫和爬虫部署_weixin_43143740的博客_分布式爬虫部署
来源：互联网
分享到：
