首先要说一下scrapy-redis
配置文件settings重要配置Scrapy_Redis的功效，其中配置SCHEDULER是转变Scrapy原本的调度器。当项目运行的时候，Scrapy从配置文件中读取配置信息，依据配置信息运行Scrapy_Redis的功效，使得全部项目的调度器Scheduler和Spider都是Scrapy_Redis定义的，从而实现了散布式爬虫 配置文件settings重要配置Scrapy_Redis
阅读背景：
分布式爬虫与增量式爬虫
来源：互联网
分享到：
