阅读背景:

提升Scrapy框架爬取数据效率的五种方式

来源:互联网 

1、增加并发线程开启数量

  settings配置文件中,修改CONCURRENT_REQUESTS = 100,默认为32,可适当增加;  settings配置文件中,修改CONCURRENT_REQ




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: