使用python3
请求头headers：user-agent、代理ip，这些放在一个工程项目里，有的爬虫是需要中间件的或者根据反爬添加相应的条件，那这样的情况下怎么办？请求头headers：user-agent、代理ip，这些放在一个工程
阅读背景：
scrapy多个爬虫公用一些中间件、pipelines
来源：互联网
分享到：
