scrapy中内置了许多不错的下载中间件，可以按照需求合理使用在爬虫中，很简单
也可以自己编写，其中有方法process_request，process_response，process_exception可以在请求前，请求后与抛出异常时做处理也可以自己
阅读背景：
scrapy下载中间件
来源：互联网
分享到：
