scrapy有内置的信号，比如spider_opened,spider_closed,item_dropped等等。我们可以利用这些信号来做一些初始化的工作和数据收集统计。比如spider_opened信号就方便了我们在爬虫启动的时候，创建到数据库的连接等，item_dropped的信号就方便我们去收集在爬虫工作的期间，收集被丢弃的item的数量等等。这篇文章不是告诉大家如何使用scrapy信号的，而是告诉大家scrapy信号的工作原理，以及如何自定义我们自己的信号。scrapy有内置的信号，比如spider_opened,spider_closed,
阅读背景：
scrapy-redis（五）：scrapy中信号工作的原理
来源：互联网
分享到：
