阅读背景:

scrapy数据收集器数据远程获取

来源:互联网 

scrapy的数据收集器可以实时记录爬虫状态数据,默认在爬虫结束是打印:

C:\Anaconda2\Lib\site-packages\scrapy\statscollectors.py
class StatsCollector(object):

    def __init__(self, crawler):
        self._dump = crawler.settings.getbool('STATS_DUMP')
        self._stats = {}

    ......

    def close_spider(self, spider, reason):
        if self._dump:
            logger.info("Dumping Scrapy stats:\n" + pprint.pformat(self._stats),
                        extra={'spider': spider})
        self._persist_stats(self._stats, spider)

    def _persist_stats(self, stats, spider):
        passC



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: