避免反复拜访
scrapy默许应用 scrapy.dupefilter.RFPDupeFilter 进行去重，相干配置有： scrapy默许应用 scrapy.dupefilter.RFPDupeFilt
阅读背景：
Scrapy之dupefilters(去重)以及源码分析/depth
来源：互联网
分享到：
