一般抓取过的url不反复抓取，那末就须要记载url，断定当前URL如果在记载里解释已抓取过了，如果不存在解释没抓取过一般抓取过的url不反复抓取，那末就须要记载url，断定当前URL如果在记载里解释已抓取过了，如果不
阅读背景：
web爬虫，scrapy模块,解决重复ur——自动递归url
来源：互联网
分享到：
