今天在做了个练习，爬取一个新闻列表页的所有新闻内容。
在爬取的时候发现少了两条数据，找了半天才发现该网站的前一页最后两条新闻默认为下一页的前两条。在爬取的时候发现少了两条数据，找了半
阅读背景：
Scrapy框架的去重机制
来源：互联网
分享到：
