爬虫数据去重：
- 应用MD5生成指纹断定页面是不是变更
- 数据存入mongodb，对症结字进行复合索引（千万以下）数据存入mongodb，对症结字进行复合索引
阅读背景：
爬虫数据去重-布隆过滤器
来源：互联网
分享到：
