在做与Web爬虫有关的任务时，经常这样需要做这样的判断：对于新爬到的URL，我们需要判断这个新的URL是否已经在已有的URL集合中存在了。但是当已经存在的URL集合的数据量极其庞大时，这个存在性的判断工作就变得很有挑战性。在做与Web爬虫有关的任务时，经常这样需要做这样的判断：对于新爬到的URL，我们需要判断这个新的UR
阅读背景：
Bloom Filter原理与实现
来源：互联网
分享到：
