之前使用内存数据结构（队列或者链表）来实现爬虫队列，但是在一些大型的搜索引擎中有十几亿的URL需要抓取。因此，内存数据结构并不适用于这些应用，最适合的一种方法是使用内存数据库，或者直接使用数据库来存储这些URL。本节讲的是一种非常流行的内存数据库——Berkeley DB。之前使用内存数据结构（队列或者链表）来实现爬虫队列，但是在一些大型的搜索引擎中有十几亿
阅读背景：
《自己动手写网络爬虫》笔记5-设计爬虫对列
来源：互联网
分享到：
