larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。一个简单的larbin的爬虫可以每天获取５００万的网页。larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Aillere
阅读背景：
关于开源的网络爬虫/网络蜘蛛larbin结构分析
来源：互联网
分享到：
