dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终导致erlang虚拟机core dump。效果可以看下具体51搜索展示https://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索
dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在
阅读背景：
利用DHT网络原理制作bt采集蜘蛛_absdfertyu的专栏
来源：互联网
分享到：
