hadoop一般设置中，一个map或reduce用到的内存一般设置是1G内存，但作为下载来用，明显是糟蹋的，一个下载代码用到的内存顶多几十M，而且由于重要耗时是在网络，因此一个cpu可以做几十个下载过程都没啥问题。hadoop一般一个cpu就只跑一个map/reduce. hadoop一般设置中，一个map或reduce用到的内存一般设置是1G内存，但作为下载来
阅读背景：
hadoop2.0 做spider下载集群的设置
来源：互联网
分享到：
