阅读背景:

MapReduce任务的优化

来源:互联网 

1、任务调度

任务调度是Hadoop中非常重要的一环,这个优化又涉及两个方面的内容。计算方面:Hadoop总会优先将任务分给空闲的机器,使得所有任务能公平地分享系统资源。IO方面:Hadoop会尽量将Map任务分配给InputSplit所在的机器,以减少网络IO的消耗。任务调度是Hadoop中非常重要的一环,这个优化又涉及两个方面的内容。计算方面:Hado




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: