阅读背景:

MapReduce 性能调优:优化洗牌(shuffle)和排序阶段

来源:互联网 
优化洗牌(shuffle)和排序阶段

洗牌和排序阶段都很耗费资源。洗牌需要在map和reduce任务之间传输数据,会导致过大的网络消耗。排序和合并操作的消耗也是很显著的。这一节将介绍一系列的技术来缓解洗牌和排序阶段的消耗。洗牌和排序阶段都很耗费资源。



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: