阅读背景:

MapReduce【Shuffle-Combiner】

来源:互联网 
 概述

5551bf9e66bd4d1fa7b8c5437b7af2fa.png

         Conbiner在MapReduce的Shuffle阶段起作用,它负责局部数据的聚合,我们可以看到,对于大数据量,如果没有Combiner,将会在磁盘上写入多个文件等待ReduceTask来拉取,但是如果有Combiner组件,我们可以通过Combiner来减小中间结果文件的大小,从而增加传输的效率。         Conbiner在MapReduce的Shuffle阶段起作用,它负责局




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: