阅读背景:

Mapreduce的combiner

来源:互联网 

每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能,是MapReduce的一种优化手段之一。每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: