本章来简单介绍下 Hadoop MapReduce 中的 Combiner。Combiner 是为了聚合数据而出现的，那为什么要聚合数据呢？因为我们知道 Shuffle 过程是消耗网络IO 和 磁盘IO 比较大的操作，如果我们能减少 Shuffle 过程的数据量，那就可以提升整个 MR 作业的性能。我在《大数据技术 - MapReduce的Shuffle及调优》 一文中写到 Shuffle 中会有两次调用 Combiner 的过程，有兴趣的朋友可以再翻回去看看。接下来我们还是以 WordCount 为例，简单介绍下 Combiner 的作用以及何时可以设置 Combiner。本章来简单介绍下 Hadoop MapReduce 中的 Combiner。Combiner
阅读背景：
大数据技术 - MapReduce的Combiner介绍
来源：互联网
分享到：
