Hadoop学习之mapreduce:Shuffle 过程笔记
来源:互联网
不少关于Hadoop的书籍都提到过, Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的(《Hadoop云计算实战》)。查看过很多书籍,介绍的或多或少有一些差异,我想这是作者外文翻译的原因,例如 Spill 有的翻译成 “溢写”有的翻译为“分割”(本人认为“溢写”比较好)。对于shuffle的逻辑,看的多了反而越混。所以在这里我尽最大的可能试着把Shuffle说清楚,让每一位想了解它原理的朋友都能有所收获,也为自己做一次笔记,同时希望得到其他朋友的建议。 不少关于Hadoop的书籍都提到过, Shuffle过程是MapReduce的核心