阅读背景:

通过编程方式详解MapReduce之Shuffle 三个阶段

来源:互联网 

MapReduce之Shuffle 三个阶段详解

1、 shuffle的基本概念 

MapReduce确保每个reducer的输入都按key进行排序,系统执行排序的过程——将map输出作为输入传给reducer——称之为shuffle。可以将其理解为从map产生输出到reduce的消化输入的整个过程。M




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: