阅读背景:

MapReduce经典4幅图(数据流向图、word count过程图、shuffle工作流程图(map端、reduce端)、MapReduce原理图)

来源:互联网 

MapReduce经典4幅示意图

第一幅示意图:数据流向图

数据流首先进行了分片(与HDFS的分块大小一致),然后每个分片会分配给一个map进行处理,之后针对reduce的数量产生对应的输出分片,这里原先的分片顺序会打乱,类似于洗牌,之后分别交给reduce处理后输出结果。数据流首先进行了分片(与HDFS的分块大小一




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: