阅读背景:

Task运行过程分析1

来源:互联网 

1、Task运行进程概述
在MapReduce盘算框架中,一个运用程序被划分成Map和Reduce两个盘算阶段,它们分离由一个或多个Map Task和Reduce Task组成。其中,每一个Map Task处置输入数据集合中的一片数据(InputSplit),并将发生的若干个数据片断写到本地磁盘上,而Reduce Task则从每一个Map Task上远程拷贝相应的数据片断,经分组集合和归约后,将成果写到HDFS上作为终究成果,以下图所示: 在MapReduce盘算框架中,一个运用程序被划分成Map和Reduc




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: