1、Task运行进程概述
在MapReduce盘算框架中,一个运用程序被划分成Map和Reduce两个盘算阶段,它们分离由一个或多个Map Task和Reduce Task组成。其中,每一个Map Task处置输入数据集合中的一片数据(InputSplit),并将发生的若干个数据片断写到本地磁盘上,而Reduce Task则从每一个Map Task上远程拷贝相应的数据片断,经分组集合和归约后,将成果写到HDFS上作为终究成果,以下图所示:
在MapReduce盘算框架中,一个运用程序被划分成Map和Reduc