阅读背景:

MapReduce执行流程之我见

来源:互联网 

我们都知道Hadoop重要用于离线盘算,它由两部份构成:HDFS和MapReduce,其中HDFS负责文件的存储,MapReduce负责对数据的盘算,在履行MapReduce程序的时候。须要制订输入的文件uri、输出的文件uri。一般情形下这两个地址都是寄存在HDFS上的。MapReduce盘算进程又分成两个阶段:map阶段和reduce阶段,其中map阶段是负责将输入文件进行划分,划分的成果是一个个的key:value对,reduce阶段再将多个map的成果进行汇总。那我们就从全部盘算的输入开端说起,来看一下MapReduce的全部盘算进程是甚么模样的,这里还是以简略的wordCount为例来解释,这里只是一个大体的流程,具体的细节和可靠性保证还不懂得。我们都知道Hadoop重要用于离线盘算,它由两部份构成:HDFS和MapReduce,其中HDFS负




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: