MapReduce的履行流程简略概括以下：用户作业履行JobClient.runJob(conf)代码会在Hadoop集群上将其启动。启动以后JobClient实例会向JobTracker获得JobId，而且客户端会将作业履行须要的作业资源复制到HDFS上，然后将作业提交给JobTracker。JobTracker在本地初始化作业，再从HDFS作业资源中获得作业输入的分割信息，依据这些信息JobTracker将作业分割成多个义务，然后分配给在与JobTracker心跳通讯中要求义务的TaskTracker。TaskTracker吸收到新的义务以后会先从HDFS上获得作业资源，包含作业配置信息和本作业分片的输入，然后在本地启动一个JVM并履行义务。义务停止以后将成果写回HDFS。 MapReduce的履行流程简略概括以下：用户作业履行JobClient.runJob
阅读背景：
MapReduce的工作机制
来源：互联网
分享到：
