阅读背景:

Hadoop中reduce端shuffle过程及源码解析

来源:互联网 

一、概要描述
在Child的main函数中通过TaskUmbilicalProtocol协议,从TaskTracker获得需要执行的Task,并调用Task的run方法来执行。在ReduceTask而Task的run方法会通过java反射机制构造Reducer,Reducer.Context,然后调用构造的Reducer的run方法执行reduce操作。不同于map任务,在执行reduce任务前,需要把map的输出从map运行的tasktracker上拷贝到reducer运行的tasktracker上。 在Child的main函数中通过TaskUmbilicalProtoco




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: