阅读背景:

Hadoop 1.x的Shuffle源码分析之2

来源:互联网 

ReduceTask类的内嵌类ReduceCopier的内嵌类MapOutputCopier的函数copyOutput是Shuffle里最主要的一环,它以http的方法,从远程主机取数据:创立临时文件名,然后用http读数据,再保留到内存文件体系或本地文件体系。它读取远程文件的函数是getMapOutput。ReduceTask类的内嵌类ReduceCopier的内嵌类MapOutputCopier的函数c




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: