阅读背景:

辛星笔记之Hadoop权威指南第三篇combiner

来源:互联网 

     集群上的可用宽带限制了MapReduce作业的数量,因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数,有时候我们也称作combiner,它就像mapper和reducer一样。     集群上的可用宽带限制了MapReduce作业的数量,因此最重要的一点是尽量避免map




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: