阅读背景:

MapReduce 编程 系列十 使用HashPartitioner来调节Reducer的计算负载

来源:互联网 

example4演示了如何指定Reducer的数量,本节演示如何使用HashPartitioner将Mapper的输出按照key进行分组后交给Reducer来处理。合理的分组策略将使得每个Reducer获得的计算负载差距不大,从而整体reduce的性能更加均衡。example4演示了如何指定Reducer的数量,本节演示如何使用HashPartition




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: