阅读背景:

MR中的combiner问题

来源:互联网 

一、问题

1、如果我们有10亿个数据,Mapper会生成10亿个键值对在网络间进行传输,但如果我们只是对数据求最大值,那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可以减轻网络压力,同样也可以大幅度提高程序效率。1、如果我们有10亿个数据,Mapper会生成10亿个键值对在网络间进行传输,但




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: