阅读背景:

mapreduce数据不平衡时的处理方法

来源:互联网 

用mr处理大数据经常遇到数据不平衡的情况,这里的数据不平衡指的是,数据中有少部分key集中了大量的数据,导致其它的reduce都运行完了,只剩几个reduce在跑。这种情况一般有如下三种解决方法(原理都差不多)。用mr处理大数据经常遇到数据不平衡的情况,这里的数据不平衡指的是,数据中有少部分key集中了大




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: