阅读背景:

【Spark调优】大表join大表,少数key导致数据倾斜解决方案

来源:互联网 

【使用场景】  

  两个RDD进行join的时候,如果数据量都比较大,那么此时可以sample看下两个RDD中的key分布情况。如果出现数据倾斜,是因为其中某一个RDD中的少数几个key的数据量过大,而另一个RDD中的所有key都分布比较均匀,此时可以考虑采用本解决方案。  两个RDD进行join的时候,如果数据量都比较大,那么此时可以sam




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: