阅读背景:

Spark的Shuffle机制解析

来源:互联网 

SparkShuffle概念

reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value,然后生成一个新的RDD,元素类型是<key,value>对的形式,这样每一个key对应一个聚合起来的value。reduceByKey会将上一个RDD中的每一个key对应的




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: