阅读背景:

Spark-1.6.0中的Sort Based Shuffle源码解读

来源:互联网 

  从Spark-1.2.0开端,Spark的Shuffle由Hash Based Shuffle升级成了Sort Based Shuffle。即Spark.shuffle.manager从Hash换成了Sort。不同情势是Shuffle逻辑主要是ShuffleManager的实现类不同。   从Spark-1.2.0开端,Spark的Shuffle由Hash Based Shuffle




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: