从Spark-1.2.0开端,Spark的Shuffle由Hash Based Shuffle升级成了Sort Based Shuffle。即Spark.shuffle.manager从Hash换成了Sort。不同情势是Shuffle逻辑主要是ShuffleManager的实现类不同。 从Spark-1.2.0开端,Spark的Shuffle由Hash Based Shuffle
从Spark-1.2.0开端,Spark的Shuffle由Hash Based Shuffle升级成了Sort Based Shuffle。即Spark.shuffle.manager从Hash换成了Sort。不同情势是Shuffle逻辑主要是ShuffleManager的实现类不同。 从Spark-1.2.0开端,Spark的Shuffle由Hash Based Shuffle