阅读背景:

sort-based shuffle的核心:org.apache.spark.util.collection.ExternalSorter

来源:互联网 

依据Spark 1.4版

在哪里会用到它

ExternalSorter是Spark的sort形式的shuffle实现的关键。SortShuffleWriter使用它,把RDD分区中的数据写入文件。ExternalSorter是Spark的s




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: