阅读背景:

[Spark源码浅析]-关于sort-based shuffle

来源:互联网 

在sort-based shuffle,记录根据目标分区id做排序,然后写到一份单一的输出文件中。 Reducers拉取这个文件连续的region 来读取这个输出的位置。 在sort-based shuffle,记录根据目标分区id做排序,然后写到一份单一的




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: