阅读背景:

[spark] Shuffle Read解析 (Sort Based Shuffle)

来源:互联网 

Shuffle Write 请看 Shuffle Write解析

本文将讲解shuffle Reduce部分,shuffle的下游Stage的第一个rdd是ShuffleRDD,通过其compute方法来获取上游Stage Shuffle Write溢写到磁盘文件数据的一个迭代器:本文将讲解s




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: