阅读背景:

spark中Stage的划分

来源:互联网 

窄依赖和宽依赖

窄依赖

指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区,和两个父RDD的分区对应于一个子RDD 的分区。图中,map/filter和union属于第一类,对输入进行协同划分(co-partitioned)的join属于第二类。指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: