Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分st
阅读背景：
每次进步一点点——Spark 中的宽依赖和窄依赖
来源：互联网
分享到：
