阅读背景:

Spark内核介绍:Spark在运行时会把Stage包装成任务提交 (二)

来源:互联网 

Spark在运行时会把Stage包装成任务提交,有父Stage的Spark会先提交父Stage。弄清楚了Spark划分计算的原理,我们再结合源码 看一看这其中的过程。下面的代码是DAGScheduler中的得到一个RDD父Stage的函数,可以看到宽依赖为划分Stage的边界。Spark在运行时会把Stage包装成任务提交,有父Stage的Spark会先提交父Stage




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: