阅读背景:

spark[源码]-DAG调度器源码分析[二]

来源:互联网 

前言

 

根据图片上的结构划分我们不难发现当rdd触发action操作之后,会调用SparkContext的runJob方法,最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分,再生成TaskSet,由TaskScheduler向集群申请资源,最终在Woker节点的Executor进程中执行Task。根据图片上的结构划分我们不难发现当rdd触发action操作之后,会调




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: