1.DAGScheduler.scala
主要作用：
1.DAGScheduler为每一个job中计算出针对每一个stage的DAG，同时追踪与之对应的rdd，每一个阶段输出进行物化(输出保存到磁盘)，同时找到一条运行spark job最有路径，根据是否有cache、是否有checkPoint。完毕之后将每一个阶段作为一个TaskSet责成内部在创建DAGScheduler对象的时候传入尽量的TaskScheduler的实现类，让其发送给executor中进行执行。1.DA
阅读背景：
spark源码分析之DAGScheduler提交作业(job)过程、stage阶段说明
来源：互联网
分享到：
