阅读背景:

Spark的Stage划分和task最佳位置算法

来源:互联网 

一、Stage的划分原理

1.Spark Application中可以因为不同的Action触发众多的job,一个Application中可以有很多的job,每个job是由一个或者多个Stage构成的,后面的Stage依赖于前面的Stage,也就是说只有前面依赖的Stage计算完毕后,后面的Stage才会运行。1.Spark Application中可以因为不同的Actio




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: