阅读背景:

24、Checkpoint原理剖析

来源:互联网 

一、原理

1、Checkpoint是什么

Checkpoint,是Spark提供的一个比较高级的功能。
有的时候,比如说,我们的Spark应用程序,特别的复杂,然后呢,从初始的RDD开始,到最后整个应用程序完成,有非常多的步骤,
比如超过20个transformation操作。而且呢,整个应用运行的时间也特别长,比如通常要运行1Checkpoint,是Spark提



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: