阅读背景:

Spark Checkpoint原理与源码分析

来源:互联网 

1、Checkpoint的应用场景

        Checkpoint,是Spark提供的一个比较高级的功能。有的时候啊,比如说,我们的Spark应用程序,特别的复杂,然后呢,从初始的RDD开始,到最后整个应用程序完成,有非常多的步骤,比如超过20个transformation操作。而且呢,整个应用运行的时间也特别长,比如通常要运行1~5个小时。        Checkpoint,是Spark提供




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: