阅读背景:

Spark cache和checkpoint机制

来源:互联网 

1. RDD cache缓存

当持久化某个RDD后,每一个节点都将把计算的分片结果保存在内存中,并在对此RDD或衍生出的RDD进行的其他动作中重用(不需要重新计算)。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存,是Spark最重要的特征之一。当持久化某个RDD后,每一个节点都将把计算的分片结果保存在内存




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: