阅读背景:

Spark笔记整理(五):Spark RDD持久化、广播变量和累加器

来源:互联网 

Spark RDD持久化

RDD持久化工作原理

Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时,每个节点都会将自己操作的RDD的partition持久化到内存中,并且在之后对该RDD的反复使用中,直接使用内存缓存的partition。这样的话,对于针对一个RDD反复执行多个操作的场景,就只要对RDD计算一次即可,后面直接使用该RDD,而不需要反复计算多次该RDD。Spark非常重要的一个功能特性就是可




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: