阅读背景:

spark-Storage 模块整体架构

来源:互联网 

Storage模块负责了Spark计算过程中所有的存储,包括基于Disk的和基于Memory的。用户在实际编程中,面对的是RDD,可以将RDD的数据通过调用org.apache.spark.rdd.RDD#cache将数据持久化;持久化的动作都是由Storage模块完成的。包括Shuffle过程中的数据,也都是由Storage模块管理的。Storage模块负责了Spark计算过程中所有的存储,包括基于Disk的和基于Memory的




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: