阅读背景:

Spark源码剖析 - SparkContext的初始化(八)_初始化管理器BlockManager

来源:互联网 

 8.初始化管理器BlockManager

 无论是Spark的初始化阶段还是任务提交、执行阶段,始终离不开存储体系。Spark为了避免Hadoop读写磁盘的I/O操作成为性能瓶颈,优先将配置信息、计算结果等数据存入内存,这极大地提升了系统的执行效率。正是因为这一关键决策,才让Spark能在大数据应用中表现出优秀的计算能力。BlockManager是在sparkEnv中被创建的,代码如下: 无论是Spark的初始化阶段还是任务提交、执




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: