阅读背景:

Spark:BlockManager原理剖析与源码分析

来源:互联网 
!-- flowchart 箭头图标 勿删 --

BlockManager是Spark的分布式存储系统,与我们平常说的分布式存储系统是有区别的,区别就是这个分布式存储系统只会管理Block块数据,它运行在所有节点上。BlockManager的结构是Maser-Slave架构,Master就是Driver上的BlockManagerMaster,Slave就是每个Executor上的BlockManager。BlockManagerMaster负责接受Executor上的BlockManager的注册以及管理BlockManager的元数据信息BlockManag




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: