阅读背景:

Shuttle + Alluxio 加速内存Shuffle起飞

来源:互联网 

00 前言

Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文章[2]中详细介绍了Shuttle的架构和设计理念。Shuttle在设计之初选用分布式文件系统作为存储Shuffle数据的基座,灵活利用多种分布式存储的优势。同时,将存储计算剥离,不依赖本地存储介质,方便云上部署。Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spar




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: