阅读背景:

[Berkeley]弹性分布式数据集RDD的介绍(RDD: A Fault-Tolerant Abstraction for In-Memory Cluster Computing 论文翻译)

来源:互联网 

摘要:

    本篇文章提出了散布式内存抽象的概念——弹性散布式数据集(RDD,Resilient Distributed Datasets),它许可开发人员在大型集群上履行基于内存的盘算。RDD实用于两种运用,而现有的数据流体系对这两种运用的处置其实不高效:一是迭代式算法,这在图运用和机器学习范畴很常见;二是交互式数据发掘工具。这两种情形下,将数据保留在内存中能够极大地进步性状。为了有效地实现容错,RDD供给了一种高度受限的同享内存,即RDD在同享状况的时候是基于粗粒度的转换而不是细粒度的更新(换句话说就是,RDD只能通过其他RDD上的批量操作来创立)。虽然如此,RDD依然足以用于    本篇文章提出了散布式内存抽象的概念——弹性散布式数据集(RDD,Resilient




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: