1.基于内存实现了数据的复用与快速读取
具有较多迭代次数是图计算算法的一个重要特点。在海量数据背景下,如何保证图计算算法的执行效率是所有图计算模型面对的一个难题。基于MapReduce的图计算模型在进行迭代计算过程中,中间数据的操作都是基于磁盘展开的。这使得数据的转换和复制开销非常大,其中包括序列化开销等。除此之外,许多与图结构信息相关的数据无法进行重用,这使得系统不得不反复读取一些相同的数据对图进行重构。相对于传统的图计算模型,GraphX得益于Spark中的RDD和任务调度策略,能够对图数据进行缓存和Pipline操作,实现了图的复用与快速运算。 具有较多迭代次数是图计算算法的一个重要特点