Spark-core 架构及工作机制综述

注：本文参考文献有书籍《Spark大数据处理：技术、应用与性能优化》、RDD的Paper《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。从三个部分来解读Spark-core，首先是Spark的架构，阐述了Spark基于弹性分布式数据集RDD这个计算模型的工作机制（计算流程）：Application->Job->Stage->Task 的分解、分发和并行计算；接下去从计算模型和工作机制两个方面，分别解读RDD的设计思想及其算子，以及划分RDD有向无环图为Stage和Task、并行计算的工作机制。进一步的原理分析和源码研读将在该系列的后续文章中撰写。注：本文参考文献有书籍《Spark大数据处理：技术、应用与性能优化》、RDD的Paper《Resil