近年来随着大数据不断升温，并行数据分析变得越来越流行，各种分布式计算框架应运而生。Spark最早起源于加州大学伯克利分校AMP实验室的一个研究项目，实验室的研究人员曾经使用过Hadoop MapReduce，他们发现MapReduce在迭代计算和交互计算的任务上效率表现不佳，因此Spark从一开始就是为交互式查询和迭代算法设计的，同时还支持内存式储存和高效的容错机制。 Spark作为下一代大数据处理引擎，在非常短的时间里崭露头角，并且以燎原之势席卷业界。本篇主要介绍了如何使用IDEA在本地打包Spark应用程序（以K-Means为例），并提交到集群执行。近年来随着大数据不断升温，并行数据分析变得越来越流行，各种分布式计算框架应运而生。Sp
阅读背景：
使用 IntelliJ IDEA打包Spark应用程序
来源：互联网
分享到：
