阅读背景:

用maven管理spark应用程序,提交到spark on yarn 集群上运行

来源:互联网 

maven管理项目的优势是:不用到处的拷贝jar包,只要将项目依赖的其他项目在pom.xml中以添加依赖的方式加进去进行了。所以我用maven管理spark应用,打包后提交给spark集群。本篇文章介绍本地调试运行spark应用,再打包,提交到spark集群运行,及最后结果的展示。maven管理项目的优势是:不用到处的拷贝jar包,只要将项目依赖的其他项目在pom.xml中




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: