项目须要实现一个原生mapreduce程序、sqoop、hive和pig脚本的代理命令行，相似于azkaban的应用方法，用户可以提交编译好的mapreduce程序（可以是一个jar包，在配置中履行入口class名）、hive命令或脚本、sqoop命令和pig脚本。由于这些命令的履行进程中可能会生成mapreduce义务并提交到hadoop集群上履行，为了便应用户查看每一个用户提交的义务的履行状况，我们须要取得用户提交义务生成的mapreduce义务的jobId，进而可以通过hadoop供给的API查看job的状况，首先须要面临的两个问题：如何断定哪些用户提交的义务会生成mapreduce义务；如何获得用户提交义务生成的一个或多个mapreduce义务的jobId。 项目须要实现一个原生mapreduce程序、sqoop、hive和pig脚本的代理命令
阅读背景：
获取原生mapreduce程序、sqoop、hive提交的jobId
来源：互联网
分享到：
