Spark 从 0 到 1 学习(3) —— Apache Spark 提交参数和资源调度源码分析

1. Spark-Submit 提交参数 参数名 参数值 –master spark://host:port;mesos://host:port,yarn;yarn-cluster,yarn-clint;local –deploy-mode Driver 程序运行的地方，client或者cluster，默认是client –class 主类名 –jars 逗号分隔本地jars，Driver和executor依赖的第三方包 –files 用逗号分隔的文件列表，会放置在每个executor工作目录中 –conf spark的配置属性 –driver-memory Driver程序使用内存大小(例如：520M,2G)，默认1024M –executor-memory 每个executor内存大小(例如：2G)，默认1G –driver-cores Driver程序使用core 个数(默认1)，仅限于spark standalone的cluster模式 –supervise 失败后是否重启driver。仅限于spark standalone或Mesos的cluster –total-executor-cores executor使用的总核数，仅限于SparkStandalone、Spark on Mesos模式 –executor-cores 每个executor使用的core数，spark on yarn 默认为1，standalone默认为worker上所有可用的core。 Yarn-only –driver-cores driver使用的core，仅在cluster模式下cluster模式下，默认为1。 –queue 指定资源队列的名称，默认：default –num-executors 一共启动executor数量，默认2个。 2. 资源调度源码分析 2.1 资源请求简单图 1. Spark-Submit 提交参数 参数名 参数值 –master spark://host