spark-submit常用参数

yarn模式默认启动2个executor，无论你有多少的worker节点

standalone模式每个worker一个executor，无法修改executor的数量

partition是RDD中的一个dataset，一般默认都是2个

executor中的task数量由partition数(最后一个stage的partition数)决定

Options:

--master MASTER_URL                   选择运行模式，spark://host:port, mesos://host:port, yarn, or local.

  --deploy-mode DEPLOY_MODE    将driver运行在本地(client)或其他worker节点上(cluster) (Default: client).

  --class CLASS_NAME                     程序主类名

  --name NAME                                    应用名

  --jars JARS                                         driver和executor都需要的包，多个包之间用逗号(,)分割

  --properties-file FILE                         读取的环境变量文件位置，默认读取的位置为conf/spark-defaults.conf

  --driver-memory MEM                      driver使用的内存(e.g. 1000M, 2G) (Default: 512M).

  --driver-class-path                             driver所依赖的包，多个包之间用冒号(:)分割

--executor-memory MEM                 每个executor使用的内存 (e.g. 1000M, 2G) (Default: 1G).

Spark standalone with cluster deploy mode only:

  --driver-cores NUM                           diver使用的 核心数(Default: 1).

  --supervise                                        重启失败的driver

  --kill SUBMISSION_ID                     删掉指定的driver

--status SUBMISSION_ID               返回指定的driver状态

Spark standalone and Mesos only:

--total-executor-cores NUM            所有executors使用的核心总数

YARN-only:

  --driver-cores NUM                        diver使用的 核心数(只用于cluster),(Default: 1)                      

  --executor-cores NUM                   每个executor使用的核心数 (Default: 1).

  --queue QUEUE_NAME               提交到yarn上的队列名 (Default: "default").

  --num-executors NUM                   启动的executor的数量 (Default: 2).