Spark - [03] 资源调度模式

题记部分

一、Local模式

1.1、概述

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试的。

可以通过以下几种方式设置Master

（1）local：所欲计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式。

（2）local[K]：指定使用几个线程来运行计算，比如local[4]就是运行4个Worker线程。通常我们的CPU有几个Core，就指定几个线程，最大化利用CPU的计算能力。

（3）local[*]：这种模式直接帮你按照CPU最多Cores来设置线程数了。

1.2、安装使用及测试

（1）将Spark的tar包上传到集群的任意节点的合适目录并解压

（2）使用spark-submit求SparkPi

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./exemples/jars/spark-examples_2.11-2.2.1.jar \
100

1.3、spark-submit 参数说明

参数名	参数说明
--master	master的地址，提交任务到哪里执行（spark://host:port，yarn，local）
--deploy-mode	在本地(client)启动 driver 或在 cluster 上启动，默认是 client
--class	应用程序的主类，仅针对 java 或 scala 应用
--name	应用程序的名称
--jars	用逗号分隔的本地jar包，设置后，这些jar将包含在 driver 和 executor 的classpath下
--packages	包含在 driver 和 executor 的 classpath 中的 jar 的 maven 坐标
--execlude-packages	为了避免冲突而指定不包含的 package
--repositories	远程 repository
--conf PROP=VALUE	指定 spark 的配置属性，例如 --conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"
--properties-file	加载的配置文件，默认为 conf/spark-defaults.conf
--driver-memory	Driver 内存，默认 1G
--driver-java-options	传给 driver 的额外的 Java 选项
--driver-library-path	传给 driver 的额外的库路径
--driver-class-path	传给 driver 的额外的类路径
--executor-memory	每个 executor 的内存，默认是 1G
--total-executor-cores	所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
--num-executors	启动的 executor 数量。默认为 2。在 yarn 下使用
--executor-core	每个 executor 的核数。在 yarn 或者 standalone 下使用

二、Standalone模式

三、HA

四、Yarn模式

五、Mesos模式

— 业精于勤荒于嬉，行成于思毁于随 —