Spark on Yarn

Spark on Yarn

1. Spark on Yarn模式优点

与其他计算框架共享集群资源（eg.Spark框架与MapReduce框架同时运行，如果不用Yarn进行资源分配，MapReduce分到的内存资源会很少，效率低下）；资源按需分配，进而提高集群资源利用率等。

相较于Spark自带的Standalone模式，Yarn的资源分配更加细致

Application部署简化，例如Spark，Storm等多种框架的应用由客户端提交后，由Yarn负责资源的管理和调度，利用Container作为资源隔离的单位，以它为单位去使用内存,cpu等。

Yarn通过队列的方式，管理同时运行在Yarn集群中的多个服务，可根据不同类型的应用程序负载情况，调整对应的资源使用量，实现资源弹性管理。

2. Yarn框架基本原理

                                                                                                      Yarn框架图

2.1 名词解释(简述)

Client作为提交分布式程序的客户端,上传资源文件和JAR包到HDFS提供集群使用一般是client实现的。客户端除了可以直接从RM得到App Master的消息，得到作业的运行情况外，还可以直接与App
Master沟通。

ResourceManager负责将集群的资源分配给各个应用使用。

Container作为资源分配和调度的基本单位，其中封装了的资源如内存，CPU，磁盘，网络带宽等。每个任务会被分配一个Container，并在该Container中执行且只能使用其封装的资源。

NodeManager作为计算节点，负责启动Container，同时通过心跳不断的和RM沟通，描述该Worker节点的资源（ CPU,内存，硬盘和网络带宽等）状况。

AppMaster 对应客户端提交的一个应用，客户端每提交一个应用,RM会在Worker节点上给它分配一个全局唯一的App master，App master可以在任何一台Worker节点上启动，负责管理作业的整个生命周期，包括通知NM创建Container，管理Container等。

Yarn可以在History Server中查看运行了那些作业，在Hadoop未来版本中还可以通过Histort Server中了解App Master的工作（调度）细节（eg.使用哪台机器上的CPU,内存，处理了什么数据等）。

2.2 工作流程（简述）

1. RM收到客户端的请求后，会在全局查看资源，如果哪台Worker适合，其上运行的NM就为该作业生成container实例，生成的第一个Container实例，里面运行的就是App Master，App
Master运行成功的时候要向RM进行注册。

2. App Master向RM申请资源（eg.10个Container），得到消息反馈后，控制NM启动Container并运行任务，Container启动后直接对App Master负责（作业的调度中心是App
Master，极大的减轻的RM的负担）。

Tip:如果没有足够的container可以被申请,则会进行等待其他作业完成任务，空出Container后进行分配。

3.App Master监控容器上任务的执行情况，反馈在作业的执行状态信息和完成状态。

3. Spark on Yarn框架

Spark on Yarn框架图

Yarn提到的App Master可以理解为Spark中Standalone模式中的driver。

Container中运行着Executor,在Executor中以多线程并行的方式运行Task。

工作流程大体与Yarn相同。

4. 部署和使用

4.1配置

使用该模式的时候，需修改$SPARK_HOME/conf/spark-env文件，在文件中加入HADOOP_CONF_DIR 或者 YARN_CONF_DIR路径指向含有客户端配置文件的目录。这些配置会被写入分布式文件系统,YARNResourceManager会链接它们。

//HADOOP目录

export HADOOP_HOME=/usr/local/hadoop

//HADOOP下配置文件目录

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

4.2用yarn 运行Spark应用

Sparkon Yarn 模式又分为Yarn-Cluster模式和Yarn-Client模式。

Spark-Cluster模式中,driver程序会在application master进程中运行，客户端程序可以在应用初始化后脱离。Spark-Client模式中，driver运行在client进程中，client一般不是集群中的机器。applicationmaster仅用于向YARN请求资源。调试时一般使用yarn-client模式，便于任务进行过程和结果（log）的查看。

4.2.1 yarn-cluster

在yarn-cluster模式下启动Spark Application

列出一些常用的参数：

num-executors是executor的数量

driver-memory 是为driver分配的内存

executor-memory 是每个executor使用的内存

executor-cores 是每个executor分配的CPU

示例：

结果：

可以去ResourceManager的web ui 默认端口8088中查看结果，也可以直接去Worker节点的log下查看。

4.2.2 yarn-client

使用方式除了--master 参数改为yarn-client外，其他基本与yarn-cluster相同

执行过程和结果都会在控制台打印出来，这是因为driver运行在客户端中：

4.3 调试

提交任务后，可以在Yarn的ResourceManager对应的Web UI（默认端口为8088）中查看该Application的状态和对应的日志。

Executors和app master都运行在container中。应用完成运行后，YARN有两种处理container日志的模式：

1.如果开启了日志聚合(通过yarn.log-aggregation-enable配置),container的日志会复制到HDFS中并且删除机器上的本地日志。这样可以通过”yarn logs”命令在集群中的任意地方进行查看。

yarn logs -applicationId <app ID>

运行上述命令会打印出指定应用所有container的日志内容。

2.如果日志聚合是关闭的，日志会保存在每一台机器的目录YARN_APP_LOGS_DIR下，通常配置为$HADOOP_HOME/logs/userlogs。查看某个container的日志需要在对应主机的那些目录下进行。子目录会根据Application ID以及Container
ID来确定。

5. Sparn on Yarn 属性列表

属性名	默认值	说明
spark.yarn.applicationMaster.waitTries	10	ApplicationMaster容许SparkContext初始化失败的最大次数
spark.yarn.submit.file.replication	3	Spark和APP的JAR文件以及其他分布式存储的文件、 压缩包上传到HDFS中的副本数量
spark.yarn.preserve.staging.files	false	设置是否在本次Job运行完成后 删除使用到的文件(Spark和App的jar文件等)
spark.yarn.scheduler.heartbeat.interval-ms	5000	Spark application master向YARN心跳汇报的间隔
spark.yarn.max.executor.failures	2*executor数量，最小为3	在Application失败前，executor的最大失败次数
spark.yarn.historyServer. address	none	Spark历史任务的地址（例如：host.com:18080）,不要 包含协议头(http://)。 当Spark应用执行执行完成时，YARN ResourceManager 可以通过这个地址将ResourceManager UI和 Spark 历史任务 UI链接。
spark.yarn.dist.archives	none	将要解压到每个executor工作目录下的压缩包用逗号分隔。
spark.yarn.dist.files	none	将要放置在每个executor工作目录下的文件用逗号分隔
spark.yarn.executor.memoryOverhead	384	每个executor可以分配的非堆存储(off-heap)内存， 这些内存用于如VM， 字符串常量池以及其他本地额外开销等。
spark.yarn.driver.memoryOverhead	384	每个driver可以分配的非堆存储(off-heap)内存， 这些内存用于如VM， 字符串常量池以及其他本地额外开销等。
spark.yarn.jar	none	修改读取spark jar的地址， Spark on Yarn默认使用安装在本地的Spark jar文件， 但是该文件也可以放在HDFS上任意可以访问到的位置。 YARN可以将他缓存在节点上， 这样就不必在应用每次运行时再分发。 用法：可以通过”hdfs:///some/path”来指定HDFS上的jar文件。
spark.yarn.access.namenodes	none	你的Spark Application将要去连接的一个安全的 HDFS nameNodes列表。例如： `spark.yarn.access.namenodes= hdfs://nn1.com:8032,hdfs://nn2.com:8032`。 Spark Application首先要能访问访问该列表中 指定的namenode，Spark获取到每个namenode的安全令牌， 这样Spark Application就能访问那些远程的HDFS集群。
spark.yarn.appMasterEnv. [EnvironmentVariableName]	none	将环境变量通过EnvironmentVariableName添加到YARN上启 动的Application Master进程。 用户可以指定多个这样的配置来设置多个环境变量。 在yarn-cluster模式中控制Spark driver的环境变量， 在yarn-client模式中只能控制executor启动的环境变量。

6. 注意事项

Hadoop2.2之前，YARN不支持为container资源分配核心数。

Sparkexecutor使用的本地目录由YARN的配置确定（Hadoop YARN配置yarn.nodemanager.local-dirs）。即使用户在spark配置文件中指定了spark.local.dir也会被忽略。

在yarn-cluster模式下，如果你使用本地文件，参数选项--jars能使代码中的SparkContext.addJar的功能生效。如果使用的是HDFS,HTPP,HTTPS或FTP文件则不需要--jars参数。