什么是YARN

YARN的核心组件：

1）ResourceManager，扮演Master角色（和HDFS的nameNode很像）主要用于资源分配；RM有两个子组件，分别是Scheduler（Capacity Scheduler以及Fair Scheduler）以及ApplicationManager，主要用于管理应用列表。

2）ApplicationMaster，主要用于资源的请求和已分配资源的管理；ApplicationMaster是由应用提供的，应用将会以jar的形式提交applicationMaster以及其他依赖的jar包；

3）NodeManager，扮演slave的角色（和HDFS的DataNode很像），NodeManager主要负责根据请求创建资源的封装器--contianer，业务的执行都是基于container进行的。

 

提交应用流程：

1. Client提交应用请求到YARN，请求包括CLC（Container Lanuch Context）；YARN将会反馈一个applicationID，这里包括ApplicationMaster实现以及业务逻辑需要的依赖jar包，打包一起扔给了YARN，其实对于那个是applicationManager将会有字段进行说明；

2. YARN首先会尝试为应用分配资源队列（Capacity或者Fair），然后轮到了该应用处理的时候（如果是fair资源池直接就可以进行工作了），RM将会首先尝试为applicationMaster进行分配资源，拉起一个container（成为container 0），专门用于跑ApplicationMaster（AM）；一旦container 0被拉起来了，应用的状态就是Accecpted，接受了applicationMaster之意；

3. 然后是在container 0里面初始AM，初始化完事后AM将会向RM注册自己，RM反馈一下当前资源情况，AM将会基于当前资源情况向YARN申请资源，通过ResourceRequest；；然后YARN将会反馈一个包含了token认证信息的一个资源清单；AM拿着这个清单，注意是AM，RM分配完资源，告诉container之后就啥也不管了；AM拿着这份资源清单以及CLC下放给NodeManager；当container都执行完了，AM会告诉RM完成；RM将会回收这些容器。在这个过程，两者还会有一些交互，比如AM会想RM通告进度；这些交互都是通过AM向RM发送心跳。

4. NodeManager将会对token进行验证，确认无假后，边从自身的资源中拉起一个container，然后把请求资源进行本地化（包括代码运行的jar包，一些公共的资源等）；如果是spark，container里面运行的即使executor进程（是的，是进程）；

5. container任务执行完成后，container将会被kill掉；