yarn基础架构

Yarn的基本架构

Yarn是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicatioinMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

Yarn总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResourceManager负责对NodeManager上资源进行统一管理和调用。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManager启动可以占用一定资源的任务。由于不同的ApplicationMaster被分布到不同的节点上，因此它们之间不会相互影响。Yarn基本组成如下图所示：

1、ResourceManager（RM）全局的资源管理器，负责整个系统的资源管理和分配，它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（ApplicationManager，ASM）；

2、NodeManager（NM）每个节点上的资源和任务管理器，一方面它会定时地向RM汇报本节点上的资源使用情况和各个 Container的运行状态，另一方面它接收并处理来自AM的Container启动/停止等各种请求；

3、ApplicationMaster（AM）用户提交的每个应用程序均包含一个AM，主要功能包括：a、与RM调度器协商以获取资源（用Container表示）；b、将得到的任务进一步分配给内部的任务；c、与NM通信以启动和停止任务；d、监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务；

4、Container是Yarn中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM和RM申请资源时，RM为AM返回的资源便是用Container表示的。Yarn会为每个任务分配一个Conatiner，且该任务只能使用该Container中描述
的资源。需要注意的是Container不同于MRv1中的slot，它是一个动态资源划分单位，是根据应用程序的需求动态生成的。