怎样编写YARN应用程序

（注意：本文的分析基于Hadoop trunk上的“Revision
1452188”版本号，详细可參考：http://svn.apache.org/repos/asf/hadoop/common/branches/branch-2/。）

1.     概述

YARN是一个资源管理系统。负责集群资源的管理和分配。假设想要将一个新的应用程序执行在YARN之上，通常须要编写两个组件：client和ApplicationMaster。

因为这两个组件编写很复杂，尤其ApplicationMaster，须要考虑RPC调用、任务容错等细节，所以，往往由专业的开发者编写这两个组件，并提供给上层的应用程序用户使用。

假设大量应用程序可抽象成一种通用框架，那么仅仅需实现一个client和一个ApplicationMaster。然后让全部应用程序重用这两个组件就可以，比方MapReduce是一种通用的计算框架。YARN已经为事实上现了一个直接能够使用的client—MRClientService和ApplicationMaster—MRAppMaster。

本文主要介绍了怎样让一种新的应用程序，或者新的计算框架，执行于YARN之上。正如前面介绍的，用户须要编写两个组件完毕该任务：client和ApplicationMaster，当中，client负责向ResourceManager提交ApplicationMaster，并查询应用程序执行状态，ApplicationMaster负责向ResourceManager申请资源（以Container形式表示），并与NodeManager通信以启动各个Container。此外，ApplicationMaster还负责监控各个任务执行状态，并在失败是为其又一次申请资源。

2.     YARN Appcalition涉及到的RPC协议和主要编写步骤

（1） 涉及到的RPC协议

通常而言，编写一个YARN Appcalition涉及到3个RPC协议。分别为：

1）  ClientRMProtocol(Client<–>ResourceManager)

Client通过该协议将应用程序提交到ResourceManager上、查询应用程序的执行状态或者杀死应用程序等。

2）  AMRMProtocol(ApplicationMaster<–>ResourceManager)

ApplicationMaster使用该协议向ResourceManager注冊、申请资源以执行自己的各个任务。

3）  ContainerManager(ApplicationMaster<–> NodeManager)

ApplicationMaster使用该协议要求NodeManager启动/撤销Container，或者获取各个container的执行状态。

（2）client编写流程

步骤1 Client通过RPC函数ClientRMProtocol#getNewApplication从ResourceManager中获取唯一的application ID

步骤2  Client通过RPC函数ClientRMProtocol#submitApplication将ApplicationMaster提交到ResourceManager上。

（3）ApplicationMaster编写流程

步骤1 ApplicationMaster通过RPC函数AMRMProtocol#registerApplicationMaster向ResourceManager注冊。

步骤2 ApplicationMaster通过RPC函数AMRMProtocol#allocate向ResourceManager申请资源（以Container形式表示）。

步骤3 ApplicationMaster通过RPC函数ContainerManager#startContainer要求相应的NodeManager启动Container。

ApplicationMaster反复步骤2~3，直到全部任务执行成功。

另外。在应用程序执行过程中，用户可使用ClientRMProtocol#getApplicationReport 查询应用程序执行状态。也能够使用ClientRMProtocol#forceKillApplication将应用程序杀死。

3.   编写YARN Appcalition具体步骤介绍

（1）client编写流程

client通常仅仅需与ResourceManager交互。期间涉及到多个数据结构和一个RPC协议，详细例如以下：

步骤1 获取ApplicationId。client通过RPC协议ClientRMProtocol向ResourceManager发送应用程序提交请求GetNewApplicationRequest，ResourceManager为其返回应答GetNewApplicationResponse，该数据结构中包括多种信息，包括ApplicationId、可资源使用上限和下限等。

步骤2 提交ApplicationMaster。将启动ApplicationMaster所需的全部信息打包到数据结构ApplicationSubmissionContext中，主要包含下面几种信息：

(1) application id

(2) application 名称

(3) application优先级

(4) application 所属队列

(5) application 启动username

(6)  ApplicationMaster相应的Container信息，包含：启动ApplicationMaster所需各种文件资源、jar包、环境变量、启动命令、执行ApplicationMaster所需的资源（主要指内存）等。

client调用ClientRMProtocol#submitApplication(ApplicationSubmissionContext)将ApplicationMaster提交到ResourceManager上。

（ResourceManager收到请求后。会为ApplicationMaster寻找合适的节点，并在该节点上启动它）。

client可通过多种方式查询应用程序的执行状态。当中一种是调用RPC函数ClientRMProtocol#getApplicationReport获取一个应用程序当前执行状况报告，该报告内容包含应用程序名称、所属用户、所在队列、ApplicationMaster所在节点、一些诊断信息、启动时间等。

（2）编写ApplicationMaster

ApplicationMaster须要与ResoureManager和NodeManager交互，以申请资源和启动Container，期间涉及到多个数据结构和两个RPC协议。

详细过程例如以下：

步骤1 注冊。ApplicationMaster首先需通过RPC协议AMRMProtocol向ResourceManager发送注冊请求RegisterApplicationMasterRequest。该数据结构中包括ApplicationMaster所在节点的host、RPC port和TrackingUrl等信息，而ResourceManager将返回RegisterApplicationMasterResponse，该数据结构中包括多种信息，包括该应用程序的ACL列表、可资源使用上限和下限等。

步骤2 申请资源。依据每一个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于执行任务的Container，ApplicationMaster使用ResourceRequest类描写叙述每一个Container（一个container仅仅能执行一个任务）：

1）    Hostname        期望Container所在的节点，假设是“*”，表示能够为随意节点。

2）    Resource capability          执行该任务所需的资源量。当前仅支持内存资源。

3）    Priority     任务优先级。一个应用程序中的任务可能有多种优先级。ResourceManager会优先为高优先级的任务分配资源。

4）    numContainers        符合以上条件的container数目。

一旦为任务构造了Container后，ApplicationMaster会使用RPC函数AMRMProtocol#allocate向ResourceManager发送一个AllocateRequest对象，以请求分配这些Container，AllocateRequest中包括下面信息：

1）Requested containers                  所需的Container列表

2）Released containers            有些情况下，比方有些任务在某些节点上失败过，则ApplicationMaster不想再在这些节点上执行任务，此时可要求释放这些节点上的Container。

3）Progress update information      应用程序运行进度

4）ResponseId                   RPC响应ID，每次调用RPC。该值会加1。

ResourceManager会为ApplicationMaster返回一个AllocateResponse对象，该对象中主要信息包括在AMResponse中：

1）reboot                   ApplicationMaster是否须要又一次初始化.当ResourceManager端出现不一致状态时，会要求相应的ApplicationMaster又一次初始化。

2）Allocated Containers  新分配的container列表。

3）Completed Containers        已执行完毕的container列表，该列表中包括执行成功和未成功的Container，ApplicationMaster可能须要又一次执行那些未执行成功的Container。

ApplicationMaster会不断追踪已经获取的container，且仅仅有当需求发生变化时，才同意又一次为Container申请资源。

步骤3 启动Container。当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会使用RPC函数ContainerManager#startContainer向相应的NodeManager发送ContainerLaunchContext以启动Container，ContainerLaunchContext包括下面内容：

1）ContainerId                   Container id

2）Resource     该Container可使用的资源量（当前仅支持内存）

3）User    Container所属用户

4）Security tokens   安全令牌，仅仅有持有该令牌才可启动container

5）LocalResource    执行Container所需的本地资源，比方jar包、二进制文件、其它外部文件等。

6）ServiceData         应用程序可能使用其它外部服务，这些服务相关的数据通过该參数指定。

6）Environment        启动container所需的环境变量

7）command    启动container的命令

ApplicationMaster会不断反复步骤2~3。直到全部任务执行成功，此时。它会调用AMRMProtocol#finishApplicationMaster。以告诉ResourceManage自己执行结束。

【注意】 整个执行过程中，ApplicationMaster需通过心跳与ResourceManager保持联系，这是由于，假设一段时间内（默认是10min）。ResourceManager未收到ApplicationMaster信息。则觉得它死掉了，会又一次调度或者让其失败。通常而言，ApplicationMaster周期性调用RPC函数AMRMProtocol#allocate向其发送空的AllocateRequest请求就可以。

4.   总结

编写一个兼具高容错性和高性能的ApplicationMaster是很不easy的，在后面几篇博文中，我将介绍YARN中提供的两个ApplicationMaster实现，一个是很easy。通经常使用作演示样例的dsitributedshell，还有一个是MapReduce计算框架相应的ApplicationMaster—MRAppMaster。

5.   參考资料

http://hadoop.apache.org/docs/r2.0.0-alpha/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/how-to-write-an-yarn-applicationmaster/