Hadoop MapReduce2.0（Yarn）

版权声明：本文为博主原创文章，未经博主同意不得转载。

https://blog.csdn.net/cqboy1991/article/details/25056283

MapReduce2.0（Yarn）

MapReduce2.0是在Hadoop0.23開始採用的，叫做MapReduce2.0或者MRv2或者Yarn。

MRv2的主要思想是把jobtracker的任务分为两个基本的功能。一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来执行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每一个应用程序的应用程序管理器（ApplicationMaster）。一个应用程序要么使用传统的MapReduce任务来执行，要么以DAG形式的任务来执行。

ResourceManager和每一个节点（NodeManager）组成了处理数据的框架，ResourceManager是整个系统资源的终于决策者。实际上，每一个应用程序的ApplicationMaster是框架详细的Lib。它的任务是从ResourceManager出获得资源，并在NodeManager上执行和监控任务。

ResourceManager有两个基本的组件：调度器（Schedule）和应用程序管理器（ApplicationManager）。

调度器（Schedule）负责分配资源到各种各样正在执行的应用程序中。调度器不执行监控和跟踪应用程序的状态。在这个意义上说。它是纯粹的调度器。此外。它也不保证重新启动失败的任务。调度器是基于资源的请求来执行它的调度功能的，它是基于资源容器的抽象概念的，这样的资源容器包含内存、cpu、磁盘、网络等。在第一个版本号中仅仅支持内存。调度器支持可插入的策略，

ApplicationManager负责接送提交的作业，协商第一个执行该任务的容器，并提供失败作业的重新启动。

NodeManager是每一个节点的框架代理。它负责监控资源的使用情况。并报告给ResourceManager.

每一个应用的ApplicationMaster 负责与调度器谈判资源占用的containers数量。追踪状态和监控进程。

过程是：

client提交一个Application到Yarn Resource Manager，client通过ClientRMProtocol和ResourceManager通讯。首先通过getNewApplication请求，获得一个ApplicationId。之后便能够通过submitApplication提交Application。在调用submitApplication时，client须要向ResourceManager提供充足的信息，这些信息用于载入第一次执行该程序的container，the ApplicationMaster。程序须要提供的信息包含本地文件、jars包、执行时须要的命令。及Unix环境设计等。之后Yarn ResourceManager在已经分配的container中载入ApplicationMaster。

之后ApplicationMaster通过AMRMProtocol和ResourceManager通信。

首先。ApplicationMaster须要注冊到ResourceManager中，为了完毕分配给它的任务。ApplicationMaster之后便通过AMRMProtocol请求和接收containers，一旦一个container被分配给它。ApplicationMaster便和NodeManager通信，调用ContainerManager.startContainer去载入container。在载入container时，ApplicationMaster须要指定ContainerLaunchContext，ContainerLaunchContext和ApplicationSubmissionContext比較类似。它含有载入信息。当任务完毕时，ApplicationMaster通过AMRMProtocol.finishApplicationMaster通知ResourceManager。

同一时候。clientResourceManager来监控Application的状态，或者直接通过ApplicationMaster来了解程序的状态。client也能够通过ClientRMProtocol.forceKillApplication来终止程序执行。