Hadoop（三）—— YARN

YARN产生的背景

Hadoop相关概念

Hadoop 1.0

由HDFS、MapReduce组成。

Hadoop 2.0

克服1.0中HDFS和MapReduce存在的各种问题而提出的。

YARN是Hadoop中的资源管理系统。

基本架构

The Scheduler is responsible for allocating resources to the various running applications subject to familiar constraints of capacities, queues etc. The Scheduler is pure scheduler in the sense that it performs no monitoring or tracking of status for the application. Also, it offers no guarantees about restarting failed tasks either due to application failure or hardware failures. The Scheduler performs its scheduling function based the resource requirements of the applications; it does so based on the abstract notion of a resource Container which incorporates elements such as memory, cpu, disk, network etc.

调度程序负责将资源分配给各种正在运行的应用程序，但要遵循熟悉的容量，队列等约束。调度程序是纯粹的调度程序，因为它不监视或跟踪应用程序的状态。 此外，它也不保证由于应用程序故障或硬件故障而重新启动失败的任务。 调度程序根据应用程序的资源需求执行调度功能； 它基于资源容器的抽象概念来做到这一点，该容器包含诸如内存，cpu，磁盘，网络等元素。

工作流程

ResourceManager的作用

处理客户端请求
监控NodeManager
启动或监控ApplicationMaster
资源的分配与调度

NodeManager的作用

管理单个节点上的资源
处理来自Resourcemanager的命令
处理来自ApplicationMaster的命令

参考文档

《Hadoop技术内幕：深入解析YARN架构设计与实现原理》