Hadoop入门学习笔记（二）

Yarn学习

YARN简介

YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度

YARN功能说明

• 资源管理系统：集群的硬件资源，和程序运行相关，比如内存、CPU等。
• 调度平台：多个程序同时申请计算资源如何分配，调度的规则（算法）。
• 通用：不仅仅支持MapReduce程序，理论上支持各种计算程序。YARN不关心你干什么，只关心你要资源，在有 的情况下给你，用完之后还我。

即使MapReduce现在不流行了 也可以用别的计算模型来替代 如 spark flink，一定程度上 yarn促进了hadoop的流行。

YARN主要结构

• ResourceManager（RM） YARN集群中的主角色，决定系统中所有应用程序之间资源分配的最终权限，即最终仲裁者。 接收用户的作业提交，并通过NM分配、管理各个机器上的计算资源。

• NodeManager（NM） YARN中的从角色，一台机器上一个，负责管理本机器上的计算资源。 根据RM命令，启动Container容器、监视容器的资源使用情况。并且向RM主角色汇报资源使用情况。

• ApplicationMaster（AM） 用户提交的每个应用程序均包含一个AM。 应用程序内的“老大”，负责程序内部各阶段的资源申请，监督程序的执行情况。

核心交互流程

• MR作业提交 Client-->RM

• 资源的申请 MrAppMaster-->RM

• MR作业状态汇报 Container（Map|Reduce Task）-->Container（MrAppMaster）

• 节点的状态汇报 NM-->R

三种调度器

FIFO Scheduler（先进先出调度器）、Capacity Scheduler（容量调度器）、Fair Scheduler（公平调度器）。

FIFO Scheduler概述

• FIFO Scheduler是Hadoop1.x中JobTracker原有的调度器实现，此调度器在YARN中保留了下来。
• FIFO Scheduler是一个先进先出的思想，即先提交的应用先运行。调度工作不考虑优先级和范围，适用于负载较低 的小规模集群。当使用大型共享集群时，它的效率较低且会导致一些问题。
• FIFO Scheduler拥有一个控制全局的队列queue，默认queue名称为default，该调度器会获取当前集群上所有的 资源信息作用于这个全局的queue。

FIFO Scheduler优势、坏处

• 优势： 无需配置、先到先得、易于执行
• 坏处： 任务的优先级不会变高，因此高优先级的作业需要等待 不适合共享集群

Capacity Scheduler概述

• Capacity Scheduler容量调度是Apache Hadoop3.x默认调度策略。该策略允许多个组织共享整个集群资源，每个 组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源， 这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。

• Capacity可以理解成一个个的资源队列，这个资源队列是用户自己去分配的。队列内部又可以垂直划分，这样一个 组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略

• Capacity Scheduler调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构 和资源是可以进行配置的。

• 层次化的队列设计（Hierarchical Queues） 层次化的管理，可以更容易、更合理分配和限制资源的使用。

• 容量保证（Capacity Guarantees） 每个队列上都可以设置一个资源的占比，保证每个队列都不会占用整个集群的资源。

• 安全（Security） 每个队列有严格的访问控制。用户只能向自己的队列里面提交任务，而且不能修改或者访问其他队列的任务。

• 弹性分配（Elasticity） 空闲的资源可以被分配给任何队列。 当多个队列出现争用的时候，则会按照权重比例进行平衡。

Fair Scheduler概述

• Fair Scheduler叫做公平调度，提供了YARN应用程序公平地共享大型集群中资源的另一种方式。使所有应用在平 均情况下随着时间的流逝可以获得相等的资源份额
• Fair Scheduler设计目标是为所有的应用分配公平的资源（对公平的定义通过参数来设置）
• 公平调度可以在多个队列间工作，允许资源共享和抢占。

这边的公平要怎么理解呢？

我的理解是 不同队列（用户）之间是公平的，在一个队列中的各个任务间也是公平的，而不是谁队列中的任务多，谁获得的资源就多。可以理解为，每个家庭分配一样的粮食，你家有多少人，自己再公平分配。但调度器也可以开启资源抢占，当你队列中的资源闲置，可以允许别的队列去抢占，这需要你去开启相关配置