Yarn的产生

mapReduc1.0

1单点故障

2扩展效率低

3资源利用率高

降低运维成本

方便数据共享

多计算框架支持

MapReduce

Spark

Storm

Yarn的架构图

Yarn模块介绍

ResourceManger

负责集群资源的统一管理和调度

处理客户端请求

启动/监控ApplicationMaster

监控NodeManager

资源的分配与调度

NodeManager

负责单点资源的管理和使用

处理来自ResourceManager的命令

处理来自ApplicationMaster的命令

ApplicationMaster

负责应用程序的管理

数据的切分

为应用程序申请资源。并进一步分给内部任务

任务的监控与容错

Container

任务环境的抽象

任务运行的资源

任务启动命令

任务运行环境

Yarn资源调度器

 多类型资源调度

Drf算法

Cpu和内存两种资源

  提供多种资源调度

Fifo

队列 capaity Scheduler

Fair Scheduler

多租户的资源调度器

支持资源按比例分配

支持层级队列的划分

支持资源的枪占

Yarn 资源隔离方案

内存绝定生死

Cpu决定快慢

Yarn运行流程的描述

1由client端向ResourceManager 发送请求，

2 ResourceManager启动一个Contariner（容器）用于运行ApplicationMaster

3 ApplicationMaster启动完成后会向ResourceManager建立心跳机制

4 当处理机制不够时，ApplicationMaster会向ResourceManager发送申请请求

5 当ResourceManager接收到请求后会查询可用的contariner让后发送ApplicationMaster

6 由ApplicationMaster进行初始化，AplicationMaster与对应的nodeManage通信

要求nodeManager启动Contarner aplicationMaster与nodeManger建立心跳机制

从而对nodeManager运行的任务进行监控和管理

7 contariner运行期间，ApplicationMaster对Contariner进行监控，contarner通过rpc协议

向对应的ApplicationMaseter汇报自己的状态和进度

8运行期间client 直接与ApplicationMaster通信获取状态，进度

9 结束后ApplicationMaster会向ResourceManager汇报并且注销自己，并允许所属的Contariner收回

hadoop yarn组件介绍的更多相关文章

  1. Hadoop以及组件介绍

    一.背景介绍 在接触过大数据相关项目的时候常常都会听到Hadoop这个东西,简单来说,他是一个用分布式计算来处理大数据的开源软件,下面包含了许多的组件和子项目,这篇文章将会介绍Hadoop的原理以及一 ...

  2. hadoop hive组件介绍及常用cli命令

    Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作 ...

  3. hadoop Mapreduce组件介绍

    MapReduce原理 MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果.Mapreduce就是任务 ...

  4. Hadoop介绍-3.HDFS介绍和YARN原理介绍

    一. HDFS介绍: Hadoop2介绍 HDFS概述 HDFS读写流程   1.  Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构.Hadoop2的框架最核心的 ...

  5. Hadoop yarn任务调度策略介绍(转)

    理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源.在Yarn中,负责给应用分配资 ...

  6. Hadoop YARN学习之组件功能简述（3）

    Hadoop YARN学习之组件功能简述(3) 1. YARN的三大组件功能简述: ResourceManager(RM)是集群的资源的仲裁者, 它有两部分:一个可插拔的调度器和一个Applicati ...

  7. Hadoop yarn任务调度策略介绍

    二.Capacity Scheduler(容器调度器)的配置 2.1 容器调度介绍 Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力.通过为每个组织分配专门的队列 ...

  8. 03 Yarn 原理介绍

    Yarn 原理介绍 大纲: Hadoop 架构介绍 YARN 产生的背景 YARN 基础架构及原理   Hadoop的1.X架构的介绍   在1.x中的NameNodes只可能有一个,虽然可以通过Se ...

  9. 远程调试hadoop各组件

    远程调试对应用程序开发十分有用.例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序.其他情况包括:运行在内存小或 CUP 性能低的设备上的 Ja ...

随机推荐

  1. 流(Stream)、文件(File)和IO

    读取控制台输入 Java 的控制台输入由 System.in 完成. 为了获得一个绑定到控制台的字符流,你可以把 System.in 包装在一个 BufferedReader 对象中来创建一个字符流. ...

  2. 关于界面绘制过程多次回调ondraw()方法产生的问题

    最近项目中,出现一个问题,要做成的效果是这样的,但是一进去就变成这样了, 后来发现,刚进去是正常的,一闪而过,就变成全部了. 界面绘制过程,ondraw() 会被多次回调. 就是说在第一次绘制的时候是 ...

  3. pyinstller的安装

    下载:http://www.pyinstaller.org/ 解压到目录 切换到python目录 执行命令: python.exe D:\Download\PyInstaller-2.1\setup. ...

  4. Struts框架之结果页面的跳转

    1. 结果页面存在两种方式 * 全局结果页面(有很多时候我们会跳转到同一页面,所以我们可以配置一个全局结果页面,不管什么情况都会跳转到这个页面) > 条件:如果<package>包中 ...

  5. asp.net core webapi 似乎未安装在 IIS 中承载 .NET Core 项目所需的 AspNetCoreModule。请尝试修复 Visual Studio 以纠正该问题。

    安装 DotNetCore.1.1.0-WindowsHosting 后,提示如题错误. 解决办法: ASP.NET Core 应用程序运行,可以选择 IIS Express 也可以选择 自己运行 , ...

  6. 抽象类，override，final和类模板

    抽象类: **有些函数由于信息不够具体,而无法实现** 由此而来的纯虚函数:在基类中声明的纯虚函数,在基类中无法实现(是因为在基类中定义的信息不够具体,不是学的知识不够),于是这个函数没办法规定具体的 ...

  7. angular2.0学习笔记4.npm常用指令记录及angular语法

    以下命令,都需要在命令行窗口中,先切入到项目文件夹目录,再执行 1.npm start 这个命令会在“监听”模式下运行TypeScript编译器,当代码变化时,它会自动重新编译. 同时,该命令还会在浏 ...

  8. PAT 甲级1001 A+B Format (20)（C++ -思路）

    1001 A+B Format (20)(20 分) Calculate a + b and output the sum in standard format -- that is, the dig ...

  9. Porsche PIWIS III with V37.250.020 Piwis 3 Software Update New Feature

    Porsche Piwis tester 3 PT3G VCI with V37.250.020 Piwis 3 Software unlimited license installed on Ful ...

  10. 码代码的小女孩（来自noip贴吧）

    天冷极了,下着雪,又快黑了.这是NOIP的前夜.在这又冷又黑的晚上,一个衣衫破烂的小女孩在机房敲着代码.她从班里逃出来的时候还拿着一本算导,但是有什么用呢?那是一本很破旧的书--那么大,一向是她妈妈垫 ...