hadoop学习 的yarn
Yarn的产生
mapReduc1.0
1单点故障
2扩展效率低
3资源利用率高
降低运维成本
方便数据共享
多计算框架支持
MapReduce
Spark
Storm
Yarn的架构图
Yarn模块介绍
ResourceManger
负责集群资源的统一管理和调度
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源的分配与调度
NodeManager
负责单点资源的管理和使用
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
ApplicationMaster
负责应用程序的管理
数据的切分
为应用程序申请资源。并进一步分给内部任务
任务的监控与容错
Container
任务环境的抽象
任务运行的资源
任务启动命令
任务运行环境
Yarn资源调度器
多类型资源调度
Drf算法
Cpu和内存两种资源
提供多种资源调度
Fifo
队列 capaity Scheduler
Fair Scheduler
多租户的资源调度器
支持资源按比例分配
支持层级队列的划分
支持资源的枪占
Yarn 资源隔离方案
内存绝定生死
Cpu决定快慢
Yarn运行流程的描述
1由client端向ResourceManager 发送请求,
2 ResourceManager启动一个Contariner(容器)用于运行ApplicationMaster
3 ApplicationMaster启动完成后会向ResourceManager建立心跳机制
4 当处理机制不够时,ApplicationMaster会向ResourceManager发送申请请求
5 当ResourceManager接收到请求后会查询可用的contariner让后发送ApplicationMaster
6 由ApplicationMaster进行初始化,AplicationMaster与对应的nodeManage通信
要求nodeManager启动Contarner aplicationMaster与nodeManger建立心跳机制
从而对nodeManager运行的任务进行监控和管理
7 contariner运行期间,ApplicationMaster对Contariner进行监控,contarner通过rpc协议
向对应的ApplicationMaseter汇报自己的状态和进度
8运行期间client 直接与ApplicationMaster通信获取状态,进度
9 结束后ApplicationMaster会向ResourceManager汇报并且注销自己,并允许所属的Contariner收回
hadoop学习 的yarn的更多相关文章
- Hadoop学习之YARN框架
转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,H ...
- hadoop学习之yarn资源管理
一.yarn简介 yarn是在hadoop2.x中才引入的一个新的机制,在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配,那么引入yarn之后,hadoop的资源管理的任务就全 ...
- Hadoop学习笔记—Yarn
目录 一些基本知识 ResourceManager 的恢复 Resource Manager的HA YARN Node Labels YARN Node Attributes Web Applicat ...
- Hadoop学习路线图
Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括, ...
- 【Hadoop学习之七】Hadoop YARN
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 YARN: ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习(5)-- Hadoop2
在Hadoop1(版本<=0.22)中,由于NameNode和JobTracker存在单点中,这制约了hadoop的发展,当集群规模超过2000台时,NameNode和JobTracker已经不 ...
- 阿里封神谈hadoop学习之路
阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 s ...
- 大数据Hadoop学习之搭建hadoop平台(2.2)
关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...
随机推荐
- H3C交换机系统时间设置漏洞
H3C交换机系统时间设置存在漏洞 1. 背景说明 由于在编写<主机房网络延伸实施方案>,调试H3C S5120S-28P-EI交换机时,发现交换机设置成现在的时间后,导致本地用户通过ssh ...
- 使用xcode workspace 多个project协同工作
一般的某个应用单独新建一个 project 就可以了,然后把所有的程序文件都放在里面,这个可以满足大部分普通的需求,但是有时候,项目有可能要使用其他的项目文件,或者引入其他的静态库文件,这个时候 wo ...
- Fortran学习笔记5(数组Array)
数组的声明方式 一维数组 二维数组 多维数组 数组索引值的改变 自定义类型的数组定义 对数组内容的设置 利用隐含式循环设置数组初值 对整个数组操作 对部分数组的操作 where函数 Forall函数 ...
- python中with用法及原理
资源的管理在程序的设计上是一个很常见的问题,例如管理档案,开启的网络socket与各种锁定(locks)等.最主要的问题在于我们必须确保这些开启的资源在使用之后能够关闭(或释放),若忘记关闭这些资源, ...
- solr 单机模式搭建
系统环境:centos 7 安装前准备 安装JDK环境 下载tomcat.solr安装包:solr下载地址:http://archive.apache.org/dist/lucene/solr/ 安装 ...
- Linux-利用keepalived实现lvs的高可用性
单主模型IPVS示例 配置keepalive 高可用的ipvs集群示例:修改keepalived配置文件 修改主机:192.168.234.27的keepalived配置文件 [root@234c27 ...
- perl学习之六:变量作用域
变量作用域 (一)包变量 $x = 1 这里,$x是个包变量.关于包变量,有2件重要的事情要了解: 1)假如没有其他申明,变量就是包变量:2)包变量总是全局的. 全局意味着包变量在每个程序里总可访问到 ...
- Django中重定向页面的时候使用命名空间
urls.py from django.urls import path from . import views app_name='front' urlpatterns = [ path('',vi ...
- jQuery DOM 互转
jQuery对象与DOM对象是不一样的 通过一个简单的例子,简单区分下jQuery对象与DOM对象: <p id=”imooc”></p> 我们要获取页面上这个id为imooc ...
- tabel使用总结
对日常使用到的tabel做下记录: <table cellspacing="0"><!--单元格间距为零 默认为2 border默认为 0--> <t ...