Yarn Node Labels
Yarn Node Labels + Capacity-Scheduler
在yarn-site.xml中开启capacity-schedule
yarn-site.xml <property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
配置capacity-scheduler.xml文件
<configuration>
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,area0,area1,area2</value>
<description>
The queues at the this level (root is the root queue).
</description>
</property> <property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>25</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area0.capacity</name>
<value>25</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area1.capacity</name>
<value>25</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area2.capacity</name>
<value>25</value>
</property> <property>
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area0.maximum-capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area1.maximum-capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area2.maximum-capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.accessible-node-labels</name>
<value>*</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area0.accessible-node-labels</name>
<value>area0</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area1.accessible-node-labels</name>
<value>area1</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area2.accessible-node-labels</name>
<value>area2</value>
</property> <property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.area0.capacity</name>
<value>33</value>
</property> <property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.area1.capacity</name>
<value>33</value>
</property> <property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.area2.capacity</name>
<value>34</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area0.accessible-node-labels.area0.capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area1.accessible-node-labels.area1.capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area2.accessible-node-labels.area2.capacity</name>
<value>100</value>
</property> <property>
<name>yarn.scheduler.capacity.root.default-node-label-expression</name>
<value> ,area0,area1,area2</value>
</property>
<!--value为空,则root.default队列只能在没有label的node上执行,而我环境环境中不存在没有label的node,所以提交到root.default的任务卡死-->
<property>
<name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
<value> </value>
</property> <property>
<name>yarn.scheduler.capacity.root.area0.default-node-label-expression</name>
<value>area0</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area1.default-node-label-expression</name>
<value>area1</value>
</property> <property>
<name>yarn.scheduler.capacity.root.area2.default-node-label-expression</name>
<value>area2</value>
</property>
</configuration>
添加Yarn Node Labels
yarn rmadmin -addToClusterNodeLabels area0,area1,area2
#节点添加标签
yarn rmadmin -replaceLabelsOnNode Host1:45454,area0
yarn rmadmin -replaceLabelsOnNode Host2:45454,area1
yarn rmadmin -replaceLabelsOnNode Host3:45454,area2
#查看标签
yarn node -status Host1:45454
#也可以通过Yarn管理页面查看Node Label
配置Yarn Node Labels存储目录,这样不用每次重启服务后重新配置Yarn Node Labels。
在yarn-site.xml中添加下列信息
<property>
<name>yarn.node-labels.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:45454</value>
</property>
<property>
<name>yarn.node-labels.manager-class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.nodelabels.RMNodeLabelsManager</value>
</property>
<property>
<name>yarn.node-labels.fs-store.root-dir</name>
<value>hdfs://Host0:8020/yarn/node-labels</value>
<description>标签数据在HDFS上的存储位置</description>
</property>
Yarn Node Labels的更多相关文章
- 关于YARN Node Labels的一点理解
最近在做实验,实验需要进行分区域计算,网上查了资料后发现Yarn Node Labels + Capacity-Scheduler可以实现我的需求 但是当任务提交到capacity-scheduler ...
- <Yarn><Node Labels>
Go through official docs For the official docs of Yarn node label, plase see here. Overview Node lab ...
- 六:YARN Node Labels
参考:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-label-based-scheduling/ 为不同的DATANODE打标签,通过标签 ...
- yarn nodes label (yarn 划分子集群)
yarn node labels 特性给节点打标签可以把特性类似的节点分成一组,这样可以指定特定的应用执行在特定的机器群上.现在我们只支持节点划分,1.一个节点仅能有一个节点划分,即一个节点只能打一个 ...
- Hadoop学习笔记—Yarn
目录 一些基本知识 ResourceManager 的恢复 Resource Manager的HA YARN Node Labels YARN Node Attributes Web Applicat ...
- YARN(MapReduce 2)运行MapReduce的过程-源码分析
这是我的分析,当然查阅书籍和网络.如有什么不对的,请各位批评指正.以下的类有的并不完全,只列出重要的方法. 如要转载,请注上作者以及出处. 一.源码阅读环境 需要安装jdk1.7.0版本及其以上版本, ...
- Spark On YARN使用时上传jar包过多导致磁盘空间不够。。。
今天测试过程中发现YARN Node变成Unhealthy了,后来定位到硬盘空间不够..... 通过查找大于100M的文件时发现有N多个spark-assembly-1.4.0-SNAPSHOT-ha ...
- 【原】Spark on YARN
在YARN上运行Spark 在Spark0.6.0版本开始支持YARN模式,随后的版本在逐渐地完善. 在YARN上启动Spark 确保HADOOP_CONF_DIR或YARN_CONF_DIR属性的值 ...
- YARN学习总结
YARN学习总结 前言 YARN(Yet Another Resource Manage,另一种资源协调者)是hadoop-0.23版本引入的的一个新的特性,可以说它是对原有Hadoop Mapred ...
随机推荐
- Kubernetes中资源配额管理
设置资源请求数量 创建Pod的时候,可以为每个容器指定资源消耗的限制.Pod的资源请求限制则是Pod中所有容器请求资源的总和. apiVersion: v1 kind: Pod metadata: n ...
- 根据javabean转换为mysql建表语句与mapper内容
原文地址: https://www.cnblogs.com/Jeffscnblog/p/10072483.html 一般上,我们会使用数据库表转换为javabean.dao.或是mapper,就叫逆 ...
- ionic ion-tab图标修改, 自定义tab图标
遇到需要自定义tab图标很简单, 只需要自定义相应的css就可以了, 这里要注意的是如何调整背景图片的大小. <ion-view hide-back-button="false&quo ...
- 一步步教你轻松学KNN模型算法
一步步教你轻松学KNN模型算法( 白宁超 2018年7月24日08:52:16 ) 导读:机器学习算法中KNN属于比较简单的典型算法,既可以做聚类又可以做分类使用.本文通过一个模拟的实际案例进行讲解. ...
- NOIP2010提高组 机器翻译
OJ提交地址:https://www.luogu.org/problemnew/show/P1540 http://noi.openjudge.cn/ch0112/07/ 总时间限制: 1000ms ...
- 单片机成长之路(51基础篇) - 002 STC单片机冷启动和复位有什么区别
STC单片机简介 STC单片机是一款增强型51单片机,完全兼容MCS-51,还增加了新的功能,比如新增两级中断优先级,多一个外中断,内置EEPROM,硬件看门狗,具有掉电模式,512B内存等.还支持I ...
- NodeJs之fs
NodeJs版本:4.4.4 fs的实用方法 查看文件信息(fs.stat) 定义:fs.stat(path, callback) var fs = require('fs'); fs.stat('t ...
- eclipse工具中使用Data Source Explorer连接数据库(MySQL)
1.进入Eclipse工具,打开Data Source Explorer.Window==>Show View==>Data Source Explorer(注:如果找不到请选择Other ...
- Java里进制转换(二进制、八进制、十进制、十六进制)
// 十进制转其它进制(二进制,八进制,十六进制) int k = 17; System.out.println(Integer.toBinaryString(k));// 转二进制 System.o ...
- maven创建helloword项目
[root@666 maven_work]# mvn archetype:create -DgroupId=helloword -DartifactId=helloworld [INFO] Scann ...