Hadoop CapacitySchedule配置

下面是Hadoop中CapacitySchedule配置，包含了新建队列和子队列

   <configuration>

     <property>

       <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>

       <value>0.2</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.maximum-applications</name>

       <value>10000</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.node-locality-delay</name>

       <value>40</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.queue-mappings-override.enable</name>

       <value>false</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.resource-calculator</name>

       <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.accessible-node-labels</name>

       <value>*</value>

       <description></description>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.acl_administer_queue</name>

       <value>*</value>

       <description></description>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.capacity</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.queues</name>

       <value>default,spark,hadoop</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.capacity</name>

       <value>30</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.capacity</name>

       <value>20</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.queues</name>

       <value>spark1,spark2</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.user-limit-factor</name>

       <value>1</value>

     </property>

   </configuration>

Hadoop CapacitySchedule配置的更多相关文章

CentOS 7 Hadoop安装配置
前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件再设置hostname,root权限打开/etc/hos ...
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...
hadoop(四):配置参数
hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...
hadoop mapred-queue-acls 配置(转)
hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...
hadoop安装配置——伪分布模式
1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop 解压 2. 配置修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...
Hadoop平台配置总结
hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...
有关hadoop分布式配置详解
linux配置ssh无密码登录配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的ho ...
CentOS Hadoop安装配置详细
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...
Hadoop的配置过程（虚拟机中的伪分布模式）
1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. ...

随机推荐

优先队列：POJ No 3614 Sunscreen 贪心
Sunscreen Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 6410 Accepted: 2239 Descrip ...
手机中的js事件
// 手势事件 touchstart //当手指接触屏幕时触发 touchmove //当已经接触屏幕的手指开始移动后触发 touchend //当手指离开屏幕时触发 touchcancel // 触 ...
Python入门系列教程（六）面向对象
1.self 所谓的self,可以理解为自己,可以把它当做C++中类里面的this指针一样理解,就是对象自身的意思,在用某个对象调用该方法时,就将该对象作为第一个参数传递给self. 2.class ...
#Fixed# easy-animation | Animation for Sass
原文链接:http://www.cnblogs.com/maplejan/p/3659830.html 主要修复3.4版本后变量作用域的问题. 代码如下: /* easy-animation.scss ...
noip2012 P1081 开车旅行
小 A 和小 B 决定利用假期外出旅行,他们将想去的城市从 1 到 N 编号,且编号较小的城市在编号较大的城市的西边,已知各个城市的海拔高度互不相同,记城市 i 的海拔高度为Hi,城市 i 和城市 j ...
Java内存模型简析
1.多线程基础线程通信,是指线程之间以何种机制来交换信息.其中通信的机制有两种:内存共享和消息传递.内存共享是指线程之间通过写-读内存中的公共状态隐式进行通讯(Java):消息传递在线程之间没有公共 ...
Caffe的loss layer(转)
英文可查:地址 1.SoftmaxWithLoss 对一对多的分类任务计算多项逻辑斯蒂损失,并通过softmax传递预测值,来获得各类的概率分布.该层可以分解为SoftmaxLayer+Multino ...
【多视图几何】TUM 课程第2章刚体运动
课程的 YouTube 地址为:https://www.youtube.com/playlist?list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4 .视频评论区可以找到课 ...
嵌入式Linux截图工具gsnap移植与分析【转】
转自:http://blog.csdn.net/lu_embedded/article/details/53934184 版权声明:开心源自分享,快乐源于生活 —— 分享技术,传递快乐.转载文章请注明 ...
系统架构之负载均衡【F5\nginx\LVS\DNS轮询\】
在做系统架构规划的时候,负载均衡,HA(高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点,当活动节点出现故障的时候,由备用节点接管)都是经常需要考虑的 ...

Hadoop CapacitySchedule配置

Hadoop CapacitySchedule配置的更多相关文章

随机推荐

热门专题