Hadoop CapacitySchedule配置

下面是Hadoop中CapacitySchedule配置，包含了新建队列和子队列

   <configuration>

     <property>

       <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>

       <value>0.2</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.maximum-applications</name>

       <value>10000</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.node-locality-delay</name>

       <value>40</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.queue-mappings-override.enable</name>

       <value>false</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.resource-calculator</name>

       <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.accessible-node-labels</name>

       <value>*</value>

       <description></description>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.acl_administer_queue</name>

       <value>*</value>

       <description></description>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.capacity</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.queues</name>

       <value>default,spark,hadoop</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.capacity</name>

       <value>30</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.capacity</name>

       <value>20</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.queues</name>

       <value>spark1,spark2</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.user-limit-factor</name>

       <value>1</value>

     </property>

   </configuration>

Hadoop CapacitySchedule配置的更多相关文章

CentOS 7 Hadoop安装配置
前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件再设置hostname,root权限打开/etc/hos ...
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...
hadoop(四):配置参数
hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...
hadoop mapred-queue-acls 配置(转)
hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...
hadoop安装配置——伪分布模式
1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop 解压 2. 配置修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...
Hadoop平台配置总结
hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...
有关hadoop分布式配置详解
linux配置ssh无密码登录配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的ho ...
CentOS Hadoop安装配置详细
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...
Hadoop的配置过程（虚拟机中的伪分布模式）
1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. ...

随机推荐

浏览器内核控制meta name="renderer" 说明文档
https://blog.csdn.net/adc_god/article/details/51531263
Ubuntu 15.04 双击运行 *.sh、*.py文件
源起之前一直在Windows下用AndoridStudio,今天试了一下在Linux系统Ubuntu 15.04中配置Android Studio: 过程和Windws下差不多,但是最后没有生成桌 ...
SharePoint 项目的死法(三)
拙劣的供应商(团队) 坦率来说, 说这个原因需要一点勇气, 但在我从业的经历中, 充斥这大量的这样的案例, 没有什么实施经验的团队, 对产品几乎没什么了解的供应商, 三脚猫的开发人员,之前只会做做微软 ...
回溯算法——解决n皇后问题
所谓回溯(backtracking)是通过系统地搜索求解问题的方法.这种方法适用于类似于八皇后这样的问题:求得问题的一个解比较困难,但是检查一个棋局是否构成解很容易. 不多说,放上n皇后的回溯问题代码 ...
asp.net WebForm程序删除.designer.cs文件之后的故事
1.介绍正常情况下添加一个WebForm程序结构如下(命名为:myWebForm.aspx) 文件说明:.aspx文件:书写html代码部分,以及javascript,css等代码书写及引用 .as ...
20155301 2016-2017-2 《Java程序设计》第5周学习总结
20155301 2016-2017-2 <Java程序设计>第5周学习总结教材学习内容总结 1.1try.catch关键词,在用户不小心输入错误的时候,程序会出现错误信息,将代表错误的 ...
sklearn_模型遍历
# _*_ coding = utf_8 _*_ import matplotlib.pyplot as plt import seaborn as sns import pandas as pd f ...
git之合并分支（git merge）------（三）
最近几天写小demo,总是自己拉取他人的代码,然后创建分支,在自己的分支上进行修改,然后提交到自己的分支,具体的这一步,我就不多讲了,因为在我的博客“工作中常用的Git操作”中有详细的介绍,今天主要讲 ...
margin-bottom无效问题以及div里内容动态居中样式!
最近调前端样式时候,遇到一个需求,在中间文字不对等的情况下想让下面的操作文字距离底部对齐,如图: , 刚开始觉得使用margin-bottom就可以,后来发现只有margin-top是管用的,查了资料 ...
Python标准库笔记(11) — Operator模块
Operator--标准功能性操作符接口. 代码中使用迭代器时,有时必须要为一个简单表达式创建函数.有些情况这些函数可以用一个lambda函数实现,但是对于某些操作,根本没必要去写一个新的函数.因此o ...

Hadoop CapacitySchedule配置

Hadoop CapacitySchedule配置的更多相关文章

随机推荐

热门专题