cat /etc/ecm/hadoop-conf/fair-scheduler.xml

<?xml version="1.0"?>

<allocations>

<aclSubmitApps>*</aclSubmitApps>

<weight>2</weight>

<minResources>10000 mb, 10vcores</minResources>

<maxChildResources>34000 mb,24 vcores</maxChildResources>

<maxRunningApps>50</maxRunningApps>

<maxAMShare>1</maxAMShare>

<maxResources>400000 mb, 200vcores</maxResources> #限制队列最大使用资源

<aclAdministerApps>*</aclAdministerApps>

<schedulingPolicy>fair</schedulingPolicy>

<queue name="default">

<aclSubmitApps>*</aclSubmitApps>

<minResources>10000 mb, 10vcores</minResources>

<aclAdministerApps>*</aclAdministerApps>

<weight>1</weight>

<maxRunningApps>10</maxRunningApps>

<maxAMShare>0.5</maxAMShare>

<maxResources>200000 mb, 100vcores</maxResources>

</queue>

<queue name="collects">

<schedulingPolicy>fair</schedulingPolicy>

<aclSubmitApps>*</aclSubmitApps>

<aclAdministerApps>*</aclAdministerApps>

<weight>8</weight>

<maxAMShare>0.8</maxAMShare>

<minResources>50 mb, 2vcores</minResources>

<maxResources>400000 mb, 200vcores</maxResources>

<maxRunningApps>50</maxRunningApps>

</queue>

<queue name="data_bi">

<schedulingPolicy>fair</schedulingPolicy>

<aclSubmitApps>*</aclSubmitApps>

<aclAdministerApps>*</aclAdministerApps>

<weight>4</weight>

<minResources>100 mb, 1vcores</minResources>

<maxResources>30000 mb, 50vcores</maxResources>

<maxRunningApps>5</maxRunningApps>

</queue>

<queue name="opay_collects">

<weight>20</weight>

<minResources>10 mb, 1vcores</minResources>

<maxResources>400000 mb, 200vcores</maxResources>

<maxRunningApps>20</maxRunningApps>

<maxAMShare>0.5</maxAMShare>

<schedulingPolicy>fair</schedulingPolicy>

<aclSubmitApps>*</aclSubmitApps>

<aclAdministerApps>*</aclAdministerApps>

</queue>

<queue name="opos_collects">

<weight>5</weight>

<minResources>10 mb, 1vcores</minResources>

<maxResources>80000 mb, 50vcores</maxResources>

<maxRunningApps>10</maxRunningApps>

</queue>

<queue name="users" type="parent">

<weight>5</weight>

<minResources>10 mb, 1vcores</minResources>

<maxResources>10000 mb, 150vcores</maxResources>

<maxRunningApps>30</maxRunningApps>

<schedulingPolicy>fair</schedulingPolicy>

<aclSubmitApps>*</aclSubmitApps>

<aclAdministerApps>*</aclAdministerApps>

</queue>

<queue name="airflow">

<schedulingPolicy>fair</schedulingPolicy>

<aclSubmitApps>*</aclSubmitApps>

<aclAdministerApps>*</aclAdministerApps>

<weight>8</weight>

<minResources>10 mb, 2vcores</minResources>

<maxResources>200000 mb, 150vcores</maxResources>

<maxRunningApps>30</maxRunningApps>

</queue>

<defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>

<userMaxAppsDefault>50</userMaxAppsDefault>

<queueMaxAppsDefault>50</queueMaxAppsDefault>

<queueMaxAMShareDefault>0.5</queueMaxAMShareDefault>

<defaultFairSharePreemptionThreshold>0.5</defaultFairSharePreemptionThreshold>

<queueMaxResourcesDefault>34000 mb,24vcores</queueMaxResourcesDefault>

<defaultFairSharePreemptionTimeout>9223372036854775807</defaultFairSharePreemptionTimeout>

<defaultMinSharePreemptionTimeout>9223372036854775807</defaultMinSharePreemptionTimeout>

</allocations>

#新的xml, 不带root限制: 放emr的yarn-配置-fair-scheduler

<?xml version="1.0" encoding="utf-8"?>
<allocations>
<queue name="root">
<queue name="default">
<aclSubmitApps>*</aclSubmitApps>
<minResources>10000 mb, 10vcores</minResources>
<aclAdministerApps>*</aclAdministerApps>
<weight>1</weight>
<maxRunningApps>10</maxRunningApps>
<maxAMShare>0.5</maxAMShare>
<maxResources>200000 mb, 100vcores</maxResources>
</queue>
<queue name="collects">
<schedulingPolicy>fair</schedulingPolicy>
<aclSubmitApps>*</aclSubmitApps>
<aclAdministerApps>*</aclAdministerApps>
<weight>8</weight>
<maxAMShare>0.8</maxAMShare>
<minResources>50 mb, 2vcores</minResources>
<maxResources>400000 mb, 200vcores</maxResources>
<maxRunningApps>50</maxRunningApps>
</queue>
<queue name="data_bi">
<schedulingPolicy>fair</schedulingPolicy>
<aclSubmitApps>*</aclSubmitApps>
<aclAdministerApps>*</aclAdministerApps>
<weight>4</weight>
<minResources>100 mb, 1vcores</minResources>
<maxResources>30000 mb, 50vcores</maxResources>
<maxRunningApps>5</maxRunningApps>
</queue>
<queue name="opay_collects">
<weight>20</weight>
<minResources>10 mb, 1vcores</minResources>
<maxResources>400000 mb, 200vcores</maxResources>
<maxRunningApps>20</maxRunningApps>
<maxAMShare>0.5</maxAMShare>
<schedulingPolicy>fair</schedulingPolicy>
<aclSubmitApps>*</aclSubmitApps>
<aclAdministerApps>*</aclAdministerApps>
</queue>
<queue name="opos_collects">
<weight>5</weight>
<minResources>10 mb, 1vcores</minResources>
<maxResources>80000 mb, 50vcores</maxResources>
<maxRunningApps>10</maxRunningApps>
</queue>
<queue name="users" type="parent">
<weight>5</weight>
<minResources>10 mb, 1vcores</minResources>
<maxResources>10000 mb, 150vcores</maxResources>
<maxRunningApps>30</maxRunningApps>
<schedulingPolicy>fair</schedulingPolicy>
<aclSubmitApps>*</aclSubmitApps>
<aclAdministerApps>*</aclAdministerApps>
</queue>
<queue name="airflow">
<schedulingPolicy>fair</schedulingPolicy>
<aclSubmitApps>*</aclSubmitApps>
<aclAdministerApps>*</aclAdministerApps>
<weight>8</weight>
<minResources>10 mb, 2vcores</minResources>
<maxResources>200000 mb, 150vcores</maxResources>
<maxRunningApps>30</maxRunningApps>
</queue>
</queue>
<defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
<userMaxAppsDefault>50</userMaxAppsDefault>
<queueMaxAppsDefault>50</queueMaxAppsDefault>
<queueMaxAMShareDefault>0.5</queueMaxAMShareDefault>
<defaultFairSharePreemptionThreshold>0.5</defaultFairSharePreemptionThreshold>
<queueMaxResourcesDefault>34000 mb,24vcores</queueMaxResourcesDefault>
<defaultFairSharePreemptionTimeout>9223372036854775807</defaultFairSharePreemptionTimeout>
<defaultMinSharePreemptionTimeout>9223372036854775807</defaultMinSharePreemptionTimeout>
</allocations>

EMR的fair-scheduler.xml的更多相关文章

  1. Fair Scheduler 队列设置经验总结

    Fair Scheduler 队列设置经验总结 由于公司的hadoop集群的计算资源不是很充足,需要开启yarn资源队列的资源抢占.在使用过程中,才明白资源抢占的一些特点.在这里总结一下. 只有一个队 ...

  2. 三：Fair Scheduler 公平调度器

    参考资料: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html http://h ...

  3. Fair Scheduler中的Delay Schedule分析

    延迟调度的主要目的是提高数据本地性(data locality),减少数据在网络中的传输.对于那些输入数据不在本地的MapTask,调度器将会延迟调度他们,而把slot分配给那些具备本地性的MapTa ...

  4. Hadoop学习之--Fair Scheduler作业调度分析

    Fair Scheduler调度器同步心跳分配任务的过程简单来讲会经历以下环节: 1. 对map/reduce是否已经达到资源上限的循环判断 2. 对pool队列根据Fair算法排序 3.然后循环po ...

  5. YARN的Fair Scheduler和Capacity Scheduler

    关于Scheduler YARN有四种调度机制:Fair Schedule,Capacity Schedule,FIFO以及Priority: 其中Fair Scheduler是资源池机制,进入到里面 ...

  6. Hadoop的三种调度器FIFO、Capacity Scheduler、Fair Scheduler（转载）

    目前Hadoop有三种比较流行的资源调度器:FIFO .Capacity Scheduler.Fair Scheduler.目前Hadoop2.7默认使用的是Capacity Scheduler容量调 ...

  7. fair scheduler配置

    <property>    <name>yarn.resourcemanager.scheduler.class</name>    <value>or ...

  8. Yarn参数优化(Fair Scheduler版本)

    YARN 自从hadoop2.0之后, 我们可以使用apache yarn 来对集群资源进行管理.yarn把可以把资源(内存,CPU)以Container的方式进行划分隔离.YARN会管理集群中所有机 ...

  9. Linux 2.6 完全公平调度算法CFS（Completely Fair Scheduler） 分析

    转会http://www.ibm.com/developerworks/cn/linux/l-completely-fair-scheduler/index.html? ca=drs-cn-0125 ...

  10. 利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制

    转自:https://m.aliyun.com/yunqi/articles/79700 背景 使用过hadoop的人基本都会考虑集群里面资源的调度和优先级的问题,假设你现在所在的公司有一个大hado ...

随机推荐

  1. 可持久化数据结构(平衡树、trie树、线段树) 总结

    然而好像没有平衡树 还是题解包: T1:森林 树上主席树+启发式合并. 然而好像知道标签就没啥了.在启发式合并时可以顺手求lca 然而这题好像可以时间换空间(回收空间) T2:影魔 难点在于考虑贡献的 ...

  2. python去掉字符串中重复字符的方法

      If order does not matter, you can use   foo = "mppmt" "".join(set(foo)) set() ...

  3. FOI冬令营 Day 3

    目录 T1.签到题(sort) 传送门 Code T2.送分题(queue) 传送门 Code T3.简单题(game) 传送门 Code 咕咕咕 T1.签到题(sort) 传送门 原题:LOJ 27 ...

  4. docker 搭建registry

    Docke官方提供了Docker Hub网站来作为一个公开的集中仓库.然而,本地访问Docker Hub速度往往很慢,并且很多时候我们需要一个本地的私有仓库只供网内使用.Docker仓库实际上提供两方 ...

  5. ICEM-一种三维Y型网格

    ​原视频下载地址:https://yunpan.cn/cLHD9ewat8v9a  访问密码 0f0f

  6. Jira5.2.8 安装

    第一步. 安装jira 1. 运行安装包,选择自定义安装 2. 最好使用netstat -ano检查一下端口是否被占用,如果占用就选其他的靓号吧~ 3. 选择集成数据库 输入应用的名称 第二步. 破解 ...

  7. BZOJ1941Hide and Seek

    做KD_tree的入门题. 问题就是求出任意一个点距其他点的最大曼哈顿距离和最小曼哈顿距离差,然后对其取min即可. 这个东西就是KD_tree可以轻松解决的了. 下面总结一下做KD_tree(不带修 ...

  8. ASP.NET进行请求转发

    前言 前两天将网站的部分功能在小程序上实现,网站的后台是http,没有配置域名和安全证书,小程序的线上版本是无法访问的,因此需要从配有域名和安全证书的站点进行转发.即小程序请求A,A转发请求到B,B获 ...

  9. 小福bbs——项目需求分析

    # 一.简单了解 这个作业属于哪个课程 班级链接 这个作业要求在哪里 作业要求的链接 团队名称 小福bbs 这个作业的目标 第一个版本,根据项目预期情况形成 作业的正文 小福bbs--项目需求分析 其 ...

  10. 设计自用的golang日志模块

    设计自用的golang日志模块 golang的原生日志模块不能满足需求,而开源的第三方包,也不完全够用.用户较多的logrus,却没有rotate功能,这已经是众所周知的.对于运维来说,当然是希望日志 ...