Spark2.x（五十六）：Queue's AM resource limit exceeded.
背景：
按照业务需求将数据拆分为60份，启动60个application分别运行对每一份数据，application的提交脚本如下：
#/bin/sh
#LANG=zh_CN.utf8
#export LANG
export SPARK_KAFKA_VERSION=0.10
export LANG=zh_CN.UTF-
jarspath=''
for file in `ls /home/dx/pro2./app01/sparkjars/*.jar`
do
jarspath=${file},$jarspath
done
jarspath=${jarspath%?}
echo $jarspath ./bin/spark-submit.sh \
--jars $jarspath \
--properties-file ../conf/spark-properties.conf \
--verbose \
--master yarn \
--deploy-mode cluster \
--name Streaming-$2-$3-$4-$5-$1-Agg-Parser \
--driver-memory 9g \
--driver-cores 1 \
--num-executors 1 \
--executor-cores 12 \
--executor-memory 22g \
--driver-java-options "-XX:+TraceClassPaths" \
--class com.dx.app01.streaming.Main \
/home/dx/pro2.0/app01/lib/app01-streaming-driver.jar $1 $2 $3 $4 $5
运行集群包含的运行节点43个节点，每个节点配置信息如下：24VCores 64G
yarn配置情况：
| yarn.scheduler.minimum-allocation-mb | 单个容器可申请的最小内存 1G |
| yarn.scheduler.maximum-allocation-mb | 单个容器可申请的最大内存 51G |
| yarn.nodemanager.resource.cpu-vcores | NodeManager总的可用虚拟CPU个数 21vcores |
| yarn.nodemanager.resource.memory-mb | 每个节点可用的最大内存，RM中的两个值不应该超过此值 51G |
问题：
执行上边脚本启动了60个任务，但是经过测试发现最多只能提交24个任务，然后剩余还有一个部分任务都是处于 Accepted 状态，按照目前情况至少要执行43个任务。
通过yarn node -list命令查看当前节点上运行containers情况如下：
| Node-Id | Node-State | Node-Http-Address | Number-of-Running-Containers |
| node-53:45454 | RUNNING | node-53:8042 | 1 |
| node-62:45454 | RUNNING | node-62:8042 | 4 |
| node-44:45454 | RUNNING | node-44:8042 | 3 |
| node-37:45454 | RUNNING | node-37:8042 | 0 |
| node-35:45454 | RUNNING | node-35:8042 | 1 |
| node-07:45454 | RUNNING | node-07:8042 | 0 |
| node-30:45454 | RUNNING | node-30:8042 | 0 |
| node-56:45454 | RUNNING | node-56:8042 | 2 |
| node-47:45454 | RUNNING | node-47:8042 | 0 |
| node-42:45454 | RUNNING | node-42:8042 | 2 |
| node-03:45454 | RUNNING | node-03:8042 | 6 |
| node-51:45454 | RUNNING | node-51:8042 | 2 |
| node-33:45454 | RUNNING | node-33:8042 | 1 |
| node-04:45454 | RUNNING | node-04:8042 | 1 |
| node-48:45454 | RUNNING | node-48:8042 | 6 |
| node-39:45454 | RUNNING | node-39:8042 | 0 |
| node-60:45454 | RUNNING | node-60:8042 | 1 |
| node-54:45454 | RUNNING | node-54:8042 | 0 |
| node-45:45454 | RUNNING | node-45:8042 | 0 |
| node-63:45454 | RUNNING | node-63:8042 | 1 |
| node-09:45454 | RUNNING | node-09:8042 | 1 |
| node-01:45454 | RUNNING | node-01:8042 | 1 |
| node-36:45454 | RUNNING | node-36:8042 | 3 |
| node-06:45454 | RUNNING | node-06:8042 | 0 |
| node-61:45454 | RUNNING | node-61:8042 | 1 |
| node-31:45454 | RUNNING | node-31:8042 | 0 |
| node-40:45454 | RUNNING | node-40:8042 | 0 |
| node-57:45454 | RUNNING | node-57:8042 | 1 |
| node-59:45454 | RUNNING | node-59:8042 | 1 |
| node-43:45454 | RUNNING | node-43:8042 | 1 |
| node-52:45454 | RUNNING | node-52:8042 | 1 |
| node-34:45454 | RUNNING | node-34:8042 | 1 |
| node-38:45454 | RUNNING | node-38:8042 | 0 |
| node-50:45454 | RUNNING | node-50:8042 | 4 |
| node-46:45454 | RUNNING | node-46:8042 | 1 |
| node-08:45454 | RUNNING | node-08:8042 | 1 |
| node-55:45454 | RUNNING | node-55:8042 | 1 |
| node-32:45454 | RUNNING | node-32:8042 | 0 |
| node-41:45454 | RUNNING | node-41:8042 | 2 |
| node-05:45454 | RUNNING | node-05:8042 | 1 |
| node-02:45454 | RUNNING | node-02:8042 | 1 |
| node-58:45454 | RUNNING | node-58:8042 | 0 |
| node-49:45454 | RUNNING | node-49:8042 | 0 |
很明显，目前集群还有一部分节点未被使用，说明资源时充足的。
那么，至少应该能提交43个任务才对，但是目前只提交了24个任务，而且在Yarn上还提示错误信息：
[Tue Jul :: + ] Application is added to the scheduler and is not yet activated.
Queue's AM resource limit exceeded. Details : AM Partition = <DEFAULT_PARTITION>;
AM Resource Request = <memory:9216MB(9G), vCores:>;
Queue Resource Limit for AM = <memory:454656MB(444G), vCores:>;
User AM Resource Limit of the queue = <memory:229376MB(224G), vCores:>;
Queue AM Resource Usage = <memory:221184MB(216G), vCores:>;
解决方案：
其中错误日志：“Queue AM Resource Usage = <memory:221184MB(216G), vCores:24>;”中正是指目前已经运行了24个app（yarn-cluster模式下，每个app包含一个driver，driver也就是等同于AM）：每个app的driver包含1个vcores，一共占用24vcores；每个app的driver内存为9G，9G*24=216G。
其中错误日志：“User AM Resource Limit of the queue = <memory:229376MB(224G), vCores:1>; ”中集群中用于运行应用程序ApplicationMaster的资源最大允许224G，这个值由参数”yarn.scheduler.capacity.maximum-am-resource-percent“决定。
|
yarn.scheduler.capacity.maximum-am-resource-percent / yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent |
集群中用于运行应用程序ApplicationMaster的资源比例上限，该参数通常用于限制处于活动状态的应用程序数目。该参数类型为浮点型，默认是0.1，表示10%。 所有队列的ApplicationMaster资源比例上限可通过参数yarn.scheduler.capacity. maximum-am-resource-percent设置（可看做默认值）， 而单个队列可通过参数yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent设置适合自己的值。 |
1）yarn.scheduler.capacity.maximum-am-resource-percent（调大）
<property>
<!-- Maximum resources to allocate to application masters
If this is too high application masters can crowd out actual work -->
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.5</value>
</property>
2）降低 driver 内存。
关于Yarn Capacity更多，更官方问题请参考官网文档：《Hadoop: Capacity Scheduler》
Spark2.x（五十六）：Queue's AM resource limit exceeded.的更多相关文章
- 【Visual C++】游戏开发五十六 浅墨DirectX教程二十三 打造游戏GUI界面（一）
本系列文章由zhmxy555(毛星云)编写,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/16384009 作者:毛星云 ...
- 第三百五十六节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy分布式爬虫要点
第三百五十六节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy分布式爬虫要点 1.分布式爬虫原理 2.分布式爬虫优点 3.分布式爬虫需要解决的问题
- “全栈2019”Java第五十六章：多态与字段详解
难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第 ...
- 《手把手教你》系列技巧篇（五十六）-java+ selenium自动化测试-下载文件-上篇（详细教程）
1.简介 前边几篇文章讲解完如何上传文件,既然有上传,那么就可能会有下载文件.因此宏哥就接着讲解和分享一下:自动化测试下载文件.可能有的小伙伴或者童鞋们会觉得这不是很简单吗,还用你介绍和讲解啊,不说就 ...
- Abp(net core)+easyui+efcore实现仓储管理系统——出库管理之七(五十六)
abp(net core)+easyui+efcore实现仓储管理系统目录 abp(net core)+easyui+efcore实现仓储管理系统--ABP总体介绍(一) abp(net core)+ ...
- OpenCV开发笔记（五十六）：红胖子8分钟带你深入了解多种图形拟合逼近轮廓（图文并茂+浅显易懂+程序源码）
若该文为原创文章,未经允许不得转载原博主博客地址:https://blog.csdn.net/qq21497936原博主博客导航:https://blog.csdn.net/qq21497936/ar ...
- FastAPI 学习之路（五十六）将token存放在redis
在之前的文章中,FastAPI 学习之路(二十九)使用(哈希)密码和 JWT Bearer 令牌的 OAuth2,FastAPI 学习之路(二十八)使用密码和 Bearer 的简单 OAuth2,Fa ...
- Linux性能优化实战学习笔记：第五十六讲
一.上节回顾 上一节,我带你一起梳理了,性能问题分析的一般步骤.先带你简单回顾一下. 我们可以从系统资源瓶颈和应用程序瓶颈,这两个角度来分析性能问题的根源. 从系统资源瓶颈的角度来说,USE 法是最为 ...
- 论文阅读笔记五十六：（ExtremeNet）Bottom-up Object Detection by Grouping Extreme and Center Points（CVPR2019）
论文原址:https://arxiv.org/abs/1901.08043 github: https://github.com/xingyizhou/ExtremeNet 摘要 本文利用一个关键点检 ...
随机推荐
- WAS更新web.xml配置文件不生效的问题
问题及原因分析: 之前修复漏洞时,写了个过滤器配置在web.xml中,但是部署到服务器并重启后,重新扫描漏洞,还是没有解决对应问题.在确定了这种修复方案是切实可行之后分析,可能是配置的web.xml未 ...
- 深入理解jvm--分代回收算法通俗理解
1.通俗的理解java对象的这一辈子 我是一个普通的java对象,我出生在Eden区,在Eden区我还看到和我长的很像的小兄弟,我们在Eden区中玩了挺长时间.有一天Eden区中的人实在是太多了,我就 ...
- 身份证验证PHP类
PHP根据身份证号,自动获取对应的星座函数,然后自动返回对应的星座,自动返回性别,判断是否成年 <?php class IdcardAction extends Action{ // PHP根据 ...
- JavaScript: 详解正则表达式之二
在上一篇文章中我们讲了正则表达式的基本用法,接下来博主想聊聊其中的细节,今天就从正则修饰符开始吧. 正则修饰符又称为正则标记(flags),它会对正则的匹配规则做限定,进而影响匹配的最终结果.在上次的 ...
- jQuery知识梳理20190818
目录 jQuery知识梳理20190818 1. 时间绑定和解绑 2. 区别mouseover与mouseenter 3. 时间委托(委派/代理) 4 . 多库共存 5.window.onload与$ ...
- Docker以https访问Harbor私有仓库(二)
1 说明 前文Centos7搭建Harbor私有仓库(二)中,我们以https方式搭建了Harbor,本篇我们主要配置Docker以https方式访问Harbor私有仓库 2 Docker配置 2.1 ...
- docker安装mysql5.6(win10家庭版)
闲话不多说,打开之前已经安装好的客户端Docker Quickstart Terminal,安装方法请看上一篇,链接地址:https://www.cnblogs.com/jimmyshan-study ...
- Mysql中innodb和myisam
innodb和myisam两种存储引擎的区别 1.事务和外键 1)InnoDB具有事务,支持4个事务隔离级别,回滚,崩溃修复能力和多版本并发的事务安全,包括ACID.如果应用中需要执行大量的INSER ...
- String,StringBuffer,StringBuilder区别（笔记）
String类被final修饰,创建的对象为不可变对象,属于字符串常量. 而StringBuffer与StringBuilder创建的属于字符串常量. StringBuffer的方法大多用了Synch ...
- Linux跑脚本用sh和./有什么区别？
一个很有意思的例子: sh是一个shell.运行sh a.sh,表示我使用sh来解释这个脚本:如果我直接运行./a.sh,首先你会查找脚本第一行是否指定了解释器,如果没指定,那么就用当前系统默认的sh ...