Yarn 生产环境核心配置参数
Yarn 生产环境核心配置参数
ResourceManager
配置调度器
yarn.resourcemanager.scheduler.class
默认是容量调度器
ResourceManager处理调度器请求的线程数量
ResourceManager处理client请求的线程数量
yarn.resourcemanager.scheduler.client.thread-count
默认是50
NodeManager
是否让yarn自己检测硬件进行配置
yarn.nodemanager.resource.detect-hardware-capabilities
默认是false
类似安装软件时的自动安装
是否将虚拟核数当作CPU核数
配置都是针对某一个NodeManager
yarn.nodemanager.resource.count-logical-processors-as-cores
默认false
应用场景:每个NodeManager真实的CPU处理能力不一样时,如A i7 B i5 C i3
虚拟核数和物理核数乘数
如果把虚拟核数当作CPU核数,也就是上述参数设置为true
yarn.nodemanager.resource.pcores-vcores-multiplier
比如:4核8线程,该参数就应设为2
默认1.0
以下两个参数配置配置一个就行,通常需要配置
NodeManager使用内存
yarn.nodemanager.resource.memory-mb
默认8G
NodeManager为系统保留多少内存
yarn.nodemanager.resource.system-reserved-memory-mb
如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G
NodeManager使用CPU核数
yarn.nodemanager.resource.cpu-vcores
默认8个
是否开启物理内存检测限制container
ResourceManager会监控NodeManager的使用情况,监控机制。
比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了
yarn.nodemanager-pvmem-check-enabled
默认打开
是否开启虚拟内存检测限制container
yarn.nodemanager.vmem-check-enabled
默认打开
虚拟内存和物理内存比例
假设物理内存8G,虚拟内存2.1*8=16.8G
yarn.nodemanager.vmem-pmem-ratio
默认2.1
Container
容器最小内存
yarn.scheduler.minimum-allocation-mb 容器最小内存,默认1G
容器最大内存
yarn.scheduler.maximum-allocation-mb 容器最小内存,默认8G
容量最小CPU核数
yarn.scheduler.minimum-allocation-vcores
默认1个
容器最大CPU核数
yarn.scheduler.maximum-allocation-vcores
默认4个
Yarn 生产环境核心配置参数的更多相关文章
- Yarn 生产环境核心参数配置案例
目录 Yarn 生产环境核心参数配置案例 需求 修改yarn-site.xml配置 分发 重启集群 执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照 ...
- Spring.profile实现开发、测试和生产环境的配置和切换
软件开发过程一般涉及“开发 -> 测试 -> 部署上线”多个阶段,每个阶段的环境的配置参数会有不同,如数据源,文件路径等.为避免每次切换环境时都要进行参数配置等繁琐的操作,可以通过spri ...
- 【Spring】使用@Profile注解实现开发、测试和生产环境的配置和切换,看完这篇我彻底会了!!
写在前面 在实际的企业开发环境中,往往都会将环境分为:开发环境.测试环境和生产环境,而每个环境基本上都是互相隔离的,也就是说,开发环境.测试环境和生产环境是互不相通的.在以前的开发过程中,如果开发人员 ...
- 分离Webpack开发环境与生产环境的配置
这是Webpack+React系列配置过程记录的第五篇.其他内容请参考: 第一篇:使用webpack.babel.react.antdesign配置单页面应用开发环境 第二篇:使用react-rout ...
- vue-cli 3.0 axios 跨域请求代理配置及生产环境 baseUrl 配置
1. 开发环境跨域配置 在 vue.config.js 文件中: module.exports = { runtimeCompiler: true, publicPath: '/', // 设置打包文 ...
- centos8上redis5在生产环境的配置
一,创建redis的数据和日志目录: [root@yjweb data]# mkdir /data/redis6379 [root@yjweb data]# mkdir /data/redis6379 ...
- 生产环境mysql的参数设置不一样,好好的程序,又出错
一.概述 报错信息如下: org.springframework.jdbc.BadSqlGrammarException: ### Error querying database. Cause: c ...
- IDEA开发、测试、生产环境pom配置及使用
pom文件 一般放在最下面,project里 <!--开发环境.测试环境.生产环境--> <!--生产环境--> <profiles> <profile> ...
- springboot在eclipse中运行使用开发配置,打包后运行使用生产环境默认配置
java命令运行springboot jar文件,指定配置文件可使用如下两个参数中其中一个 --spring.config.location=配置文件路径 -Dspring.profiles.acti ...
随机推荐
- ArrayList集合底层原理
目录 ArrayList集合特点及源码分析 ArrayList源码分析 成员变量 构造函数 增加方法 add(E e)方法 add(int index, E element)方法 删除方法 remov ...
- 正则表达式匹配 牛客网 剑指Offer
正则表达式匹配 牛客网 剑指Offer 题目描述 请实现一个函数用来匹配包括'.'和''的正则表达式.模式中的字符'.'表示任意一个字符,而''表示它前面的字符可以出现任意次(包含0次). 在本题中, ...
- distinct-subsequences leetcode C++
Given a string S and a string T, count the number of distinct subsequences of T in S. A subsequence ...
- Shadertoy 教程 Part 4 - 绘制多个2D图形和混入
Note: This series blog was translated from Nathan Vaughn's Shaders Language Tutorial and has been au ...
- C++ 变量声明 定义 作用域 链接性总结
变量定义 变量的定义用于为变量分配存储空间,还可以为变量指定初始值.在一个程序中,变量有且仅有一个定义. 变量声明 用于向程序表明变量的类型和名字.程序中变量可以声明多次,但只能定义一次. 变量的类型 ...
- 运行级别和找回root密码
运行级别说明 0 :关机 1 :单用户 [类似安全模式,这个模式可以帮助找回root密码 2:多用户状态没有网络服务 3:多用户状态有网络服务 [使用] 4:系统未使用保留给用户 5:图形界面 6:系 ...
- elasticsearch在postman中创建复杂索引
body,所选类型为raw和JSON,写的代码为 { "settings":{ "number_of_shards":1, "number_of_re ...
- Java学习(八)
今天学了类的封装知识与编译器的使用,和c++的大体一致,只有一些细节不同,像private的使用等. 小试牛刀,写了一个封装后的类,并且测试. public class Student { priva ...
- 1组-Alpha冲刺-2/6
一.基本情况 队名:震震带着六菜鸟 组长博客:https://www.cnblogs.com/Klein-Wang/p/15535649.html 小组人数:7人 二.冲刺概况汇报 王业震 过去两天完 ...
- [bzoj5338]xor
维护两颗可持久化字典树(当然可以放在一起),第一棵维护每一个点到根的每一位的二进制数量,在其父亲的基础上建立:第二棵维护dfs序上每一个点到第1个点的二进制数量,在其上一个点的基础上建立. 对于询问1 ...