CentOS7安装CDH 第十二章：YARN的资源调优
相关文章链接
CentOS7安装CDH 第二章：CentOS7各个软件安装和启动
CentOS7安装CDH 第四章：CDH的版本选择和安装方式
CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0
CentOS7安装CDH 第六章：CDH的管理-CDH5.12
CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置
CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作
1. memory调优
调优的本质就是对内存进行设置，使服务能够充分利用内存，从而速度更快，假设一台机器有32G内存，那应该怎么设置DataNode和Nodemanager的内存配置，从而是服务跑得更快。在Linux中，一般使用机器内存的百分之八十五用于服务，其他的百分之十五用于Linux本机自己的运行。所以机器32G内存，其中可用于服务的内存有27G，分配如下：
DN: Heap Size: 4G (块内存)
NM: Heap Size: 3G (块内存)
yarn.nodemanager.resource.memory-mb : 20G (资源内存)
yarn.scheduler.minimum-allocation-mb : 1G 默认1G (最小内存)
yarn.scheduler.maximum-allocation-mb: 20G (最大内存)
2. CPU调优
CPU调优就是集群中服务的CPU核数进行设置，在此设置中，一般是设置的虚拟的核数，即线程数，假设该机器4个物理核，每个核2个线程，那可以把该参数设置为6，即如果运行spark的时候可以有6个task并行运行，这个参数默认是2，在线上的服务器是远远不够的，所以要进行设置，如下：
yarn.nodemanager.resource.cpu-vcores: 6 (6个task并行) 默认2
3. 调优总结
修改完，重启服务，生效配置
其他问题可以参考：http://blog.itpub.net/30089851/viewspace-2127851/
CentOS7安装CDH 第十二章：YARN的资源调优的更多相关文章
- CentOS7安装CDH 第十四章：CDH的优化
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- Yarn的资源调优
一.概述 每个job提交到yarn上执行时,都会分配Container容器去运行,而这个容器需要资源才能运行,这个资源就是Cpu和内存. 1.CPU资源调度 目前的CPU被Yarn划分为虚拟CPU,这 ...
- CentOS7安装CDH 第十三章：CDH资源池配置
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第十一章：离线升级CDH版本
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第九章：CDH中安装Kafka
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第六章：CDH的管理-CDH5.12
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第一章：CentOS7系统安装
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第二章：CentOS7各个软件安装和启动
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
随机推荐
- sql 获取某一时段中每一天中最大的时间的一条记录
SELECT *FROM ( SELECT ROW_NUMBER() OVER( PARTITION BY CONVERT(CHAR(10), DataTime, 120) ORDER BY Data ...
- Siamese Net
参考博客:https://blog.csdn.net/ybdesire/article/details/84072339
- MySQL 8中使用全文检索示例
首先建议张册测试用的表test,并使用fulltext说明将title和body两列的数据加入全文检索的索引列中: drop table if exists test; create table te ...
- html div高度100%无效
移动端相关: div高度继承自父元素——>body——>html 解决方案: html,body { height: 100%;margin: 0; padding: 0;} 然后对应的d ...
- 系统调用system call以及strace/dtruss
计算机系统的各种硬件资源是有限的,在现代多任务操作系统上同时运行的多个进程都需要访问这些资源,进程是不允许直接操作这些资源的,所有对这些资源的访问都必须有操作系统控制.也就是说操作系统是使用这些资源的 ...
- 【QT开发】信号转发器QSignalMapper的使用
QSignalMapper我们可以将它理解为一个信号翻译器或者说是哥信号转发器.它的主要应用在于可以实现一个函数相应不同按钮的实现功能.比如我们 实现一个计算器的时候,很多不同的按钮都有着差不多的功能 ...
- 有关_meta内容（持续更新）
假设在models里创建了一个类:UserInfo model.UserInfo._meta.app_label #获取该类所在app的app名称 model.UserInfo._meta.model ...
- 探索typescript的必经之路-----接口（interface）
TypeScript定义接口 熟悉编程语言的同学都知道,接口(interface)的重要性不言而喻. 很多内容都会运用到接口.typescrip中的接口类似于java,同时还增加了更灵活的接口类型,包 ...
- win10 linux Ubuntu 18.04更换国内源
安装了win10的linux bash 版本为ubuntu 18.04 首先查询自己的linux版本信息 cat /etc/issue 然后对系统的镜像源文件进行备份,再修改镜像源文件/etc/a ...
- PyTorch 常用代码段整理
基础配置 检查 PyTorch 版本 torch.__version__ # PyTorch version torch.version.cuda ...