相关文章链接

CentOS7安装CDH 第一章：CentOS7系统安装

CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

CentOS7安装CDH 第三章：CDH中的问题和解决方法

CentOS7安装CDH 第四章：CDH的版本选择和安装方式

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章：CDH的管理-CDH5.12

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作

CentOS7安装CDH 第九章：CDH中安装Kafka

CentOS7安装CDH 第十章：CDH中安装Spark2

CentOS7安装CDH 第十一章：离线升级CDH版本

CentOS7安装CDH 第十二章：YARN的资源调优

CentOS7安装CDH 第十三章：CDH资源池配置

CentOS7安装CDH 第十四章：CDH的优化

1. memory调优

调优的本质就是对内存进行设置，使服务能够充分利用内存，从而速度更快，假设一台机器有32G内存，那应该怎么设置DataNode和Nodemanager的内存配置，从而是服务跑得更快。在Linux中，一般使用机器内存的百分之八十五用于服务，其他的百分之十五用于Linux本机自己的运行。所以机器32G内存，其中可用于服务的内存有27G，分配如下：

DN: Heap Size: 4G (块内存)

NM: Heap Size: 3G (块内存)

yarn.nodemanager.resource.memory-mb : 20G         (资源内存)

yarn.scheduler.minimum-allocation-mb : 1G  默认1G   (最小内存)

yarn.scheduler.maximum-allocation-mb: 20G                   (最大内存)

2. CPU调优

CPU调优就是集群中服务的CPU核数进行设置，在此设置中，一般是设置的虚拟的核数，即线程数，假设该机器4个物理核，每个核2个线程，那可以把该参数设置为6，即如果运行spark的时候可以有6个task并行运行，这个参数默认是2，在线上的服务器是远远不够的，所以要进行设置，如下：

yarn.nodemanager.resource.cpu-vcores: 6  (6个task并行) 默认2

3. 调优总结

修改完，重启服务，生效配置

其他问题可以参考：http://blog.itpub.net/30089851/viewspace-2127851/

CentOS7安装CDH 第十二章：YARN的资源调优的更多相关文章

  1. CentOS7安装CDH 第十四章：CDH的优化

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  2. Yarn的资源调优

    一.概述 每个job提交到yarn上执行时,都会分配Container容器去运行,而这个容器需要资源才能运行,这个资源就是Cpu和内存. 1.CPU资源调度 目前的CPU被Yarn划分为虚拟CPU,这 ...

  3. CentOS7安装CDH 第十三章：CDH资源池配置

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. CentOS7安装CDH 第十一章：离线升级CDH版本

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  5. CentOS7安装CDH 第九章：CDH中安装Kafka

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  6. CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  7. CentOS7安装CDH 第六章：CDH的管理-CDH5.12

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  8. CentOS7安装CDH 第一章：CentOS7系统安装

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  9. CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

随机推荐

  1. hadoop记录-flink测试

    1.启动集群 bin/start-cluster.sh 2.jps查看进程 3.打开网页端(192.168.66.128:8081) 4.造数据:nc -lk 9000 5.执行./bin/flink ...

  2. Flink 在IDEA执行时的webui

    不过Flink IDEA中执行的webui 需要 flink-runtime-web 包的支持 pom 如下: <dependency> <groupId>org.apache ...

  3. 亲爱的mssql码农们，看看利用sp_addlinkedserver实现远程数据库链接

    亲爱的mssql码农们,可以看看本地连接远程的数据库方式(sp_addlinkedserver)--通过代码连接 --查看当前链接情况: select * from sys.servers; --使用 ...

  4. FreeRTOS 时间片，外部中断，任务优先级的一个疑问

    时间片1ms 假设有两个任务,A和B,A任务等待中断里面发出的信号量,B任务在运行 此时,B任务运行了300us的时候中断发生,发出信号量,那么任务A接收到信号量,A任务优先级高,A任务运行 有个问题 ...

  5. bootstrap-table+Django: 服务端分页

    分页方式: bootstrap-table提供两种分页方式,client和server,即客户端和服务端分页: 特点: client端分页:后台返回所有数据,前台翻页时不再请求后台. server端分 ...

  6. 对偶传播神经网络（CPN）

    1987年,美国学者Robert Hecht-Nielsen提出了对偶传播神经网络模型 (Counter Propagation Network,CPN),CPN最早是用来实现样本选择匹配系统的.CP ...

  7. php实现文件与16进制相互转换

    php实现文件与16进制相互转换 <pre><?php/** * php 文件与16进制相互转换 * Date: 2017-01-14 * Author: fdipzone * Ve ...

  8. 洛谷 题解 UVA12661 【有趣的赛车比赛 Funny Car Racing】

    [题意] 在一个赛车比赛中,赛道有\(n(n<=300)\)个交叉点和\(m(m<=50000)\)条单向道路.有趣的是,每条道路都是周期性关闭的.每条道路用5个整数\(u,v,a,b,t ...

  9. Debian10.1用wine打开Windows工具乱码总结

    由于之前的deepin15.11莫名其妙挂了(就是使用一般没做啥特殊操作就挂了,不过有可能是我的移动固态硬盘也有锅),所以这次决定装Debian10.1版本, 由于安装时选择语言环境是中文的话创建的一 ...

  10. 029 Android 轮播图广告Banner开源框架使用

    1.Banner介绍 现在的绝大数app都有banner界面,实现循环播放多个广告图片和手动滑动循环等功能. 2.使用环境配置(具体可见github开源项目) (1)添加依赖 在build.gradl ...