相关文章链接

CentOS7安装CDH 第一章：CentOS7系统安装

CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

CentOS7安装CDH 第三章：CDH中的问题和解决方法

CentOS7安装CDH 第四章：CDH的版本选择和安装方式

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章：CDH的管理-CDH5.12

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作

CentOS7安装CDH 第九章：CDH中安装Kafka

CentOS7安装CDH 第十章：CDH中安装Spark2

CentOS7安装CDH 第十一章：离线升级CDH版本

CentOS7安装CDH 第十二章：YARN的资源调优

CentOS7安装CDH 第十三章：CDH资源池配置

CentOS7安装CDH 第十四章：CDH的优化

1. memory调优

调优的本质就是对内存进行设置，使服务能够充分利用内存，从而速度更快，假设一台机器有32G内存，那应该怎么设置DataNode和Nodemanager的内存配置，从而是服务跑得更快。在Linux中，一般使用机器内存的百分之八十五用于服务，其他的百分之十五用于Linux本机自己的运行。所以机器32G内存，其中可用于服务的内存有27G，分配如下：

DN: Heap Size: 4G (块内存)

NM: Heap Size: 3G (块内存)

yarn.nodemanager.resource.memory-mb : 20G         (资源内存)

yarn.scheduler.minimum-allocation-mb : 1G  默认1G   (最小内存)

yarn.scheduler.maximum-allocation-mb: 20G                   (最大内存)

2. CPU调优

CPU调优就是集群中服务的CPU核数进行设置，在此设置中，一般是设置的虚拟的核数，即线程数，假设该机器4个物理核，每个核2个线程，那可以把该参数设置为6，即如果运行spark的时候可以有6个task并行运行，这个参数默认是2，在线上的服务器是远远不够的，所以要进行设置，如下：

yarn.nodemanager.resource.cpu-vcores: 6  (6个task并行) 默认2

3. 调优总结

修改完，重启服务，生效配置

其他问题可以参考：http://blog.itpub.net/30089851/viewspace-2127851/

CentOS7安装CDH 第十二章：YARN的资源调优的更多相关文章

  1. CentOS7安装CDH 第十四章：CDH的优化

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  2. Yarn的资源调优

    一.概述 每个job提交到yarn上执行时,都会分配Container容器去运行,而这个容器需要资源才能运行,这个资源就是Cpu和内存. 1.CPU资源调度 目前的CPU被Yarn划分为虚拟CPU,这 ...

  3. CentOS7安装CDH 第十三章：CDH资源池配置

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. CentOS7安装CDH 第十一章：离线升级CDH版本

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  5. CentOS7安装CDH 第九章：CDH中安装Kafka

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  6. CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  7. CentOS7安装CDH 第六章：CDH的管理-CDH5.12

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  8. CentOS7安装CDH 第一章：CentOS7系统安装

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  9. CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

随机推荐

  1. Qt编写数据可视化大屏界面电子看板13-基础版

    一.前言 之前发布的Qt编写的可视化大屏电子看板系统,很多开发者比较感兴趣,也收到了很多反馈意见,纵观市面上的大屏系统,基本上都是B/S结构的web版本,需要在后台进行自定义配置模块,绑定数据源等,其 ...

  2. 迅速生成项目-react-static

    推荐指数:

  3. .Net Core 2.2 项目部署到IIS

    1.安装IIS所需的Host扩展 从官网(https://dotnet.microsoft.com/download/dotnet-core/2.2)下载对应的.net core版本的Runtime ...

  4. 【GStreamer开发】GStreamer基础教程14——常用的element

    目标 本教程给出了一系列开发中常用的element.它们包括大杂烩般的eleemnt(比如playbin2)以及一些调试时很有用的element. 简单来说,下面用gst-launch这个工具给出一个 ...

  5. 【GStreamer开发】GStreamer播放教程05——色彩平衡

    目标 亮度,对比度,色度和饱和度都是常见的视频调节参数,也是GStreamer里面设置色彩平衡的参数.本教程将展示: 如何发现可用的色彩平衡通道 如何改变它们 介绍 <GStreamer基础教程 ...

  6. MySQL优化详解

    MySQL优化 MYSQL优化主要分为以下四大方面: 设计:存储引擎,字段类型,范式与逆范式 功能:索引,缓存,分区分表. 架构:主从复制,读写分离,负载均衡. 合理SQL:测试,经验. 一.存储引擎 ...

  7. 最新 苏州朗动java校招面经 （含整理过的面试题大全）

    从6月到10月,经过4个月努力和坚持,自己有幸拿到了网易雷火.京东.去哪儿.苏州朗动等10家互联网公司的校招Offer,因为某些自身原因最终选择了苏州朗动.6.7月主要是做系统复习.项目复盘.Leet ...

  8. GitToc-为你的Github仓库的Readme自动生成一个目录

    维护自己的Github仓库的时候发现Github的Readme不支持Toc目录,所以就自己写了一个小工具. 工具地址:https://github.com/Holy-Shine/GitToc 简介 如 ...

  9. Eclipse下Maven安装和配置

    1. 下载 Maven 在百度输入 Maven 搜索 ,找到它的官网(http://maven.apache.org/),点击进入下载页面. 下载页面地址: http://maven.apache.o ...

  10. 【MPEG】DVB / ATSC / ISDB区别

    硬件的区别: 欧洲“DVB标准”和美国“ATSC数字电视标准”的主要区别如下: (1)方形像素:在ATSC标准中采纳了“方形像素”(Square Picture Eelements),因为它们更加适合 ...