CentOS7安装CDH 第十四章：CDH的优化

相关文章链接

CentOS7安装CDH 第一章：CentOS7系统安装

CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

CentOS7安装CDH 第三章：CDH中的问题和解决方法

CentOS7安装CDH 第四章：CDH的版本选择和安装方式

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章：CDH的管理-CDH5.12

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作

CentOS7安装CDH 第九章：CDH中安装Kafka

CentOS7安装CDH 第十章：CDH中安装Spark2

CentOS7安装CDH 第十一章：离线升级CDH版本

CentOS7安装CDH 第十二章：YARN的资源调优

CentOS7安装CDH 第十三章：CDH资源池配置

CentOS7安装CDH 第十四章：CDH的优化

1. 机器选型

机器选型时从CPU，MEMORY和DISK3个方面来选：

CPU:云服务器 |刀片服务器 （192G/56核/10T 7w人民币 --> 6台  32G/8核）

MEMORY: 越多越好

DISK:   评估当前未来2-3年的存储量  >7200转  IO  （ 5块/2T/10000转）

NetWork: 千兆/万兆 局域网

2. Linux参数

以下Linux参数设置为在centos6.x中通用，但在centos7应该也能使用：

1、句柄数 文件数 线程数

echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >>/etc/security/limits.d/90-nproc.conf

2、网络参数

more /etc/sysctl.conf |grep net.core.somaxconn
sysctl -w net.core.somaxconn=32768
echo net.core.somaxconn=32768 >> /etc/sysctl.conf
#生效
sysctl -p

3、调节交换内存(swap)

# 调节命令
more /etc/sysctl.conf | vm.swappiness
echo vm.swappiness = 10 >> /etc/sysctl.conf
#生效
sysctl -p

# 说明
vm.swappiness = 0  禁用？ 不是，惰性最大(积极性最差)，但依然会使用swap
vm.swappiness = 10 惰性稍微大(积极性稍等差)，使用swap
计算密集型作业 --》swap不启用，仅仅使用内存计算，当内存不够，作业自动被yarn kill  不允许慢，可以允许挂
不是密集型计算  swap启用，允许作业慢，但不允许挂

可以使用free -h命令查看swap的使用情况：

4、关闭大页面

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local

3. HDFS调优

在HDFS的config中配置如下参数：

<property>
    <name>ipc.server.listen.queue.size</name>
    <value>32768</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
</property>

4. YARN调优

在yarn的config的core-site.xml中配置如下配置：

<property>
       <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
       <value>1024</value>
      <discription>单个任务可申请最少内存，默认1024MB</discription>
</property>

 <property>
         <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
        <discription>单个任务可申请最大内存，默认8192MB</discription>
</property>
<property>
           <name>yarn.nodemanager.resource.cpu-vcores</name>
           <value>4</value>
</property>

5. 调优网站

更多调优请参考如下2个网站，里面有关于CDH中的调优的详细介绍：

http://blog.itpub.net/30089851/viewspace-2127850/

http://blog.itpub.net/30089851/viewspace-2127851/