hadoop集群的规划和搭建

1.操作系统版本：CentOS 6

CM版本：CM5.x

CDH版本：CDH5.x

2.安装操作系统，对系统盘做 RAID1；

配置静态IP、hostname信息：vim /etc/sysconfig/network-scripts/ifcfg-eth0

并配置所有节点的静态DNS解析: vim /etc/hosts

若启用集群的Kerberos认证功能，则一定要配置集群的DNS域名，可以是假域名：vim /etc/sysconfig/network,  /etc/hosts处主机名也要加带域名的主机名，如:     192.168.0.3  sb-node1.example.com    sb-node1

如果机器配置有双网卡，可以做双网卡绑定

关闭并禁用iptables：

service iptables stop

chkconfig iptables off

关闭SELinux

echo "SELINUX=disabled" > /etc/sysconfig/selinux

重启网络服务  /etc/init.d/network restart

启用nscd（DNS缓存）

yum install -y nscd

service nscd start

chkconfig nscd on

修改transparent_hugepage参数，这个参数默认值可能会导致CDH性能下降

#在/etc/rc.local中增加一行     echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

若kernel版本在.6.32-303之前的版本，关闭内存页面交换，因为某些情况下会导致CDH性能下降

vim /etc/sysctl.conf    增加一行 vm.swappiness=0

sudo sysctl vm.swappiness=0

在要作为repo库的节点上安装毕业软件，含http服务和repo创建工具

yum install createrepo

yum install httpd

service httpd start

chkconfig httpd on

磁盘划分....

角色划分.....

**详细见CDH集群的企业部署