centos6上安装CDH5.7

目录

一、环境说明及所需软件包... 1

1、环境说明... 1

2、所需软件及说明... 1

二、安装前的主机准备(所有主机都有做) 2

1、配置主机名和修改host文件... 2

2、下载系统基本软件包... 2

3、关闭防火墙和selinux. 3

4、ssh免密码登录... 3

5、ntp同步... 3

6、禁止交换... 3

7、禁用大页面... 3

8、修建linx进程最多打开数... 4

9、安装jdk. 4

三、部署cm和cdh. 4

1、安装mysql 4

2、开始安装cm和cdh. 5

一、环境说明及所需软件包

1、环境说明

(本次基于centos6.6系统)

主机ip	主机名	角色
10.2.24.34	cdh1.hadoop.com	CMserver,agent
10.2.24.35	cdh2.hadoop.com	agent
10.2.32.104	cdh3.hadoop.com	agent
10.2.32.105	cdh4.hadoop.com	agent

2、所需软件及说明

1）JDK1.7

2）Cloudera Manager

下载地址： https://archive.cloudera.com/cm5/cm/5/

说明：CM的各个平台，版本的包都在这里了，各取所需。根据我的环境，下载的是

cloudera-manager-el6-cm5.7.0_x86_64.tar.gz

3）CDH

下载地址：http://archive.cloudera.com/cdh5/parcels/5.7.0/

说明：和上面CM一样，各取所需。需要下载3个文件

CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel

CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1（注意下载后要把后缀 .sha1 改为 .sha）

manifest.json

4）mysql

说明：本次使用的是mysql5.7

5）数据库驱动

说明：注意默认的数据驱动是有版本号的，比如mysql-connector-java-xxx.jar，

这里要把版本号去掉mysql-connector-java.jar

二、安装前的主机准备(所有主机都有做)

1、配置主机名和修改host文件

1）配置静态IP

略

2)配置各个主机名

cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=cdh1.hadoop.com

3)修改host文件

> /etc/hosts

echo '127.0.0.1   localhost localhost.localdomain'>>/etc/hosts

echo '10.2.24.34  cdh1.hadoop.com'>>/etc/hosts

echo '10.2.24.35  cdh2.hadoop.com'>>/etc/hosts

echo '10.2.32.104  cdh3.hadoop.com'>>/etc/hosts

echo '10.2.32.105  cdh4.hadoop.com'>>/etc/hosts

2、下载系统基本软件包

yum -y install iproute net-tools lrzsz wget ntp* numactl psmisc vim

3、关闭防火墙和selinux

service iptables stop

chkconfig iptables off

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

4、ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id cdh1.hadoop.com

ssh-copy-id cdh2.hadoop.com

ssh-copy-id cdh3.hadoop.com

ssh-copy-id cdh4.hadoop.com

5、ntp同步

时间更改

ntpdate pool.ntp.org

date

echo '*/10 * * * * /usr/sbin/ntpdate pool.ntp.org' >>/var/spool/cron/root

crontab -l

#########以上做完重启机器

6、禁止交换

echo 'vm.swappiness=10'  >>/etc/sysctl.conf

sysctl vm.swappiness=10

sysctl -p

7、禁用大页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

#添加到自动启动

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >>/etc/rc.local

echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >>/etc/rc.local

cat /etc/rc.local

chmod +x /etc/rc.d/rc.local

8、修建linx进程最多打开数

对文件打开数linux有两种限制：用户和系统

修改对用户级别的限制(永久生效)

echo '* soft nofile 655350' >>/etc/security/limits.conf

echo '* hard nofile 655350' >>/etc/security/limits.conf

修改对系统级别的限制(永久生效)

echo "655350" > /proc/sys/fs/file-max

重新打开xshell，连接主机校验配置是否生效

ulimit -a | grep open 查看

9、安装jdk

mkdir /usr/java

tar xf jdk-7u79-linux-x64.tar.gz

mv jdk1.7.0_79 /usr/java/jdk1.7

cat /etc/profile #添加java环境变量

export JAVA_HOME=/usr/java/jdk1.7

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

source /etc/profile

java -version

三、部署cm和cdh

1、安装mysql

（在规划的节点上，本次把mysql安装在了cm机器上）

检查，有就卸载

rpm -qa mysql*

rpm -e --nodeps 包

tar xf mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz

mv mysql-5.7.23-linux-glibc2.12-x86_64 /usr/local/mysql

useradd -r mysql

cd /usr/local/mysql

chown -R root:mysql .

mkdir -p /usr/local/mysql/data/

#添加mysql环境变量

echo 'export MYSQL_HOME=/usr/local/mysql' >>/etc/profile

echo 'export PATH=$MYSQL_HOME/bin:$MYSQL_HOME/lib:$PATH' >>/etc/profile

source /etc/profile

#初始化数据库

mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

#启动

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

/etc/init.d/mysqld start

登录创建库

mysql

grant all on *.* to 'root'@'localhost' identified by 'root';

grant all on *.* to 'root'@'%' identified by 'root';

flush privileges;

CREATE DATABASE `cm` CHARACTER SET utf8 COLLATE utf8_general_ci;  #创建cm初始化要用到的数据库

2、开始安装cm和cdh

1)在所有节点，将上面准备好的数据库驱动上传到/usr/share/java目录下

mkdir /usr/share/java

mv mysql-connector-java.jar /usr/share/java/

2)在所有节点创建目录，并把cm包移动到指定目录

mkdir /opt/cloudera-manager

tar xf /software/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz -C /opt/cloudera-manager/

3）在所有节点，创建用户，这是CM需要使用的用户

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4）在server节点，创建CM服务本地数据存放目录，并赋予权限

mkdir /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

5）在所有的agent节点，执行命令（如果cm也做agent，也要执行）：#修改server_host为server节点的主机名

sed -i s/server_host=localhost/server_host=cdh1.hadoop.com/g /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini

6）在server节点上执行命令。初始化数据库scm。mysql scm scm scm分别代表：数据库类型  database名称   数据库用户名   数据库密码

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm root root

7）在主节点执行，创建CDH文件存放目录

mkdir /opt/cloudera/

cd /opt/cloudera

mkdir parcel-repo

把上面的cdh三个包放到parcel-repo目录下

一定注意把sha1改成sha

8)启动

在server节点，启动CM server

/opt/cloudera-manager/cm-5.14.3/etc/init.d/cloudera-scm-server start

在agent节点，启动CM agent

/opt/cloudera-manager/cm-5.14.3/etc/init.d/cloudera-scm-agent start

agent启动可能会出错：

解决：mkdir /opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-agent

稍等一会，访问地址：serverip:7180，出现界面如下，用户名密码都是admin。接下来就是一步一步的配置。