CDH离线安装

1. 安装准备

• 系统:Centos 6
• Cloudera Manager分配如下：

　　

• 安装版本：CDH-5.8.0
• 所需安装文件　　
  • CDH相关

　　　　　　CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel

　　　　　　CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
　　　　　　manifest.json

• Cloudera Manager相关

　　　　　　cloudera-manager-el6-cm5.13.0_x86_64.tar.gz

• • 下载地址
    http://archive.cloudera.com/cdh5/parcels/5.8/
    http://archive.cloudera.com/cm5/cm/5/

2. 开始安装-服务器环境配置

a) 三台机器配置免密登陆。

在每台服务器分别生成各自的公钥私钥命令如下
　　 ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa
　　 此时查看 ~/.ssh目录下，会有两个文件，id_rsa(私钥)、id_rsa.pub(公钥)
将id_rsa.pub文件内容拼接到每台服务器的~/.ssh/authorized_keys文件
　　 命令如下
　　 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

b) 防火墙关闭

service iptables stop
chkconfig iptables off
如果系统为centos7
systemctl stop firewalld

c) 安装JDK并配置环境变量

在~/.bash_profile中或者/etc/profile中配置

d) 安装NTP，保证节点时间一致

yum install ntp -y
chkconfig ntpd on
ntpdate cn.pool.ntp.org

e) 安装配置mysql，在CM-SERVER(231)节点

yum install mysql-server
mysqld start
chkconfig mysqld on
chkconfig –list mysqld
修改权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'yourpassword' WITH GRANT OPTION;
flush privileges;

f) 下载第三方包(每台机器上)

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb –y
注意:http://192.168.1.231/cdh5/5.10/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - "The requested URL returned error: 404 Not Found"
尝试其他镜像。
错误：Cannot retrieve repository metadata (repomd.xml) for repository: cloudera-cdh5. Please verify its path and try again
进入到/etc/yum.repos.d下，将cloudera相关的删掉
rm -rf cloudera-*

3. 安装Cloudera-Manager

a) 每台服务器上新建目录,并上传CM安装文件，解压

mkdir /opt/cloudera-manager
tar –zxvf cloudera-manager-el6-cm5.13.0_x86_64.tar.gz

b) 每台服务器创建用户cloudera-scm

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

c) 配置CM Agent

修改文件/opt/cloudera-manager/cm-5.13.0/etc/cloudera-scm-agent/config.ini

指定server是哪台
# Hostname of the CM server.
server_host=bdata31

d) 配置CM Server数据库(server节点做)

将mysql驱动jar包放在目录/usr/share/java下，名称为
mysql-connector-java.jar(必须为此名称)
给新建的用户添加mysql权限
grant all on *.* to 'root'@'%' identified by 'dpibigdata' with grant option;
flush privileges;
给CM配置mysql
cd /opt/cloudera-manager/cm-5.13.0/share/cmf/schema/
./scm_prepare_database.sh mysql cloudera -h bdata31 -uroot -pdpibigdata --scm-host bdata31 scm scm scm
依次对应数据库类型、数据库、数据库所在服务器、用户名、密码、cm service服务器
看到
All done, your SCM database is configured correctly!
说明配置成功

e) 创建parcel目录

Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

f) 将这三个文件放入server的/opt/cloudera/parcel-repo下

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json
注意：需要将CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1改为
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha
否则在安装页面会检测不到parcel包

4. 启动CM

a) 启动cm-server（server节点）

cd /opt/cloudera-manager/cm-5.13.0/etc/init.d/
./cloudera-scm-server start
server首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
可监控server的日志
tail -f cloudera-scm-server.log
看到此行说明启动成功，可以进行下一步操作
2017-11-17 12:17:39,288 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

b) 启动cm-agent（agent节点）

cd /opt/cloudera-manager/cm-5.13.0/etc/init.d

./cloudera-scm-agent start

5. 此时可以访问server服务器7180节点来安装CDH

用户名密码都是admin

选择免费版本->继续

选择免费版本

为CDH集群安装指定主机
192.168.1.231,192.168.1.232,192.168.1.233
点击搜索可看到结果列表，当前受管应该都为是，否则说明agent有问题

直接使用本地JDK,不需要勾选

此处不选择单用户模式，继续

填写服务器密码,继续

注意：
BEGIN host -t PTR 192.168.1.231
231.1.168.192.in-addr.arpa domain name pointer bogon.
END (0)
using bogon as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' bogon 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.gaierror: [Errno -2] Name or service not known
END (1)
could not contact scm server at bogon:7182, giving up
waiting for rollback request

有可能是因为重启agent的时候supervisord进程没关掉
ps -ef|grep supervisord
kill -9 进程ID

检查完成

选择自定义服务

选择HDFS Hive YARN

配置节点信息

配置hive数据库

默认，继续

等待安装完成，继续

完成。