CDH 安装

CDH 安装

市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本（Hortonworks Data Platform，简称“HDP”）

cm-cloudera managerment 下载地址：https://www.cloudera.com/downloads/manager/5-16-1.html

cdh-5.16.1 载地址：http://archive.cloudera.com/cdh5/parcels/5.16.1/

一、系统环境搭建

(1) 网络配置

vi /etc/hosts

(2) SSH 免密码登录

# 所有设备生成公钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 直接远程授权，这样 master 通过 ssh 就可以远程登录本机了，所有设备(包括自己)均拷贝公钥到 master
ssh-copy-id root@master
# 将 master 的公钥分发到所有设备上，这样所有的设备就互相互信完成了
scp ~/.ssh/authorized_keys root@slave1

更多 SSH 免密码登录详见：https://www.cnblogs.com/binarylei/p/9049149.html

(3) 关闭防火墙和 SELINUX

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld     # 永久关闭防火墙

# 关闭 SELINUX
setenforce 0
vi /etc/selinux/config  (SELINUX=disabled)

(4) 安装 JDK

(5) 安装 MySQL

MySQL 版本选择 5.6，安装详见：https://www.cnblogs.com/binarylei/p/9026422.html

(6) ntp 时间同步

yum install ntp                    # 安装 ntp
systemctl start ntpd               # 启动
systemctl enable ntpd              # 设置开机自启动

ntp 时间同步配置：修改 /etc/ntp.conf 文件，注释掉外网时间服务器，添加本地服务器即可

vi /etc/ntp.conf
server 192.168.180.190                  # 添加此行
#server 0.centos.pool.ntp.org iburst    # 以下四行注释掉
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

(7) 下载依赖包

CentOS 需要安装以下依赖，如果是其它操作系统可能不一样

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

二、Cloudera Manager Service 安装

(1) 安装 Cloudera Manager Server 和 Agent

mkdir -p /opt/cloudera-manager
tar -zxvf cloudera-manager-el7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/

# 修改 CM 的配置文件
vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent
server_host=CDH-01
server_port=7182

# 分发
scp -r /opt/cloudera-manager root@CDH-02:/opt
scp -r /opt/cloudera-manager root@CDH-03:/opt

(2) 创建用户（用户名固定 cloudera-scm）

useradd
  --system                                              # 表示创建的是一个系统用户
  --no-create-home                                      # 不在创建主目录
  --shell=/bin/false                                    # 不作用服务器的登陆用户
  --comment "Cloudera SCM User"                         # 备注
  cloudera-scm                                          # 用户名

验证：

cat /etc/passwd | grep  cloudera-scm

(3) 配置 CM Server 数据库

# 执行下面的命令后会创建 scm 的数据库和 scm 的账号
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh
-h CDH-01 -uroot -p123456 --scm-host CDH-01 mysql scm scm scm

报错： 缺少驱动包 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

解决：

将驱动包放入当前服务器的 /usr/share/java 目录下，将分发到其到节点上。CM 管理的集群（hive sqoop）都会默认到 /usr/share/java 下找驱动包。 注意：mysql-connector-java.jar 名称不能更改

(3) 创建 Parcel 源

1）创建目录
    mkdir -p /opt/cloudera/parcel-repo   # 在 server上创建
    mkdir -p /opt/cloudera/parcels       # 在所有的 agent 节点上创建
    mkdir -p /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent    # 在所有的 agent 节点上创建
2）将 CDH 的源移动到 sever 的 parcel-repo 目录下
3）修改校验码文件名称
    mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
4）修改 parcel-repo parcels 目录的所属人
    chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/   # 在 server 上
    chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels        # 在 agent 上

(4) 启动 CM Server 和 Agent

# 启动 server 和 agent 服务
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

日志查看 tail –f /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server/cloudera-scm-server.log

web 页面 192.168.180.100:7180

---

每天用心记录一点点。内容也许不重要，但习惯很重要！