CDH 离线安装 CM

CDH支持Yum包，Tar包，RPM包，Cloudera Manager(CM)四种安装方式

Cloudera Manager(CM) 用于CDH集群管理，可进行节点安装，配置，服务管理等，提供Web窗口界面以提高Hadoop配置可见度，从而降低集群参数设置的复杂度。

 

****Cloudera Manager安装(全部使用普通用户hadoop的sudo权限实现)

0.0,使用root添加hadoop用户并附加sudo权限

    adduser hadoop

    echo hadoop | passwd --stdin hadoop

    chmod u+w /etc/sudoers

    添加：hadoop ALL=(root) NOPASSWD:ALL

deployer ALL=(root) NOPASSWD:ALL

    chmod u-w /etc/sudoers

0,关闭防火墙和selinux，及配置信任关系

    service iptables status

    service iptables stop

    chkconfig --list|grep iptables

    chkconfig iptables off

    vim /etc/sysconfig/selinux

    SELINUX=disabled

1,配置主机名

    vim /etc/hosts

        192.168.1.101    cdh1

        192.168.1.102    cdh2

        192.168.1.103    cdh3

2,配置hadoop用户SSH免密码登录

    (1)ssh-keygen -t rsa

        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  或  (2)ssh-copy-id cdh1     验证 : ssh cdh1

        (3)两两节点之间的SSH免密码登陆

           ssh-copy-id -i  cdh2-*      #scp ~/.ssh/authorized_keys   cdh2:/hadoop/.ssh/ 

3,卸载jdk

    rpm -qa|grep java

    rpm -qa|grep jdk

    rpm -e ** --nodeps

4,设置本地Yum源

4.1查看httpd是否安装并启动
        rpm -qa|grep httpd    若没安装 : sudo yum install -y httpd
        service httpd status    
        sudo service httpd start 通过 http://192.168.1.101/ 进行验证 
        设置开机启动 sudo chkconfig httpd on
    4.2.1下载cm安装包与软件包到 /opt 目录下(cm,cdh所有默认安装均在/opt下,可以将/opt更改为hadoop用户 sudo chown -R hadoop:hadoop /opt/ )
        cm installer : http://archive.cloudera.com/cm5/installer/    
        cm repo-as-tarball : http://archive.cloudera.com/cm5/repo-as-tarball/ 
    4.2.2解压 repo-as-tarball 到 /var/www/html/ 目录下
        tar xzvf ./cm5.7.0-centos6.tar.gz -C /var/www/html/
        验证查看    http://192.168.1.101/cm/    5.7.0安装包在/cm目录下
    4.2.3设置与官网相同目录结构(http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/)
        在 /var/www/html/ 下递归创建 cm5/redhat/6/x86_64 目录    sudo mkdir -p cm5/redhat/6/x86_64
                将 cm 文件夹mv到 cm5/redhat/6/x86_64 目录下    sudo mv cm cm5/redhat/6/x86_64/
                验证查看    http://192.168.1.101/cm5/redhat/6/x86_64/cm/ (查看与官网目录结构相同)
    4.2.3配置Yum源映射http://192.168.1.101/cm5/redhat/6/x86_64/cm/目录
                1.切换到 /etc/yum.repos.d 目录    cd /etc/yum.repos.d/

                2.创建repo文件写入配置    sudo vim cloudera-manager.repo              

1. [cloudera-manager]
2. name=cloudera-manager
3. baseurl=http://cdh1/cm5/redhat/6/x86_64/cm/5/
4. enabled = 1
5. gpgcheck = 0

5,安装installer执行文件 (!notice: 1,CRT不能乱码 2,可用内存必须要>4G 3,必须使用root用户)

    5.1给予权限：chmod u+x cloudera-manager-installer.bin

    5.2一路下一步：

。

等到安装完成，可以观察日志查看安装状态：/var/log/cloudera-manager-installer/*.log

等待一段时间访问 http://192.168.1.101:7180 或 http://cdh1:7180 进行访问，初始用户名/密码 : admin/admin

cm日志文件目录 : /var/log/cloudera-scm-server/*.log 后期可通过日志进行

 

 

****通过Cloudera Manager实现CDH安装(比较简单，完全图形化操作)

1,主机检索步骤略

2,部署CDH使用的parcels包

    2.1下载CDH安装包 http://archive.cloudera.com/cdh5/parcels/ (!下载的CDH安装包一定要和CM包匹配，切下载与系统匹配的文件！)

    2.2上传至指定目录 cd /var/www/html;sudo mkdir parcels

    2.3修改 sudo mv CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha

    2.4查看验证 http://192.168.1.101/parcels/ 

    进入集群安装页面

 

点击更多选项，配置 远程 Parcel 存储库 URL

删除其他外网全程下载，配置本地下载库(查看http://cdh1/parcels/可以访问)

选择自定义存储库(确保CM自定义存储库可以访问)

选择安装JDK，继续

不启用单用户模式，继续

选择其他用户 hadoop，输入密码，继续

等待安装，完成继续(时间取决于机器性能及各节点间网络传输速度)

安装完成，继续

排除警告：echo 0 > /proc/sys/vm/swappiness;echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

继续进入添加部署服务页面

选择要添加的服务即可。安装mysql用来存储hive与cmmetadata

安装MySQL

通过 yum -y install mysql-server 安装mysql服务器,chkconfig mysqld on 设置开机启动并 service mysqld start 启动mysql服务，并根据提示设置root的初试密码： mysqladmin -u root password 'root' 

mysql -uroot -proot 进入mysql命令行，创建以下数据库：

1. #hive
2. create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3. #activity monitor
4. create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5. #授权root用户在主节点拥有所有数据库的访问权限
6. grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
7. grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant option;

8. flush privileges;

若使用默认数据库，记下用户名密码

最后，部署，配置根据项目中实际需求进行配置使用