cloudera安装笔记

Cloudera安装教程

教程1：http://blog.csdn.net/a921122/article/details/51939692
教程2：http://www.6gdown.com/softedupage/60099.html

1. 准备机器环境

● 五台centos 6.6 机器： 安装在Vmware虚拟机上,（公司的机器做了虚拟化）。
vmware 虚拟机的服务器地址是：192.168.1.20; 用户名：wuchao；密码：Password123; root 用户密码 CDH5.7Cluster
● 五台机器的ip、用户名、密码分别是：
CDHCluster57-01 192.168.1.208/node01 bigdata Password123
CDHCluster57-02 192.168.1.206/node02 bigdata Password123
CDHCluster57-03 192.168.1.205/node03 bigdata Password123
CDHCluster57-04 192.168.1.204/node04 bigdata Password123
CDHCluster57-05 192.168.1.203/node05 bigdata Password123

2. 安装文件准备 c:\doc_sofs

● cloudera-manager-el6-cm5.7.0_x86_64.tar.gz cloudera Manager安装文件
● CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel cloudera安装文件
● CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 clouderaa安装文件完整性校验文件
● manifest.json cloudera linux源json文件
● mysql-connector-java-6.0.4.tar.gz mysql驱动

3. 配置网络

● 配置/etc/hosts, node01、node02、node03、node04、node05 【done】
● 配置 ssh 无秘钥登录 【done】
● 关闭防火墙 【done】
● 关闭SELinux 【done】 、
● ntp时间同步服务安装 ， 但是如果以后，这些服务器不能连接外网，咋办？【done】

4. 配置软件

● JDK 安装目录 /usr/java，配置/etc/profile中的 JAVA_HOME 和 CLASSPATH 【done】
● 主节点node01配置安装mysql，创建初始数据库，为主节点 node01授权访问权限【done】
●
● node01 解压 cloudera Manager到/opt中，得到两个目录 /opt/cm-5.7.0 和 /opt/cloudera：
○ 将 jdbc-connecter 放入 /opt/cm-5.7.0 的lib目录中; 【done】
○ 将 cloudera的三个安装文件放入 /opt/cloudera中的repo仓库目录中; 【done】
○ 最后执行 scp -r /opt/cm-5.7.0 root@node(x):/opt （原来这就是安装agent）; 【done】
● 所有节点建立 cloudera-scm 用户 【done】
● node01 启动scm-server + scm-agent， 其余所有节点启动agent 【done】
● 在主节点中打开浏览器，用localhost：7180启动页面，第一次可能没有结果稍微等待一下，就会看到界面；【done】

-----------------------------------------------------------
教程1，安装失败，现在改用教程2进行测试，

5. 清理教程1的环境
● 将node01、node02、node03、node04、node05 中 opt目录下的cm-5.7.0目录重命名为 cm-5.7.0.setup1.bak ，将cloudera重命名为cloudera.setup1.bak

6. rpm安装cloudera Manager
● 文件准备：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/RPMS/x86_64/

● node01 作为master节点，安装所有rpm，其余节点安装：cloudera-manager-agent.rpm 和 cloudera-manager-daemons.rpm；
● node02 在昨晚的online在线安装中，已经通过yum安装了 agent + daemon ，所以还是通过 yum来卸载这两个服务，再用yum进行本地安装
● 发现一个方法，通过scp无密码登录，发送 安装rpm包及安装命令，是一件非常省时省力的事情