CDH支持Yum包,Tar包,RPM包,Cloudera Manager(CM)四种安装方式

Cloudera Manager(CM) 用于CDH集群管理,可进行节点安装,配置,服务管理等,提供Web窗口界面以提高Hadoop配置可见度,从而降低集群参数设置的复杂度。

 
****Cloudera Manager安装(全部使用普通用户hadoop的sudo权限实现)
0.0,使用root添加hadoop用户并附加sudo权限
    adduser hadoop
    echo hadoop | passwd --stdin hadoop
    chmod u+w /etc/sudoers
    添加:hadoop ALL=(root) NOPASSWD:ALL
deployer ALL=(root) NOPASSWD:ALL
    chmod u-w /etc/sudoers
0,关闭防火墙和selinux,及配置信任关系
    service iptables status
    service iptables stop
    chkconfig --list|grep iptables
    chkconfig iptables off
    vim /etc/sysconfig/selinux
    SELINUX=disabled
1,配置主机名
    vim /etc/hosts
        192.168.1.101    cdh1
        192.168.1.102    cdh2
        192.168.1.103    cdh3
2,配置hadoop用户SSH免密码登录
    (1)ssh-keygen -t rsa
        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  或  (2)ssh-copy-id cdh1     验证 : ssh cdh1
        (3)两两节点之间的SSH免密码登陆
           ssh-copy-id -i  cdh2-*      #scp ~/.ssh/authorized_keys   cdh2:/hadoop/.ssh/ 
3,卸载jdk
    rpm -qa|grep java
    rpm -qa|grep jdk
    rpm -e ** --nodeps
4,设置本地Yum源

4.1查看httpd是否安装并启动
        rpm -qa|grep httpd    若没安装 : sudo yum install -y httpd
        service httpd status    
        sudo service httpd start 通过 http://192.168.1.101/ 进行验证 
        设置开机启动 sudo chkconfig httpd on
    4.2.1下载cm安装包与软件包到 /opt 目录下(cm,cdh所有默认安装均在/opt下,可以将/opt更改为hadoop用户 sudo chown -R hadoop:hadoop /opt/ )
        cm installer : http://archive.cloudera.com/cm5/installer/    
        cm repo-as-tarball : http://archive.cloudera.com/cm5/repo-as-tarball/ 
    4.2.2解压 repo-as-tarball 到 /var/www/html/ 目录下
        tar xzvf ./cm5.7.0-centos6.tar.gz -C /var/www/html/
        验证查看    http://192.168.1.101/cm/    5.7.0安装包在/cm目录下
    4.2.3设置与官网相同目录结构(http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/)
        在 /var/www/html/ 下递归创建 cm5/redhat/6/x86_64 目录    sudo mkdir -p cm5/redhat/6/x86_64
                将 cm 文件夹mv到 cm5/redhat/6/x86_64 目录下    sudo mv cm cm5/redhat/6/x86_64/
                验证查看    http://192.168.1.101/cm5/redhat/6/x86_64/cm/ (查看与官网目录结构相同)
    4.2.3配置Yum源映射http://192.168.1.101/cm5/redhat/6/x86_64/cm/目录
                1.切换到 /etc/yum.repos.d 目录    cd /etc/yum.repos.d/

                2.创建repo文件写入配置    sudo vim cloudera-manager.repo              
  1. [cloudera-manager]
  2. name=cloudera-manager
  3. baseurl=http://cdh1/cm5/redhat/6/x86_64/cm/5/
  4. enabled = 1
  5. gpgcheck = 0
5,安装installer执行文件 (!notice: 1,CRT不能乱码 2,可用内存必须要>4G 3,必须使用root用户)
    5.1给予权限:chmod u+x cloudera-manager-installer.bin
    5.2一路下一步:

等到安装完成,可以观察日志查看安装状态:/var/log/cloudera-manager-installer/*.log

等待一段时间访问 http://192.168.1.101:7180 或 http://cdh1:7180 进行访问,初始用户名/密码 : admin/admin
cm日志文件目录 : /var/log/cloudera-scm-server/*.log 后期可通过日志进行
 
 
****通过Cloudera Manager实现CDH安装(比较简单,完全图形化操作)
1,主机检索步骤略
2,部署CDH使用的parcels包
    2.1下载CDH安装包 http://archive.cloudera.com/cdh5/parcels/ (!下载的CDH安装包一定要和CM包匹配,切下载与系统匹配的文件!)
    2.2上传至指定目录 cd /var/www/html;sudo mkdir parcels
    2.3修改 sudo mv CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha
    2.4查看验证 http://192.168.1.101/parcels/ 
    进入集群安装页面

 
点击更多选项,配置 远程 Parcel 存储库 URL
删除其他外网全程下载,配置本地下载库(查看http://cdh1/parcels/可以访问)

选择自定义存储库(确保CM自定义存储库可以访问)

选择安装JDK,继续

不启用单用户模式,继续
选择其他用户 hadoop,输入密码,继续
等待安装,完成继续(时间取决于机器性能及各节点间网络传输速度)
安装完成,继续
排除警告:echo 0 > /proc/sys/vm/swappiness;echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
继续进入添加部署服务页面
选择要添加的服务即可。安装mysql用来存储hive与cmmetadata
安装MySQL
通过 yum -y install mysql-server 安装mysql服务器,chkconfig mysqld on 设置开机启动并 service mysqld start 启动mysql服务,并根据提示设置root的初试密码: mysqladmin -u root password 'root' 
mysql -uroot -proot 进入mysql命令行,创建以下数据库:
  1. #hive
  2. create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  3. #activity monitor
  4. create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  5. #授权root用户在主节点拥有所有数据库的访问权限
  6. grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
  7. grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant option;
  8. flush privileges;
若使用默认数据库,记下用户名密码
最后,部署,配置根据项目中实际需求进行配置使用
 
 
 
 

CDH 离线安装 CM的更多相关文章

  1. CDH离线安装

    1. 安装准备 系统:Centos 6 Cloudera Manager分配如下: 安装版本:CDH-5.8.0 所需安装文件 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6 ...

  2. CDH离线安装之安装包下载地址

    cloudermanager安装包地址:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.0_x86_64.tar.gz, ...

  3. CDH6.2.0离线安装(详细)

    目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要 ...

  4. CentOS 6.4 离线安装 Cloudera 5.7.1 CDH 5.7.1

    因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以 ...

  5. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装

    一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...

  6. CentOS 7离线安装CDH 5.16.1完全指南(含各种错误处理)

    安装包下载 1.CM软件包下载 从http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/下载rpm包,如下: 其实 ...

  7. CDH平台搭建解决离线安装依赖包的方法

    背景介绍: 1CDH开发平台在搭建的过程中,会遇到各种各样的问题,其中的各种依赖就是一个很让人头痛的问题.如果安装脚本文件出现了这种问题,那么就可以把以下的这种方法加入shell中,但是不要用yum来 ...

  8. Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]

    目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Ma ...

  9. 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

随机推荐

  1. springboot前后端分离项目redis做验证码及用户信息存储验证长时间不操作失效问题解决

    1.错误回显:Error in execution; nested exception is io.lettuce.core.RedisCommandExecutionException: MISCO ...

  2. Python3 批量修改JPG图片尺寸

    功能 批量修改当前文件夹下的jpg图片到设置的尺寸 将修改后的图片移动到 new_img 这个文件夹下 导入库 from PIL import Image # 处理图片模块 import os imp ...

  3. 洛谷P-4782 2-sat+Tarjan

    https://www.luogu.org/problemnew/solution/P4782 这里的大佬已经说的够好了 #include<iostream> #include<cs ...

  4. NOIP2009 压轴---最优贸易

    链接:https://ac.nowcoder.com/acm/contest/959/H来源:牛客网 C国有n个大城市和m条道路,每条道路连接这n个城市中的某两个城市.任意两个城市之间最多只有一条道路 ...

  5. 通过nginx搭建基于python的web环境

    前言: 在搭建开始前,我们先来梳理下web服务工作流程,先看下图: 1.用户(PC)向web服务器发起http请求 2.web服务器判断用户请求文件是否为静态文件,是则直接读取静态文件并返回给用户,不 ...

  6. web前端安全——常见的web攻击方法

    面试题:你所了解的web攻击? 1.xss攻击 2.CSRF攻击 3.网络劫持攻击 4.控制台注入代码 5.钓鱼 6.DDoS攻击 7.SQL注入攻击 8.点击劫持 一.xss攻击 XSS攻击:跨站脚 ...

  7. Qt5学习(1)

    1. In Qt, if you want to apply styles to the main window  itself, you must apply it to  its central ...

  8. 【Java基础总结】总结

    总想着把学习的过程全都记录下来 以便某一时刻回头的时候,还能看见走过的路 对于基础来说,即使不回头看,也知道这条路是什么样子的 记录不记录,都无所谓 况且我不是专业的记录者,不记录比记录好 实在想不起 ...

  9. 安装Mysql 8.0的艰难体验

    背景: Mysql 8.0 以后版本,在性能等方面有了很大提升,而且在自动编号.Timestamp等字段的设置上有了很方便的进步,因此在一年前即开始将原有的基于5.5版本的服务器逐渐向8.0转移.但转 ...

  10. UAF——use after free

    本文系pwn2web原创,转载请说明出处 UAF 漏洞,英文原名use after free,该漏洞简洁的可以概括为 分配一块内存 free该内存但不回收,构成悬垂指针 再次构造分配同样大小的内存,按 ...