文章全部来自：Cloudera Manager （centos）安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
(出处: about云开发)

这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
问题导读： 1.安装需要做哪些准备？ 2.如何安装CM？ 3.如何通过CM安装CDH？ 4.CM及CDH安装的过程都包含什么？

相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

目 录

1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

使用Cloudera Manager安装Hadoop

运行环境软硬件环境l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存 l  虚拟软件：VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统：CentOs 64bit，单核，2G内存 l  JDK：1.7.0_45 64 bit l  Hadoop：2.2.0

集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下： l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建 本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP1.    点击System-->Preferences-->Network Connections，如下图所示：
<ignore_js_op>

1.png (213.99 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

      IP地址： 10.88.147.221
      子网掩码： 255.255.255.0
      网关：     10.88.147.1
      DNS：    10.*.*.* (使用DNS上网需要设置)
<ignore_js_op>

2.png (165.97 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:06 上传

 

3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
<ignore_js_op>

3.png (57.31 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置Host文件1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下： l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
<ignore_js_op>

4.png (20.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3.    验证设置是否成功 <ignore_js_op>

5.png (30.25 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启 <ignore_js_op>

6.png (46.07 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令关闭iptables，执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux1.    使用getenforce命令查看是否关闭
<ignore_js_op>

7.png (16.03 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
<ignore_js_op>

8.png (38.67 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1

<ignore_js_op>

9.png (14.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
<ignore_js_op>

10.png (53.72 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
<ignore_js_op>

11.jpg (21.61 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
<ignore_js_op>

12.png (45.94 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

13.png (34.79 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

6.    把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
<ignore_js_op>

14.png (78.62 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

7.    把该文件分发到其他两个从节点上 使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
<ignore_js_op>

15.png (65.84 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

16.png (36.32 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

8.    测试ssh免密码登录是否生效
<ignore_js_op>

17.png (54.92 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager安装 下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得：
这里选择Cloudera Manager 最新版5.0.1

下载Cloudera Manager所需的rpm包

下载网址为：

安装rpm文件 l 将下载的rpm包放入文件夹rpm（文件夹名随意） l cd  ./rpm（进入rpm目录） l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限） l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
<ignore_js_op>

18.png (32.94 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为：localhost   修改后为：localhost.localdomain
<ignore_js_op>

19.png (48.64 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

本地源配置

Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：
因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
注意：Parcel文件对应不同的系统版本

l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397

{
           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
           "components": [
                {
                   "pkg_version": "0.7.0+cdh5.0.1+0",
                   "pkg_release": "1.cdh5.0.1.p0.30",
                   "name": "bigtop-tomcat",
                   "version": "6.0.37-cdh5.0.1"
                },
                {
                   "pkg_version": "0.9.0+cdh5.0.1+23",
                    "pkg_release":"1.cdh5.0.1.p0.25",
                   "name": "crunch",
                   "version": "0.9.0-cdh5.0.1"
                },
              .........
                {
                   "pkg_version": "0.9.0+cdh5.0.1+8",
                   "pkg_release": "1.cdh5.0.1.p0.25",
                   "name": "whirr",
                   "version": "0.9.0-cdh5.0.1"
                },
                {
                   "pkg_version": "3.4.5+cdh5.0.1+30",
                    "pkg_release":"1.cdh5.0.1.p0.31",
                   "name": "zookeeper",
                   "version": "3.4.5-cdh5.0.1"
                }
            ],
           "replaces": "IMPALA, SOLR, SPARK",
            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
        }

l  现在本地源已配好，总之parcel-repo文件中包含一下三个文件： CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
l  重启系统
Hadoop及其组件安装选择Cloudera版本

<ignore_js_op>

20.png (116.13 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选中受管理的主机 <ignore_js_op>

21.png (150.82 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选择安装方式（Cloudera推荐使用Parcel）
<ignore_js_op>

22.png (95.56 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

把Parcel分配到主机 <ignore_js_op>

23.png (50.38 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

24.png (52.74 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

添加服务 <ignore_js_op>

25.png (204.92 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

测试数据库连接 <ignore_js_op>

26.png (89.17 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

等待所有服务开启等待所有服务开启，时间可能会有点长
<ignore_js_op>

27.png (88.87 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

28.png (151.91 KB, 下载次数: 5)

下载附件  保存到相册

2014-9-16 17:07 上传

 

向集群增加节点增加主机
<ignore_js_op>

29.png (122.26 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

输入IP或主机名 <ignore_js_op>

30.png (66.56 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

31.png (91.02 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

提供SSH登录凭据
<ignore_js_op>

32.png (91.05 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

安装 <ignore_js_op>

33.png (60.04 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 
注：本资料所有省略界面，直接点击继续即可

Cloudera Manager （centos）安装详细介绍的更多相关文章

  1. Cloudera Manager(CentOS)安装介绍

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1           准备工 作.................................... ...

  2. [How to]Cloudera manager 离线安装手册

    2016-01-1910:54:05  增加kafka 1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera man ...

  3. CDH 2、Cloudera Manager的安装

    1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...

  4. Cloudera Manager的安装

    1.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...

  5. CM (Cloudera Manager) 的安装，便于CDH的离线部署

    一.准备工作 主机个数:n台 操作系统:CentOS 6.5 安装所需软件包: CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: C ...

  6. Go语言环境安装详细介绍

    工具链介绍 go有两套编译工具链,分别是从plant9移植过来的gc和依赖gcc的gccgo. 官方为gc工具链提供了二进制安装包和源码, 可以根据需要选择一种安装方式.gc工具链对操作系统和CPU类 ...

  7. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  8. Cloudera Manager 4.6 安装部署hadoop CDH集群

    Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...

  9. 通过Cloudera Manager安装CDH 5.6

    CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...

随机推荐

  1. LVS基本介绍

    一.LVS概念 LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器.这是一个由章文嵩博士发起的一个开源项目,它的官方网站是http://www.linuxvirtual ...

  2. Python面试题之Python对象反射、类反射、模块反射

    python面向对象中的反射:通过字符串的形式操作对象相关的属性.python中的一切事物都是对象(都可以使用反射) 一.getattr 对象获取 class Manager: role = &quo ...

  3. 深入解析Koa之核心原理

    这篇文章主要介绍了玩转Koa之核心原理分析,本文从封装创建应用程序函数.扩展res和req.中间件实现原理.异常处理的等这几个方面来介绍,写的十分的全面细致,具有一定的参考价值,对此有需要的朋友可以参 ...

  4. MapReduce：汇总学生表和成绩表为----学生成绩表

    已知两张数据表,其中表一存储的是学生编号.学生姓名:表二存储的是学生编号.考试科目.考试成绩:编写mapreduce程序,汇总两张表数据为一张统一表格. 表一: A001 zhangsan A002 ...

  5. session/token/cookie/socket区别

    Session:在计算机中,尤其是在网络应用中,称为“会话控制”.Session 对象存储特定用户会话所需的属性及配置信息.这样,当用户在应用程序的 Web 页之间跳转时,存储在 Session 对象 ...

  6. Linux系统下强大的lsof命令使用宝典

    lsof命令简介: lsof(list open files)是一个列出当前系统打开文件的工具.在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件 ...

  7. linux下字典生成工具－crunch与rtgen

    所谓的密码字典主要是配合密码破解软件所使用,密码字典里包括许多人们习惯性设置的密码.这样可以提高密码破解软件的密码破解成功率和命中率,缩短密码破解的时间.当然,如果一个人密码设置没有规律或很复杂,未包 ...

  8. 解析JDK动态代理实现原理

    JDK动态代理使用实例 代理模式的类图如上.关于静态代理的示例网上有很多,在这里就不讲了. 因为本篇讲述要点是JDK动态代理的实现原理,直接从JDK动态代理实例开始. 首先是Subject接口类. p ...

  9. mysql一次性删除所有表而不删除数据库

    1.执行如下语句获取删除语句 SELECT CONCAT( 'drop table ', table_name, ';' ) from information_schema.tables where ...

  10. SMM+maven下的log4j配置打印sql

    1加入依赖包 <!--LOG4日志 start --> <dependency> <groupId>org.slf4j</groupId> <ar ...