文章全部来自：Cloudera Manager （centos）安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
(出处: about云开发)

这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
问题导读： 1.安装需要做哪些准备？ 2.如何安装CM？ 3.如何通过CM安装CDH？ 4.CM及CDH安装的过程都包含什么？

相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

目 录

1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

使用Cloudera Manager安装Hadoop

运行环境软硬件环境l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存 l  虚拟软件：VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统：CentOs 64bit，单核，2G内存 l  JDK：1.7.0_45 64 bit l  Hadoop：2.2.0

集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下： l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建 本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP1.    点击System-->Preferences-->Network Connections，如下图所示：
<ignore_js_op>

1.png (213.99 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

      IP地址： 10.88.147.221
      子网掩码： 255.255.255.0
      网关：     10.88.147.1
      DNS：    10.*.*.* (使用DNS上网需要设置)
<ignore_js_op>

2.png (165.97 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:06 上传

 

3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
<ignore_js_op>

3.png (57.31 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置Host文件1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下： l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
<ignore_js_op>

4.png (20.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3.    验证设置是否成功 <ignore_js_op>

5.png (30.25 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启 <ignore_js_op>

6.png (46.07 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令关闭iptables，执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux1.    使用getenforce命令查看是否关闭
<ignore_js_op>

7.png (16.03 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
<ignore_js_op>

8.png (38.67 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1

<ignore_js_op>

9.png (14.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
<ignore_js_op>

10.png (53.72 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
<ignore_js_op>

11.jpg (21.61 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
<ignore_js_op>

12.png (45.94 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

13.png (34.79 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

6.    把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
<ignore_js_op>

14.png (78.62 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

7.    把该文件分发到其他两个从节点上 使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
<ignore_js_op>

15.png (65.84 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

16.png (36.32 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

8.    测试ssh免密码登录是否生效
<ignore_js_op>

17.png (54.92 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager安装 下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得：
这里选择Cloudera Manager 最新版5.0.1

下载Cloudera Manager所需的rpm包

下载网址为：

安装rpm文件 l 将下载的rpm包放入文件夹rpm（文件夹名随意） l cd  ./rpm（进入rpm目录） l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限） l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
<ignore_js_op>

18.png (32.94 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为：localhost   修改后为：localhost.localdomain
<ignore_js_op>

19.png (48.64 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

本地源配置

Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：
因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
注意：Parcel文件对应不同的系统版本

l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397

{
           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
           "components": [
                {
                   "pkg_version": "0.7.0+cdh5.0.1+0",
                   "pkg_release": "1.cdh5.0.1.p0.30",
                   "name": "bigtop-tomcat",
                   "version": "6.0.37-cdh5.0.1"
                },
                {
                   "pkg_version": "0.9.0+cdh5.0.1+23",
                    "pkg_release":"1.cdh5.0.1.p0.25",
                   "name": "crunch",
                   "version": "0.9.0-cdh5.0.1"
                },
              .........
                {
                   "pkg_version": "0.9.0+cdh5.0.1+8",
                   "pkg_release": "1.cdh5.0.1.p0.25",
                   "name": "whirr",
                   "version": "0.9.0-cdh5.0.1"
                },
                {
                   "pkg_version": "3.4.5+cdh5.0.1+30",
                    "pkg_release":"1.cdh5.0.1.p0.31",
                   "name": "zookeeper",
                   "version": "3.4.5-cdh5.0.1"
                }
            ],
           "replaces": "IMPALA, SOLR, SPARK",
            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
        }

l  现在本地源已配好，总之parcel-repo文件中包含一下三个文件： CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
l  重启系统
Hadoop及其组件安装选择Cloudera版本

<ignore_js_op>

20.png (116.13 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选中受管理的主机 <ignore_js_op>

21.png (150.82 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选择安装方式（Cloudera推荐使用Parcel）
<ignore_js_op>

22.png (95.56 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

把Parcel分配到主机 <ignore_js_op>

23.png (50.38 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

24.png (52.74 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

添加服务 <ignore_js_op>

25.png (204.92 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

测试数据库连接 <ignore_js_op>

26.png (89.17 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

等待所有服务开启等待所有服务开启，时间可能会有点长
<ignore_js_op>

27.png (88.87 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

28.png (151.91 KB, 下载次数: 5)

下载附件  保存到相册

2014-9-16 17:07 上传

 

向集群增加节点增加主机
<ignore_js_op>

29.png (122.26 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

输入IP或主机名 <ignore_js_op>

30.png (66.56 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

31.png (91.02 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

提供SSH登录凭据
<ignore_js_op>

32.png (91.05 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

安装 <ignore_js_op>

33.png (60.04 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 
注：本资料所有省略界面，直接点击继续即可

Cloudera Manager （centos）安装详细介绍的更多相关文章

  1. Cloudera Manager(CentOS)安装介绍

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1           准备工 作.................................... ...

  2. [How to]Cloudera manager 离线安装手册

    2016-01-1910:54:05  增加kafka 1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera man ...

  3. CDH 2、Cloudera Manager的安装

    1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...

  4. Cloudera Manager的安装

    1.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...

  5. CM (Cloudera Manager) 的安装，便于CDH的离线部署

    一.准备工作 主机个数:n台 操作系统:CentOS 6.5 安装所需软件包: CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: C ...

  6. Go语言环境安装详细介绍

    工具链介绍 go有两套编译工具链,分别是从plant9移植过来的gc和依赖gcc的gccgo. 官方为gc工具链提供了二进制安装包和源码, 可以根据需要选择一种安装方式.gc工具链对操作系统和CPU类 ...

  7. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  8. Cloudera Manager 4.6 安装部署hadoop CDH集群

    Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...

  9. 通过Cloudera Manager安装CDH 5.6

    CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...

随机推荐

  1. Unity,android和IOS 防止八门神器注入

    八门神器主要是不断筛选,来获取关键属性(比如金币)在内存中的地址,再根据该地址来修改指向的数据就可以成功. 因此,我们需要在金币读取和设置的时候,使用一个偏移量,来达到干扰的目的就可以了 未经仔细测试 ...

  2. iOS应用内付费(IAP)开发步骤

    1.苹果iTunes Connect内购产品信息录入. 1)创建app内购买项目(Create New),选择类型: 1.消耗型项目 对于消耗型 App 内购买项目,用户每次下载时都必须进行购买.一次 ...

  3. Linux 搭建 SVN

    一.yum 安装 subversion yum -y install subversion 二.创建svn版本库所在路径(建议放在opt.usr.home下) mkdir -p /usr/local/ ...

  4. Linux 进程管理 kill、killall、pkill命令

    Linux常用信号(进程间通信) 系统中可以识别的信号较多,我们可以使用命令"kill -l"或"man 7 signal"来查询.命令如下: [root@lo ...

  5. MySQL-5.7 Update语句详解

    1.语法 (1)单表 UPDATE [LOW_PRIORITY] [IGNORE] table_reference SET assignment_list [WHERE where_condition ...

  6. @RequestMapping映射请求，@PathVariable，@RequestParam，@RequestHeader的使用

    1.@RequestMapping Spring MVC 使用 @RequestMapping 注解为控制器指定可以处理哪些 URL 请求,在控制器的类定义及方法定义处都可标注. @RequestMa ...

  7. java中set集合的常用方法

    因为Set集合也是继承Collection集合 所以这里就不讲继承Collection集合的方法 都是继承Collection集合的方法 https://www.cnblogs.com/xiaostu ...

  8. skynet 创建存储过程脚本

    最近主程更改了数据库的操作方案,由之前的拼写sql脚本转为在mysql端创建好存储过程后,直接调用存储过程. 首先对一个表测试上述过程: 数据库端存储过程:(测试表) CREATE TABLE `ra ...

  9. Gym - 101503I 利用到图论的构造

    比赛的时候没有注意到 给出的up矩阵 能使我们随便选一列 确定这一列的rank 这样我们得出每一行列的rank 进行构图 大->小 然后从大到小放 当前放的点 和他有因果关系并且比他大的点必须已 ...

  10. Android中获取手机电量信息

    有些时候我们需要在我们的应用上为用户展示当前手机的电量,这时候我们就需要用到广播了,我们都知道在动态注册广播的时候,我们需要传入一个BroadcastReceiver类对象,还有一个意图过滤器Inte ...