文章全部来自：Cloudera Manager （centos）安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
(出处: about云开发)

这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
问题导读： 1.安装需要做哪些准备？ 2.如何安装CM？ 3.如何通过CM安装CDH？ 4.CM及CDH安装的过程都包含什么？

相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

目 录

1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

使用Cloudera Manager安装Hadoop

运行环境软硬件环境l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存 l  虚拟软件：VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统：CentOs 64bit，单核，2G内存 l  JDK：1.7.0_45 64 bit l  Hadoop：2.2.0

集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下： l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建 本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP1.    点击System-->Preferences-->Network Connections，如下图所示：
<ignore_js_op>

1.png (213.99 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

      IP地址： 10.88.147.221
      子网掩码： 255.255.255.0
      网关：     10.88.147.1
      DNS：    10.*.*.* (使用DNS上网需要设置)
<ignore_js_op>

2.png (165.97 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:06 上传

 

3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
<ignore_js_op>

3.png (57.31 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置Host文件1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下： l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
<ignore_js_op>

4.png (20.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3.    验证设置是否成功 <ignore_js_op>

5.png (30.25 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启 <ignore_js_op>

6.png (46.07 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令关闭iptables，执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux1.    使用getenforce命令查看是否关闭
<ignore_js_op>

7.png (16.03 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
<ignore_js_op>

8.png (38.67 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1

<ignore_js_op>

9.png (14.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
<ignore_js_op>

10.png (53.72 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
<ignore_js_op>

11.jpg (21.61 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
<ignore_js_op>

12.png (45.94 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

13.png (34.79 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

6.    把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
<ignore_js_op>

14.png (78.62 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

7.    把该文件分发到其他两个从节点上 使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
<ignore_js_op>

15.png (65.84 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

16.png (36.32 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

8.    测试ssh免密码登录是否生效
<ignore_js_op>

17.png (54.92 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager安装 下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得：
这里选择Cloudera Manager 最新版5.0.1

下载Cloudera Manager所需的rpm包

下载网址为：

安装rpm文件 l 将下载的rpm包放入文件夹rpm（文件夹名随意） l cd  ./rpm（进入rpm目录） l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限） l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
<ignore_js_op>

18.png (32.94 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为：localhost   修改后为：localhost.localdomain
<ignore_js_op>

19.png (48.64 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

本地源配置

Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：
因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
注意：Parcel文件对应不同的系统版本

l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397

{
           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
           "components": [
                {
                   "pkg_version": "0.7.0+cdh5.0.1+0",
                   "pkg_release": "1.cdh5.0.1.p0.30",
                   "name": "bigtop-tomcat",
                   "version": "6.0.37-cdh5.0.1"
                },
                {
                   "pkg_version": "0.9.0+cdh5.0.1+23",
                    "pkg_release":"1.cdh5.0.1.p0.25",
                   "name": "crunch",
                   "version": "0.9.0-cdh5.0.1"
                },
              .........
                {
                   "pkg_version": "0.9.0+cdh5.0.1+8",
                   "pkg_release": "1.cdh5.0.1.p0.25",
                   "name": "whirr",
                   "version": "0.9.0-cdh5.0.1"
                },
                {
                   "pkg_version": "3.4.5+cdh5.0.1+30",
                    "pkg_release":"1.cdh5.0.1.p0.31",
                   "name": "zookeeper",
                   "version": "3.4.5-cdh5.0.1"
                }
            ],
           "replaces": "IMPALA, SOLR, SPARK",
            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
        }

l  现在本地源已配好，总之parcel-repo文件中包含一下三个文件： CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
l  重启系统
Hadoop及其组件安装选择Cloudera版本

<ignore_js_op>

20.png (116.13 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选中受管理的主机 <ignore_js_op>

21.png (150.82 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选择安装方式（Cloudera推荐使用Parcel）
<ignore_js_op>

22.png (95.56 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

把Parcel分配到主机 <ignore_js_op>

23.png (50.38 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

24.png (52.74 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

添加服务 <ignore_js_op>

25.png (204.92 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

测试数据库连接 <ignore_js_op>

26.png (89.17 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

等待所有服务开启等待所有服务开启，时间可能会有点长
<ignore_js_op>

27.png (88.87 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

28.png (151.91 KB, 下载次数: 5)

下载附件  保存到相册

2014-9-16 17:07 上传

 

向集群增加节点增加主机
<ignore_js_op>

29.png (122.26 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

输入IP或主机名 <ignore_js_op>

30.png (66.56 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

31.png (91.02 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

提供SSH登录凭据
<ignore_js_op>

32.png (91.05 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

安装 <ignore_js_op>

33.png (60.04 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 
注：本资料所有省略界面，直接点击继续即可

Cloudera Manager （centos）安装详细介绍的更多相关文章

  1. Cloudera Manager(CentOS)安装介绍

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1           准备工 作.................................... ...

  2. [How to]Cloudera manager 离线安装手册

    2016-01-1910:54:05  增加kafka 1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera man ...

  3. CDH 2、Cloudera Manager的安装

    1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...

  4. Cloudera Manager的安装

    1.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...

  5. CM (Cloudera Manager) 的安装，便于CDH的离线部署

    一.准备工作 主机个数:n台 操作系统:CentOS 6.5 安装所需软件包: CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: C ...

  6. Go语言环境安装详细介绍

    工具链介绍 go有两套编译工具链,分别是从plant9移植过来的gc和依赖gcc的gccgo. 官方为gc工具链提供了二进制安装包和源码, 可以根据需要选择一种安装方式.gc工具链对操作系统和CPU类 ...

  7. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  8. Cloudera Manager 4.6 安装部署hadoop CDH集群

    Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...

  9. 通过Cloudera Manager安装CDH 5.6

    CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...

随机推荐

  1. [转]HBase hbck——检察HBase集群的一致性

    Hbase提供了hbck命令来检查各种不一致问题.hbck的名字仿效了HDFS的fsck命令,后者是一个用于检查HDFS中不一致问题的工具.下面这段非常易懂的介绍出自于hbck的源程序. 检查数据在M ...

  2. MySQL引擎及选择

    一.MySQL的存储引擎 完整的引擎说明还是看官方文档:http://dev.mysql.com/doc/refman/5.6/en/storage-engines.html 这里介绍一些主要的引擎 ...

  3. Python3.x：定时自动发送邮件

    定时自动发送邮件 一.简述 python发邮件需要掌握两个模块的用法,smtplib和email,这俩模块是python自带的,只需import即可使用.smtplib模块主要负责发送邮件,email ...

  4. zabbix监控windows

    windows  版zabbix_agent下载地址: https://www.zabbix.com/download_agents 解压,有bin和conf两个文件夹 配置: 在windows被监控 ...

  5. [mongodb] WiredTiger Storage Engine

    今天看了mongodb的官方文档中的WiredTiger Storage Engine ,说说我对WiredTiger Storage Engine 的理解! 在mongodb3.2版本以后,wire ...

  6. [BZOJ1823]满汉全席

    Description 满汉全席是中国最丰盛的宴客菜肴,有许多种不同的材料透过满族或是汉族的料理方式,呈现在數量繁多的菜色之中.由于菜色众多而繁杂,只有极少數博学多闻技艺高超的厨师能够做出满汉全席,而 ...

  7. 在 CentOS 7.0 上安装配置 Ceph 存储

    来自: https://linux.cn/article-6624-1.html Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台.当你计划构建一个云时,你首先需要决定如何实现你的存储 ...

  8. 分布式技术 webapi

    webapi可以返回json.xml类型的数据,对于数据的增.删.改.成,提供对应的资源操作,按照请求的类型进行相应的处理,主要包括 Get(查).Post(增).Put(改).Delete(删),这 ...

  9. Gym - 101503I 利用到图论的构造

    比赛的时候没有注意到 给出的up矩阵 能使我们随便选一列 确定这一列的rank 这样我们得出每一行列的rank 进行构图 大->小 然后从大到小放 当前放的点 和他有因果关系并且比他大的点必须已 ...

  10. 用WebClient在异步下载或上传时每次只进行一个任务 C#

    当在每次上传或者下载的时候,我只想进行一个任务的,我用的是WebClient类,但是我又不想用同步的方法UploadFile.DownloadFile,因为WebClient这个类的同步方法没有Upl ...