Cloudera Manager(CentOS)安装介绍
相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识
1
准备工
作...........................................................................................................................................3
1.1
说
明...............................................................................................................................................3
1.2
集群网络环境介
绍..........................................................................................................................3
2
环境搭
建...........................................................................................................................................5
2.1
设置
IP...........................................................................................................................................5
2.2
设置
hosts......................................................................................................................................5
2.3 关闭防火墙....................................................................................................................................6
2.4
关闭
SElinux....................................................................................................................................8
2.5
设置机器
名....................................................................................................................................8
3
ClouderaManager安
装...................................................................................................................
11
3.1 下载Cloudera Manager安装文件................................................................................................... 11
3.2 下载Cloudera
Manager所需的rpm
包............................................................................................
11
3.3
安装rpm文
件...............................................................................................................................
11
3.4 安装CM.......................................................................................................................................
11
3.5
登录
CM.......................................................................................................................................
12
4
ClouderaManager配置及本地源配
置..............................................................................................
13
4.1
配置config.ini文
件........................................................................................................................
13
4.2
配置本地
源..................................................................................................................................
14
5 Hadoop及其组件安装......................................................................................................................17
5.1
选择Cloudera版
本........................................................................................................................
17
5.2
选中受管理的主
机........................................................................................................................
17
5.3 选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18
5.4
把Parcel分配到主
机.....................................................................................................................
18
5.5
选择服
务......................................................................................................................................
19
5.6
测试数据库连
接...........................................................................................................................
20
5.7
等待所有服务启
动........................................................................................................................
20
6
向集群增加节
点...............................................................................................................................
22
6.1
添加主
机......................................................................................................................................
22
6.2
输入IP或主机
名...........................................................................................................................
23
6.3
提供SSH登录凭
据........................................................................................................................
24
6.4 安装.............................................................................................................................................
24
运行环境软硬件环境l 主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存
l 虚拟软件：VMware®Workstation 9.0.0 build-812388
l 虚拟机操作系统：CentOs 64bit，单核，2G内存
l JDK：1.7.0_45 64 bit
l Hadoop：2.2.0
集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
l 192.168.188.141 hadoo1 (namenode))
l 192.168.188.139 hadoo2 (datanode01)
l 192.168.188.140 hadoo3 (datanode03)
所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建
本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP1. 点击System-->Preferences-->Network Connections，如下图所示：
2. 删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：
3. 在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
设置Host文件1. 编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
l 10.88.147.141 hadoop1.localdomain
l 10.88.147.139 hadoop2.localdomain
l 10.88.147.140 hadoop2.localdomain
2. 使用如下命令对网络设置进行重启
3. 验证设置是否成功
关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1. service iptables status 查看防火墙状态，如下所示表示iptables已经开启
2. 使用如下命令关闭iptables，执行该命令后重启机器生效
关闭SElinux1. 使用getenforce命令查看是否关闭
2. 修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1
复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略)
3. 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
4. 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
5. 把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
6. 把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
7. 把该文件分发到其他两个从节点上
使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
8. 测试ssh免密码登录是否生效
Cloudera Manager安装
下载Cloudera Manager安装文件
下载Cloudera Manager所需的rpm包
安装rpm文件
l 将下载的rpm包放入文件夹rpm（文件夹名随意）
l cd ./rpm（进入rpm目录）
l yum localinstall –-nogpgcheck *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录
l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）
l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主机名
修改前为：localhost 修改后为：localhost.localdomain
本地源配置
l 把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l 新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l 打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397
l 现在本地源已配好，总之parcel-repo文件中包含一下三个文件：
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json
l 重启系统
Hadoop及其组件安装选择Cloudera版本
选中受管理的主机
选择安装方式（Cloudera推荐使用Parcel）
把Parcel分配到主机
添加服务
测试数据库连接
等待所有服务开启等待所有服务开启，时间可能会有点长
向集群增加节点增加主机
输入IP或主机名
提供SSH登录凭据
安装
文章出自：http://www.aboutyun.com/thread-9190-1-1.html
Cloudera Manager(CentOS)安装介绍的更多相关文章
- [How to]Cloudera manager 离线安装手册
2016-01-1910:54:05 增加kafka 1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera man ...
- CDH 2、Cloudera Manager的安装
1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...
- Cloudera Manager的安装
1. cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...
- CM (Cloudera Manager) 的安装，便于CDH的离线部署
一.准备工作 主机个数:n台 操作系统:CentOS 6.5 安装所需软件包: CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: C ...
- 离线安装Cloudera Manager 5和CDH5
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop ...
- Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
- Cloudera Manager安装之Cloudera Manager 5.3.X安装（三）（tar方式、rpm方式和yum方式）
不多说,直接上干货! 福利每天都有 => =>=>=>=> 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 ...
- 通过Cloudera Manager安装CDH 5.6
CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...
- CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager
CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搭建CM私有仓库 详情请参考我的笔记: http ...
随机推荐
- centos qt5,PyQt5 installation
一.SIP http://www.riverbankcomputing.com/software/sip/download 二.Centos6.5 qt 安装 1,centos linux系统必须 ...
- UVA-11983-Weird Advertisement(线段树+扫描线)[求矩形覆盖K次以上的面积]
题意: 求矩形覆盖K次以上的面积 分析: k很小,可以开K颗线段树,用sum[rt][i]来保存覆盖i次的区间和,K次以上全算K次 // File Name: 11983.cpp // Author: ...
- 数学(欧拉函数)：UVAOJ 11426 GCD - Extreme (II)
aaarticlea/png;base64,iVBORw0KGgoAAAANSUhEUgAAB4AAAAQ4CAIAAABnsVYUAAAgAElEQVR4nOzdPW7zvII/bG1gCi9gKq ...
- android实现图片识别的几种方法
实现android图像识别的几种方法 点击这里下载第一种代码 最近完成了毕业设计,论文名为基于图像识别的移动人口管理系统.编写过程中学到了几种图像识别的技术,先写下来与大家分享. 第一种,直接使用免费 ...
- HDOJ(HDU) 2143 box(简单的多次判断-用的卫条件)
Problem Description One day, winnie received a box and a letter. In the letter, there are three inte ...
- 代码审查工具之PMD操作指南
上周客户要求对OA系统的代码质量进行了一个整体审查,并且要出一份报告给领导. 为此花了半天时间把代码审查工具PMD琢磨了下,现将具体操作步骤描述如下,以供大家参考! 1 前言 质量是衡量一个软件是否成 ...
- 用数组实现栈demo
package cn.aust.zyw.demo; import java.util.Iterator; /** * Created by zyw on 2016/2/19. * 用数组实现栈 */ ...
- AOJ 0525 穷举
题意:有一个烤饼器可以烤r行c列的煎饼,煎饼可以正面朝上(用1表示)也可以背面朝上(用0表示).一次可将同一行或同一列的煎饼全部翻转.现在需要把尽可能多的煎饼翻成正面朝上,问最多能使多少煎饼正面朝上? ...
- BIGINT UNSIGNED value is out of range in … 问题的解决方法
问题出现在CAST(value AS USIGNED)将字符串转换成数值的过程中,出现这个问题的原因是value对应的数值在BIGINT UNSIGNED 的范围内.可能的情况是value的值太大,超 ...
- JVM调优之jstack找出发生死锁的线程
1.执行死锁程序 2.执行 jstack -l 21733 | more 结果如下: 死锁程序: public static void main(String[] args) { // TODO Au ...