一、准备工作

主机个数:n台

操作系统:CentOS 6.5

安装所需软件包:

CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha    #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1重命名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

manifest.json

JDK: jdk-7u67-linux-x64.rpm

MySql driver: mysql-connector-java-5.1.26-bin.jar

软件下载地址:

CDH下载地址: http://archive.cloudera.com/cdh5/

其中parcels地址:http://archive.cloudera.com/cdh5/parcels/5.4.0

CM下载地址:http://www.cloudera.com/downloads/manager/5-4-3.html

CM安装官方文档说明:

http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html

二、系统环境配置

1、配置网络环境

  • 将主机修改为静态IP
  • 修改主机名及对应的IP

2、SHH设置免密码登录

ssh-keygen -t rsa        #生成密钥文件

ssh-copy-id  主机名   #将生成的公钥文件copy到指定主机

3、关闭防火墙

service iptables stop         #关闭防火墙

chkconfig iptables off       #关闭开机启动

4、关闭SELinux

setenforce 0  #临时关闭

vi /etc/selinux/config  修改SELINUX=disabled      #永久生效

5、配置时间同步

yun install ntp

chkconfig ntp on

ntpdate -u ntp.sjtu.edu.cn  #如果此时间服务器无效,可网上找寻其他时间服务器

6、安装JDK

Jdk版本官网要求:1.7.0_67  1.7.0_75  1.8.0_60

安装准备好的rpm包:rpm –ivh jdk-7u67-linux-x64.rpm

配置环境变量

vi ~/.bash_profile

#JAVA

export JAVA_HOME=/usr/java/jdk1..0_67

export PATH=$PATH:$JAVA_HOME/bin

source ~/.bash_profile

7、安装mysql

官网推荐 5.1、5.5、5.6版本

安装:yum install mysql-server

修改权限:

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

flush privileges;

8、下载第三方依赖包

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb –y

三、安装CM

1、安装CM Agent和Server

在agent和server主机上创建目录

mkdir /opt/cloudera-manager

将安装包解压到指定目录

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm

在所有节点上执行

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置CM Agent

修改配置文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中的server_host和server_port。server_port默认为7182。

4、配置CM Server数据库

拷贝mysql驱动

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

执行mysql命令

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

配置库

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm

其中node1为server主机名

5、创建parcel目录

Server节点

  mkdir -p /opt/cloudera/parcel-repo

  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点

  mkdir -p /opt/cloudera/parcels

  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、上传CDH本地源

上传CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

manifest.json

文件到/opt/cloudera/parcel-repo

7、启动CM Server和Agent

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start

运行很慢,可通过log跟踪启动过程。

./cloudera-scm-agent start

在所有agent节点上,都要启动

8、访问CM

地址:http://node1:7180

用户名、密码:admin

接下来就可以安装想要的CDH服务了。

CM安装服务的配置文件存放位置:
/etc/

CM安装服务的运行日志位置:     /var/log/

CM安装服务的包文件存放位置:  /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/

CM (Cloudera Manager) 的安装,便于CDH的离线部署的更多相关文章

  1. CDH 2、Cloudera Manager的安装

    1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...

  2. Cloudera Manager(CentOS)安装介绍

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1           准备工 作.................................... ...

  3. Cloudera Manager 5.9 和 CDH 5.9 离线安装指南及个人采坑填坑记

    公司的CDH早就装好了,一直想自己装一个玩玩,最近组了台电脑,笔记本就淘汰下来了,加上之前的,一共3台,就在X宝上买了CPU和内存升级了下笔记本,就自己组了个集群. 话说,好想去捡垃圾,捡台8核16线 ...

  4. Cloudera Manager的安装

    1.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...

  5. CDH简易离线部署文档

        CDH 离线简易部署文档       文档说明 本文为开发部署文档,生产环境需做相应调整. 以下操作尽量在root用户下操作,避免权限问题. 目录 文档说明 2 文档修改历史记录 2 目录 3 ...

  6. 安装Cloudera Manager集群时首次运行命令部署客户端设置失败的解决办法(图文详解)

    不多说,直接上干货! 问题详情 解决办法 (1) 时间同步检查下(尤其是这个) (2) 防火墙是否关闭 (3) cloudera-scm-server 和 cloudera-scm-agent 是否启 ...

  7. Cloudera Manager 5 和 CDH5 本地(离线)安装指南

    http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.0/RPMS/x86_64/ http://archive-primary.clouder ...

  8. Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)

    Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是c ...

  9. 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)

    使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...

随机推荐

  1. Java 社区平台 - Sym 1.7.0 发布

    English | 中文 简介 Symphony([ˈsɪmfəni],n.交响乐)是一个现代化的社区平台,因为它: 实现了面向内容讨论的论坛 包含了面向用户分享.交友.游戏的社交网络 集成了聚合独立 ...

  2. CountDownTimer 源码分析

    倒计时的功能,比如说:发送短信验证码倒计时. public class CountDownTimerActivity extends Activity { private Button mSend; ...

  3. LeetCode题解之 Sum of Left Leaves

    1.题目描述 2.问题分析 对于每个节点,如果其左子节点是叶子,则加上它的值,如果不是,递归,再对右子节点递归即可. 3.代码 int sumOfLeftLeaves(TreeNode* root) ...

  4. eclipse在server中tomcat server找不到的问题

    想要在eclipse的server新建tomcat服务器然而不知道怎么回事找不到Tomcat 7.0 Server 下面的红圈是tomcat server服务器(更新后才出现) 网上找的很久,只是找到 ...

  5. 【JAVA】使用 jedis操作redis——连接、存储数据、切库等

    本篇运用Java调用jedis包(jedis在线文档API ),做简单操作实例. 安装jedis 1. 2.9.0 jar 版本下载: jedis-2.9.0.jar 2. 新建项目,添加该驱动包 连 ...

  6. 入坑Vue

    长期的后端数据开发着实有些枯燥无趣,项目完工,闲暇之际,最近一直在研究前端方面的东西,不得感叹,前端技术发展速度快的让人有些目不暇接,从jQuery开启的插件化时代,几乎许多网站都被jQuery支配, ...

  7. 16. 窗口函数 (Window Function) 的使用

    从SQL Server 2005起,SQL Server开始支持窗口函数 (Window Function),以及到SQL Server 2012,窗口函数功能增强,目前为止支持以下几种窗口函数: 1 ...

  8. python Pipe 双管道通信

    管道:是python多进程中一种交换数据的方式 from multiprocessing import Process,current_process,Queue,Pipe import time i ...

  9. [WPF]DropShadowEffect导致Image模糊问题

    实现鼠标在图片上时,图片外侧有发光效果,如上图 可使用触发器修改Image控件的Effect属性 <Style.Triggers> <Trigger Property="I ...

  10. ES6+转ES5

    npm init //创建package.json文件 下载转换babel库及其100+依赖 npm install babel-cli -D npm install babel-preset-env ...