集群节点数量3 个

192.168.1.170 cdh-master

192.168.1.171 cdh-slave-1

192.168.1.171 cdh-slave-2

一、安装CentOS6.5 (64位)并搭建基本环境,包括:

(1)添加sudo 权限

(2)修改主机名、网关、静态IP地址、DNS

(3)关闭SELINUX、防火墙

可参考文章

(4)修改系统时区、配置ntp服务(首先可选宿主机器配置ntp server,参考文章

二、克隆为三台机器,分别修改静态IP 地址、MAC、主机名、hosts文件:

主机名、网关修改 /etc/sysconfig/network文件

MAC 修改 /etc/udev/rules.d/70-persistent-net.rules

IP地址是修改 /etc/sysconfig/network-scripts/ifcfg-eth0

host 文件修改 /etc/hosts 需要添加集群内所有的主机名和ip的对应关系,而且主机名的名称要和真实的主机名(/etc/sysconfig/network)完全一致

三、下载clouder-manger的安装包及parcel文件:

cm 文件下载地址

cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

parcel 下载地址

CDH-5.2.1-1.cdh5.2.1.p0.12-el6.parcel

四、在master 节点安装daemons、server、agent(先装daemons)

yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm:agent安装需要联网)

五、在slave-1、slave-2节点安装daemons、agent(先装daemons)

yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm(注:agent安装需要联网)

六、在master、slave-1、slave-2 节点安装JDK、oraclejdk

rpm -ivh jdk-6u31-linux-amd64.rpm

七、在master节点安装mysql 数据库,并配置cdh需要的数据库选项

yum install mysql-server mysql mysql-deve (注:需要联网)

chkconfig mysqld on

service mysqld start

mysql –u root

use mysql

update user set password=password('1234') where user='root'

update user set password=password('1234') where host='localhost'

update user set password=password('1234') where host='cdh-mater'

service mysqld restart

mysql -u root -p1234

create database cloudera

八、在master节点配置cloudera manager 数据库并启动cm的server及agent程序

1.拷贝mysql-connector-java-5.1.7-bin.jar 到 /usr/share/java 下并重命名mysql-connector-java.jar

2.运行 /usr/share/cmf/schema/scm_prepare_database.sh -h cdh-master mysql cloudera root 1234

3.启动cm server :service cloudera-scm-server start

4.添加cm server服务 :chkconfig cloudera-scm-server on

5.启动cm agent :chkconfig cloudera-scm-agent on

6.添加cm agent服务 :service cloudera-scm-server start

、修改所有节点的agent 配置文件

/etc/cloudera-scm-agent/config.ini 将配置文件中的host 改成 cdh-master

十、在slave节点配置cloudera manager  agent程序

1.启动cm agent :chkconfig cloudera-scm-agent on

2.添加cm agent服务 :service cloudera-scm-server start

十一、测试agent和server是否通信成功

service cloudera-scm-server status

service cloudera-scm-agent status

netstat –anp | grep 7182

# server 端开启的是7182端口,用于和agent进行通讯

启动失败时可以查看日志

server 日志 /var/log/cloudera-scm-server

agent 日志 /var/log/cloudera-scm-agent

十二、将下载的parcel文件及官方网站上获取对应版本的 sha 文件和 manifest.json文件上传至/opt/cloudera/parcel-repo目录下。

十三、启动浏览器,开始集群web安装配置

CentOS 6.5 下 CDH 5.2.1 集群安装(一)的更多相关文章

  1. CentOS下Storm 1.0.0集群安装具体解释

    本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群 ...

  2. Centos 下 Apache 原生 Hbase + Phoenix 集群安装(转载)

    前置条件 各软件版本:hadoop-2.7.7.hbase-2.1.5 .jdk1.8.0_211.zookeeper-3.4.10.apache-phoenix-5.0.0-HBase-2.0-bi ...

  3. CentOS系统下Hadoop 2.4.1集群安装配置(简易版)

    安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...

  4. Ubuntu 下 Galera cluster for MySQL 集群安装

    mysql galera cluster官网:http://galeracluster.com/documentation-webpages/ 相关安装教程:(不一定管用) http://blog.c ...

  5. CentOS下redis集群安装

    环境: 一台CentOS虚拟机上部署六个节点,创建3个master,3个slave节点 1.下载并解压 cd /root wget http://download.redis.io/releases/ ...

  6. CentOS 6.6下 BCM4312 802.11b/g无线网卡驱动安装

    1.目前www.broadcom.com网站上最新版本为hybrid-v35,但此版本与2.6.32不匹配,无法识别验证密码,搜索网上说是要求升级内核,后根据http://www.dadclab.co ...

  7. CentOS下Hadoop-2.2.0集群安装配置

    对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...

  8. CDH集群安装&测试总结

    0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是 ...

  9. CDH 6.0.1 集群搭建 「Process」

    这次搭建我使用的机器 os 是 Centos7.4 RH 系的下面以流的方式纪录搭建过程以及注意事项 Step1: 配置域名相关,因为只有三台机器组集群,所以直接使用了 hosts 的方法: 修改主机 ...

随机推荐

  1. oracle---jdbc--laobai

    import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import ...

  2. AE开发中栅格图层实现分级渲染

    GP工具IDW执行后,生成的栅格图层是黑白二色,需要手动进行分级渲染,似乎不是所有栅格图层都可以进行分级渲染,注意异常处理.注意ARCMAP中是有颜色的,无需自己处理. IRasterClassify ...

  3. 第二轮冲刺-Runner站立会议09

    今天:将日历界面和主程序结合起来 明天:查看整个项目,调试是否有问题

  4. OpenGL Common Mistakes

    https://www.opengl.org/wiki/Common_Mistakes Do not use constructors/destructors to initialize/destro ...

  5. CentOS Linux解决Device eth0 does not seem to be present

    在VMware里克隆出来的Centos Linux.. ifconfig...没有看到eth0..然后重启网卡又报下面错误. 故障现象: 解决办法: 首先,打开/etc/udev/rules.d/70 ...

  6. Android之自定义属性

    有些时候会觉得Android中提供的控件不能满足项目的要求,所以就会常常去自定义控件.自定义控件就不免会自定义属性.自定义属性大致需要三个步骤:在XML文件中定义自定义属性的名称和数据类型.在布局中调 ...

  7. semantic modal 首次弹出位置不正确()

    暂不知是什么原因,先记录下,可以用下面这句css解决 .ui.modal{ %; }

  8. mrjob 使用 mongodb 作为数据源

    When using a mongoDB collection as input, add the arguments -jobconf mongo.input.uri=<input mongo ...

  9. r-cnn学习(八):minibatch

    这段代码包括由输入图片随机生成相应的RoIs,并生成相应的blobs,由roidb得到相应的 minibatch.其代码如下. # ---------------------------------- ...

  10. webstrom配置sass与less

    1.less 安装一个稳定版的node.[例如node-v4.4.4-x64] 然后直接在webstrom里导入那个lessc.cmd 2.sass 安装ruby. 安装完之后点开,Start那个安装 ...