1、CDH集群搭建
一、准备工作
1、系统环境
系统centos6.5
节点三台：
192.168.1.130
192.168.1.131
192.168.1.132 1、所有节点关闭防火墙
service iptables stop
chkconfig iptables off 2、所有节点关闭selinux 3、主机名和hosts文件
127.0.0.1 localhost.localdomain localhost
192.168.1.130 bigdata-cdh01.ibeifeng.com bigdata-cdh01
192.168.1.131 bigdata-cdh02.ibeifeng.com bigdata-cdh02
192.168.1.132 bigdata-cdh03.ibeifeng.com bigdata-cdh03 4、创建一个普通用户，所有节点
username：beifeng passwd：beifeng [root@bigdata-cdh01 ~]# useradd beifeng
[root@bigdata-cdh01 ~]# passwd beifeng [root@bigdata-cdh02 ~]# useradd beifeng
[root@bigdata-cdh02 ~]# passwd beifeng [root@bigdata-cdh03 ~]# useradd beifeng
[root@bigdata-cdh03 ~]# passwd beifeng 5、配置beifneg用户的sudo权限
vim /etc/sudoers #所有节点执行
beifeng ALL=(root)NOPASSWD:ALL #写入此行
:wq! #保存退出 6、切换到beifeng用户
su - beifeng 7、禁用ipv6
sudo vim /etc/modprobe.d/dist.conf #写入一下两行，所有节点
alias net-pf-10 off
alias ipv6 off 8、所有及节点安装jdk
sudo rpm -qa |grep java #先查看系统是否自带jdk，如果有就卸载
然后安装jdk，比较简单； 9、设置文件描述符
vim /etc/security/limits.conf #写入以下4行
* hard nofile 65535
* soft nofile 65535
* hard nproc 65535
* soft nproc 65535
2、系统环境2
1、时间同步
在内网找一台作为时间服务器，所有的机器与这台机器时间进行定时的同步，比如每十分钟同步一次时间；
这里用CDH1做时间服务器； ##检查是否安装
[root@bigdata-cdh01 ~]# rpm -qa |grep ntp
ntp-4.2.6p5-15.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-15.el6.centos.x86_64 ##配置：
vim /etc/ntp.conf
#第一处
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap #去掉此行的注释，并改为集群网段 #第二处，注释掉下面几行
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst #第三处，添加下面两行
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10 ##设置同步更新本地hwclock
[root@master hadoop-2.5.0]# vim /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes #添加此行
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g" ##启动ntpd
[root@master hadoop-2.5.0]# service ntpd status
[root@master hadoop-2.5.0]# service ntpd start
[root@master hadoop-2.5.0]#chkconfig ntpd on 在CDH2、CDH3上设置同步时间脚本：
#CDH2
[root@slave1 hadoop-2.5.0]# crontab -l
#去master同步时间，10分钟1次
0-59/10 * * * * /usr/sbin/ntpdate bigdata-cdh01.ibeifeng.com #CDH3
[root@slave2 hadoop-2.5.0]# crontab -l
#去master同步时间，10分钟1次
0-59/10 * * * * /usr/sbin/ntpdate bigdata-cdh01.ibeifeng.com 2、配置ssh互信 3、重启所有节点
二、安装CDH
离线rpm安装，CDH5.3.6版本；
1、安装CM的准备
网站：
http://archive.cloudera.com/cm5/ cm-5.3.6bin文件：
http://archive.cloudera.com/cm5/installer/5.3.6/ cm-5.3.6依赖rpm包：
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/ 1、上传安装包
[beifeng@bigdata-cdh01 softwares]$ ls
cdh-5.3.6 cm-5.3.6 postgresq-libs repo-libs [beifeng@bigdata-cdh01 softwares]$ tree ./
./
├── cdh-5.3.6
│ ├── CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.parcel
│ └── CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1
├── cm-5.3.6
│ ├── cloudera-manager-agent-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── cloudera-manager-daemons-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── cloudera-manager-installer.bin
│ ├── cloudera-manager-server-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── cloudera-manager-server-db-2-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── enterprise-debuginfo-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── jdk-6u31-linux-amd64.rpm
│ └── oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
├── postgresq-libs
│ ├── postgresql-8.4.18-1.el6_4.x86_64.rpm
│ ├── postgresql-libs-8.4.18-1.el6_4.x86_64.rpm
│ └── postgresql-server-8.4.18-1.el6_4.x86_64.rpm
└── repo-libs
├── createrepo-0.9.9-18.el6.noarch.rpm
├── deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
└── python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm 2、搭建yum本地源服务器
说明：本地安装一个http服务器，将软件放进网站目录下去，安装的时候通过URL寻找；
安装http：
[beifeng@bigdata-cdh01 ~]$ sudo rpm -qa |grep http
httpd-tools-2.2.15-29.el6.centos.x86_64
httpd-2.2.15-29.el6.centos.x86_64 [beifeng@bigdata-cdh01 ~]$ sudo service httpd start
正在启动 httpd： [确定] [beifeng@bigdata-cdh01 ~]$ sudo service httpd status
httpd (pid 2634) 正在运行... [beifeng@bigdata-cdh01 ~]$ sudo chkconfig httpd on 创建软件存放目录：
[beifeng@bigdata-cdh01 ~]$ cd /var/www/html/ [beifeng@bigdata-cdh01 html]$ sudo mkdir -p cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ [beifeng@bigdata-cdh01 html]$ ls
cm5 [beifeng@bigdata-cdh01 html]$ tree
.
└── cm5
└── redhat
└── 6
└── x86_64
└── cm
└── 5
└── RPMS
└── x86_64 将cm软件包放进网站目录：
##
[beifeng@bigdata-cdh01 cm-5.3.6]$ pwd
/opt/softwares/cm-5.3.6 [beifeng@bigdata-cdh01 cm-5.3.6]$ sudo mv ./cloudera-manager-installer.bin ../ #先把cm目录中的bin文件移出去 ##
[beifeng@bigdata-cdh01 x86_64]$ pwd
/var/www/html/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64 [beifeng@bigdata-cdh01 x86_64]$ sudo mv /opt/softwares/cm-5.3.6/* ./ 3、修改hosts文件
[beifeng@bigdata-cdh01 cm-5.3.6]$ sudo vim /etc/hosts
192.168.1.130 archive.cloudera.com #cdh1添加此行，我这里为了测试，本地hosts也添加了此行 4、准备repo文件
[beifeng@bigdata-cdh01 yum.repos.d]$ pwd
/etc/yum.repos.d [beifeng@bigdata-cdh01 yum.repos.d]$ sudo rm -rf ./* [beifeng@bigdata-cdh01 yum.repos.d]$ sudo touch cloudera-manager.repo [beifeng@bigdata-cdh01 yum.repos.d]$ cat cloudera-manager.repo
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
RPM-GPG-KEY-cloudera #这个文件手动生成一下
https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera #在网上下载此文件，放到/var/www/html/cm5/redhat/6/x86_64/cm/下面
2、安装CM
###
[beifeng@bigdata-cdh01 postgresq-libs]$ pwd
/opt/softwares/postgresq-libs [beifeng@bigdata-cdh01 postgresq-libs]$ sudo chmod u+x ./* [beifeng@bigdata-cdh01 postgresq-libs]$ sudo rpm -ivh *.rpm
Preparing... ########################################### [100%]
1:postgresql-libs ########################################### [ 33%]
2:postgresql ########################################### [ 67%]
3:postgresql-server ########################################### [100%] ###
安装CM：
[beifeng@bigdata-cdh01 repo-libs]$ pwd
/opt/softwares/repo-libs
[beifeng@bigdata-cdh01 repo-libs]$ ls
createrepo-0.9.9-18.el6.noarch.rpm deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm [beifeng@bigdata-cdh01 repo-libs]$ sudo rpm -ivh ./*.rpm
Preparing... ########################################### [100%]
1:deltarpm ########################################### [ 33%]
2:python-deltarpm ########################################### [ 67%]
3:createrepo ########################################### [100%] [beifeng@bigdata-cdh01 5]$ pwd
/var/www/html/cm5/redhat/6/x86_64/cm/5 [beifeng@bigdata-cdh01 5]$ sudo createrepo . #当前目录下会生成一个文件夹：repodata [beifeng@bigdata-cdh01 postgresq-libs]$ cd /opt/softwares/
[beifeng@bigdata-cdh01 softwares]$ sudo chmod +x cloudera-manager-installer.bin
[beifeng@bigdata-cdh01 softwares]$ sudo ./cloudera-manager-installer.bin #接着会出现一个界面
Next-->Next-->Yes-->Next-->Yes ... 如果报错了，日至都在/var/log/cloudera-manager-installer
###
等待安装完成后：
[beifeng@bigdata-cdh01 ~]$ netstat -ntlp |grep 7180
(No info could be read for "-p": geteuid()=501 but you should be root.)
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN -
浏览器打开：hostname(ip)+port
账号/密码：admin
3、安装CDH
此时要准备CDH的包
网站：http://archive.cloudera.com/cdh5/parcels/5.3.6/ 下载以下两个包：
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 创建/opt/cloudera/parcel-repo 可能CM安装时已经自动创建过了； 将上面两个包mv进/opt/cloudera/parcel-repo：
[beifeng@bigdata-cdh01 parcel-repo]$ ls
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 [beifeng@bigdata-cdh01 parcel-repo]$ sudo mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 ./CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha #去掉末尾的1 ##
查看cm的状态，
[beifeng@bigdata-cdh01 ~]$ sudo service cloudera-scm-server status
cloudera-scm-server (pid 3151) 正在运行... ##
修改CDH01 yum文件，并分发：
[beifeng@bigdata-cdh01 ~]$ sudo cat /etc/yum.repos.d/cloudera-manager.repo #内容改为如下
[cloudera-manager]
name=Cloudera Manager
baseurl=http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck=1 CDH02： sudo rm -rf /etc/yum.repos.d/*
CDH03： sudo rm -rf /etc/yum.repos.d/*
[beifeng@bigdata-cdh01 ~]$ sudo scp -r /etc/yum.repos.d/cloudera-manager.repo root@bigdata-cdh02:/etc/yum.repos.d/
[beifeng@bigdata-cdh01 ~]$ sudo scp -r /etc/yum.repos.d/cloudera-manager.repo root@bigdata-cdh03:/etc/yum.repos.d/
输入主机名，搜索主机：
然后，等待安装完成；
等待分配：
###
CDH01 的hosts文件中，注释掉下面一行：
192.168.1.130 archive.cloudera.com ###
所有节点关闭swap(可以切换到root执行)：
echo 0 > /proc/sys/vm/swappiness
sysctl vm/swappiness
echo 'vm.swappiness = 0' >> /etc/sysctl.conf
sysctl -p ###
所有节点执行：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
继续：
点击左上角Logo先离开；
4、安装CMS监控服务
CDH2、CDH3节点：
sudo crontab -e
0-59/10 * * * * sh /home/crontab/ntp.sh ##/home/crontab/ntp.sh
#!/bin/bash
#
/sbin/service ntpd stop
/usr/sbin/ntpdate bigdata-cdh01.ibeifeng.com
/sbin/service ntpd start
1、CDH集群搭建的更多相关文章
- CDH集群搭建视频教程 百度云网盘下载
CDH集群搭建视频教程 百度云网盘下载 链接: http://pan.baidu.com/s/1i5DVBlb 密码:2mny
- CDH集群搭建部署
1. 硬件准备 使用了五台机器,其中两台8c16g,三台4c8g.一台4c8g用于搭建cmServer和NFS服务端,另外4台作为cloudera-manager agent部署CDH集群. ...
- 朝花夕拾之--大数据平台CDH集群离线搭建
body { border: 1px solid #ddd; outline: 1300px solid #fff; margin: 16px auto; } body .markdown-body ...
- Cloudera Manager安装_搭建CDH集群
2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu 内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server || Agent ...
- CDH 6.0.1 集群搭建 「After install」
集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些. 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点.去将 zk ...
- CDH 6.0.1 集群搭建 「Before install」
从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 d ...
- 3.环境搭建-Hadoop（CDH）集群搭建
目录 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 本文主要是在上节CentOS集群基础上搭建Hadoop集群. 实验环境 Ha ...
- CDH集群主节点宕机恢复
1 情况概述 公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了,由于CM.HDFS的NameNode.HBase的Master都安装在Hadoop-1,导致了整个集群都 ...
- Hadoop集群搭建
配置IP,修改主机名,关闭防火墙,配置SSH免密码登录
随机推荐
- Matlab时频图
[b,f,t]=specgram(data,nfft,Fs,window,numoverlap); imagesc(t,f,20*log10(abs(b))), axis xy, colormap(j ...
- 更精炼更专注的RTMPClient客户端EasyRTMPClient，满足直播、转发、分析等各种需求
现状 EasyRTMPClient,熟悉的朋友就会联想到EasyRTSPClient项目(https://github.com/EasyDSS/EasyRTSPClient),EasyRTSPClie ...
- css 字体的unicode码
微软雅黑: YaHei宋体: SimSun黑体: SimHei ;
- JS性能优化——DOM编程
浏览器中的DOM 天生就慢 DOM是个与语言无关的API,它在浏览器中的接口却是用JavaScript实现的.客户端脚本编程大多数时候是在个底层文档打交道,DOM就成为现在JavaScript编码中 ...
- A. Playing with Paper
这是Codeforces Round #296 (Div. 2)的A题,题意就是: 小明有一张长为a,宽为b的纸,每当要折纸鹤时,就从纸上剪下一个正方形,然后,剩下的纸还可以剪出正方形,要是剩下的纸刚 ...
- 【Leetcode-easy】ZigZag Conversion
思路1:String[numRow]行字符串数组.读取原始字符串每一个字符,设置行变量 nrow和行标志位flag(向下一行为1或向上一行为-1).将该字符连接到数组中对应的行字符串,同时nrow+= ...
- CLion提示can't find stdio.h等错误
先上解决办法,启动参数如下: $ LANG=en_US.UTF-8 /path/to/clion.sh 查了好知久,竟然就由于编码的原因.可是Ubuntu已经设置为英文UTF-8,还是可以通过上面的方 ...
- 51Nod 1084 矩阵取数问题 V2 —— 最小费用最大流 or 多线程DP
题目链接:http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1084 1084 矩阵取数问题 V2 基准时间限制:2 秒 空 ...
- ASP.NET MVC3中的路由系统
MVC中,用户访问的地址并不映射到服务器中对应的文件,而是映射到对应Control里对应的ActionMethod,由ActionMethod来决定返回用户什么样的信息.而把用户访问的地址对应到对应的 ...
- 让LoadRunner再次走下神坛
1. LoadRunner 阻碍了性能测试人员对通信过程的理解我希望做性能测试的人能忘掉这个工具.我们都知道VuGen有录制的功能,其实录制这个功能对于测试来说是个非常不好的选择,就是跟 ...