CentOS7搭建 Hadoop + HBase + Zookeeper集群
摘要: 本文主要介绍搭建Hadoop、HBase、Zookeeper集群环境的搭建
一、基础环境准备
1、下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日)
1)jdk-8u131
下载地址:Java SE Development Kit 8
2)hadoop-2.7.3
下载地址:Index of /apache/hadoop/common/hadoop-2.7.3
3)hbase-1.2.5
下载地址:Index of /apache/hbase/1.2.5
4)zookeeper-3.4.10
下载地址:Index of /apache/zookeeper/zookeeper-3.4.10
2、修改hosts文件(使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102)
vim /etc/hosts
添加以下信息
192.168.0.100 master
192.168.0.101 slave1
192.168.0.102 slave2
3、安装JDK
-- 解压jdk安装包
mkdir /usr/java
tar -zxvf jdk-8u131-linux-x64.tar.gx -C /usr/java
-- 拷贝jdk至slave1及slave2中
scp -r /usr/java slave1:/usr
scp -r /usr/java slave2:/usr
-- 设置jdk环境变量
vim /etc/environment
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
4、设置免密登陆
slave1
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub
scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/
slave2
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub
scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/
master
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes
-- 拷贝文件至slave1及slave2
scp ~/.ssh/authorized_keys slave1:~/.ssh
scp ~/.ssh/authorized_keys slave2:~/.ssh
5、关闭防火墙及SELINUX
-- 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
-- 关闭SELINUX
vim /etc/selinux/config
-- 注释掉
SELINUX=enforcing
SELINUXTYPE=targeted
-- 添加
SELINUX=disabled
二、Hadoop环境搭建
1、解压缩安装包及创建基本目录
tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr
cd /usr/hadoop-2.7.3
mkdir tmp logs hdf hdf/data hdf/name
2、修改hadoop配置文件
-- 修改 slaves 文件
vim /usr/hadoop-2.7.3/etc/hadoop/slaves
-- 删除 localhost,添加
slave1
slave2
-- 修改 core-site.xml 文件
vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml
-- 在 configuration 节点中添加以下内容
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
file:/usr/hadoop-2.7.3/tmp
-- 修改 hdfs-site.xml 文件
vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
-- 在 configuration 节点添加以下内容
dfs.datanode.data.dir
/usr/hadoop-2.7.3/hdf/data
true
dfs.namenode.name.dir
/usr/hadoop-2.7.3/hdf/name
true
-- 修改 mapred-site.xml 文件
cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml
vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml
-- 在 configuration 节点添加以下内容
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
master:10020
mapreduce.jobhistory.webapp.address
master:19888
-- 修改 yarn-site.xml 文件
vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml
-- 在 configuration 节点添加以下内容
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.mapred.ShuffleHandler
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8031
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
3、复制hadoop到slave节点
scp -r /usr/hadoop-2.7.3 slave1:/usr
scp -r /usr/hadoop-2.7.3 slave2:/usr
4、配置 master 和 slave 的 hadoop 环境变量
vim /etc/profile
-- 添加如下内容
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
-- 保存后执行
source /etc/profile
vim ~/.bashrc
-- 添加如下内容
export HADOOP_PREFIX=/usr/hadoop-2.7.3/
5、格式化 namenode
/usr/hadoop-2.7.3/sbin/hdfs namenode -format
6、启动 hadoop
/usr/hadoop-2.7.3/sbin/start-all.sh
到这一步已经成功完成了hadoop环境的搭建
三、Zookeeper环境搭建
1、解压缩 zookeeper 安装包,并建立基本目录
tar -zxvf zookeeper-3.4.10.tar.gz -C /usr
mkdir /usr/zookeeper-3.4.10/data
2、修改配置文件
-- 复制配置文件模板
cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg
-- 修改配置文件
vim /usr/zookeeper-3.4.10/conf/zoo.cfg
-- 添加如下内容
dataDir=/usr/zookeeper-3.4.10/data
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
-- 创建myid文件(master、slave1、slave2均需更新)
touch /usr/zookeeper-3.4.10/data/myid
vim /usr/zookeeper-3.4.10/myid
-- 添加如下内容
1(master节点添加)
2(slave2节点添加)
3(slave3节点添加)
3、启动zookeeper
-- master、slave1、slave2增需要执行
cd /usr/zookeeper-3.4.10/bin
./zkServer.sh start
./zkServer.sh status
到这一步完成了zookeeper环境的搭建
四、HBase环境搭建
1、解压缩hbase安装包
tar -zxvf hbase-1.2.5-bin.star.gz -C /usr
mkdir /usr/hbase-1.2.5-bin/logs
2、修改配置文件
vim /usr/hbase-1.2.5/conf/hbase-env.sh
-- 添加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_131
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_MANAGES_ZK=false
3、修改regionservers
vim /usr/hbase-1.2.5/conf/regionservers
-- 删除localhost,新增如下内容
master
slave1
slave2
4、修改配置文件
vim /usr/hbase-1.2.5/conf/hbase-site.xml
-- 在configuration节点下添加如下内容
hbase.rootdir
hdfs://master:9000/hbase
hbase.cluster.distributed
true
hbase.zookeeper.quorum
master,slave1,slave2
hbase.zookeeper.property.dataDir
/usr/zookeeper-3.4.10/data
hbase.master
hdfs://master:60000
5、复制hbase到slave中
scp -r /usr/hbase-1.2.5 slave1:/usr
scp -r /usr/hbase-1.2.5 slave2:/usr
6、启动hbase
/usr/hbase-1.2.5/bin/start-hbase.sh
到这一步hbase环境搭建完成
CentOS7搭建 Hadoop + HBase + Zookeeper集群的更多相关文章
- [推荐]Hadoop+HBase+Zookeeper集群的配置
[推荐]Hadoop+HBase+Zookeeper集群的配置 Hadoop+HBase+Zookeeper集群的配置 http://wenku.baidu.com/view/991258e881c ...
- ZooKeeper1 利用虚拟机搭建自己的ZooKeeper集群
前言: 前段时间自己参考网上的文章,梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案,其中有一个方案是使用ZooKeeper,加之在大数据处理中,ZooKeeper确实起 ...
- 用三台虚拟机搭建Hadoop全分布集群
用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home/software下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop ...
- Hadoop(三)手把手教你搭建Hadoop全分布式集群
前言 上一篇介绍了伪分布式集群的搭建,其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的.接下来我将给大家分享一下全分布式集群的搭建! 其实搭建最基本的全分布式集群和伪分布式集群 ...
- Hadoop(三)搭建Hadoop全分布式集群
原文地址:http://www.cnblogs.com/zhangyinhua/p/7652686.html 阅读目录(Content) 一.搭建Hadoop全分布式集群前提 1.1.网络 1.2.安 ...
- 『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本 主机名 ip 对应角色 mas ...
- ZooKeeper学习之路 (九)利用ZooKeeper搭建Hadoop的HA集群
Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢? HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SP ...
- 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS ...
- Hadoop 学习之路(八)—— 基于ZooKeeper搭建Hadoop高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
随机推荐
- 基于Python的接口自动化
第一步 Python的安装配置 打开官网: https://www.python.org/downloads/ 目前官网上已经更新到3.6.1啦,有两个版本,大家可以按自己喜欢的去下载,我自己选择的是 ...
- python常用命令—‘\r’
# \r 默认表示将输出的内容返回到第一个指针,这样的话,后面的内容会覆盖前面的内容 如常用的显示程序完成进度!!
- [2018 ACL Short and System] 对话系统
Short Paper(s) 1. Task-oriented Dialogue System for Automatic Diagnosis. (Cited by 0) Zhongyu Wei, ...
- Fluent Python: @property
Fluent Python 9.6节讲到hashable Class, 为了使Vector2d类可散列,有以下条件: (1)实现__hash__方法 (2)实现__eq__方法 (3)让Vector2 ...
- Thunder团队第一周 - Scrum会议7
Scrum会议7 小组名称:Thunder 项目名称:爱阅app Scrum Master:宋雨 工作照片: 参会成员: 王航:http://www.cnblogs.com/wangh013/ 李传康 ...
- 计算器软件实现系列(七)WPF+SQL+策略模式
一 整体概述 本次设计主要是在WPF的页面中实现的,属于表现层的更换,数据库部分用的还是数据库的封装,其中引用了策略模式 二 设计思路 1 在出题页面,进行试题的编辑,在编辑后会自动保存到数据库中 ...
- tabales1.10版参数详解
//@translator codepiano //@blog codepiano //@email codepiano.li@gmail.com //尝试着翻译了一下,难免有错误的地方,欢迎发邮件告 ...
- C# 中的 Async 和 Await
这篇文章由Filip Ekberg为DNC杂志编写. 自跟随着.NET 4.5 及Visual Studio 2012的C# 5.0起,我们能够使用涉及到async和await关键字的新的异步模式.有 ...
- 扩展SplitContainer控件
效果图: 自定义控件实现代码: using System; using System.ComponentModel; using System.Drawing; using System.Window ...
- java 基础 --多态--009
1, 多态:同一个对象(事物),在不同时刻体现出来的不同状态 2, 多态的前提: A: 要有继承关系 B: 要有方法的重写 C: 要有父类引用指向子类对象 父 f = new 子(); 3, 多态访问 ...