0x01 软件环境

OS: CentOS-6.5-x86_64 

JDK: jdk-8u111-linux-x64 

Hadoop: hadoop-2.6.5

Zookeeper: zookeeper-3.4.6

Hbase: hbase-0.98.24

0x02 集群概况

IP hostname
192.168.1.10 master
192.168.1.11 slave1
192.168.1.12 slave2

0x03 安装配置

3.1 安装

下载地址:http://www.apache.org/dyn/closer.cgi/hbase/

软件版本:hbase-0.98.24-hadoop2-bin.tar.gz

兼容列表:http://hbase.apache.org/book.html#hadoop

确保你下载的版本与你现存的Hadoop版本兼容兼容列表以及支持的JDK版本(HBase 1.0.x 已经不支持JDK 6了)。

$ tar -zxvf hbase-0.98.24-bin.tar.gz
$ mv hbase-0.98.24 /home/hadoop/cloud/
$ ln -s /home/hadoop/cloud/hbase-0.98.24 /home/hadoop/cloud/hbase

3.2 配置环境变量

# vim /etc/profile
//追加
export HBASE_HOME=/usr/cloud/hbase
export PATH=$PATH:$HBASE_HOME/bin

使配置环境生效

# source /etc/profile
# su hadoop
$ source /etc/profile

3.3 配置hbase-env.sh

$ vim hbase-env.sh
# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/home/hadoop/cloud/java

3.4 配置hbase-site.xml

$ vim conf/hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/cloud/zookeeper/data</value>
</property>
</configuration>
  • 第一个属性指定本机的hbase的存储目录,必须与Hadoop集群的core-site.xml文件配置保持一致;
  • 第二个属性指定hbase的运行模式,true代表全分布模式;
  • 第三个属性指定Zookeeper管理的机器,一般为奇数个
  • 第四个属性是数据存放的路径。这里我使用的默认的HBase自带的 Zookeeper

    使用独立的ZooKeeper时需要修改HBASE_MANAGES_ZK值为false,为不使用默认ZooKeeper实例。

3.5 配置regionservers

$ vim regionservers

slave1
slave2

regionservers文件列出了所有运行hbase的机器(即HRegionServer)。此文件的配置和Hadoop中的slaves文件十分相似,每行指定一台机器的主机名。当HBase启动的时候,会将此文件中列出的所有机器启动。关闭时亦如此。我们的配置意为在slave1, slave2上都将启动 RegionServer

3.6 分发文件到所有slave节点

$ scp -r hbase-0.98.24 hadoop@slave1:/home/hadoop/cloud/
$ scp -r hbase-0.98.24 hadoop@slave2:/home/hadoop/cloud/

注意:在所有slave几点建立软链并配置环境变量。

0x04 修改ulimit限制

4.1 修改limits.conf

HBase 会在同一时间打开大量的文件句柄和进程,超过 Linux 的默认限制,导致可能会出现如下错误。

2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Exception increateBlockOutputStream java.io.EOFException
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block blk_-6935524980745310745_1391901

所以编辑/etc/security/limits.conf文件,添加以下两行,提高能打开的句柄数量和进程数量。注意将hadoop改成你运行 HBase 的用户名。

# vim /etc/security/limits.conf

hadoop - nofile 32768
hadoop - nproc 32000

4.2 配置common-session

还需要在 /etc/pam.d/common-session 加上这一行(可能文件不错在,需要自己创建)

# vim /etc/pam.d/common-session

session required pam_limits.so

否则在/etc/security/limits.conf上的配置不会生效。

最后还要注销(logout或者exit)后再登录,这些配置才能生效!使用ulimit -n -u命令查看最大文件和进程数量是否改变了。记得在每台安装 HBase 的机器上运行哦。

0x05 运行HBase

5.1 在master启动hbase

$ cd /usr/cloud/hbase/bin/
$ start-hbase.sh

5.2 验证HBase安装成功

jps查看进程

master节点

3024 SecondaryNameNode
3170 ResourceManager
4099 QuorumPeerMain
8040 Jps
2841 NameNode
3468 Master
7901 HMaster

slave节点

3264 QuorumPeerMain
1410 NodeManager
1333 DataNode
3754 HRegionServer
1596 Worker
3807 Jps

master 运行 jps 应该会有HMaster进程;在各个 slave 上运行jps应该会有HRegionServer进程。

在浏览器中输入 http://master:16010 可以看到 HBase Web UI

0x06 常见错误

6.1 停止hbase时,pid不存在

HBase停止节点报错pid不存在

修改配置文件hbase-env.sh

$ vim /usr/cloud/hbase/conf/hbase-env.sh
export HBASE_PID_DIR=/usr/cloud/hadoop/pids
export HBASE_MANAGES_ZK=false

但是上述方法并没有解决我的问题,后来我发现是我的zookeeper没有启动成功,HBASE_PID_DIR无需更改配置,只需要修改export HBASE_MANAGES_ZK=false,不使用默认的zookeeper即可。

6.2 shell命令行"退格键"删除不了

在HBase的shell命令行界面输入错误项按"退格键"删除,却怎么也删除不了:

SecureCRT:正确的做法是:Terminal \ Emulation \ Mapped Keys, 点 Map a key,按下 Backspace,Function 选择 Send String,右侧输入 \177 即 ASCII 码为 0x7F 的键码,就能直接用 Backspace 删除了。

6.3 multbind警告

hbase/lib 目录下还有个 slf4j-log4j12-XXX.jar,在机器有装hadoop时,由于classpath中会有hadoop中的这个jar包,会有冲突,直接删除掉。

$ cd ~/cloud/hbase/lib
$ rm -f slf4j-log4j12-*jar

0x07 参考链接

2017年1月23日, 星期一

update: 2017-10-18 22:19:17 星期三

修改部分错误,重新排版。

HBase集群安装部署的更多相关文章

  1. HBase 1.2.6 完全分布式集群安装部署详细过程

    Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Bigtable思想的开源实现,可在廉价的PC Server上搭建大规模结构化存 ...

  2. hbase单机环境的搭建和完全分布式Hbase集群安装配置

    HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. @hbase单机环境的搭建 ...

  3. Hbase集群安装Version1.1.5

    Hbase集群安装,基于版本1.1.5, 使用hbase-1.1.5.tar.gz安装包. 1.安装说明 使用外部Zookeeper集群而非Hbase自带zookeeper, 使用Hadoop文件系统 ...

  4. flink部署操作-flink standalone集群安装部署

    flink集群安装部署 standalone集群模式 必须依赖 必须的软件 JAVA_HOME配置 flink安装 配置flink 启动flink 添加Jobmanager/taskmanager 实 ...

  5. 1.Hadoop集群安装部署

    Hadoop集群安装部署 1.介绍 (1)架构模型 (2)使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar. ...

  6. 2 Hadoop集群安装部署准备

    2 Hadoop集群安装部署准备 集群安装前需要考虑的几点硬件选型--CPU.内存.磁盘.网卡等--什么配置?需要多少? 网络规划--1 GB? 10 GB?--网络拓扑? 操作系统选型及基础环境-- ...

  7. K8S集群安装部署

    K8S集群安装部署   参考地址:https://www.cnblogs.com/xkops/p/6169034.html 1. 确保系统已经安装epel-release源 # yum -y inst ...

  8. 【分布式】Zookeeper伪集群安装部署

    zookeeper:伪集群安装部署 只有一台linux主机,但却想要模拟搭建一套zookeeper集群的环境.可以使用伪集群模式来搭建.伪集群模式本质上就是在一个linux操作系统里面启动多个zook ...

  9. 第06讲:Flink 集群安装部署和 HA 配置

    Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flin ...

随机推荐

  1. 伙计,给我来一杯package.json!不加糖

    前言:夜深了,我熬了一锅热气腾腾的package.json,给大家端上来,希望大家喜欢 json和JS对象的区别 package.json,顾名思义,它是一个json文件,而不能写入JS对象. 所以我 ...

  2. require.js(浅聊)

    一.require 了解requirejs之前首先明白什么是模块化: 1.什么是模块化? 模块化设计是指在对一定范围内的不同功能或相同功能不同性能.不同规格的产品进行功能分析的基础上,划分并设计出一系 ...

  3. js 设置下拉框的默认值

    设置下拉框的默认值,直接在option中增加selected就可以了.但是现在要使用JS来设置它的默认值,代码如下: <select name="aaa" id=" ...

  4. java在控制台输出空心正方形,菱形,空心菱形

     使用for和if打印一个空心正方形 /*思路:要想打印一个5x5的空心正方形,首先它的第一横行和最后一行都是填满的,需要全部遍历出来,第二三四行和只有左右两条边是出来的,中间部分为空的.因此在打印第 ...

  5. visual studio错误中断处理

    点击将错误黏贴到剪贴板,复制到文本文件中.具体错误原因即可查出.

  6. Sass学习笔记(补充)

    阅读目录 1. Sass和SCSS的区别 2. @while循环 3. @at-root 4. @content 5. 凸显注释 6. CSS输出样式 7. 重置浏览器样式 8. Sass调试和@de ...

  7. vue.js移动端app实战1:初始配置

    本系列将会用vue.js2制作一个移动端的webapp单页面,页面不多,大概在7,8个左右,不过麻雀虽小,五脏俱全,常用的效果如轮播图,下拉刷新,上拉加载,图片懒加载都会用到.css方面也会有一些描述 ...

  8. [bzoj 1468][poj 1741]Tree [点分治]

    Description Give a tree with n vertices,each edge has a length(positive integer less than 1001). Def ...

  9. 安装harbor私有镜像仓库

    有朋友安装harbor的过程中遇到很多问题,为此写一篇最简单安装harbor的文档,希望能帮助所有刚开始接触harbor的新手.harbor的架构不做探究. 实验验环境:os --> cento ...

  10. (转)Linux下安装firefox最新版

    为了方便在linux服务器上面进行web调试,安装火狐浏览器 1下载 首先去火狐主页,中文是http://www.firefox.com.cn/,点击"免费下载" 2 解压并创建快 ...