hbase安装与配置-分布式

HBASE安装与配置

备注：

1：本文在hadoop的完全分布式基础上部署hbase

2：本文使用的是小博主自己搭建的zookpeer服务，未使用hbase本身的zookpeer服务

    本文内容在以下前提下进行配置：

1：master为s100,其他为regionserver（s1,s2,s3）

2：linux主机名需要修改

3：配置主机之间的解析名

例：vim /etc/hosts

master  192.168.1.1

slave_1 192.168.1.2

slave_2 192.168.1.3

4：所有主机之间的免密登陆

一：下载文件

地址：http://www.apache.org/dyn/closer.lua/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

二：解压

将文件解压到/usr/local下面

[root@s100 ~]# tar -zxvf hbase-1.2.6-bin.tar.gz -C /usr/local/

为了后续操作，将hbase-1.2.6 改名为hbase

[root@s100 local]# pwd

/usr/local

[root@s100 local]# mv hbase-1.2.6 hbase

[root@s100 local]# ls

bin  games   hbase  hive.bak  java  lib64    sbin   src

etc  hadoop  hive   include   lib   libexec  share

三：配置hbase的环境变量

[root@s100 local]# vim /etc/profile

 #hbase

 export HBASE_HOME=/usr/local/hbase

 export PATH=$PATH:$HBASE_HOME/bin

更新环境变量

[root@s100 local]# source /etc/profile

四：配置hbase

编辑hbase-site.xml文件

[root@s100 conf]# pwd

/usr/local/hbase/conf

[root@s100 conf]# ls

hadoop-metrics2-hbase.properties  hbase-env.sh      hbase-site.xml    regionservers

hbase-env.cmd                     hbase-policy.xml  log4j.properties

配置内容如下：（Apache官方文档）

根据上面信息：

<configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://s100:8020/hbase</value>

  </property>

  <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

  </property>

   <property>

       <name>dfs.replication</name>

       <value>3</value>

   </property>

  <property>

    <name>hbase.zookeeper.quorum</name><!-- 选用自己的zookpeer地址 --!>

    <value>s1:2181,s2:2181,s3:2181</value>

  </property>

</configuration>

备注：这里没有配置name:hbase.zookpeer.property.dataDir value:/home/centos/hbase/zk（hbase本身的zookpeer）

五：关闭hbase本身的zookpeer

在本文中，我们采用了自己的zookpeer，所以我们要关闭hbase本身zookpeer管理文件

修改hbase的evn.sh文件

[root@s100 conf]# vim hbase-env.sh

export JAVA_HOME=/usr/local/java

export HBASE_MANAGES_ZK=false

六：配置区域服务器（regionserver）

[root@s100 conf]# cat regionservers

s1

s2

s3

最后将hbase分发到s1,s2,s3上面，注意环境变量/etc/profile

将s100上的hbase拷贝到s1上

[root@s100 local]# pwd

/usr/local

[root@s100 local]# scp -r hbase root@s1:/usr/local/

将s100上的环境变量拷贝到s1上

[root@s100 local]# scp /etc/profile root@s1:/etc/profile

profile                                                  100% 2215     2.2KB/s   00:00

s2和s3：重复上面步骤

启动hbase

启动zookpeer集群（zookpeer位于s1:s2:s3上，zookpeer安装与配置）

[root@s1 bin]# pwd

/usr/local/zookeeper/bin

[root@s1 bin]# ./zkServer.sh start

启动hadoop的hdfs

[root@s100 local]# start-dfs.sh

18/04/08 20:15:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Starting namenodes on [s100]

s100: starting namenode, logging to //usr/local/hadoop/logs/hadoop-root-namenode-s100.out

s1: starting datanode, logging to //usr/local/hadoop/logs/hadoop-root-datanode-s1.out

s3: starting datanode, logging to //usr/local/hadoop/logs/hadoop-root-datanode-s3.out

s2: starting datanode, logging to //usr/local/hadoop/logs/hadoop-root-datanode-s2.out

Starting secondary namenodes [s10]

s10: ssh: connect to host s10 port 22: No route to host

18/04/08 20:16:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

启动hbase

[root@s100 logs]# start-hbase.sh

starting master, logging to /usr/local/hbase/logs/hbase-root-master-s100.out

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

s2: starting regionserver, logging to /usr/local/hbase/bin/../logs/hbase-root-regionserver-s2.out

s2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

s2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

s3: starting regionserver, logging to /usr/local/hbase/bin/../logs/hbase-root-regionserver-s3.out

s1: starting regionserver, logging to /usr/local/hbase/bin/../logs/hbase-root-regionserver-s1.out

s3: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

s3: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

s1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

s1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

hbase对应进程名称：

s100（master）：HMaster

s1,s2,s3：HRegionServer

[root@s1 bin]# jps

29605 DataNode               　 hdfs的数据节点进程

20904 QuorumPeerMain     　　　　zookpeer进程

29833 Jps

29801 HRegionServer        　　 hbase的regionserver进程

[root@s100 ~]# jps

53574 Jps

52938 NameNode              　　 hdfs的名称节点进程

53357 HMaster                   　　　hbase的master节点进程

web的ui界面：

s100:16010

master为s100

regionserver服务器s1,s2,s3都存在

hbase配置成功

备注：如果regionserver不存在或者不完全存在（如果没有s1），大多数情况下是linux服务器的时间不一样导致的。

如果在s1上启动s1为master服务器：

[root@s1 bin]# hbase-daemon.sh start master

starting master, logging to /usr/local/hbase/logs/hbase-root-master-s1.out

[root@s1 bin]# jps

29605 DataNode

30533 HMaster

30311 HRegionServer

20904 QuorumPeerMain

30687 Jps

s1：存在Hmaster和Hregionserver

此时的web ui界面：

s1在backup master上存在，s1成为备份节点

在zookpeer中查询hbase：

[root@s100 bin]# ./zkCli.sh

WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2181(CONNECTED) 0] ls /

[zookeeper, hbase]

既然zookpeer存在，也就说明hbase实现了容灾过程

所以，如果s100挂掉，那么s1作为backup-master会成为master服务器

[root@s100 local]# jps

52938 NameNode

54522 HMaster

54894 Jps

[root@s100 local]# kill 54522

[root@s100 local]# jps

55014 Jps

52938 NameNode

master成为s1，并且无备份的master服务器

剩下的就不一一细讲了，本篇文章就到这里呢O(∩_∩)O~

本文版权声明：

本文作者：魁·帝小仙

博文主页地址：http://www.cnblogs.com/dxxblog/

欢迎对小博主的博客内容批评指点，如果问题，可评论或邮件联系（2335228250@qq.com）

欢迎转载，转载请在文章页面明显位置给出原文链接，谢谢