一、前言

1、前面我们搭建好了高可用的Hadoop集群,本文正式开始搭建HBase

2、HBase简介

(1)Master节点负责管理数据,类似Hadoop里面的namenode,但是他只负责建表改表等操作,如果挂掉了也不会影响使用

(2)RegionServer节点负责存储数据,类似Hadoop里面的datanode,通过Zookeeper进行通信

(3)可以看出HBase实际上是基于HDFS的分布式数据库,但是单机模式下也可以直接用普通文件系统存储数据

二、HBase环境搭建

1、下载tar.gz包,并解压

tar zxvf /work/soft/installer/hbase-1.2.-bin.tar.gz

2、由于HBase是依赖Zookeeper的,所以HBase自带Zookeeper,我们先从单机模式搭建开始学习,先把之前搭建的集群停掉

3、进入到HBase目录的conf/hbase-site.xml文件,配置HBase的目录,以下目录HBase会自动创建

vim /work/soft/hbase-1.2./conf/hbase-site.xml

  <property>
<name>hbase.rootdir</name>
<value>file:///work/hbase/root</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/work/hbase/zookeeper/data</value>
</property>

4、启动HBase单机模式

/work/soft/hbase-1.2./bin/start-hbase.sh

5、通过jps查看进程是否存在

6、进入HBase的命令行

/work/soft/hbase-1.2./bin/hbase shell

7、我们尝试一下建表、插入数据、查询的操作,看到结果就说明单机模式成功搭建!

create 'testTable','testFamily'

put 'testTable','row1','testFamily:name','jack'

scan 'testTable'

8、接下来搭建分布式模式,先停掉单机模式

/work/soft/hbase-1.2./bin/stop-hbase.sh

9、然后删除刚刚自动创建的目录

rm -rf /work/hbase/root
rm -rf /work/hbase/zookeeper/data

10、由于HBase默认自动开启自带的Zookeeper,所以我们设置为不开启,用自己的Zookeeper

vim /work/soft/hbase-1.2./conf/hbase-env.sh

export HBASE_MANAGES_ZK=false

11、手动创建日志文件夹

mkdir /work/hbase/logs

12、配置hbase-env.sh

(1)配置Hadoop的配置文件目录

(2)配置日志文件夹的目录(也就是刚刚手动创建的那个目录)

vim /work/soft/hbase-1.2./conf/hbase-env.sh

export HBASE_CLASSPATH=/work/soft/hadoop-2.6./etc/hadoop
export HBASE_LOG_DIR=/work/hbase/logs

13、配置hbase-site.xml

(1)配置我们的Hadoop集群id

(2)开启分布式开关

(3)配置Zookeeper集群

vim /work/soft/hbase-1.2./conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://stormcluster/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>storm1,storm2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/work/hbase/zookeeper/data</value>
</property>

14、启动HBase集群

(1)首先启动我们的Hadoop集群

(2)启动Master

/work/soft/hbase-1.2./bin/hbase-daemon.sh start master

(3)用jps命令查看进程是否存在

(4)启动RegionServer

/work/soft/hbase-1.2./bin/hbase-daemon.sh start regionserver

(5)用jps命令查看进程是否存在

(6)通过16010端口访问HBase的控制台,可以看到刚刚开启的regionserver,到此HBase搭建成功!

流式大数据计算实践(4)----HBase安装的更多相关文章

  1. 流式大数据计算实践(1)----Hadoop单机模式

    一.前言 1.从今天开始进行流式大数据计算的实践之路,需要完成一个车辆实时热力图 2.技术选型:HBase作为数据仓库,Storm作为流式计算框架,ECharts作为热力图的展示 3.计划使用两台虚拟 ...

  2. 流式大数据计算实践(6)----Storm简介&使用&安装

    一.前言 1.这一文开始进入Storm流式计算框架的学习 二.Storm简介 1.Storm与Hadoop的区别就是,Hadoop是一个离线执行的作业,执行完毕就结束了,而Storm是可以源源不断的接 ...

  3. 流式大数据计算实践(5)----HBase使用&SpringBoot集成

    一.前言 1.上文中我们搭建好了一套HBase集群环境,这一文我们学习一下HBase的基本操作和客户端API的使用 二.shell操作 先通过命令进入HBase的命令行操作 /work/soft/hb ...

  4. 流式大数据计算实践(7)----Hive安装

    一.前言 1.这一文学习使用Hive 二.Hive介绍与安装 Hive介绍:Hive是基于Hadoop的一个数据仓库工具,可以通过HQL语句(类似SQL)来操作HDFS上面的数据,其原理就是将用户写的 ...

  5. 流式大数据计算实践(3)----高可用的Hadoop集群

    一.前言 1.上文中我们已经搭建好了Hadoop和Zookeeper的集群,这一文来将Hadoop集群变得高可用 2.由于Hadoop集群是主从节点的模式,如果集群中的namenode主节点挂掉,那么 ...

  6. 流式大数据计算实践(2)----Hadoop集群和Zookeeper

    一.前言 1.上一文搭建好了Hadoop单机模式,这一文继续搭建Hadoop集群 二.搭建Hadoop集群 1.根据上文的流程得到两台单机模式的机器,并保证两台单机模式正常启动,记得第二台机器core ...

  7. 大数据计算框架Hadoop, Spark和MPI

    转自:https://www.cnblogs.com/reed/p/7730338.html 今天做题,其中一道是 请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什 ...

  8. 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI

    基于FacebookPresto+Cassandra的敏捷式大数据 文件夹 1 1.1 1.1.1 1.1.2 1.2 1.2.1 1.2.2 2 2.1 2.2 2.3 2.4 2.5 2.6 3 ...

  9. Apache Flink 为什么能够成为新一代大数据计算引擎?

    众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会.如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速 ...

随机推荐

  1. Debug命令详解

    Debug在学习汇编的过程中,担任着一个非常重要的角色,是一个极其重要的调试工具,所以学会它是必须的. 命令格式 功能说明 A [地址] 输入汇编指令 C [范围] 起始地址 对由“范围”指定的区域与 ...

  2. 机器学习——KNN算法(k近邻算法)

    一 KNN算法 1. KNN算法简介 KNN(K-Nearest Neighbor)工作原理:存在一个样本数据集合,也称为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分 ...

  3. URI is not registered ( Setting | Project Settings | Schemas and DTDs )

    URI is not registered ( Setting | Project Settings | Schemas and DTDs ) 在idea中,当初手动第一次写spring配置文件的时候 ...

  4. python学习:利用循环语句完善输入设置

    利用循环语句完善输入设置 使用for循环: 代码1:_user = "alex"_password = "abc123" for i in range(3): ...

  5. Mysql初学入门

    最近研究了一下Mysql的初学应用,在此进行整理记录. 1.Windows系统下的安装 我用的是win10系统,在http://dev.mysql.com/downloads/mysql/ 下载相应版 ...

  6. 用Java写hello world

    public class HelloWorld{ public static void main(String[] args){ System.out.println("hello worl ...

  7. javaScript Event Loop + NodeJs问题解析

    http://www.ruanyifeng.com/blog/2014/10/event-loop.html https://github.com/ElemeFE/node-interview/tre ...

  8. AI应用开发实战

    AI应用开发实战 出发点 目前,人工智能在语音.文字.图像的识别与解析领域带来了跨越式的发展,各种框架.算法如雨后春笋一般,互联网上随处可见与机器学习有关的学习资源,各大mooc平台.博客.公开课都推 ...

  9. 依赖注入[5]: 创建一个简易版的DI框架[下篇]

    为了让读者朋友们能够对.NET Core DI框架的实现原理具有一个深刻而认识,我们采用与之类似的设计构架了一个名为Cat的DI框架.在<依赖注入[4]: 创建一个简易版的DI框架[上篇]> ...

  10. 字符串----HDU-1358

    题目大意:求字符串的前缀是否为周期串,若是,打印出循环节的长度以及循环次数. 这道题考察的是KMP算法中next数组的应用,必须理解透next[]数组代表的含义才t能通过它解决这道题.思路是先构造出 ...