Zookeer-- 上搭建 hbase
一、HBase的相关概念
1.HBase的概念:
大量数据进行随机近实时读写时使用Hbase。
2.HBase是一个模仿Gootable’s Bigtable的,开源的、分布式的、版本化的非关系型数据库。
3.Hbase是一个非关系型数据库。
4.HBase是用来在大量数据中进行低延迟的随机查询的
2.什么是nosql?
Not Only SQL ,意即“不仅仅是SQL”
3.常见的nosql数据库类型
非关系型数据库——列存储(HBase)
非关系型数据库——文档型存储(MongoDb)
非关系型数据库——内存式存储(redis)
二、Hbase的环境搭建
http://hbase.apache.org/
(1).集群规划:
Node Name Master ZooKeeper RegionServer
Hadoop001 yes yes yes
Hadoop002 backup yes yes
Hadoop003 no yes yes
(2).三台机器配置JDK及环境变量:JAVA_HOME
(3).配置一个独立的zookeeper集群
--------------------------------------------------
在Hadoop001节点上操作:
上传、解压、重命名、配置zoo.cfg
vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/bigdata/zkmyid
clientPort=2181
server.1=Hadoop001:2888:3888
server.2=Hadoop002:2888:3888
server.3=Hadoop003:2888:3888
将zookeeper包发送到Hadoop002、Hadoop003:
scp -r zookeeper root@Hadoop002:/opt/
scp -r zookeeper root@Hadoop003:/opt/
在Hadoop001配置profile环境变量并且发送给Hadoop002、Hadoop003节点:
vi /etc/profile
export ZK_HOME=/opt/zookeeper
export PATH=$PATH:$ZK_HOME/bin
刷新配置
source /etc/profile
发送环境变量:
scp /etc/profile root@Hadoop002:/etc/
scp /etc/profile root@Hadoop003:/etc/
--------------------------------------------------
在Hadoop001、Hadoop002、Hadoop003分别执行
mkdir /home/bigdata/zkmyid -p
echo "1" > /home/bigdata/zkmyid/myid
mkdir /home/bigdata/zkmyid -p
echo "2" > /home/bigdata/zkmyid/myid
mkdir /home/bigdata/zkmyid -p
echo "3" > /home/bigdata/zkmyid/myid
--------------------------------------------------
启动zookeeper集群并且查看服务状态
在三台机器分别执行:zkServer.sh start
查看状态:zkServer.sh status
====================================================
====================================================
(4)配置Hbase
上传、解压、重命名
配置:
vi hbase-env.sh
export JAVA_HOME=/opt/jdk
#使用自己安装的zk管理Hbase集群
export HBASE_MANAGES_ZK=false
export HADOOP_HOME=/opt/hadoop
#根据集群规划,在Hadoop001、Hadoop002、Hadoop003三个街道上启动HRegionServer服务
vi regionservers
Hadoop001
Hadoop002
Hadoop003
vi hbase-site.xml
<!-- 配置HBase使用分布式方式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--hbase中的数据在HDFS上的位置-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop001:8020/hbase</value>
</property>
<!--hbase需要连接的zookeeper集群-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop001,hadoop002,hadoop003</value>
</property>
<!--hbase中保存zookeeper数据的地址-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/data/zookeeper</value>
</property>
新建backup文件配置backup-master
vi backup-masters
Hadoop002
将Hbase框架发送到Hadoop002、Hadoop003上:
scp -r hbase root@Hadoop002:/opt/
scp -r hbase root@Hadoop003:/opt/
在Hadoop001配置profile环境变量并且发送给Hadoop002、Hadoop003节点:
vi /etc/profile
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin
发送环境变量:
scp /etc/profile root@Hadoop002:/etc/
scp /etc/profile root@Hadoop003:/etc/
刷新配置
source /etc/profile
(5)、先启动Zookeer集群或者Hadoop集群,在启动Hbase集群
====Zookeer集群=====Zookeer集群
在三台机器上分别执行:
zkServer.sh start
查看Zookeer集群服务状态:
zkServer.sh status
Hadoop集群=======
start-all.sh
启动Hbase集群(在启动hbase之前,先执行时间同步 date -s "00:00:00")
start-hbase.sh
链接hbase客户端:
hbase shell
进入客户端之后,检查Hbase是否正确链接Zookeeper
list
Zookeer-- 上搭建 hbase的更多相关文章
- Kubernetes-在Kubernetes集群上搭建HBase集群
经过3天的努力,终于在Kubernetes上把HBase集群搭建起来了,搭建步骤如下. 创建HBase镜像 配置文件包含core-site.xml.hbase-site.xml.hdfs-site ...
- AWS EMR上搭建HBase环境
0. 概述 AWS的EMR服务为客户提供的托管 Hadoop 框架可以让您轻松.快 速.经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理 大量数据.您还可以运行其他常用的分发框架 ...
- 在Hadoop集群上,搭建HBase集群
(1)下载Hbase包,并解压:这里下载的是0.98.4版本,对应的hadoop-1.2.1集群 (2)覆盖相关的包:在这个版本里,Hbase刚好和Hadoop集群完美配合,不需要进行覆盖. 不过这里 ...
- 基于HBase0.98.13搭建HBase HA分布式集群
在hadoop2.6.0分布式集群上搭建hbase ha分布式集群.搭建hadoop2.6.0分布式集群,请参考“基于hadoop2.6.0搭建5个节点的分布式集群”.下面我们开始啦 1.规划 1.主 ...
- 【hbase0.96】基于hadoop搭建hbase的心得
hbase是基于hadoop的hdfs框架做的分布式表格存储系统,所谓表格系统就是在k/v系统的基础上,对value部分支持column family和column,并支持多版本读写. hbase的工 ...
- Hadoop集群上搭建Ranger
There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...
- Linux 下搭建 HBase 环境
Linux 下搭建 HBase 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 HBase 环境 CSDN:Linux 下搭建 HBase 环境 前置工作 首先,需要先完成 Linux ...
- 在UP Board 上搭建M——L服务器
前言 原创文章,转载引用务必注明链接,水平有限,欢迎指正. 本文环境:ubilinux 3.0 on UP Board 初识免流 所谓免流,就是免除手机访问网络产生的流量费用.其原理在乌云网上有过报道 ...
- 在Github上搭建自己的博客(Windows平台)
折腾了好久,终于在Github上搭建了自己的博客.这里面总结一下过程希望对大家能有所帮助. Github建博优缺点 和 csdn,新浪,网易相比,在Github上可以自己实现功能 和阿里云,VPS相比 ...
- JMeter--二、在Windows环境上搭建wordpress
为了学习使用JMeter,在Windows环境上搭建了wordpress. 使用JMeter录制或是编写登录worepress.编辑文章.删除文章的脚本. 首先了解一下wordpress是什么? Wo ...
随机推荐
- GNU/Linux与开源文化的那些人和事
一.计算机的发明 世上本无路,走的人多了,就有了路.世上本无计算机,琢磨的人多了--没有计算机,一切无从谈起. 三个人对计算机的发明功不可没,居功至伟.阿兰·图灵(Alan Mathison Tur ...
- 浓缩的才是精华:浅析GIF格式图片的存储和压缩
成文迪, 在Web前端摸爬滚打的码农一枚,对技术充满热情的菜鸟,致力为手Q的建设添砖加瓦. GIF格式的历史 GIF(Graphics Interchange Format)原义是"图像互换 ...
- String, StringBuilder, StringBuffer问题
1. 区别 String为字符串常量,而StringBuilder和StringBuffer都是字符串变量,其中StringBuilder线程非安全,StringBuffer线程安全. 每次对 Str ...
- 使用U盘安装ubuntu 12.04(使用大白菜u盘启动工具)
家里有个u盘启动盘,用大白菜U盘工具做的. 1.把iso文件放到u盘里,把ISO文件中的casper目录下的vmlinuz和initrd拷贝到u盘根目录下: 2.修改启动顺序,选u盘启动: 3.启动时 ...
- JS实现轻量级计算器
想尝试做一个网页版计算器后,参考了很多博客大神的代码,综合归纳.总结修改,整理如下文. 附: Demo 源码 一.HTML+CSS 具体结构样式如下图,基本参照手机计算器界面.按钮功能可以查 ...
- delphi 7 mdi子窗体。。。无法更改以命令对象为源的记录集对象的 ActiveConnection 属性。
问题是这样的 我做了一个小程序 把 adoconnection放到了主窗体 连接的是access数据库; 新建了一个子窗体继承自FBase 新建了一个pubulic方法 qrySearch 实现了 ...
- 【转】JDBC学习笔记(8)——数据库连接池(dbcp&C3P0)
转自:http://www.cnblogs.com/ysw-go/ JDBC数据库连接池的必要性 一.在使用开发基于数据库的web程序时,传统的模式基本是按一下步骤: 1)在主程序(如servlet/ ...
- 启动LUXContentTests过程中遇到的问题
首先,要想在localbox中使用Selenium,就得准备好浏览器的driver文件.比如chrome对应的chromedriver文件,该文件是一个exe可执行文件. 问题:当我尝试去跑LUXCo ...
- CF #244 D. Match & Catch 后缀数组
题目链接:http://codeforces.com/problemset/problem/427/D 大意是寻找两个字符串中最短的公共子串,要求子串在两个串中都是唯一的. 造一个S#T的串,做后缀数 ...
- 使用vue-cli构建多页面应用+vux(一)
众所皆知,vue对于构建单页面应该相当方便,但是在项目中难免遇到有多个页面的情况. 1.先安装vue-cli脚手架,具体步骤看vue-cli的官方github地址 https://github.com ...