hbase相关操作
hbase安装
下载 wget http://apache.gree.com/apache/hbase/hbase-1.2.11/hbase-1.2.11-bin.tar.gz
tar -zxvf base-1.2.11-bin.tar.gz -C /usr/local/
mv /ussr/local/hbase-1.2.11 /usr/local/hbase
配置环境
vi /etc/profile
export HBASE_HOME=/usr/local/hbase
export PATH=$HBASE_HOME/bin:$PATH
保存退出
source /etc/profile
编辑HBASE_HOME/conf/hbase-env.sh,添加
export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64/jre
export HBASE_CLASSPATH=/usr/local/hadoop/conf
export HBASE_MANAGES_ZK=false 不使用hbase自带的zookeeper,使用外部的zookeeper管理hbase
编辑 HBASE_HOME/conf/hbase-site.xml
<configuration>
<property>
<!--设置hbasemaster的主机和端口-->
<name>hbase.master</name>
<value>HDP-master:60000</value>
</property>
<property>
<!-- 设置hbase在HDFS上的存储路径,要与hadoop的core-site.xml中的fs.defaultFS路径一致 -->
<name>hbase.rootdir</name>
<value>hdfs://HDP-master:9000/hbase</value>
</property>
<property>
<!-- 指定hbase是分布式的 -->
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<!-- 指定外部zookeeper地址,多个用‘,’分隔 -->
<name>hbase.zookeeper.quorum</name>
<value>HDP-master,HDP-slave1,HDP-slave2</value>
</property> </configuration>
编辑HBASE_HOME/conf/regionservers ,设置hbase的从节点(安装regionserver的节点)添加
HDP-slave1
HDP-slave2
退出保存
hbase集群之间要进行数据同步,除了要配置ssh免密连接之外,还要保证各个服务器的时间一致,所以要配置时间同步
选定一个服务器,将其时间设置为标准时间,进行配置
主服务器 编辑 /etc/chrony.conf 添加
allow 10.2.14.0/24 设置允许哪些网段的机器同步本机时间
local stratum 10 不去同步任何机器的时间,设置时间同步服务器级别
保存退出
systemctl restart chronyd
从服务器 编辑/etc/chrony.conf
将
server 0.rhel.pool.ntp.org.iburst
...
server 4.rhel.pool.ntp.org iburst
修改为:
server 10.2.xxx.xx iburst ip为主服务器的IP,设置同步时间的源服务器
保存退出
重启chronyd
systemctl restart chronyd
测试,可通过指令查看各机器时间
watch -n 1 date
更正主服务器时间
date -s 10/24/2019
date -s 17:23:22
要启动hbase,需要先依次启动zookeeper,hadoop
启动zookeeper,集群中每台机子都需要执行
zookeeper/bin/zkServer.sh start
zookeeper/bin/zkServer.sh status
启动hadoop(仅需在主节点执行)
sbin/start-all.sh
启动hbase(仅需在主节点执行)
/usr/local/hbase/bin/start-hbase.sh
hbase启动后在master用jps查看时是 HMaster ,在slave上是HRegionServer进程
在命令行 执行hbase shell即可以进入hbase的shell
list 列出所有的hbase表
describe table_name 查看表结构
scan table_name 遍历表中的数据
get table_name, rowkey 查看表中主键为rowkey的一行数据
get table_nmae,rowkey,column:qualifier 查看表中指定行,指定列簇的指定列的值
get table_name,rowkey,{COLUMN => 'colum_name',TIMESTAMP => 15555699956861,FILTER =>"QualifierFilter(=, 'binary:Gil/0/31')"} 查看表中指定rowkey指定列簇中符合条件的列的数据
hbase相关操作的更多相关文章
- Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作
Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作 1.sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法 ...
- HBase相关的一些点
1.在运行Hbase时,如果遇到出错之后: 可以通过{HBASE_HOME}目录,我的是在/usr/soft/hbase下的logs子目录中的日志文件查看错误原因.2.启动关闭Hadoop和HBase ...
- 从零自学Hadoop(20):HBase数据模型相关操作上
阅读目录 序 介绍 命名空间 表 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...
- 从零自学Hadoop(21):HBase数据模型相关操作下
阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...
- HBase 相关API操练(三):MapReduce操作HBase
MapReduce 操作 HBase 在 HBase 系统上运行批处理运算,最方便和实用的模型依然是 MapReduce,如下图所示. HBase Table 和 Region 的关系类似 HDFS ...
- HBase相关
hadoop和hbase节点添加和单独重启 有时候hadoop或hbase集群运行时间久了后,某些节点就会失效,这个时候如果不想重启整个集群(这种情况在很多情况下已经不被允许),这个时候可以单独重启失 ...
- 【甘道夫】HBase基本数据操作的详细说明【完整版,精绝】
介绍 之前具体写了一篇HBase过滤器的文章.今天把基础的表和数据相关操作补上. 本文档參考最新(截止2014年7月16日)的官方Ref Guide.Developer API编写. 全部代码均基于& ...
- 从零自学Hadoop(24):Impala相关操作上
阅读目录 序 数据库相关 表相关 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...
- hbase简单操作
hbase有hbase shell以及hbase 客户端api两种方式进行hbase数据库操作: 首先,hbase shell是在linux命令行进行操作,输入hbase shell命令,进入shel ...
随机推荐
- nRF24L01+组网方式及防撞(防冲突)机制的实战分享
利用多个nRF24L01+模块组网通信的实现方式 这里讨论的组网方式,不包含使用6个通道实现的多对1通信方式,因其只限于6个发送端,局限性很大,可以附加其他技术实现更好的组网,暂时这里不讨论.这里分享 ...
- 网络编程~~~~socketserver服务端
socketserver服务端 import socketserver class MyServer(socketserver.BaseRequestHandler): def handle(self ...
- Re-py交易
python在线反编译 https://tool.lu/pyc/ 获得源码 import base64 def encode(message): s = '' for i in message: x ...
- 《移动WEB前端高级开发实践@www.java1234.com.pdf》
HTTP服务器: http-server 3.6.4 利用 Performance API 分析网站性能 页面加载生命周期 4. CSS3 伪类.伪元素, 看https://www.runoob.co ...
- 给用户提供就医帮助的安卓APP
经过我们的小组的成员讨论,我们确定了我们小组的项目,即是一款给用户提供就医帮助的安卓APP. 项目计划及功能:计划两个月内团队成员共同开发完成此款APP,此款APP提供预约挂号,名医名院咨询, 就医导 ...
- SPOJ2829 TLE-Time Limit Exceeded
题目链接--SPOJ 题目链接--洛谷 problem 给出n,m和一个长度为n的数列c.求有多少个数列a满足以下条件: \(1\le a_i < 2^m\) \(a_i\&a_{i-1 ...
- 怎么在ubuntu下安装使用pycharm
1.安装jdk 先下载jdk: https://pan.baidu.com/s/1o7MqvKA 解压到本地: 方法一:直接点击右键,点“提取此文件 方法二:使用命令行sudo tar -zxvf j ...
- JMeter 使用 http长连接 |史上最全
疯狂创客圈 Java 高并发[ 亿级流量聊天室实战]实战系列 [博客园总入口 ] 疯狂创客圈(笔者尼恩创建的高并发研习社群)Springcloud 高并发系列文章,将为大家介绍三个版本的 高并发秒杀: ...
- vue 仿微信朋友圈9张图上传功能
项目需求要求用户上传商品的时候可以一次性上传9张图,多余9张提示‘只能上传9张图’,并且每张图右上角有个删除按钮,图片也可以点击放大. 出来的效果图如下: 话不多说,上代码: <el-form- ...
- 基于 HTML5 WebGL 构建智能城市 3D 场景
前言 随着城市规模的扩大,传统的方式很难彻底地展示城市的全貌,但随着 3D 技术的应用,出现了 3D 城市群的方式以动态,交互式地把城市全貌呈现出来.配合智能城市系统,通过 Web 可视化的方式,使得 ...