说明: 近期两天在调研HBase的连接池,有了一些收获,特此记录下来. 本文先将官方文档(http://hbase.apache.org/book.html)9.3.1.1节翻译,方便大家阅读,然后查阅了关键类HConnectionManager的Developer API(http://hbase.apache.org/devapidocs/index.html) 做了一些总结.  最后介绍一些阅读0.96.0.98及最新源代码的精彩发现. 欢迎转载.请注明来源: http://blog.cs

简介 在项目开发过程中,我们经常需要一些benchmark工具来对系统进行压测,以获得系统的性能参数,极限吞吐等等指标. 而在HBase中,就自带了一个benchmark工具—PerformanceEvaluation,可以非常方便地对HBase的Put.Get.Scan等API进行性能测试,并提供了非常丰富的参数来模拟各种场景. 这篇文章,就以HBbase2.0中的PerformanceEvaluation工具为例,给大家讲解一下这款HBase benchmark工具的使用和注意事项 参数介绍

该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain.NameNode.HMaster mini02 10.0.0.12 172.16.1.12 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain

1.配置 在CentOS7Three上配置,注意:一定要安装bin包,不能安装src包 /usr/local/hbase/hbase-2.0.5/conf 编辑hbase-env.sh,替换成如下配置 export JAVA_HOME=/usr/lib/jvm/java--openjdk export HBASE_MANAGES_ZK=false #用外部zk 编辑hbase-site.xml,增加配置 <property> <name>hbase.rootdir</name

依赖hadoop 环境,我这边的版本是hadoop-2.6.5 选择hbase2.0.0版本的时候,去官网查看支持的hadoop版本 1.伪分布式安装 下载:http://mirror.bit.edu.cn/apache/hbase/2.0.0-alpha4/ 版本:hbase-2.0.0-alpha4-bin.tar.gz 2.tar -zxvf  hbase-2.0.0-alpha4-bin.tar.gz 3.chwon -R hadoop:hadoop  hbase-2.0.0-alpha

In-Memory Compaction是HBase2.0中的重要特性之一,通过在内存中引入LSM结构,减少多余数据,实现降低flush频率和减小写放大的效果.本文根据HBase2.0中相关代码以及社区的讨论.博客,介绍In-Memory Compaction的使用和实现原理. 原理 概念和数据结构 In-Memory Compaction中引入了MemStore的一个新的实现类 CompactingMemStore .顾名思义,这个类和默认memstore的区别在于实现了在内存中compact

作者 | 个推大数据运维工程师 行者 升级背景 个推作为专业的数据智能服务商,在业务开展过程中存在海量的数据存储与查询的需求,为此个推选用了高可靠.高性能.面向列.可伸缩的分布式数据存储系统--HBase. 然而,运行HBase老集群(使用HBase1.0版本)多年后,遇到了两大问题:各节点基础环境不一致:该集群的服务器运行多年已过保.而且随着个推业务量增长,性能方面也开始遇到瓶颈.经过综合评估,个推决定将老集群升级并迁移到HBase2.0新集群以解决HBase老集群存在的上述问题. 升级步骤

hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好hadoop集群 2. 在rzx1节点上配置执行环境的JAVA_HOME和是否利用自带Zookeeper 在hbase目录下:vim conf/hbase-env.sh export JAVA_HOME=/home/bigdata/software/jdk1.8.0_201 export HBASE_M

前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 上传tar包并修改配置文件 解压tar包到指定目录 tar -zxvf hbase-2.0.6-bin.tar.hz -C /opt/ronnie 进入配置目录 vim hbase-env.sh 修改 hbase-env.sh文件 # 添加jdk路径 export JAVA_HOME=/u

在HBase入库日志中发现有一个表入库失败,检查HBase服务端后发现该表的meta信息丢失了: 而HDFS上的region还在: 而HBCK工具不支持HBase2.0版本,只好自己写一个修复工具.网上可以搜到前辈们自己编写的一些工具,比如这一篇写的就比较详细 https://blog.csdn.net/xyzkenan/article/details/103476160 我们引用一下,再对个别地方略微讲解. 看一下'hbase:meta'中正常的存储结构: 列名 说明 info:state R

待计算的wordCount文件放在HDFS上. wc.txt: hive hadoop hello hello world hbase hive 目标:进行WordCount计算,把结果输出到HBase表中 1.先在HBase中创建表wc create 'wc','cf' 2. WCRunner.class package com.bjsxt.wc; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.

在前面: scala:2.12 hbase:2.0.2 开发工具:IDEA 准备工作: 1.将生产上的hbase中的conf/hbase-site.xml文件拷贝到idea中的src/resources目录下 2.将生产环境中hbase中的$HBASE_HOME/lib下的*.jar文件加载到IDEA中 3.点击libraries->中间的"+" ->java 4.选择jar包所放的位置,点击OK 5.继续点击ok即可 6.进行连接代码编写: package spark._

1. hbase数据模型 1.1. HBase数据模型术语 Table HBase表由多行组成. Row HBase中的一行由一个行键和一个或多个列组成,列的值与这些列相关联.存储行时,按行键按字母顺序排列.因此,行键的设计非常重要.目标是以这样一种方式存储数据,即相关的行彼此接近.常见的行键模式是网站域.如果您的行键是域,您可能应该反向存储它们(org.apache.www, org.apache.mail, org.apache.jira).这样,所有Apache域都在表中彼此接近,而不是基

主要是常用的hbase shell命令,包括表的创建与删除,表数据的增删查[hbase没有修改]:以及hbase的导出与导入. 参考教程:HBase教程 参考博客:hbase shell基础和常用命令详解 参考博客:hbase shell常用命令和filter 参考博客:hbase导入导出数据 1. hbase命令 1.1. 命令的登录与退出 1.1. 命令的登录与退出 [yun@mini03 ~]$ hbase shell # 登录hbase SLF4J: Class path contain

参考博客:Hadoop HBase概念学习系列 参考博客:Hadoop HBase概念学习系列之HBase里的Zookeeper(二十一) 参考博客:Hadoop HBase概念学习系列之HBase里的客户端和HBase集群建立连接(详细)(十四) 参考博客:Hadoop HBase概念学习系列之META表和ROOT表(六) 参考博客:Hadoop HBase概念学习系列之HBase里的HRegion(五) 参考博客:Hadoop HBase概念学习系列之HLog(二) 参考博客:Hadoop

参考博文:kafka 配置文件参数详解 参考博文:Kafka[第一篇]Kafka集群搭建 参考博文:如何为Kafka集群选择合适的Partitions数量 参考博文:Kafka Server.properties 参考博文:kafka常用配置[重要] 参考博文:kafka常用配置 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.zookeeper.kafka QuorumPe

    Hadoop Hive Hbase 对应版本 Hive官网下载 我们以Hadoop版本作为参考适配Hive Hbase即可, Hadoop版本是2.6.1 所以可以选择Hive1.2.1以上版本,HBase-1.2.x 至 HBase-2.0.x即可.   配置SQL 下载sql   mutex@mutex-dl:~$ sudo apt-get install mysql-server mysql-client 启动sql   mutex@mutex-dl:~$ sudo /etc/in

测试的inbox表为多版本表,封装的scanTable已设置查询全部版本,以下的测试基于hbase2.0.2 一.put(针对相同的rowkey) 测试1.使用方法链的形式对同一个put添加数据到不同的列 Table inbox = conn.getTable(TableName.valueOf(TABLE_INBOX)); Put inboxPut = new Put(Bytes.toBytes("1")); //测试1 同一个put添加到相同的列,虽然遍历结果和预期相同,但实际只有

环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1.1-bin.tar.gz到hadoop002上,解压到/opt/module/hbase-2.1.1 2.配置文件 hbase-env.sh修改两处 JAVA_HOME是指定jdk,不多说了,false表示不使用hbase自带的zk export JAVA_HOME=/opt/module/jdk1

第一个问题 HUE 无法直接连接到 HBase 在默认配置下 CDH 6.0.1 版本下的 HBase2.0 使用了默认配置 hbase.regionserver.thrift.compact = True 也就是是被勾选的状态,但是 HUE 我找了半天发现无法配置 thift.compact 的启用.所以要使用 hue 来使用 HBase 2.0 就需要把这个 HBase 的参数置为 False hbase.regionserver.thrift.compact 是否使用Thrift TCom

环境 腾讯云centos7 1.hadoop下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz 2.解压 tar -xvf hadoop-2.7.7.tar.gz -C /usr/java 3.修改hadoop-2.7.7/etc/hadoop/hadoop-env.sh文件 将jdk环境添加进去: # The java implementation to use. export JA