HBase 常见重要配置参数 (1) Hbase.rpc.timeout rpc 的超时时间,默认 60s,不建议修改,避免影响正常的业务,在线上环境刚开始配置的是 3 秒,运行半天后发现了大量的 timeout error,原因是有一个 region 出现了如下问题阻塞了写操作:"Blocking updates - memstore size 434.3m is >= than blocking 256.0m size"可见不能太低 (2) ipc.socket.timeou

漏洞版本: Apache Group HBase 0.94.x Apache Group HBase 0.92.x 漏洞描述: BUGTRAQ ID: 61981 CVE(CAN) ID: CVE-2013-2193 HBase是一个分布式.版本化.构建在Apache Hadoop和Apache ZooKeeper上的列数据库 HBase 0.92.x.0.94.x版本在实现上存在安全绕过漏洞,从客户端到Region服务器的RPC流量可能会被具有任务运行权限的恶意用户及集群容器截获.Apache

年前的时候系统梳理了一下hbase rpc的实现,并且对组里的小伙伴做了一次分享.趁着热乎劲还没完全消失殆尽,准备赶紧记录下来. hbase中rpc概况 作为一个分布式系统,hbase的设计是典型的master-salve架构.hbase中主要有master,regionserver,client这三个角色.这三个角色之间rpc的调用关系可以用下图来描述. client client有很多,比方说:hbase shell, Java client API等.client没有提供任何rpc服务,它

这部分的内容,网上多了去了,都大同小异的,仅作为备忘录,省得需要的时候又要到处查. 1.zookeeper.session.timeout 默认3分钟,zookeeper和hbase通信的超时时间,设置为1分钟或者更少. 2.hbase.regionserver.handler.count 默认为10,很明显不够,在读多,写少的情况下设置为用户的最大数比较安全,但是在写操作比较多的情况下,可能会发生OutOfMemoryError的错误. 3.perf.hfile.block.cache.siz

Hbase的RPC主要由HBaseRPC.RpcEngine.HBaseClient.HBaseServer.VersionedProtocol 5个概念组成. 1.HBaseRPC是hbase RPC的实现类,核心方法: 1).RpcEngine getProtocolEngine():返回RpcEngine对象 2).<T extends VersionedProtocol> T waitForProxy():调用RpcEngine的getProxy()方法,返回一个远程代理对象,比如:第

环境:CentOS 6.6 64位    hbase 1.1.15  phoenix-4.7.0-HBase-1.1 一.前置环境: 已经安装配置好Hadoop 2.6和jdk 1.7 二.安装hbase 1.下载.解压 # wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz# tar -zxvf hbase--bin.tar.gz -C /usr/local/ # cd /usr/local/ # mv

HBase 集群安装 1.上传tar包,解压tar包 tar -zxvf  hbase-1.1.5-bin.tar.gz 2.修改配置文件 进入 hbase/conf/ 在文件 regionservers 加入集群主机名 在hbase-site.xml加入以下信息 <configuration><property > <name>hbase.rootdir</name> <value>hdfs://h1:9000/hbase</value&

hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−java.io.tmpdir/hbase−{user.name}: hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hbase,一般设置为hdfs://namenode.example.org:9000/hbase类似,带全限定名: hbase.cluster.distributed:hbase集群模式运作与否的标志,默

本次是第一次在生产环境部署HBase,本文若有配置上的不妥之处还请高手指正. hadoop版本:hadoop-2.4.1 HBase版本:hbase-0.98.6.1-hadoop2 Zookeeper版本:ZooKeeper3.4.6 JDK:1.6 操作系统:centOS6.3 64bit 1. 安装snappy :-.el6 #yum install snappy-devel 记录一下,当前GCC版本4.4.7 2. 由于hadoop官网下载的bin包中包含的native lib是32bi

hbase.tmp.dir \({java.io.tmpdir}/hbase-\){user.name} 本地文件系统上的临时目录.将'/tmp'改为其他可以持久保存文件的位置,通常能够解决java.io.tmpdir.'/tmp'目录在机器重启后将会被清空. hbase.rootdir \({hbase.tmp.dir}/hbase</value> <description>该目录被region server共享并且用来保存HBase的持久化数据.这个URL应该完全按照文件系统模

第2章 Apache HBase配置 本章在“入门”一章中进行了扩展,以进一步解释Apache HBase的配置. 请仔细阅读本章,特别是基本先决条件,确保您的HBase测试和部署顺利进行,并防止数据丢失. 熟悉支持和测试期望.   2.1 配置文件 2.1.1 配置信息介绍 Apache HBase使用与Apache Hadoop相同的配置系统. 所有配置文件都位于conf /目录中,需要保持群集中每个节点的同步 2.1.2 配置文件简介 backup-masters 默认情况下不存在.一个纯

hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−java.io.tmpdir/hbase−{user.name}: hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hbase,一般设置为hdfs://namenode.example.org:9000/hbase类似,带全限定名: hbase.cluster.distributed:hbase集群模式运作与否的标志,默

1:为什么大批量数据集写入Hbase中,需要使用bulkload BulkLoad不会写WAL,也不会产生flush以及split. 如果我们大量调用PUT接口插入数据,可能会导致大量的GC操作.除了影响性能之外,严重时甚至可能会对HBase节点的稳定性造成影响.但是采用BulkLoad就不会有这个顾虑. 过程中没有大量的接口调用消耗性能 可以利用spark 强大的计算能力 上面是一个总的执行流程图, 数据生成,HFile转换以及HFile加载, 下面是HFile 的格式, 就是个key val

1.hbase client配置参数 超时时间.重试次数.重试时间间隔的配置也比较重要,因为默认的配置的值都较大,如果出现hbase集群或者RegionServer以及ZK关掉,则对应用程序是灾难性的,超时和重新等会迅速占满web容器的链接,导致web容器停止服务,关于socket的超时时间,有两种:1:建立连接的超时时间:2:读数据的超时时间. 可以配置如下几个参数: 1. hbase.rpc.timeout:rpc的超时时间,默认60s,不建议修改,避免影响正常的业务,在线上环境刚开始配置的

v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} Normal 0 false 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {

一.前言 接触HBase已近半年,从一无所知到问题的解决,在数据落地方面也有了一定的了解,在此记录这半年来碰到的一些问题和对一些数据落地方面的见解,本篇主要介绍一下hbase安装方面的信息 二.安装环境 对于生产环境而言,一个hbase集群可能包含几百上千机器,集群必不可少的几个组件,如Zookeeper, Hbase, Hadoop等,其中Zookeeper一般是奇数台且独立部署,HBase方面主要包括Master结点和RegionServer结点,Hadoop方面包括NameNode和Dat

1.org.apache.hadoop.hbase.ipc.CallTimeoutException a.出现情况描述:使用java API进行hbase数据的scan操作,发现有的数据可以scan到,有的数据scan不到(报超时异常). b.异常原因:执行scan的数据量太多,在设置的超时时间段里面,程序没有找到想要的结果. c.异常具体样例 2017-04-21 17:53:23,253 INFO [Thread-15] zookeeper.ZooKeeper: Initiating cli

错误现象: 默认等待时间是60秒,超过这个时间就报超时问题了.因此需调整超时时间,默认为60秒,在配置文件 hbase-site.xml中: 调整成10分钟 <property>    <name>hbase.rpc.timeout</name>   <value>600000</value> </property>   <property>    <name>hbase.client.operation.ti

环境介绍: 系统:centos7 软件包: apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz  下载链接:http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.4/bin/apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz hadoop-3.1.1.tar.gz 下载链接:http://mirror.bit.edu.cn/apache/had

经过3天的努力,终于在Kubernetes上把HBase集群搭建起来了,搭建步骤如下. 创建HBase镜像   配置文件包含core-site.xml.hbase-site.xml.hdfs-site.xml和yarn-site.xml,因为我这里是基于我之前搭建和zookeeper和Hadoop环境进行的,所以配置文件里面很多地方都是根据这两套环境做的,如果要搭建高可用的HBase集群,需要另外做镜像,当前镜像的配置不支持. core-site.xml <?xml version="1.

前提:1.连接hadoop需要本地安装 winutils.exe 并在程序指定,不然程序会报错  IOException: HADOOP_HOME or hadoop.home.dir are not set. 但不指定程序可能启动. 2.要在springboot容器启动后再初始化页面,否则使用时会取不到bean 整体思路:程序启动时,扫描所有包的@Configation,有使用到自定义的配置可以用@Value映射变量 HBASE读取配置:因为涉及到的配置较多,有两种方式可以考虑,最终注入,反转