HBase参数配置及说明(转)
版本:0.94-cdh4.2.1
hbase-site.xml配置
hbase.tmp.dir
- 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的
- 线上配置
<
property
>
<
name
>hbase.tmp.dir</
name
>
<
value
>/mnt/dfs/11/hbase/hbase-tmp</
value
>
</
property
>
- 默认值:
${java.io.tmpdir}/hbase-${user.name}
写到系统的/tmp目录
hbase.rootdir
- HBase集群中所有RegionServer共享目录,用来持久化HBase的数据,一般设置的是hdfs的文件目录,如hdfs://namenode.example.org:9000/hbase
- 线上配置
<
property
>
<
name
>hbase.rootdir</
name
>
<
value
>hdfs://mycluster/hbase</
value
>
</
property
>
- 默认值:
${hbase.tmp.dir}/hbase
hbase.cluster.distributed
- 集群的模式,分布式还是单机模式,如果设置成false的话,HBase进程和Zookeeper进程在同一个JVM进程。
- 线上配置为true
- 默认值:false
hbase.zookeeper.quorum
- zookeeper集群的URL配置,多个host中间用逗号(,)分割
- 线上配置
<
property
>
<
name
>hbase.zookeeper.quorum</
name
> <
value
>inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org</
value
>
</
property
>
- 默认值:localhost
hbase.zookeeper.property.dataDir
- ZooKeeper的zoo.conf中的配置。 快照的存储位置
- 线上配置:/home/hadoop/zookeeperData
- 默认值:${hbase.tmp.dir}/zookeeper
zookeeper.session.timeout
- 客户端与zk连接超时时间
- 线上配置:1200000(20min)
- 默认值:180000(3min)
hbase.zookeeper.property.tickTime
- Client端与zk发送心跳的时间间隔
- 线上配置:6000(6s)
- 默认值:6000
hbase.security.authentication
- HBase集群安全认证机制,目前的版本只支持kerberos安全认证。
- 线上配置:kerberos
- 默认值:空
hbase.security.authorization
- HBase是否开启安全授权机制
- 线上配置: true
- 默认值: false
hbase.regionserver.kerberos.principal
- regionserver的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)
- 线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
- 默认:无
hbase.regionserver.keytab.file
- regionserver keytab文件路径
- 线上配置:/home/hadoop/etc/conf/hbase.keytab
- 默认值:无
hbase.master.kerberos.principal
- master的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)
- 线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
- 默认:无
hbase.master.keytab.file
- master keytab文件路径
- 线上配置:/home/hadoop/etc/conf/hbase.keytab
- 默认值:无
hbase.regionserver.handler.count
- regionserver处理IO请求的线程数
- 线上配置:50
- 默认配置:10
hbase.regionserver.global.memstore.upperLimit
- RegionServer进程block进行flush触发条件:该节点上所有region的memstore之和达到upperLimit*heapsize
- 线上配置:0.45
- 默认配置:0.4
hbase.regionserver.global.memstore.lowerLimit
- RegionServer进程触发flush的一个条件:该节点上所有region的memstore之和达到lowerLimit*heapsize
- 线上配置:0.4
- 默认配置:0.35
hbase.client.write.buffer
- 客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush
- 线上配置:8388608(8M)
- 默认配置:2097152(2M)
hbase.hregion.max.filesize
- 单个ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则自动split
- 线上配置:107374182400(100G)
- 默认配置:21474836480(20G)
hbase.hregion.memstore.block.multiplier
- 超过memstore大小的倍数达到该值则block所有写入请求,自我保护
- 线上配置:8(内存够大可以适当调大一些,出现这种情况需要客户端做调整)
- 默认配置:2
hbase.hregion.memstore.flush.size
- memstore大小,当达到该值则会flush到外存设备
- 线上配置:104857600(100M)
- 默认值: 134217728(128M)
hbase.hregion.memstore.mslab.enabled
- 是否开启mslab方案,减少因内存碎片导致的Full GC,提高整体性能
- 线上配置:true
- 默认配置: true
hbase.regionserver.maxlogs
- regionserver的hlog数量
- 线上配置:128
- 默认配置:32
hbase.regionserver.hlog.blocksize
- hlog大小上限,达到该值则block,进行roll掉
- 线上配置:536870912(512M)
- 默认配置:hdfs配置的block大小
hbase.hstore.compaction.min
- 进入minor compact队列的storefiles最小个数
- 线上配置:10
- 默认配置:3
hbase.hstore.compaction.max
- 单次minor compact最多的文件个数
- 线上配置:30
- 默认配置:10
hbase.hstore.blockingStoreFiles
- 当某一个region的storefile个数达到该值则block写入,等待compact
- 线上配置:100(生产环境可以设置得很大)
- 默认配置: 7
hbase.hstore.blockingWaitTime
- block的等待时间
- 线上配置:90000(90s)
- 默认配置:90000(90s)
hbase.hregion.majorcompaction
- 触发major compact的周期
- 线上配置:0(关掉major compact)
- 默认配置:86400000(1d)
hbase.regionserver.thread.compaction.large
- large compact线程池的线程个数
- 线上配置:5
- 默认配置:1
hbase.regionserver.thread.compaction.small
- small compact线程池的线程个数
- 线上配置:5
- 默认配置:1
hbase.regionserver.thread.compaction.throttle
- compact(major和minor)请求进入large和small compact线程池的临界点
- 线上配置:10737418240(10G)
- 默认配置:2 * this.minFilesToCompact * this.region.memstoreFlushSize
hbase.hstore.compaction.max.size
- minor compact队列中storefile文件最大size
- 线上配置:21474836480(20G)
- 默认配置:Long.MAX_VALUE
hbase.rpc.timeout
- RPC请求timeout时间
- 线上配置:300000(5min)
- 默认配置:60000(10s)
hbase.regionserver.region.split.policy
- split操作默认的策略
- 线上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(采取老的策略,自己控制split)
- 默认配置: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进行split操作)
hbase.regionserver.regionSplitLimit
- 单台RegionServer上region数上限
- 线上配置:150
- 默认配置:2147483647
hbase-env.sh配置
指定系统运行环境
export JAVA_HOME= /usr/lib/jvm/java-6-sun/ #JDK HOME export HBASE_HOME= /home/hadoop/cdh4/hbase-0 .94.2-cdh4.2.1 # HBase 安装目录 export HBASE_LOG_DIR= /mnt/dfs/11/hbase/hbase-logs #日志输出路径 |
JVM参数调优
export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR} /hbase-gc .log -XX:+PrintGCTimeStamps -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime \ -server -Xmx20480m -Xms20480m -Xmn10240m -Xss256k -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \ -XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \ -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000 \ " |
HBase参数配置及说明(转)的更多相关文章
- HBase参数配置及说明
版本:0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默 ...
- hbase参数配置和说明
版本:0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默 ...
- hbase参数配置优化
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果.所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正. 配置优化 zo ...
- Hbase 参数配置及优化
From:http://www.open-open.com/lib/view/open1346684547787.html 接触hbase已有半年的时间,查了很多资料,也参考了很多别人心得,也希望把自 ...
- HBase + Kerberos 配置示例(二)
接上篇<HBase + Kerberos配置示例(一)>,我们继续剩下的配置工作. 环境准备 Hadoop配置 Zookeeper配置 HBase配置 Java测试程序 环境准备 安装ha ...
- hbase安装配置(整合到hadoop)
hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. ...
- 企业级hbase HA配置
1 HBase介绍HBase是一个分布式的.面向列的开源数据库,就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类 ...
- Yarn 内存分配管理机制及相关参数配置
上一篇hive on tez 任务报错中提到了containter内存不足,现对yarn 内存分配管理进行介绍 一.相关配置情况 关于Yarn内存分配与管理,主要涉及到了ResourceManage. ...
- HBase内存配置及JVM优化
前言 本文从HBase的内存布局说起,先充分了解HBase的内存区的使用与分配,随后给出了不同业务场景下的读写内存分配规划,并指导如何分析业务的内存使用情况,以及在使用当中写内存Memstore及读内 ...
随机推荐
- php预定义常量$_SERVER
1.需求 了解预定义常量$_SERVER 2.属性 $_SERVER['REQUEST_URI'] //URI 用来指定要访问的页面.例如 "/index.html" $_SERV ...
- HTML5 localStorage 的使用
在前端开发中,我们会常遇到要在两个甚至多个html之间通信,我们可以在url中添加参数,但是当要传递的数据量较大较多时呢,不妨试试html5 的localStorage吧. 1) 检测你的浏览器是 ...
- CCF第四题无向图打印路径
#include<iostream> #include<vector> #include<algorithm> #include<stack> #def ...
- 分治法避免定义多个递归函数,应该使用ResultType
总结:对二叉树应用分治法时,应避免定义多个递归函数,当出现需要递归求解多种的结果时,尽量使用ResultType来让一次递归返回多种结果. 题目:Binary Tree Maximum Path Su ...
- Tomcat部署Web应用的两种方式
WEB工程目录结构 部署方式一:此种方式部署,jsp页面修改后,不能动态更新,需要重新部署才能看到效果.不过可以配置动态更新实现. 部署方式二:此种方式部署,jsp修改后,直接在页面可以看到效果.(因 ...
- 【GoLang】panic defer recover 深入理解
唉,只能说C程序员可以接受go的错误设计,相比java来说这个设计真的很差劲! 我认为知乎上说的比较中肯的: 1. The key lesson, however, is that errors ar ...
- Response.Redirect()、Server.Execute和Server.Transfer的区别
1.Response.Redirect(): Response.Redirect方法导致浏览器链接到一个指定的URL. 当Response.Redirect()方法被调用时,它会创建一个应答,应答头中 ...
- 【leetcode】Wildcard Matching
Wildcard Matching Implement wildcard pattern matching with support for '?' and '*'. '?' Matches any ...
- MySQL 四种事务隔离级的说明
很早之前写的文章,重新回顾和学习下: 按照SQL:1992 事务隔离级别,InnoDB默认是可重复读的(REPEATABLE READ).MySQL/InnoDB 提供SQL标准所描述的所有四个事务隔 ...
- glib-2.49.4 static build step in windows XP
export LIBFFI_CFLAGS=" -I/usr/local/lib/libffi-3.2.1/include " \ export LIBFFI_LIBS=" ...