package com.hbase.HBaseAdmin;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.RegionLocator;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.util.Pair; /**
* @author:FengZhen
* @create:2018年9月6日
*/
public class CreateTable { private static String addr="HDP233,HDP232,HDP231";
private static String port="2181";
private static Connection connection; /**
* 获取连接
*/
public static void getConnection(){
Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum",addr);
conf.set("hbase.zookeeper.property.clientPort", port);
try {
connection = ConnectionFactory.createConnection(conf);
} catch (IOException e) {
e.printStackTrace();
}
} /*
* 关闭连接
*/
public static void close() {
/**
* close connection
**/
if (connection != null) {
try {
connection.close();
} catch (IOException e) {
e.printStackTrace();
}
}
} public static void main(String[] args) {
createTablePrePartition();
} /**
* 建表
*/
public static void createTable() {
getConnection();
try {
//获取admin实例
Admin admin = connection.getAdmin();
//创建表描述符
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("test_create"));
//添加列族描述符到表描述符中
HColumnDescriptor columnDescriptor = new HColumnDescriptor(Bytes.toBytes("info"));
tableDescriptor.addFamily(columnDescriptor);
//调用create方法
admin.createTable(tableDescriptor);
//检查表是否可用
boolean avail = admin.isTableAvailable(TableName.valueOf("test_create"));
System.out.println("Table available: " + avail);
} catch (IOException e) {
e.printStackTrace();
} finally {
close();
}
} //---------------------------------------通过预分区建表-----------------------------------------
/**
* Printing regions of table: test_pre_partition1
[1]start key: ,end key:1
[2]start key:1 ,end key:13
[3]start key:13 ,end key:25
[4]start key:25 ,end key:37
[5]start key:37 ,end key:49
[6]start key:49 ,end key:61
[7]start key:61 ,end key:73
[8]start key:73 ,end key:85
[9]start key:85 ,end key:100
[10]start key:100 ,end key:
Printing regions of table: test_pre_partition2
[1]start key: ,end key:A
[2]start key:A ,end key:D
[3]start key:D ,end key:G
[4]start key:G ,end key:K
[5]start key:K ,end key:O
[6]start key:O ,end key:T
[7]start key:T ,end key:
*/
/**
* 打印表中region信息
* @param tableName
* @throws IOException
*/
public static void printTableRegions(String tableName) throws IOException {
System.out.println("Printing regions of table: " + tableName);
//返回表中所有region的起始行键与终止行键列表
RegionLocator regionLocator = connection.getRegionLocator(TableName.valueOf(tableName));
//获取所有region的边界。
//第一个region的起始行键与最后一个region的终止行键都是空字节,这是HBase中默认的规则
//起始和终止行键都是已经计算好的,或是提供给用户的拆分键。
//需要注意的是,前一个region的终止行键与后一个region的起始行键是串联起来的
//终止行键不包含在前一个region中,而是作为起始行键包含在后一个region中。
Pair<byte[][], byte[][]> pair = regionLocator.getStartEndKeys();
for(int n = 0; n < pair.getFirst().length; n++) {
byte[] sk = pair.getFirst()[n];
byte[] ek = pair.getSecond()[n];
System.out.println("[" + (n + 1) + "]" +
"start key:" + (sk.length == 8 ? Bytes.toLong(sk) : Bytes.toStringBinary(sk)) +
" ,end key:" + (ek.length == 8 ? Bytes.toLong(ek) : Bytes.toStringBinary(ek)));
}
}
/**
* 通过预分区的方式建表
* @throws IOException
*/
public static void createTablePrePartition() {
getConnection();
String tableName = "test_pre_partition1";
String tableName2 = "test_pre_partition2";
try {
//获取admin实例
Admin admin = connection.getAdmin();
//创建表描述符
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
//添加列族描述符到表描述符中
HColumnDescriptor columnDescriptor = new HColumnDescriptor(Bytes.toBytes("info"));
tableDescriptor.addFamily(columnDescriptor);
//调用create方法,同时设置region边界。
//能够以特定数量拆分特定起始行键和特定终止行键,并创建表。
//startKey必须小于endKey,并且numRegions需要大于等于3,否则会抛出异常,这样才能确保region有最小的集合
//此方法使用Bytes.split()方法计算region边界,然后将计算得到的边界作为已拆分边界列表,并调用createTable(final HTableDescriptor desc, byte[][] splitKeys)方法
admin.createTable(tableDescriptor, Bytes.toBytes(1L), Bytes.toBytes(100L), 10);
printTableRegions(tableName); //创建表中region的拆分行键
byte[][] regions = new byte[][] {
Bytes.toBytes("A"),
Bytes.toBytes("D"),
Bytes.toBytes("G"),
Bytes.toBytes("K"),
Bytes.toBytes("O"),
Bytes.toBytes("T")
};
tableDescriptor.setName(TableName.valueOf(tableName2));
//使用新表明和region的已拆分键值列表作为参数调用建表命令
//使用已拆分行键的集合:使用了已经拆分好的region边界列表,因此结果都是与预期相符的。
admin.createTable(tableDescriptor, regions);
printTableRegions(tableName2);
} catch (IOException e) {
e.printStackTrace();
} finally {
close();
}
}
}

还有createTableAsync方法,这个方法使用表描述符和预拆分的region边界作为参数,并进行异步建表,但执行过程与createTable殊途同归

同步模式仅仅是异步模式的简单封装,增加了不断检查这个任务是否已经完成的循环操作。

HBase-建表(普通建表及预分区建表)的更多相关文章

  1. HBase 热点问题——rowkey散列和预分区设计

    热点发生在大量的client直接访问集群的一个或极少数个节点(访问可能是读,写或者其他操作).大量访问会使热点region所在的单个机器超出自身承受能力,引起性能下降甚至region不可用,这也会影响 ...

  2. Hbase预分区种子生成

    提前生成Hbase预分区种子,在创建Hbase表时也进行相应的预分区,同时设置预分区的个数,预分区的范围对应Hbase监控页面的Region Server的start key与End key,从而使数 ...

  3. ASM时的OFM特性对影的建数据文件名称的影响及为SYSTEM表空间的数据文件使用别名

    客户遇到个DG的问题,存储使用的ASM管理,有多个磁盘盘. 在主库创建数据文件,备库自己主动创建的数据文件都在同一磁盘组,而且在主库创建数据文件是指定的是类似**.DBF的名字,到备库也变成了使用AS ...

  4. HBase表预分区

    在创建Hbase表的时候默认一张表只有一个region,所有的put操作都会往这一个region中填充数据,当这个一个region过大时就会进行split.如果在创建HBase的时候就进行预分区则会减 ...

  5. hbase源码系列(八)从Snapshot恢复表

    在看这一章之前,建议大家先去看一下snapshot的使用.这一章是上一章snapshot的续集,上一章了讲了怎么做snapshot的原理,这一章就怎么从snapshot恢复表. restoreSnap ...

  6. 项目总结07:JS图片的上传预览和表单提交(FileReader()方法)

    JS图片的上传预览和表单提交(FileReader()方法) 一开始没有搞明白下面这块代码的,今天有时间简单整理下 核心点:FileReader()方法 以下是代码(以JSP文件为例) <!DO ...

  7. 关于Hbase的预分区,解决热点问题

    Hbase默认建表是只有一个分区的,开始的时候所有的数据都会查询这个分区,当这个分区达到一定大小的时候,就会进行做split操作: 因此为了确保regionserver的稳定和高效,应该尽量避免reg ...

  8. HBase Rowkey的散列与预分区设计

    转自:http://www.cnblogs.com/bdifn/p/3801737.html 问题导读:1.如何防止热点?2.如何预分区?扩展:为什么会产生热点存储? HBase中,表会被划分为1.. ...

  9. rowkey散列和预分区设计解决hbase热点问题(数据倾斜)

    Hbase的表会被划分为1....n个Region,被托管在RegionServer中.Region二个重要的属性:Startkey与EndKey表示这个Region维护的rowkey的范围,当我们要 ...

随机推荐

  1. 循环遍历完成后再进行else判断

    有时需要在循环遍历完后再进行else操作,通常的办法是在循环前设置一个flag,用于判断.具体例子如下:

  2. js 的函数参数的默认值问题

    js函数参数设置默认值   php有个很方便的用法是在定义函数时可以直接给参数设默认值,如: function simue ($a=1,$b=2){ return $a+$b; } echo simu ...

  3. hdu1754(splay tree 单点更新,成段查询)

    题意就是简单的点更新,成段查询. splay tree 果真是常数比较大的log(n)操作. 比线段树还慢了这么多. // // main.cpp // splay // // Created by ...

  4. 巨蟒python全栈开发数据库前端9:bootstrap

    1.bootstrap的主网站: http://www.bootcss.com/ (1)bootstrap的CSS样式 (2)bootstrap组件 (3)JavaScript插件 (4)阿里图标库的 ...

  5. python系列九:python3迭代器和生成器

    #!/usr/bin/python import sys '''迭代器是一个可以记住遍历的位置的对象.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退.迭代器有 ...

  6. 021-Spring Boot 测试,Junit方式使用,mock方式,Controller测试

    一.概述 二.Junit方式使用 2.1.基本使用 eclipse在新建的类上,右键→new→Junit Test Case,修改一下Source folder,选择src/test/java,下一步 ...

  7. EM算法(expectation maximization)

    EM算法简述 EM算法是一种迭代算法,主要用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的每次迭代由两步完成: E步,求期望 M步,求极大. EM算法的引入 如果概率模型的变 ...

  8. solrcloud配置步骤

    SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案.SolrCloud是Solr的基于Zookeeper一种部署方式. 版本信息:solr版本6.2.0+tom ...

  9. Android Studio工程引用第三方so文件

    应用程序二进制接口(Application Binary Interface)定义了二进制文件(尤其是.so文件)如何运行在相应的系统平台上,从使用的指令集,内存对齐到可用的系统函数库.在Androi ...

  10. Django当中的sql查询

    十二:在Django中使用sql   关键字: connection     connections       transaction insert/create/update/delete/sel ...