package com.hbase.HBaseAdmin;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.RegionLocator;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.util.Pair; /**
* @author:FengZhen
* @create:2018年9月6日
*/
public class CreateTable { private static String addr="HDP233,HDP232,HDP231";
private static String port="2181";
private static Connection connection; /**
* 获取连接
*/
public static void getConnection(){
Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum",addr);
conf.set("hbase.zookeeper.property.clientPort", port);
try {
connection = ConnectionFactory.createConnection(conf);
} catch (IOException e) {
e.printStackTrace();
}
} /*
* 关闭连接
*/
public static void close() {
/**
* close connection
**/
if (connection != null) {
try {
connection.close();
} catch (IOException e) {
e.printStackTrace();
}
}
} public static void main(String[] args) {
createTablePrePartition();
} /**
* 建表
*/
public static void createTable() {
getConnection();
try {
//获取admin实例
Admin admin = connection.getAdmin();
//创建表描述符
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("test_create"));
//添加列族描述符到表描述符中
HColumnDescriptor columnDescriptor = new HColumnDescriptor(Bytes.toBytes("info"));
tableDescriptor.addFamily(columnDescriptor);
//调用create方法
admin.createTable(tableDescriptor);
//检查表是否可用
boolean avail = admin.isTableAvailable(TableName.valueOf("test_create"));
System.out.println("Table available: " + avail);
} catch (IOException e) {
e.printStackTrace();
} finally {
close();
}
} //---------------------------------------通过预分区建表-----------------------------------------
/**
* Printing regions of table: test_pre_partition1
[1]start key: ,end key:1
[2]start key:1 ,end key:13
[3]start key:13 ,end key:25
[4]start key:25 ,end key:37
[5]start key:37 ,end key:49
[6]start key:49 ,end key:61
[7]start key:61 ,end key:73
[8]start key:73 ,end key:85
[9]start key:85 ,end key:100
[10]start key:100 ,end key:
Printing regions of table: test_pre_partition2
[1]start key: ,end key:A
[2]start key:A ,end key:D
[3]start key:D ,end key:G
[4]start key:G ,end key:K
[5]start key:K ,end key:O
[6]start key:O ,end key:T
[7]start key:T ,end key:
*/
/**
* 打印表中region信息
* @param tableName
* @throws IOException
*/
public static void printTableRegions(String tableName) throws IOException {
System.out.println("Printing regions of table: " + tableName);
//返回表中所有region的起始行键与终止行键列表
RegionLocator regionLocator = connection.getRegionLocator(TableName.valueOf(tableName));
//获取所有region的边界。
//第一个region的起始行键与最后一个region的终止行键都是空字节,这是HBase中默认的规则
//起始和终止行键都是已经计算好的,或是提供给用户的拆分键。
//需要注意的是,前一个region的终止行键与后一个region的起始行键是串联起来的
//终止行键不包含在前一个region中,而是作为起始行键包含在后一个region中。
Pair<byte[][], byte[][]> pair = regionLocator.getStartEndKeys();
for(int n = 0; n < pair.getFirst().length; n++) {
byte[] sk = pair.getFirst()[n];
byte[] ek = pair.getSecond()[n];
System.out.println("[" + (n + 1) + "]" +
"start key:" + (sk.length == 8 ? Bytes.toLong(sk) : Bytes.toStringBinary(sk)) +
" ,end key:" + (ek.length == 8 ? Bytes.toLong(ek) : Bytes.toStringBinary(ek)));
}
}
/**
* 通过预分区的方式建表
* @throws IOException
*/
public static void createTablePrePartition() {
getConnection();
String tableName = "test_pre_partition1";
String tableName2 = "test_pre_partition2";
try {
//获取admin实例
Admin admin = connection.getAdmin();
//创建表描述符
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
//添加列族描述符到表描述符中
HColumnDescriptor columnDescriptor = new HColumnDescriptor(Bytes.toBytes("info"));
tableDescriptor.addFamily(columnDescriptor);
//调用create方法,同时设置region边界。
//能够以特定数量拆分特定起始行键和特定终止行键,并创建表。
//startKey必须小于endKey,并且numRegions需要大于等于3,否则会抛出异常,这样才能确保region有最小的集合
//此方法使用Bytes.split()方法计算region边界,然后将计算得到的边界作为已拆分边界列表,并调用createTable(final HTableDescriptor desc, byte[][] splitKeys)方法
admin.createTable(tableDescriptor, Bytes.toBytes(1L), Bytes.toBytes(100L), 10);
printTableRegions(tableName); //创建表中region的拆分行键
byte[][] regions = new byte[][] {
Bytes.toBytes("A"),
Bytes.toBytes("D"),
Bytes.toBytes("G"),
Bytes.toBytes("K"),
Bytes.toBytes("O"),
Bytes.toBytes("T")
};
tableDescriptor.setName(TableName.valueOf(tableName2));
//使用新表明和region的已拆分键值列表作为参数调用建表命令
//使用已拆分行键的集合:使用了已经拆分好的region边界列表,因此结果都是与预期相符的。
admin.createTable(tableDescriptor, regions);
printTableRegions(tableName2);
} catch (IOException e) {
e.printStackTrace();
} finally {
close();
}
}
}

还有createTableAsync方法,这个方法使用表描述符和预拆分的region边界作为参数,并进行异步建表,但执行过程与createTable殊途同归

同步模式仅仅是异步模式的简单封装,增加了不断检查这个任务是否已经完成的循环操作。

HBase-建表(普通建表及预分区建表)的更多相关文章

  1. HBase 热点问题——rowkey散列和预分区设计

    热点发生在大量的client直接访问集群的一个或极少数个节点(访问可能是读,写或者其他操作).大量访问会使热点region所在的单个机器超出自身承受能力,引起性能下降甚至region不可用,这也会影响 ...

  2. Hbase预分区种子生成

    提前生成Hbase预分区种子,在创建Hbase表时也进行相应的预分区,同时设置预分区的个数,预分区的范围对应Hbase监控页面的Region Server的start key与End key,从而使数 ...

  3. ASM时的OFM特性对影的建数据文件名称的影响及为SYSTEM表空间的数据文件使用别名

    客户遇到个DG的问题,存储使用的ASM管理,有多个磁盘盘. 在主库创建数据文件,备库自己主动创建的数据文件都在同一磁盘组,而且在主库创建数据文件是指定的是类似**.DBF的名字,到备库也变成了使用AS ...

  4. HBase表预分区

    在创建Hbase表的时候默认一张表只有一个region,所有的put操作都会往这一个region中填充数据,当这个一个region过大时就会进行split.如果在创建HBase的时候就进行预分区则会减 ...

  5. hbase源码系列(八)从Snapshot恢复表

    在看这一章之前,建议大家先去看一下snapshot的使用.这一章是上一章snapshot的续集,上一章了讲了怎么做snapshot的原理,这一章就怎么从snapshot恢复表. restoreSnap ...

  6. 项目总结07:JS图片的上传预览和表单提交(FileReader()方法)

    JS图片的上传预览和表单提交(FileReader()方法) 一开始没有搞明白下面这块代码的,今天有时间简单整理下 核心点:FileReader()方法 以下是代码(以JSP文件为例) <!DO ...

  7. 关于Hbase的预分区,解决热点问题

    Hbase默认建表是只有一个分区的,开始的时候所有的数据都会查询这个分区,当这个分区达到一定大小的时候,就会进行做split操作: 因此为了确保regionserver的稳定和高效,应该尽量避免reg ...

  8. HBase Rowkey的散列与预分区设计

    转自:http://www.cnblogs.com/bdifn/p/3801737.html 问题导读:1.如何防止热点?2.如何预分区?扩展:为什么会产生热点存储? HBase中,表会被划分为1.. ...

  9. rowkey散列和预分区设计解决hbase热点问题(数据倾斜)

    Hbase的表会被划分为1....n个Region,被托管在RegionServer中.Region二个重要的属性:Startkey与EndKey表示这个Region维护的rowkey的范围,当我们要 ...

随机推荐

  1. c++ 继承,组合

    .什么是继承 A继承B,说明A是B的一种,并且B的所有行为对A都有意义 eg:A=WOMAN B=HUMAN A=鸵鸟 B=鸟 (不行),因为鸟会飞,但是鸵鸟不会. .什么是组合 若在逻辑上A是B的“ ...

  2. node.js 关于跨域和传递给前台参数

    /*为app添加中间件处理跨域请求*/ app.use(function(req, res, next) { res.header("Access-Control-Allow-Origin& ...

  3. 记录--java 分页 思路 (hibernate关键代码)

    有时会脑袋蒙圈,记录下分页的思路 下面代码是hibernate的分页,其分页就是从第几条数据为起点,取几条数据.比如在mysql中的limit(5,10)取的就是第6条到第10条 在下面代码中的pag ...

  4. Shell脚本实现用户数据导入

    #输入:固定格式的用户数据user.sql #处理:循环读取user.sql中的每行(每行对应一条用户数据),依次调用curl命令将用户插入BearyChat #输出:执行结果输出到日志文件outlo ...

  5. C# Static修饰符的作用

    MSDN上的定义 Use the static modifier to declare a static member, which belongs to the type itself rather ...

  6. 巨蟒python全栈开发linux之centos6

    1.nginx复习 .nginx是什么 nginx是支持反向代理,负载均衡,且可以实现web服务器的软件 在129服务器中查看,我们使用的是淘宝提供的tengine,也是一种nginx服务器 我们下载 ...

  7. 原生JavaScript写AJAX

    前端JavaScript: function ajaxGet(url, obj) { var request; if(window.XMLHttpRequest) { request = new XM ...

  8. Java源码之String

    本文出自:http://blog.csdn.net/dt235201314/article/details/78330377 一丶概述 还记得那会的“Hello World”,第一个程序,输出的Str ...

  9. ABAP 断点篇-001

    断点技能不足! 6.2.4 可在调试画面设置break-point.方法:在代码前面双击 6.2.5 为指定语句设置断点方法:(1)选择菜单:Breakpoints->Breakpointat ...

  10. MFC实现文字随鼠标移动

    1 实验介绍 此实验是在刚开始接触MFC时做的.它要求实现的功能如下: 文字跟随鼠标动态移动(跟随移动方式自定) 修改图标为自己喜欢的图标 修改窗口标题 修改文档名称 可以用菜单项选定指定的颜色显示文 ...