HBase根据Rowkey批量查询数据JAVA API(一次查多条,返回多个记录)
最近在生产中遇到了一个需求,前台给我多个rowkey的List,要在hbase中查询多个记录(返回给前台list)。在网上也查了很多,不过自己都不太满意,filter的功能有可能查询结果不是准确值,而网上给出的get方法也都是返回一条,scan的话都是返回全部数据,还有用rowkey范围查询的,都跟我的这个应用场景不符啊。无奈,自己找了一个方法,给各位有同样需求的朋友们一个参考。
首先创建链接属性:
- public static Configuration conf = null;
- public static Connection connection = null;
- public static Admin admin = null;
- static {
- conf = HBaseConfiguration.create();
- conf.set("hbase.zookeeper.quorum", "10.120.193.800,10.120.193.810");
- conf.set("hbase.master", "10.120.193.730:60010");
- conf.set("hbase.zookeeper.property.clientPort", "2181");
- conf.set("zookeeper.znode.parent", "/hbase-unsecure");
- conf.set("hbase.client.keyvalue.maxsize", "1048576000"); //1G
- conf = HBaseConfiguration.create(conf);
- try {
- connection = ConnectionFactory.createConnection(conf);
- admin = connection.getAdmin();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
紧接着,开始做查询操作:
- public static List<String> qurryTableTest(List<String> rowkeyList) throws IOException {
- String tableName = "table_a";
- Table table = connection.getTable( TableName.valueOf(tableName));// 获取表
- for (String rowkey : rowkeyList){
- Get get = new Get(Bytes.toBytes(rowkey));
- Result result = table.get(get);
- for (Cell kv : result.rawCells()) {
- String value = Bytes.toString(CellUtil.cloneValue(kv));
- list.add(value);
- }
- }
- return list;
- }
但是!!!重点来了,每条rowkey都要发起一次请求,这种方法效率十分低,测试了10000条记录查询要用4分钟左右,项目需求是秒回啊,这怎么能行?
于是,就自己点开hbase java 源码,自己慢慢找,忽然眼前一亮!在HTable.class里看到了这个get方法:
- public Result[] get(List<Get> gets) throws IOException {
- if(gets.size() == 1) {
- return new Result[]{this.get((Get)gets.get(0))};
- } else {
- try {
- Object[] r1 = this.batch(gets);
- Result[] results = new Result[r1.length];
- int i = 0;
- Object[] arr$ = r1;
- int len$ = r1.length;
- for(int i$ = 0; i$ < len$; ++i$) {
- Object o = arr$[i$];
- results[i++] = (Result)o;
- }
- return results;
- } catch (InterruptedException var9) {
- throw (InterruptedIOException)(new InterruptedIOException()).initCause(var9);
- }
- }
- }
这就简单了,紧接着对自己上边的方法进行改进:
- public static List<String> qurryTableTestBatch(List<String> rowkeyList) throws IOException {
- List<Get> getList = new ArrayList();
- String tableName = "table_a";
- Table table = connection.getTable( TableName.valueOf(tableName));// 获取表
- for (String rowkey : rowkeyList){//把rowkey加到get里,再把get装到list中
- Get get = new Get(Bytes.toBytes(rowkey));
- getList.add(get);
- }
- Result[] results = table.get(getList);//重点在这,直接查getList<Get>
- for (Result result : results){//对返回的结果集进行操作
- for (Cell kv : result.rawCells()) {
- String value = Bytes.toString(CellUtil.cloneValue(kv));
- list.add(value);
- }
- }
- return list;
- }
根据这种批量的方法,10000个rowkey进行测试,时间为2s,速度提升特别大。
ok!大功告成,成功解决了问题~
HBase根据Rowkey批量查询数据JAVA API(一次查多条,返回多个记录)的更多相关文章
- 使用一个T-SQL语句批量查询数据表占用空间及其行数
原文:使用一个T-SQL语句批量查询数据表占用空间及其行数 要找到数据库中数据表占用的空间和存在的行数.可以使用sp_spaceused搭配数据表的名称.就可以产生该表耗用的空间和现有行数. 如: U ...
- Java API 快速速查宝典
Java API 快速速查宝典 作者:明日科技,陈丹丹,李银龙,王国辉 著 出版社:人民邮电出版社 出版时间:2012年5月 Java编程的最基本要素是方法.属性和事件,掌握这些要素,就掌握了解决实际 ...
- Java MySQL 批量查询数据,每次查询10条
因为 数据量比较多, 比如每次 /** * 批量查询 * @param sourList * @param batchCount * @param userMapper * @return */ pu ...
- HBase总结(十二)Java API 与HBase交互实例
HBase提供了Java Api的訪问接口,掌握这个就跟Java应用使用RDBMS时须要JDBC一样重要 import java.io.IOException; import org.apache.h ...
- HBase学习(二) 基本命令 Java api
一.Hbase shell 1.Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中,如何实现呢? 使用这种格式即可:'命名空间名称:表名' ...
- Hbase学习(三)过滤器 java API
Hbase学习(三)过滤器 HBase 的基本 API,包括增.删.改.查等. 增.删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根 ...
- Hadoop之——HBASE结合MapReduce批量导入数据
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46463889 废话不多说.直接上代码,你懂得 package hbase; imp ...
- Redis 根据Key模糊批量查询数据
前言 经常会有这样一种业务逻辑,就是需要根据Redis中Key的规则,模糊查询对应的数据,当数据量少时,利用常规的命令也能满足需求,但是数据量大时,就会导致堵塞,就算是采用不堵塞的函数,如果数据需要显 ...
- 利用JDBC工具类添加和查询数据-Java(新手)
JDBC工具类: 1 package cn.lxr.jdbclx; 2 3 import java.sql.*; 4 5 public class JDBCUtils { 6 private stat ...
随机推荐
- worker pool Handling 1 Million Requests per Minute with Golang
小结: 1. 我们决定使用 Go 通道的一种常用模式构建一个两层的通道系统,一个通道用作任务队列,另一个来控制处理任务时的并发量. 这个办法是想以一种可持续的速率.并发地上传数据至 S3 存储,这样既 ...
- [math] 什么是双曲函数(转发)
我完全不记得上高中的时候学习过双曲函数...额,暴露了... 原文地址:https://zhuanlan.zhihu.com/p/20042215 可能是最好的讲解双曲函数的文章 零.写在前面 (近期 ...
- python练习题-day22
1.编写程序, 编写一个学生类, 要求有一个计数器的属性, 统计总共实例化了多少个学生 class Student: count=0 def __init__(self,name,age,gender ...
- NLog的介绍使用
https://www.cnblogs.com/zhangchengye/p/6297685.html
- Android系统裁剪:手把手教你如何进行系统裁剪
前言:android系统裁剪优化一直是各个厂商定制产品的关键步骤,包括浅层次的去除不必要的apk(android apk裁剪定制 )和深层次的裁剪整个编译系统和框架层. android作为开源系统 ...
- opencart3产品页调用upc/数量等信息
opencart3产品页默认只调用标题.价格.型号等几个数据,如果想要调用更多的参数要如何操作呢?跟着ytkah一起来看看吧.首先打开/catalog/model/catalog/product.ph ...
- pymongo基础
PyMongo是MongoDB数据库的python模块 MongoDB是由C++语音编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统. win10 安装 4.0 使用官网的配置 使用 n ...
- Linux系统(四)LVS集群负载均衡NAT模式
序言 提到LVS,就从章文嵩博士开始吧,反正也不知道如何下笔来写这一篇.章大博士,读博时候创建这个lvs软件项目,但是他提倡开源精神,在用户的建议和反馈中,这个花了他两周时间开发的开源软件不断得到改建 ...
- python类与对象-如何派生内置不可变类型并修其改实例化行为
如何派生内置不可变类型并修其改实例化行为 问题举例 自定义一种新类型的元组,对传入的可迭代对象,我们只保留 其中int类型且值大于0的元素,例如 IntTuple([1, -1, 'abc', 6, ...
- office word memo
显示左侧目录树 office 和 wps 的差异 wps 的版本:视窗 ->文档结构图 office 的版本: 视图 ->导航窗格