最近在生产中遇到了一个需求,前台给我多个rowkey的List,要在hbase中查询多个记录(返回给前台list)。在网上也查了很多,不过自己都不太满意,filter的功能有可能查询结果不是准确值,而网上给出的get方法也都是返回一条,scan的话都是返回全部数据,还有用rowkey范围查询的,都跟我的这个应用场景不符啊。无奈,自己找了一个方法,给各位有同样需求的朋友们一个参考。

首先创建链接属性:

  1.  
    public static Configuration conf = null;
  2.  
    public static Connection connection = null;
  3.  
    public static Admin admin = null;
  4.  
    static {
  5.  
    conf = HBaseConfiguration.create();
  6.  
     
  7.  
    conf.set("hbase.zookeeper.quorum", "10.120.193.800,10.120.193.810");
  8.  
    conf.set("hbase.master", "10.120.193.730:60010");
  9.  
    conf.set("hbase.zookeeper.property.clientPort", "2181");
  10.  
    conf.set("zookeeper.znode.parent", "/hbase-unsecure");
  11.  
    conf.set("hbase.client.keyvalue.maxsize", "1048576000"); //1G
  12.  
    conf = HBaseConfiguration.create(conf);
  13.  
    try {
  14.  
    connection = ConnectionFactory.createConnection(conf);
  15.  
    admin = connection.getAdmin();
  16.  
    } catch (IOException e) {
  17.  
    e.printStackTrace();
  18.  
    }
  19.  
    }

紧接着,开始做查询操作:

  1.  
    public static List<String> qurryTableTest(List<String> rowkeyList) throws IOException {
  2.  
    String tableName = "table_a";
  3.  
    Table table = connection.getTable( TableName.valueOf(tableName));// 获取表
  4.  
    for (String rowkey : rowkeyList){
  5.  
    Get get = new Get(Bytes.toBytes(rowkey));
  6.  
    Result result = table.get(get);
  7.  
    for (Cell kv : result.rawCells()) {
  8.  
    String value = Bytes.toString(CellUtil.cloneValue(kv));
  9.  
    list.add(value);
  10.  
    }
  11.  
    }
  12.  
    return list;
  13.  
    }

但是!!!重点来了,每条rowkey都要发起一次请求,这种方法效率十分低,测试了10000条记录查询要用4分钟左右,项目需求是秒回啊,这怎么能行?

于是,就自己点开hbase java 源码,自己慢慢找,忽然眼前一亮!在HTable.class里看到了这个get方法:

  1.  
    public Result[] get(List<Get> gets) throws IOException {
  2.  
    if(gets.size() == 1) {
  3.  
    return new Result[]{this.get((Get)gets.get(0))};
  4.  
    } else {
  5.  
    try {
  6.  
    Object[] r1 = this.batch(gets);
  7.  
    Result[] results = new Result[r1.length];
  8.  
    int i = 0;
  9.  
    Object[] arr$ = r1;
  10.  
    int len$ = r1.length;
  11.  
     
  12.  
    for(int i$ = 0; i$ < len$; ++i$) {
  13.  
    Object o = arr$[i$];
  14.  
    results[i++] = (Result)o;
  15.  
    }
  16.  
     
  17.  
    return results;
  18.  
    } catch (InterruptedException var9) {
  19.  
    throw (InterruptedIOException)(new InterruptedIOException()).initCause(var9);
  20.  
    }
  21.  
    }
  22.  
    }

这就简单了,紧接着对自己上边的方法进行改进:

  1.  
    public static List<String> qurryTableTestBatch(List<String> rowkeyList) throws IOException {
  2.  
    List<Get> getList = new ArrayList();
  3.  
    String tableName = "table_a";
  4.  
    Table table = connection.getTable( TableName.valueOf(tableName));// 获取表
  5.  
    for (String rowkey : rowkeyList){//把rowkey加到get里,再把get装到list中
  6.  
    Get get = new Get(Bytes.toBytes(rowkey));
  7.  
    getList.add(get);
  8.  
    }
  9.  
    Result[] results = table.get(getList);//重点在这,直接查getList<Get>
  10.  
    for (Result result : results){//对返回的结果集进行操作
  11.  
    for (Cell kv : result.rawCells()) {
  12.  
    String value = Bytes.toString(CellUtil.cloneValue(kv));
  13.  
    list.add(value);
  14.  
    }
  15.  
    }
  16.  
    return list;
  17.  
    }

根据这种批量的方法,10000个rowkey进行测试,时间为2s,速度提升特别大。

ok!大功告成,成功解决了问题~

HBase根据Rowkey批量查询数据JAVA API(一次查多条,返回多个记录)的更多相关文章

  1. 使用一个T-SQL语句批量查询数据表占用空间及其行数

    原文:使用一个T-SQL语句批量查询数据表占用空间及其行数 要找到数据库中数据表占用的空间和存在的行数.可以使用sp_spaceused搭配数据表的名称.就可以产生该表耗用的空间和现有行数. 如: U ...

  2. Java API 快速速查宝典

    Java API 快速速查宝典 作者:明日科技,陈丹丹,李银龙,王国辉 著 出版社:人民邮电出版社 出版时间:2012年5月 Java编程的最基本要素是方法.属性和事件,掌握这些要素,就掌握了解决实际 ...

  3. Java MySQL 批量查询数据,每次查询10条

    因为 数据量比较多, 比如每次 /** * 批量查询 * @param sourList * @param batchCount * @param userMapper * @return */ pu ...

  4. HBase总结(十二)Java API 与HBase交互实例

    HBase提供了Java Api的訪问接口,掌握这个就跟Java应用使用RDBMS时须要JDBC一样重要 import java.io.IOException; import org.apache.h ...

  5. HBase学习(二) 基本命令 Java api

    一.Hbase shell 1.Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中,如何实现呢? 使用这种格式即可:'命名空间名称:表名' ...

  6. Hbase学习(三)过滤器 java API

    Hbase学习(三)过滤器 HBase 的基本 API,包括增.删.改.查等. 增.删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根 ...

  7. Hadoop之——HBASE结合MapReduce批量导入数据

    转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46463889 废话不多说.直接上代码,你懂得 package hbase; imp ...

  8. Redis 根据Key模糊批量查询数据

    前言 经常会有这样一种业务逻辑,就是需要根据Redis中Key的规则,模糊查询对应的数据,当数据量少时,利用常规的命令也能满足需求,但是数据量大时,就会导致堵塞,就算是采用不堵塞的函数,如果数据需要显 ...

  9. 利用JDBC工具类添加和查询数据-Java(新手)

    JDBC工具类: 1 package cn.lxr.jdbclx; 2 3 import java.sql.*; 4 5 public class JDBCUtils { 6 private stat ...

随机推荐

  1. EM(Expectation Maximization )

    概括 看李航老师的<统计学习方法>知道,EM是一个对于有隐含随机变量的概率模型的参数的估计方法,它是一种无监督的算法. 只是有些重要的点并没有给出, 比如没有三硬币例子中直接给出的 u(z ...

  2. Nginx实现负载均衡的简单案例

    七层负载均衡的实现(Nginx): 基于URL等应用层信息的负载均衡,一般使用Nginx来实现 Nginx的proxy是它一个很强大的功能,实现了7层负载均衡 功能强大.性能卓越.运行稳定 配置简单灵 ...

  3. 20175211 2017-2018-2 《Java程序设计》第六周学习记录

    目录 7.1 内部类 7.2 匿名类 7.3 异常类 断言 参考资料 <Java 2实用教程>第七章 内部类和异常类 7.1 内部类 内部类的外嵌类的成员变量在内部类中依然有效,内部类中的 ...

  4. VMware虚拟机共享宿主机硬盘步骤

    1.打开设置 2. 进去设置后,选择选项选项卡,启用文件夹共享,添加文件夹即可 注:虚拟机安装完成后我先装了 VMwareTools,然后进行的共享操作,貌似不安装时无法启用第三步,即 总是启用 按钮 ...

  5. 自定义bash提示符

    http://adamcavendish.is-programmer.com/posts/35659.html

  6. web_app框架

    web app 建立在asyncio的基础上,因此用aiohttp写一个基本的app.py import logging; logging.basicConfig(level=logging.INFO ...

  7. Ajax请求二进制流并在页面展示

    后端代码: public void getIntegralQrcode(HttpServletResponse response, String token) throws BizException, ...

  8. php通过pecl方式安装扩展

    安装pecl cd /usr/local/php/bin/ wget http://pear.php.net/go-pear.phar -O go-pear.php php go-pear.php # ...

  9. linux上的图片查看器FEH_image_view

    Linux上的图片查看器, 简单,没有多余功能,打开快速,体积小 在终端用feh # 直接执行feh显示当前目录所有图片 feh # 或者指定图片名 feh pic1 pic2 pic3 # 显示一个 ...

  10. VS 通过局域网访问调试状态下的web应用程序

    1.点击vs的启动按钮 2.在任务栏找到IIS Express的图标,点击“显示所有应用程序” 3.如果只有本地localhost访问方式,点击对应应用程序的本地URL,就会显示对应的配置文件 4.点 ...