hbase开发实例

1、put/checkAndPut

 package com.testdata;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Put;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestPut {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Put testput = new Put(Bytes.toBytes("row1"));

         testput.add(Bytes.toBytes("cf"),Bytes.toBytes("col1"),Bytes.toBytes("E"));

         table.put(testput);

         //使用checkAndPut

         table.checkAndPut(Bytes.toBytes("row1"), Bytes.toBytes("cf"),Bytes.toBytes("col5"),Bytes.toBytes("E"),testput);

         table.close();

         conn.close();

     }

 }

使用checkAndPut，需要先对数据进行验证，上面的例子中，向row1中的cf:col1写入数据"E"，而验证的是row1中的cf:col5的值是否为"E"，注意这一点，相当于加了条件。

2、使用get读取数据

 package com.testdata;

 import java.io.IOException;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.Get;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestGet {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Get testget = new Get(Bytes.toBytes("row1"));

         Result row1 = table.get(testget);

         String value = new String(row1.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col1")));

         System.out.println(value);

         //下面限定到具体的列

         testget.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col2"));

         Result result = table.get(testget);

         if(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col2")) != null){

             String value2 = new String(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col2")));

             System.out.println(value2);

         }

         //另外一种读取方式

         List<Cell> cells = row1.listCells();

         for(Cell cell : cells){

             String rowkey = new String(CellUtil.cloneRow(cell));

             String family = new String(CellUtil.cloneFamily(cell));

             String collumn = new String(CellUtil.cloneQualifier(cell));

             String cvalue = new String(CellUtil.cloneValue(cell));

             System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

         }

         //注意要关闭

         table.close();

         conn.close();

     }

 }

参考结果：

3、使用scan获取数据

 package com.testdata;

 import java.io.IOException;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.client.ResultScanner;

 import org.apache.hadoop.hbase.client.Scan; 

 public class TestScan {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Scan testscan =new Scan();

         ResultScanner rs = table.getScanner(testscan);

         for(Result r : rs ){

             List<Cell> cells = r.listCells();

             for(Cell cell : cells){

                 String rowkey = new String(CellUtil.cloneRow(cell));

                 String family = new String(CellUtil.cloneFamily(cell));

                 String collumn = new String(CellUtil.cloneQualifier(cell));

                 String cvalue = new String(CellUtil.cloneValue(cell));

                 System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

             }

         }

         rs.close();

         table.close();

         conn.close();

     }

 }

4、delete/checkAndDelete

 package com.testdata;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.Delete;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import java.io.IOException;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestDelete {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Delete testdelete = new Delete(Bytes.toBytes("row1"));

         testdelete.deleteColumns(Bytes.toBytes("cf"), Bytes.toBytes("col1"));

         //区别只是checkAndDelete需要进行验证，相当于加了前提条件

         //table.delete(testdelete);

         table.checkAndDelete(Bytes.toBytes("row1"), Bytes.toBytes("cf"), Bytes.toBytes("col2"),Bytes.toBytes("BC"), testdelete);

         table.close();

         conn.close();

     }

 }

5、append

 package com.testdata;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.Append;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestAppend {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Append testappend = new Append(Bytes.toBytes("row1"));

         testappend.add(Bytes.toBytes("cf"),Bytes.toBytes("col1"),Bytes.toBytes("F"));

         table.append(testappend);

         table.close();

         conn.close();

     }

 }

下面是结果，注意append是在原有的值之上附加，先前的值为"E"，现在变为"EF"

6、计数器

计数器可以用于统计用户数，点击量等信息

 package com.testdata;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.util.Bytes;

 public class TestIncrement {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         long result = table.incrementColumnValue(Bytes.toBytes("row1"),Bytes.toBytes("cf"),Bytes.toBytes("coli"), 10);

         System.out.println(result);

         table.close();

         conn.close();

     }

 }

注意 long result = table.incrementColumnValue(Bytes.toBytes("row1"),Bytes.toBytes("cf"),Bytes.toBytes("coli"), 10);

最后一个参数，可以为0，意味着读取，也可以是负数。

可以使用get_counter可以获取对应的计数器的值，也可以使用以下命令进行操作

 incr '<table>', '<row>', '<column>', |<increment-value>|

7、filter

使用时注意性能

 package com.testdata;

 import java.io.IOException;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.client.ResultScanner;

 import org.apache.hadoop.hbase.client.Scan;

 import org.apache.hadoop.hbase.filter.BinaryComparator;

 import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;

 import org.apache.hadoop.hbase.filter.CompareFilter;

 import org.apache.hadoop.hbase.filter.Filter;

 import org.apache.hadoop.hbase.filter.QualifierFilter;

 import org.apache.hadoop.hbase.filter.RowFilter;

 import org.apache.hadoop.hbase.filter.SubstringComparator;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestSimplefilter {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Scan sc = new Scan();

         sc.setCacheBlocks(false);

         //行过滤器，判断"row1"与行的key是否相等

         //Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));

         //是否以"row"为前缀

         //Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryPrefixComparator(Bytes.toBytes("row")));

         //是否包含"row"

         //Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new SubstringComparator("row"));

         //列过滤器，与行类似

         Filter filter = new QualifierFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("col1")));

         sc.setFilter(filter);

         ResultScanner rs = table.getScanner(sc);

         for(Result r : rs ){

             List<Cell> cells = r.listCells();

             for(Cell cell : cells){

                 String rowkey = new String(CellUtil.cloneRow(cell));

                 String family = new String(CellUtil.cloneFamily(cell));

                 String collumn = new String(CellUtil.cloneQualifier(cell));

                 String cvalue = new String(CellUtil.cloneValue(cell));

                 System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

             }

         }

         rs.close();

         table.close();

         conn.close();

     }

 }

使用filterlist

 package com.testdata;

 import java.io.IOException;

 import java.util.ArrayList;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.client.ResultScanner;

 import org.apache.hadoop.hbase.client.Scan;

 import org.apache.hadoop.hbase.filter.BinaryComparator;

 import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;

 import org.apache.hadoop.hbase.filter.CompareFilter;

 import org.apache.hadoop.hbase.filter.Filter;

 import org.apache.hadoop.hbase.filter.FilterList;

 import org.apache.hadoop.hbase.filter.QualifierFilter;

 import org.apache.hadoop.hbase.filter.RegexStringComparator;

 import org.apache.hadoop.hbase.filter.RowFilter;

 import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;

 import org.apache.hadoop.hbase.filter.SubstringComparator;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestFilterList {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Scan sc = new Scan();

         Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row2")));

         SingleColumnValueFilter filter2 = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("col1"),CompareFilter.CompareOp.EQUAL,new BinaryPrefixComparator(Bytes.toBytes("B")));

         SingleColumnValueFilter filter3 = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("col1"),CompareFilter.CompareOp.EQUAL,new RegexStringComparator("B|C"));

         filter2.setFilterIfMissing(true);

         filter3.setFilterIfMissing(true);

         //List<Filter> filters = new ArrayList<Filter>();

         //filters.add(filter1);

         //filters.add(filter2);

         //FilterList filterlist = new FilterList(filters);

         //也可以这样写,MUST_PASS_ALL标识满足所有的filter,当然也可以使用MUST_PASS_ONE，标识只需要满足一个

         FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ALL);

         filterlist.addFilter(filter1);

         filterlist.addFilter(filter2);

         filterlist.addFilter(filter3);

         sc.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("col1"));

         sc.setFilter(filterlist);

         ResultScanner rs = table.getScanner(sc);

         for(Result r : rs ){

             List<Cell> cells = r.listCells();

             for(Cell cell : cells){

                 String rowkey = new String(CellUtil.cloneRow(cell));

                 String family = new String(CellUtil.cloneFamily(cell));

                 String collumn = new String(CellUtil.cloneQualifier(cell));

                 String cvalue = new String(CellUtil.cloneValue(cell));

                 System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

             }

         }

         rs.close();

         table.close();

         conn.close();

     }

 }

以上一组filter标识了这样的条件，即行的key必须为"row2"，列名必须为"col1"，值必须为"B"

结果参考：

如果没有 sc.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("col1"));这一句，结果会是下面的样子

rowkey:row2 family:cf column:col1 value:B

rowkey:row2 family:cf column:colb value:U

问题出在 SingleColumnValueFilter filter2 = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("col1"),CompareFilter.CompareOp.EQUAL,new BinaryPrefixComparator(Bytes.toBytes("B")));这一句，如果打印Bytes.toBytes("B")与Bytes.toBytes("U")，会发现都是以"B"开头的。即使换成BinaryComparator，也不会解决问题。

这里是值得注意的地方，搜索网络可以发现一样的结论，使用时务必使用sc.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("col1"))类似的语句。

rowkey:row2 family:cf column:col1 value:B

hbase开发实例的更多相关文章

ecshop二次开发给商品添加自定义字段【包含我自己进一步的开发实例详解】
本文包含商品自定义添加教程及进一步的开发实例: 教程: 说起自定义字段,我想很多的朋友像我一样会想起一些开源的CMS(比如Dedecms.Phpcms.帝国)等,他们是可以在后台直接添加自定义字段的. ...
RDIFramework.NET -.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（WebForm版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(WebForm版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之 ...
RDIFramework.NET-.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（MVC版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(MVC版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之产品管理 ...
Cocos2d-x 3.X手游开发实例详解
Cocos2d-x 3.X手游开发实例详解(最新最简Cocos2d-x手机游戏开发学习方法,以热门游戏2048.卡牌为例,完整再现手游的开发过程,实例丰富,代码完备,Cocos2d-x作者之一林顺和泰 ...
免费的HTML5连载来了《HTML5网页开发实例详解》连载（二）
最近新浪.百度.腾讯.京东.大众点评.淘宝等流行的网站都加大了招聘HTML5的力度,HTML5开发人员成了抢手货,本次连载的是由大众点评前端工程师和一淘网前端工程师基情奉献的<HTML5网页开发 ...
RDIFramework.NET开发实例━表约束条件权限的使用-Web
RDIFramework.NET开发实例━表约束条件权限的使用-Web 在上一篇文章“RDIFramework.NET开发实例━表约束条件权限的使用-WinForm”我们讲解了在WinForm下表约束 ...
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm 在实际的应用中,客户常有这样的需求,指定用户或角色可以看指定条件下的数据,这里的“指定条件”在RDIFramework. ...
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理（WinForm）
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理(WinForm) 现在,我们使用.NET快速开发整合框架(RDIFramework.NET)来开发一个应用,此应用皆在说明如何使 ...
Android音乐播放器的开发实例
本文将引导大家做一个音乐播放器,在做这个Android开发实例的过程中,能够帮助大家进一步熟悉和掌握学过的ListView和其他一些组件.为了有更好的学习效果,其中很多功能我们手动实现,例如音乐播放的 ...

随机推荐

C# 委托Delegate（一）基础介绍&用法
本文是根据书本&网络前人总结的. 1. 前言定义&介绍: 委托Delegate是一个类,定义了方法的类型, 使得可以将方法当做另一个方法的参数来进行传递,这种将方法动态地赋给参数的 ...
eclipse内下载及配置maven插件（转）
本文介绍Maven的安装和配置,同样适用于eclipse 1.首先需要安装jdk,eclipse(废话!). 然后到maven官网下载maven,http://maven.apache.org/dow ...
如何下载Github单个文件(Windows平台)
如何下载Github单个文件(Windows平台) 前提安装Chrome 浏览器 Chrome浏览器安装迅雷软件安装Chrome 迅雷插件可能商店里迅雷插件有好几种,这里使用这一种一般使用者 ...
SQL-从数据类型 varchar 转换为 bigint 时出错的解决方案
解决
PHP 高级编程(1/5) - 编码规范及文档编写
PHP 高级程序设计学习笔记20140612 软件开发中的一个重要环节就是文档编写.他可以帮助未来的程序维护人员和使用者理解你在开发时的思路.也便于日后重新查看代码时不至于无从下手.文档还有一个重要的 ...
LBaaS 实现机制 - 每天5分钟玩转 OpenStack（125）
上一节我们已经配置并测试 LBaaS,今天重点分析 Neutron 是如何用 Haproxy 来实现负责均衡的. 在控制节点上运行 ip netns,我们发现 Neutron 创建了新的 namesp ...
scikit-learn 梯度提升树(GBDT)调参小结
在梯度提升树(GBDT)原理小结中,我们对GBDT的原理做了总结,本文我们就从scikit-learn里GBDT的类库使用方法作一个总结,主要会关注调参中的一些要点. 1. scikit-learn ...
springMVC+ajax 文件上传带进度条
前端代码: <form id= "uploadForm"> <p >指定文件名: <input type="text" name= ...
h5应用缓存及收藏时Icon显示
h5应用实现离线缓存,加载后,断网仍然可以继续使用. 一.需求转行做h5,目前做赛道游戏,动手做了个赛道编辑器web版的,由于web版需要开启服务器才能使用,策划要想回家使用就要发布到外网服务器了, ...
request中getParameter和getAttribute的区别
整理一下getParameter和getAttribute的区别和各自的使用范围. (1)HttpServletRequest类有setAttribute()方法,而没有setParameter()方 ...

hbase开发实例

hbase开发实例的更多相关文章

随机推荐

热门专题