hbase开发实例

1、put/checkAndPut

 package com.testdata;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Put;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestPut {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Put testput = new Put(Bytes.toBytes("row1"));

         testput.add(Bytes.toBytes("cf"),Bytes.toBytes("col1"),Bytes.toBytes("E"));

         table.put(testput);

         //使用checkAndPut

         table.checkAndPut(Bytes.toBytes("row1"), Bytes.toBytes("cf"),Bytes.toBytes("col5"),Bytes.toBytes("E"),testput);

         table.close();

         conn.close();

     }

 }

使用checkAndPut，需要先对数据进行验证，上面的例子中，向row1中的cf:col1写入数据"E"，而验证的是row1中的cf:col5的值是否为"E"，注意这一点，相当于加了条件。

2、使用get读取数据

 package com.testdata;

 import java.io.IOException;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.Get;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestGet {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Get testget = new Get(Bytes.toBytes("row1"));

         Result row1 = table.get(testget);

         String value = new String(row1.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col1")));

         System.out.println(value);

         //下面限定到具体的列

         testget.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col2"));

         Result result = table.get(testget);

         if(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col2")) != null){

             String value2 = new String(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col2")));

             System.out.println(value2);

         }

         //另外一种读取方式

         List<Cell> cells = row1.listCells();

         for(Cell cell : cells){

             String rowkey = new String(CellUtil.cloneRow(cell));

             String family = new String(CellUtil.cloneFamily(cell));

             String collumn = new String(CellUtil.cloneQualifier(cell));

             String cvalue = new String(CellUtil.cloneValue(cell));

             System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

         }

         //注意要关闭

         table.close();

         conn.close();

     }

 }

参考结果：

3、使用scan获取数据

 package com.testdata;

 import java.io.IOException;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.client.ResultScanner;

 import org.apache.hadoop.hbase.client.Scan; 

 public class TestScan {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Scan testscan =new Scan();

         ResultScanner rs = table.getScanner(testscan);

         for(Result r : rs ){

             List<Cell> cells = r.listCells();

             for(Cell cell : cells){

                 String rowkey = new String(CellUtil.cloneRow(cell));

                 String family = new String(CellUtil.cloneFamily(cell));

                 String collumn = new String(CellUtil.cloneQualifier(cell));

                 String cvalue = new String(CellUtil.cloneValue(cell));

                 System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

             }

         }

         rs.close();

         table.close();

         conn.close();

     }

 }

4、delete/checkAndDelete

 package com.testdata;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.Delete;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import java.io.IOException;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestDelete {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Delete testdelete = new Delete(Bytes.toBytes("row1"));

         testdelete.deleteColumns(Bytes.toBytes("cf"), Bytes.toBytes("col1"));

         //区别只是checkAndDelete需要进行验证，相当于加了前提条件

         //table.delete(testdelete);

         table.checkAndDelete(Bytes.toBytes("row1"), Bytes.toBytes("cf"), Bytes.toBytes("col2"),Bytes.toBytes("BC"), testdelete);

         table.close();

         conn.close();

     }

 }

5、append

 package com.testdata;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.Append;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestAppend {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Append testappend = new Append(Bytes.toBytes("row1"));

         testappend.add(Bytes.toBytes("cf"),Bytes.toBytes("col1"),Bytes.toBytes("F"));

         table.append(testappend);

         table.close();

         conn.close();

     }

 }

下面是结果，注意append是在原有的值之上附加，先前的值为"E"，现在变为"EF"

6、计数器

计数器可以用于统计用户数，点击量等信息

 package com.testdata;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.util.Bytes;

 public class TestIncrement {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         long result = table.incrementColumnValue(Bytes.toBytes("row1"),Bytes.toBytes("cf"),Bytes.toBytes("coli"), 10);

         System.out.println(result);

         table.close();

         conn.close();

     }

 }

注意 long result = table.incrementColumnValue(Bytes.toBytes("row1"),Bytes.toBytes("cf"),Bytes.toBytes("coli"), 10);

最后一个参数，可以为0，意味着读取，也可以是负数。

可以使用get_counter可以获取对应的计数器的值，也可以使用以下命令进行操作

 incr '<table>', '<row>', '<column>', |<increment-value>|

7、filter

使用时注意性能

 package com.testdata;

 import java.io.IOException;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.client.ResultScanner;

 import org.apache.hadoop.hbase.client.Scan;

 import org.apache.hadoop.hbase.filter.BinaryComparator;

 import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;

 import org.apache.hadoop.hbase.filter.CompareFilter;

 import org.apache.hadoop.hbase.filter.Filter;

 import org.apache.hadoop.hbase.filter.QualifierFilter;

 import org.apache.hadoop.hbase.filter.RowFilter;

 import org.apache.hadoop.hbase.filter.SubstringComparator;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestSimplefilter {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Scan sc = new Scan();

         sc.setCacheBlocks(false);

         //行过滤器，判断"row1"与行的key是否相等

         //Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));

         //是否以"row"为前缀

         //Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryPrefixComparator(Bytes.toBytes("row")));

         //是否包含"row"

         //Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new SubstringComparator("row"));

         //列过滤器，与行类似

         Filter filter = new QualifierFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("col1")));

         sc.setFilter(filter);

         ResultScanner rs = table.getScanner(sc);

         for(Result r : rs ){

             List<Cell> cells = r.listCells();

             for(Cell cell : cells){

                 String rowkey = new String(CellUtil.cloneRow(cell));

                 String family = new String(CellUtil.cloneFamily(cell));

                 String collumn = new String(CellUtil.cloneQualifier(cell));

                 String cvalue = new String(CellUtil.cloneValue(cell));

                 System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

             }

         }

         rs.close();

         table.close();

         conn.close();

     }

 }

使用filterlist

 package com.testdata;

 import java.io.IOException;

 import java.util.ArrayList;

 import java.util.List;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.hbase.Cell;

 import org.apache.hadoop.hbase.CellUtil;

 import org.apache.hadoop.hbase.HBaseConfiguration;

 import org.apache.hadoop.hbase.client.HConnection;

 import org.apache.hadoop.hbase.client.HConnectionManager;

 import org.apache.hadoop.hbase.client.HTableInterface;

 import org.apache.hadoop.hbase.client.Result;

 import org.apache.hadoop.hbase.client.ResultScanner;

 import org.apache.hadoop.hbase.client.Scan;

 import org.apache.hadoop.hbase.filter.BinaryComparator;

 import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;

 import org.apache.hadoop.hbase.filter.CompareFilter;

 import org.apache.hadoop.hbase.filter.Filter;

 import org.apache.hadoop.hbase.filter.FilterList;

 import org.apache.hadoop.hbase.filter.QualifierFilter;

 import org.apache.hadoop.hbase.filter.RegexStringComparator;

 import org.apache.hadoop.hbase.filter.RowFilter;

 import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;

 import org.apache.hadoop.hbase.filter.SubstringComparator;

 import org.apache.hadoop.hbase.util.Bytes; 

 public class TestFilterList {

     public static void main(String[] args) throws IOException {

         Configuration conf = HBaseConfiguration.create();

         conf.set("hbase.zookeeper.quorum","localhost");

         conf.set("hbase.zookeeper.property.clientPort","2181");

         HConnection conn = HConnectionManager.createConnection(conf);

         HTableInterface table = conn.getTable("testdata");

         Scan sc = new Scan();

         Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row2")));

         SingleColumnValueFilter filter2 = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("col1"),CompareFilter.CompareOp.EQUAL,new BinaryPrefixComparator(Bytes.toBytes("B")));

         SingleColumnValueFilter filter3 = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("col1"),CompareFilter.CompareOp.EQUAL,new RegexStringComparator("B|C"));

         filter2.setFilterIfMissing(true);

         filter3.setFilterIfMissing(true);

         //List<Filter> filters = new ArrayList<Filter>();

         //filters.add(filter1);

         //filters.add(filter2);

         //FilterList filterlist = new FilterList(filters);

         //也可以这样写,MUST_PASS_ALL标识满足所有的filter,当然也可以使用MUST_PASS_ONE，标识只需要满足一个

         FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ALL);

         filterlist.addFilter(filter1);

         filterlist.addFilter(filter2);

         filterlist.addFilter(filter3);

         sc.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("col1"));

         sc.setFilter(filterlist);

         ResultScanner rs = table.getScanner(sc);

         for(Result r : rs ){

             List<Cell> cells = r.listCells();

             for(Cell cell : cells){

                 String rowkey = new String(CellUtil.cloneRow(cell));

                 String family = new String(CellUtil.cloneFamily(cell));

                 String collumn = new String(CellUtil.cloneQualifier(cell));

                 String cvalue = new String(CellUtil.cloneValue(cell));

                 System.out.println("rowkey:" + rowkey + " family:" + family + " column:" + collumn +" value:" + cvalue);

             }

         }

         rs.close();

         table.close();

         conn.close();

     }

 }

以上一组filter标识了这样的条件，即行的key必须为"row2"，列名必须为"col1"，值必须为"B"

结果参考：

如果没有 sc.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("col1"));这一句，结果会是下面的样子

rowkey:row2 family:cf column:col1 value:B

rowkey:row2 family:cf column:colb value:U

问题出在 SingleColumnValueFilter filter2 = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("col1"),CompareFilter.CompareOp.EQUAL,new BinaryPrefixComparator(Bytes.toBytes("B")));这一句，如果打印Bytes.toBytes("B")与Bytes.toBytes("U")，会发现都是以"B"开头的。即使换成BinaryComparator，也不会解决问题。

这里是值得注意的地方，搜索网络可以发现一样的结论，使用时务必使用sc.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("col1"))类似的语句。

rowkey:row2 family:cf column:col1 value:B

hbase开发实例的更多相关文章

ecshop二次开发给商品添加自定义字段【包含我自己进一步的开发实例详解】
本文包含商品自定义添加教程及进一步的开发实例: 教程: 说起自定义字段,我想很多的朋友像我一样会想起一些开源的CMS(比如Dedecms.Phpcms.帝国)等,他们是可以在后台直接添加自定义字段的. ...
RDIFramework.NET -.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（WebForm版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(WebForm版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之 ...
RDIFramework.NET-.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（MVC版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(MVC版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之产品管理 ...
Cocos2d-x 3.X手游开发实例详解
Cocos2d-x 3.X手游开发实例详解(最新最简Cocos2d-x手机游戏开发学习方法,以热门游戏2048.卡牌为例,完整再现手游的开发过程,实例丰富,代码完备,Cocos2d-x作者之一林顺和泰 ...
免费的HTML5连载来了《HTML5网页开发实例详解》连载（二）
最近新浪.百度.腾讯.京东.大众点评.淘宝等流行的网站都加大了招聘HTML5的力度,HTML5开发人员成了抢手货,本次连载的是由大众点评前端工程师和一淘网前端工程师基情奉献的<HTML5网页开发 ...
RDIFramework.NET开发实例━表约束条件权限的使用-Web
RDIFramework.NET开发实例━表约束条件权限的使用-Web 在上一篇文章“RDIFramework.NET开发实例━表约束条件权限的使用-WinForm”我们讲解了在WinForm下表约束 ...
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm 在实际的应用中,客户常有这样的需求,指定用户或角色可以看指定条件下的数据,这里的“指定条件”在RDIFramework. ...
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理（WinForm）
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理(WinForm) 现在,我们使用.NET快速开发整合框架(RDIFramework.NET)来开发一个应用,此应用皆在说明如何使 ...
Android音乐播放器的开发实例
本文将引导大家做一个音乐播放器,在做这个Android开发实例的过程中,能够帮助大家进一步熟悉和掌握学过的ListView和其他一些组件.为了有更好的学习效果,其中很多功能我们手动实现,例如音乐播放的 ...

随机推荐

最好的5个Android ORM框架
在开发Android应用时,保存数据有这么几个方式, 一个是本地保存,一个是放在后台(提供API接口),还有一个是放在开放云服务上(如 SyncAdapter 会是一个不错的选择). 对于第一种方式, ...
阿里云系列——7.阿里云IIS系列详解（过程+通用+最新）
网站部署之~阿里云系列汇总 http://www.cnblogs.com/dunitian/p/4958462.html 先讲IIS系列,Linux部署以后再继续讲先打开主机管理平台,确认域名绑定 ...
JQuery 加载 CSS、JS 文件
JS 方式加载 CSS.JS 文件: //加载 css 文件 function includeCss(filename) { var head = document.getElementsByTagN ...
《转载》PAT 习题
博客出处:http://blog.csdn.net/zhoufenqin/article/details/50497791 题目出处:https://www.patest.cn/contests/pa ...
TCP四种计时器
TCP共使用以下四种计时器,即重传计时器.坚持计时器.保活计时器和时间等待计时器 .这几个计时器的主要特点如下: 1.重传计时器当TCP发送报文段时,就创建该特定报文段的重传计时 ...
CSS知识总结（三）
CSS的常用样式 1.字体样式 1)字体名称(font-family) font-family : <family-name> 设置文字名称,可以使用多个名称,或者使用逗号分隔,浏览器 ...
通过HTML5的Drag and Drop生成拓扑图片Base64信息
HTML5 原生的 Drag and Drop是很不错的功能,网上使用例子较多如 http://html5demos.com/drag ,但这些例子大部分没实际用途,本文将搞个有点使用价值的例子,通过 ...
Moon.Orm 入门总指南
注意:下面的pdf文件强烈建议下载或在线查看 1)旗舰版帮助文档点击查看或下载 2)http://pan.baidu.com/s/1hq7krFu(新手手册下载)(强烈推荐) 3)性能及规范下载,网友 ...
scikit-learn预处理实例之一:使用FunctionTransformer选择列
本例展示怎样在一个管道中使用FunctionTransformer.如果你知道你的数据集的第一主成分与分类任务无关,你可以使用FunctionTransformer选取除PCA转化的数据的第一列之外的 ...
H5天气查询demo（二）
最近刚好有空,学长帮忙让做个毕设,于是我提到了那个基于H5地理位置实现天气查询的方法,学长听了也觉得不错,于是就这个主题,扩展了一下,做了一个航班管理查询系统,为上次博客中提到的利用H5 api中的经 ...

hbase开发实例

hbase开发实例的更多相关文章

随机推荐

热门专题