HBase（七）Hbase过滤器

一、过滤器（Filter）

　　基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到各个RegionServer，是一个服务器端（Server-side）的过滤器，这样也可以降低网络传输的压力。

　　要完成一个过滤的操作，至少需要两个参数。一个是抽象的操作符，Hbase提供了枚举类型的变量来表示这些抽象的操作符：LESS/LESS_OR_EQUAL/EQUAL/NOT_EUQAL等；另外一个就是具体的比较器（Comparator），代表具体的比较逻辑，如果可以提高字节级的比较、字符串级的比较等。有了这两个参数，我们就可以清晰的定义筛选的条件，过滤数据。

1、抽象操作符（比较运算符）

LESS <

LESS_OR_EQUAL <=

EQUAL =

NOT_EQUAL <>

GREATER_OR_EQUAL >=

GREATER >

NO_OP 排除所有

2、比较器（指定比较机制）

BinaryComparator 按字节索引顺序比较指定字节数组，采用 Bytes.compareTo(byte[])

BinaryPrefixComparator 跟前面相同，只是比较左端的数据是否相同

NullComparator 判断给定的是否为空

BitComparator 按位比较

RegexStringComparator 提供一个正则的比较器，仅支持 EQUAL 和非 EQUAL

SubstringComparator 判断提供的子串是否出现在 value 中

二、HBase过滤器的分类

1、比较过滤器

1.行键过滤器 RowFilter

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        Filter rowFilter = new RowFilter(CompareOp.GREATER, new BinaryComparator("95007".getBytes()));

        scan.setFilter(rowFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(cell);

            }

        }

    }

运行结果部分截图

2.列簇过滤器 FamilyFilter

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        Filter familyFilter = new FamilyFilter(CompareOp.EQUAL, new BinaryComparator("info".getBytes()));

        scan.setFilter(familyFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(cell);

            }

        }

    }

}

运行结果部分截图

3.列过滤器 QualifierFilter

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        Filter qualifierFilter = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator("name".getBytes()));

        scan.setFilter(qualifierFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(cell);

            }

        }

    }

}

运行结果部分截图

4.值过滤器 ValueFilter

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        Filter valueFilter = new ValueFilter(CompareOp.EQUAL, new SubstringComparator("男"));

        scan.setFilter(valueFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(cell);

            }

        }

    }

}

运行结果部分截图

5.时间戳过滤器 TimestampsFilter

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        List<Long> list = new ArrayList<>();

        list.add(1522469029503l);

        TimestampsFilter timestampsFilter = new TimestampsFilter(list);

        scan.setFilter(timestampsFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())

                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());

            }

        }

    }

}

运行结果部分截图

2、专用过滤器

1.单列值过滤器 SingleColumnValueFilter

会返回满足条件的整行

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter(

                "info".getBytes(),

                "name".getBytes(),

                CompareOp.EQUAL,

                new SubstringComparator("刘晨"));

        //如果不设置为 true，则那些不包含指定 column 的行也会返回

        singleColumnValueFilter.setFilterIfMissing(true);

        scan.setFilter(singleColumnValueFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())

                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());

            }

        }

    }

}

运行结果部分截图

2.单列值排除器 SingleColumnValueExcludeFilter

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        SingleColumnValueExcludeFilter singleColumnValueExcludeFilter = new SingleColumnValueExcludeFilter(

                "info".getBytes(),

                "name".getBytes(),

                CompareOp.EQUAL,

                new SubstringComparator("刘晨"));

        singleColumnValueExcludeFilter.setFilterIfMissing(true);

        scan.setFilter(singleColumnValueExcludeFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())

                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());

            }

        }

    }

}

运行结果部分截图

3.前缀过滤器 PrefixFilter----针对行键

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        PrefixFilter prefixFilter = new PrefixFilter("9501".getBytes());

        scan.setFilter(prefixFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())

                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());

            }

        }

    }

}

运行结果部分截图

4.列前缀过滤器 ColumnPrefixFilter

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";

    private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181";

    private static Connection conn = null;

    private static Admin admin = null;

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);

        conn = ConnectionFactory.createConnection(conf);

        admin = conn.getAdmin();

        Table table = conn.getTable(TableName.valueOf("student"));

        Scan scan = new Scan();

        ColumnPrefixFilter columnPrefixFilter = new ColumnPrefixFilter("name".getBytes());

        scan.setFilter(columnPrefixFilter);

        ResultScanner resultScanner = table.getScanner(scan);

        for(Result result : resultScanner) {

            List<Cell> cells = result.listCells();

            for(Cell cell : cells) {

                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())

                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());

            }

        }

    }

}

运行结果部分截图

5.分页过滤器 PageFilter

HBase（七）Hbase过滤器的更多相关文章

HBase(七): HBase体系结构剖析（下)
目录: write Compaction splite read Write: 当客户端发起一个Put请求时,首先根据RowKey寻址,从hbase:meta表中查出该Put数据最终需要去的HRegi ...
HBase笔记6 过滤器
过滤器过滤器是GET或者SCAN时过滤结果用的,相当于SQL的where语句 HBase中的过滤器创建后会被序列化,然后分发到各个region server中,region server会还原过滤器 ...
HBase学习之路（十一）HBase的协过滤器
协处理器—Coprocessor 1. 起源 Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和.计数.排序等操作.比如,在旧版本的(<0.92)Hba ...
HBase学习-HBase原理
1.系统架构 1.1 图解从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemS ...
大数据技术之_11_HBase学习_01_HBase 简介+HBase 安装+HBase Shell 操作+HBase 数据结构+HBase 原理
第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 ...
Hbase学习Hbase基础介绍
一.产生背景自1970年以来,关系数据库用于数据存储和维护有关问题的解决方案.大数据的出现后,好多公司实现处理大数据并从中受益,并开始选择像Hadoop的解决方案.Hadoop使用分布式文件系统,用 ...
【HBase】HBase Getting Started（HBase 入门指南）
入门指南 1. 简介 Quickstart 会让你启动和运行一个单节点单机HBase. 2. 快速启动 – 单点HBase 这部分描述单节点单机HBase的配置.一个单例拥有所有的HBase守护线程- ...
Hbase总结（一）-hbase命令,hbase安装,与Hive的区别,与传统数据库的区别,Hbase数据模型
Hbase总结(一)-hbase命令下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称命令表达式创建表 create '表名称', ...
Hbase理论&&hbase shell&&python操作hbase&&python通过mapreduce操作hbase
一.Hbase搭建: 二.理论知识介绍: 1Hbase介绍: Hbase是分布式.面向列的开源数据库(其实准确的说是面向列族).HDFS为Hbase提供可靠的底层数据存储服务,MapReduce为Hb ...
Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误
1:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲 ...

随机推荐

python基础之赋值/深copy/浅copy
首先,不管是赋值还是深浅copy,都是针对那些可能会产生变化的值进行区分的,也就是对于数字,字符串来说,区分赋值,深浅copy是毫无意义的. 那么,让我们来对那些可变的像list set dict t ...
微信图片上传，遇到一个神奇的jgp
微信图片上传,获取图片base64遇到一个神奇的 jgp var imgFn = function (event) { event.preventDefault(); var id = '#'+$ ...
【记录】css样式
记录css的样式设置,方便以后使用. 1.绝对定位,自适应父级大小css: .search-icon-delete { background: url('../../assets/images/sea ...
HDU 3802 矩阵快速幂化简递推式子加一点点二次剩余知识
求$G(a,b,n,p) = (a^{\frac {p-1}{2}}+1)(b^{\frac{p-1}{2}}+1)[(\sqrt{a} + \sqrt{b})^{2F_n} + (\sqrt{a} ...
vscode nodejs智能提示功能
1.依赖一些第三方的插件,先安装typings这个包,如果使用的是淘宝镜像,输入cnpm.cmd执行: cnpm i typings -g //cnpm install typings -global ...
idea插件安装的通用操作
序:今天下午看到一个bug,很神奇,粘出来大家看看看到这个异常栈,有经验的或者查到的答案都是mapper.xml中哪个的方法配置错了,应替换parameterMap为parameterType, 奇 ...
实验一《网络对抗技术》逆向及Bof技术
CodeForces - 1040B Shashlik Cooking
Long story short, shashlik is Miroslav's favorite food. Shashlik is prepared on several skewers simu ...
TCP/IP 网络编程的理解
一.网络各个协议:TCP/IP.SOCKET.HTTP等网络七层由下往上分别为物理层.数据链路层.网络层.传输层.会话层.表示层和应用层. 其中物理层.数据链路层和网络层通常被称作媒体层,是网络工程 ...
c语言学习笔记.链表.
链表: 链表单个节点的数据结构.链表的实现主要依靠结构体和指针. 头指针(head)指向链表的第一个节点,然后第一个节点中的指针指向下一个节点,然后依次指到最后一个节点,这样就构成了一条链表. str ...

HBase（七）Hbase过滤器

一、过滤器（Filter）

1、抽象操作符（比较运算符）

2、比较器（指定比较机制）

二、HBase过滤器的分类

1、比较过滤器

1.行键过滤器 RowFilter

2.列簇过滤器 FamilyFilter

3.列过滤器 QualifierFilter

4.值过滤器 ValueFilter

5.时间戳过滤器 TimestampsFilter

2、专用过滤器

1.单列值过滤器 SingleColumnValueFilter

2.单列值排除器 SingleColumnValueExcludeFilter

3.前缀过滤器 PrefixFilter----针对行键

4.列前缀过滤器 ColumnPrefixFilter

5.分页过滤器 PageFilter

HBase（七）Hbase过滤器的更多相关文章

随机推荐

热门专题