一:问题由来

1.举例

  有A列与B列,分别是年龄与姓名。

  如果想通过年龄查询姓名。

  正常的检索是通过rowkey进行检索。

    根据年龄查询rowkey,然后根据rowkey进行查找姓名。

    这样的效率不高,因为要两次scan。

2.建议有一张索引表。

二:HBase的二级索引

1.讲解

  rowkey是uid+ts
    11111_20161126111111:

    这个rowkey方便查询某一uid的某一个时间段内的数据

  问题:
    查询某一时间段内所有用户的数据:按照时间

  索引表

   rowkey:ts+uid 20161126111111—111111

   其他列:info:uid

   值是uid+ts,因为这个是原表的rowkey。

  检索流程:

    从索引表中根据时间段来查询源表rowkey
    根据rowkey来查询源表

2.还有的问题

  如何保持索引表与原表的同步问题。

  好的方式是:编写协处理器,将客户端实现的逻辑代码放到服务端。

  同时,可以使用其他的框架,主要有solr,phoenix。elassearch。

3.协处理器

  observer处理器:观察者,类似于触发器

  endpoint类:终端类,类似于储存过程。

4.hbase自带的协处理器

  这个在hbase:meta中

  可以通过desc 'hbase:meta'进行查看

  是coprocessor$1。

三:phoenix的安装

1.上传源码包

  因为对应的hbase0.98.6没有对应的phoenix,所以需要自己进行编译。

  

2.解压到modules文件夹下

  tar -zxvf phoenix-4.2.2-src.tar.gz -C /etc/opt/modules/

3.修改pom.xml文件

  有一个问题,将所有的hadoop-two.version 变量都换成2.5.0

  <hbase.version>0.98.6-hadoop2</hbase.version>
  <hadoop-two.version>2.5.0</hadoop-two.version>

  

4.进入主目录

5.编译

  mvn clean package -DskipTests

  ----------------------------------------------------(以下需要重新编译,重新做)------------------------------------------------------------

6.查找编译好的包

  Phoenix_home/Phoenix-assembly/target/phoenix-4.2.2.tar.gz

7.安装phoenix

  启动的时候,后面跟的是zookeeper地址。

8.phoenix映射原有的表

  执行的语句,在phoenix中。

  hbase对于大小写敏感,然后需要将phoenix中的语句进行双引号引起来。

  

9.看效果

  可以在phoenix中查询映射的表。

  select * from "s1";

  将会发现,这里的数据与hbase中的数据相同。

085 HBase的二级索引,以及phoenix的安装(需再做一次)的更多相关文章

  1. HBase的二级索引,以及phoenix的安装(需再做一次)

    一:HBase的二级索引 1.讲解 uid+ts 11111_20161126111111:查询某一uid的某一个时间段内的数据 查询某一时间段内所有用户的数据:按照时间 索引表 rowkey:ts+ ...

  2. HBase建立二级索引的一些解决方式

    HBase的一级索引就是rowkey,我们仅仅能通过rowkey进行检索. 假设我们相对hbase里面列族的列列进行一些组合查询.就须要採用HBase的二级索引方案来进行多条件的查询. 常见的二级索引 ...

  3. HBase之八--(2):HBase二级索引之Phoenix

    1. 介绍 Phoenix 是 Salesforce.com 开源的一个 Java 中间件,可以让开发者在Apache HBase 上执行 SQL 查询.Phoenix完全使用Java编写,代码位于 ...

  4. 利用Phoenix为HBase创建二级索引

    为什么需要Secondary Index 对于Hbase而言,如果想精确地定位到某行记录,唯一的办法是通过rowkey来查询.如果不通过rowkey来查找数据,就必须逐行地比较每一列的值,即全表扫瞄. ...

  5. hbase构建二级索引解决方案

    关注公众号:大数据技术派,回复"资料",领取1024G资料. 1 为什么需要二级索引 HBase的一级索引就是rowkey,我们仅仅能通过rowkey进行检索.假设我们相对Hbas ...

  6. 基于Solr实现HBase的二级索引

    文章来源:http://www.open-open.com/lib/view/open1421501717312.html 实现目的: 由于hbase基于行健有序存储,在查询时使用行健十分高效,然后想 ...

  7. hbase coprocessor 二级索引

    Coprocessor方式二级索引 1. Coprocessor提供了一种机制可以让开发者直接在RegionServer上运行自定义代码来管理数据.通常我们使用get或者scan来从Hbase中获取数 ...

  8. [How to] MapReduce on HBase ----- 简单二级索引的实现

    1.简介 MapReduce计算框架是二代hadoop的YARN一部分,能够提供大数据量的平行批处理.MR只提供了基本的计算方法,之所以能够使用在不用的数据格式上包括HBase表上是因为特定格式上的数 ...

  9. HBase的二级索引

    使用HBase存储中国好声音数据的案例,业务描述如下: 为了能高效的查询到我们需要的数据,我们在RowKey的设计上下了不少功夫,因为过滤RowKey或者根据RowKey查询数据的效率是最高的,我们的 ...

随机推荐

  1. mysql 显示表字段及mysql系统信息

    参考链接: http://www.cnblogs.com/zhwl/archive/2012/08/28/2660532.html SHOW DATABASES                     ...

  2. Mybatis进阶学习笔记——关系查询——一对多查询

    一个客户拥有多个订单 <resultMap type="User" id="UserOrderResultMap"> <id column=& ...

  3. 终端命令行开启和关闭mac隐藏文件

    defaults write com.apple.finder AppleShowAllFiles -bool true 此命令显示隐藏文件defaults write com.apple.finde ...

  4. Struts防止表单重复提交

    1.什么是表单重复提交 > 在不刷新表单页面的前提下:         >> 多次点击提交按钮        >> 已经提交成功, 按 "回退" 之后 ...

  5. 基于XML搭建Dubbo项目

    (1).新建一个普通Maven项目,用于存放一些公共服务接口及公共的Bean等. 公共Bean: package cn.coreqi.entities; import java.io.Serializ ...

  6. SpringBoot注册Servlet、Filter、Listener

    SpringBoot默认是以jar包的方式启动嵌入式的Servlet容易来启动SpringBoot的Web应用,没有web.xml文件 因此我们可以使用以下方式来注册Servlet.Filter.Li ...

  7. python之模块array

    >>> import array#定义了一种序列数据结构 >>> help(array) #创建数组,相当于初始化一个数组,如:d={},k=[]等等 array( ...

  8. RNN(1) ------ “理解LSTM”(转载)

    原文链接:http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考.在你阅读这 ...

  9. ActiveMQ 入门Nodejs版

    ActiveMQ 入门下载与安装 官方下载地址 解压,运行bin/win[32|64]/activemq[.bat] 启动服务 环境信息 控制台: http://localhost:8161 默认端口 ...

  10. gitlab代码仓库迁移

    有的时候我们需要对gitlab上的代码进行迁移,希望在迁移后能保持原有的branch.tag.commit记录等.可以使用以下方式: 1.clone代码到本地. 2.修改remote仓库的地址,添加新 ...