date: 2020-09-10 13:50:00

updated: 2020-09-14 16:30:00

1. Phoenix索引

  • 全局索引:适合读多写少的场景。写数据时因为索引表分布在不同数据节点,跨节点数据传输带来巨大的性能消耗。

    • 全局索引必须是查询语句中所有列都包含在全局索引中,它才会生效。
create index my_index on my_table (v3);
select v1 from my_table where v3 = '13406157616';
此时不会走索引,因为检索列不在全局索引中,有以下三种方法使它使用索引:
1. 使用覆盖索引
CREATE INDEX cover_index ON my_table(v3) INCLUDE (v1);
2. 使用 Hint 强制索引
SELECT /*+ INDEX(my_table my_index) */ v1 FROM my_table WHERE v3 = '13406157616';
3. 使用本地索引
CREATE LOCAL INDEX local_index on my_table (v3);
  • 本地索引:适合读少写多的场景。在本地生成一个索引表。
  • 覆盖索引:配合全局索引使用,避免回表查询。
  • 函数索引:适合拼接式字符串查询?。

创建索引的时候有可能因为表的数据量过大,导致索引表的数据量过大,导致发生超时异常,创建出来的索引表不完整,此时可以通过异步索引创建来解决 -- 在创建索引的语句最后添加一个 async,执行语句会直接返回结果,但是索引表状态是处于building。

每一个put/delete操作执行前,会先写入到主表的 Write Ahead Log (WAL) 中,如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作,用来保证高并发、持久化的日志保存与回放机制。因为索引表的更新可能会落后于主表一小部分。

HBase WAL架构

WAL日志文件使用的是Hadoop Sequence文件格式,其主要特点:

  1. 二进制格式。row key, family, qualifier, timestamp, value等HBase byte[]数据,都原封不动地顺序写入文件。
  2. Sequence文件中,每隔若干行,会插入一个16字节的魔数作为分隔符。这样如果文件损坏,导致某一行残缺不全,可以通过这个魔数分隔符跳过这一行,继续读取下一个完整的行。
  3. 支持压缩。可以按行压缩。也可以按块压缩(将多行打成一个块)

2. Phoenix加盐

加盐的目的是为了让数据分散到不同机器,缓解查询压力

如果行键即数据,单调增加,那么数据会分布在一个region里,可能会造成热点问题 => 通过添加 SALT_BUCKETS = Num(0 -- 256) 来对行键添加一个字节,使得数据能更均匀分布到各个region中。

其中0是关闭对数据表添加了盐分的索引的盐析的一种特殊方式(因为默认情况下,索引与其数据表具有相同数量的盐桶)

由于加盐表不会顺序存储数据,因此严格的顺序扫描不会以自然排序的方式返回所有数据。强制进行顺序扫描的子句(例如带有LIMIT的子句)可能会返回与普通表不同的数据顺序。

new_row_key = (++index % BUCKETS_NUMBER) + original_key

3. 主键查询

通过关键字 !primarykeys table 或者下面这段查询

select
TENANT_ID TABLE_CAT,TABLE_SCHEM,TABLE_NAME ,COLUMN_NAME,KEY_SEQ,PK_NAME,CASE WHEN SORT_ORDER = 1 THEN 'D' ELSE 'A' END ASC_OR_DESC,ExternalSqlTypeId(DATA_TYPE) AS DATA_TYPE,SqlTypeName(DATA_TYPE) AS TYPE_NAME,COLUMN_SIZE,DATA_TYPE TYPE_ID,VIEW_CONSTANT from SYSTEM."CATALOG" "SYSTEM.TABLE" where
TABLE_SCHEM = 'MODEL_GROUP_RULE_ACCOUNT_TEST'
and TABLE_NAME = 'ECEJ_CALLING_CENTER_H'
and COLUMN_NAME is not null
and COLUMN_FAMILY is null
order by TENANT_ID,TABLE_SCHEM,TABLE_NAME ,COLUMN_NAME

4. 修改字段长度

当创建好phoenix的表后, 默认情况下phoenix不允许修改字段类型和长度。但是可以通过直接修改 SYSTEM.CATALOG 里的数据达到目的

upsert into SYSTEM.CATALOG (TENANT_ID,TABLE_SCHEM,TABLE_NAME,COLUMN_NAME,COLUMN_FAMILY,DATA_TYPE,COLUMN_SIZE) values('','库','表','字段','0',12,50);

测试发现,即使上面的上SQL执行成功,重新执行 upsert 往表里插入数据,DEBIT_AMOUNT(初始长度6)超过初始长度的还是不能成功

经过查看源码发现,在 SYSTEM.CATALOG 上有协处理器, 这个里面有表元数据缓存,默认要三个小时过期

org.apache.phoenix.cache.GlobalCache
long maxTTL = this.config.getLong("phoenix.coprocessor.maxMetaDataCacheTimeToLiveMs", 1800000L);
long maxSize = this.config.getLong("phoenix.coprocessor.maxMetaDataCacheSize", 20971520L);

猜想修改长度后三小时能生效

或者在hbase shell 中 先 disable SYSTEM.CATALOG, 然后在 enable SYSTEM.CATALOG

Phoenix的一些问题的更多相关文章

  1. Phoenix综述(史上最全Phoenix中文文档)

    个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/users/6cb45a00b49c/latest_articles 网上关于P ...

  2. 在DBeaver中phoenix查询报错:org.apache.phoenix.exception.PhoenixIOException: The system cannot find the path specified

    环境:Phoenix:4.4,win7系统 问题:Phoenix在查询hbase时,报"系统找不到指定路径". 解决: 请参见 https://distcp.quora.com/C ...

  3. HBase+Phoenix整合入门--集群搭建

    环境:CentOS 6.6 64位    hbase 1.1.15  phoenix-4.7.0-HBase-1.1 一.前置环境: 已经安装配置好Hadoop 2.6和jdk 1.7 二.安装hba ...

  4. SQL Server恢复软件 Stellar Phoenix sql recovery

    SQL Server恢复软件 Stellar Phoenix sql recovery http://www.stellarinfo.com/ http://www.stellarinfo.com/ ...

  5. Hbase+ Phoenix搭建教程

    Hbase+ Phoenix搭建教程 一.Hbase简介 HBase是基于列存储.构建在HDFS上的分布式存储系统,其主要功能是存储海量结构化数据. HBase构建在HDFS之上,因此HBase也是通 ...

  6. CDH5.4.5运行Phoenix导入CSV文件

    1.安装phoenix 在界面上设置Phoenix的parcel包: http://52.11.56.155:7180/cmf/settings?groupKey=config.scm.parcel. ...

  7. Phoenix -修复表索引

    索引的修复可以通过2种方式,(关于pehoenix的索引的生命周期可以参考  https://community.hortonworks.com/articles/58818/phoenix-inde ...

  8. phoenix将hdfs数据导入hbase

    http://phoenix.apache.org/bulk_dataload.html

  9. phoenix 开发API系列 目录

    phoenix 开发API系列(一)创建简单的http api phoenix 开发API系列(二)phoenix 各类 api 实现方式 phoenix 开发API系列(三)phoenix api ...

  10. phoenix 开发API系列(三)phoenix api 结合数据库

    概述 介绍了 api 的各种写法之后,下面介绍构建 api 时与数据库连接的方式. 注 下面使用的工程的完整代码已经公开在: http://git.oschina.net/wangyubin/phoe ...

随机推荐

  1. 3.GoolgeProtoBuffer序列化反序列化

  2. SpringBoot框架:'url' attribute is not specified and no embedded datasource could be configured问题处理

    一.问题如下: Description:    Failed to configure a DataSource: 'url' attribute is not specified and no em ...

  3. 关于KeePass实现ssh协议的自动登录

    本文主要介绍一下,在keepass中如何实现linux主机的ssh方式的自动登录 keepass版本:KeePass 2.45 在keepass的URL中,其实默认也是内置了ssh的,其原理是调用pu ...

  4. Oracle学习(十六)Oracle安装

    为了本地创建数据库自己玩耍,还是下个Oracle的客户端吧... 一.下载地址 注意,要用Oracle的帐号进行登录后才能下载 http://download.oracle.com/otn/nt/or ...

  5. jsp(java server pages):java服务器端的页面

    jsp(java server pages):java服务器端的页面 JSP的执行过程1.浏览器输入一个jsp页面2.tomcat会接受*.jsp请求,将该请求发送到org.apache.jasper ...

  6. 学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳

    学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳 JERRY_Z. ~ 2020 / 9 / 25 转载请注明出处!️ 目录 学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳 ...

  7. Kubernetes客户端和管理界面大集合

    今天给大家介绍目前市面上常用的kubernetes管理工具,总有一款适合您~~~ 简介 Kubectl K9s Kubernetes-Dashboard Rancher Kuboard Lens Oc ...

  8. 注解在Spring中的运用(对象获取、对象单例/多例、值的注入、初始化/销毁方法、获取容器)

    1.注解的方式获取对象 (1)导包: (2)书写配置文件(要保证已经导入了约束): <?xml version="1.0" encoding="UTF-8" ...

  9. TabLayout+ViewPager制作简单导航栏

    先看样例,有图有真相 绑定viewpager 此处主要说明tablayout的使用方法,viewpager绑定fragment的介绍在其他文章说明 mBinding.tabsLayout.setupW ...

  10. Python 3 入门,看这篇就够了(超全整理)

    史上最全Python资料汇总(长期更新).隔壁小孩都馋哭了 --- 点击领取 今天和大家分享的内容是Python入门干货,文章很长. 简介 Python 是一种高层次的结合了解释性.编译性.互动性和面 ...