准备工作 创建测试表 CREATE TABLE my_table ( rowkey VARCHAR NOT NULL PRIMARY KEY, v1 VARCHAR, v2 VARCHAR, v3 VARCHAR ); UPSERT INTO my_table values(','value1','value2','value3'); UPSERT INTO my_table values(','value1','value2','value3'); UPSERT INTO my_table v…

本文主要介绍Phoenix索引状态的生命周期,帮助大家解惑“为什么我的phoenix索引不能正常使用了?” 索引状态 索引总共有以下几个状态,其状态信息存储在SYSTEM.CATALOG表中.可以通过以下SQL来查看所有索引表信息: select TABLE_NAME,DATA_TABLE_NAME,INDEX_TYPE,INDEX_STATE,INDEX_DISABLE_TIMESTAMP from system.catalog where INDEX_TYPE is not null; SQ…

数据库索引本质上是一种数据结构(存储结构+算法),目的是为了加快数据检索速度. 1.索引的类型(待完善) 主键索引:给表设置主键,这个表就拥有主键索引. 唯一索引:unique 普通索引:增加某个字段的索引,比如用户表根据用户名查询. 组合索引:使用多个字段创建索引,遵循最左原则,比如创建索引(col1 + col2 + col3),相当于创建了(col1).(col1,col2).(col,col2,col3)三个索引. 全文索引: 2.聚簇索引与非聚簇索引(待完善) MySQL的InnoDB…

在网上看到: 定义:最左前缀原则指的的是在sql where 子句中一些条件或表达式中出现的列的顺序要保持和多索引的一致或以多列索引顺序出现,只要 出现非顺序出现.断层都无法利用到多列索引. 该博文有误 ,暂未修改 2013年11月22日 打算实践一下,但是实践结果却正好相反,最后找出原因. 第一次实践过程如下: /* Navicat MySQL Data Transfer Source Server : localhost Source Server Version : 50515 Sourc…

索引修复基本流程…

前言:还记得那是2018年的一个夏天,天气特别热,我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图.会议开完了,核心思想就是:我们要搞一个数据大池子,要把公司能灌的数据都灌入这个大池子,然后让别人用 各种姿势 来捞这些数据.系统从开始打造到上线差不多花了半年多不到一年的时间,线上稳定运行也有一年多的时间.今天想简单做个总结. 一.背景介绍 公司成立差不多十五六年了,老公司了.也正是因为资格老,业务迭代太多了,各个业务线错综复杂,接口调用也密密麻麻.有时候A向B要数据,有时候B向C要接口,有时…

本文介绍Phoenix在2345公司的实践,主要是实时查询平台的背景.难点.Phoenix解决的问题.Phoenix-Sql的优化以及Phoenix与实时数仓的融合思路.具体内容如下: 实时数据查询时客服系统中一个很重要的模块,提供全公司所有主要产品的数据的查询功能,由于各产品的数据库.数据表错综复杂.形式多样,在平台建设的初期走了很多弯路.本文后续会详细介绍实时数据查询迭代升级的过程.期间遇到的问题以及对应的解决方案. 目前公司的数据库类型主要有MySQL和MongoDB.它们本身是异构的,二…

phoenix作为查询引擎,为了提高查询效率,为phoenix表创建了二级索引,而数据是sparkstreaming通过hbase api直接向hbase插数据.那么问题来了,对于phoenix的二级索引,直接插入底层hbase的源表,不会引起二级索引的更新,从而导致phoenix索引数据和hbase源表数据不一致.而对于spark+phoenix的写入方式,官方有文档说明,但是有版本限制,以下是官方原文: To ensure that all requisite Phoenix / HBase…

1.前言 HBase是云计算环境下最重要的NOSQL数据库,提供了基于Hadoop的数据存储.索引.查询,其最大的优点就是可以通过硬件的扩展从而几乎无限的扩展其存储和检索能力.但是HBase与传统的基于SQL语言的关系数据库无论从理念还是使用方式上都相去甚远,以至于要将基于SQL的项目移植到HBase时往往需要重写整个项目. 为了解决这个问题,很多开源项目提供了HBase的类SQL中间件,意即提供一种在HBase上使用的类SQL语言,使得程序员能够像使用关系数据库一样使用HBase,Apache…

摘要: 在云HBASE上利用MR BULKLOAD入库PHOENIX表或通过MR构建PHOENIX索引表. 一.MR在Phoenix上的用途 利用MR对Phoenix表(可带有二级索引表)进行Bulkload入库, 其原理是直接生成主表(二级索引表)的HFILE写入HDFS.相对于走API的数据导入方式,不仅速度更快,而且对HBASE集群的负载也会小很多.目前云HBASE上的Phoenix支持以下数据源的Bulkload工具: CsvBulkLoadTool JsonBulkLoadTool R…