We are happy to announce the inclusion of Apache Phoenix in Cloudera Labs. [Update: A new package for Apache Phoenix 4.7.0 on CDH 5.7 was released in June 2016.] Apache Phoenix is an efficient SQL skin for Apache HBase that has created a lot of buzz.…

saiku不仅可以对传统的RDBMS里面的数据做OLAP分析,还可以对Nosql数据库如Hbase做统计分析. 本文简单介绍下一个使用saiku去查询分析hbase数据的例子. 1.phoenix和hbase的关系 我们知道:hbase虽然好用,但是想用jdbc方式来查询数据单纯的hbase是办不到的,这里需要借助一个JDBC中间件名叫phoenix(英文:凤凰)来实现对HBASE的JDBC查询.在phoenix中可以用简单的sql语句来访问hbase的数据.中间的转换对用户是透明的. 安装只需…

介绍:Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排运行以生成标准的JDBC结果集. 直接使用HBase API.协同处理器与自己定义过滤器.对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒.很多其它參考官网:http://phoenix.apache.org/ Phoenix实现了JDBC的驱动,使用Phoenix JDBC和普通的数据库(Mysql)JDBC一样,也能够通过Spring JDBCTemplate的方式,将数据库的操作…

今天用phoenix报如下错误: 主要原因: hbase的表中某字段类型是array,phoenix目前不支持此类型 解决方法: 复制替换phoenix包的cursor文件 # Copyright 2015 Lukas Lalinsky # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the…

利用Mapreduce/hive查询Phoenix数据时如何划分partition? PhoenixInputFormat的源码一看便知: public List<InputSplit> getSplits(JobContext context) throws IOException, InterruptedException { Configuration configuration = context.getConfiguration(); QueryPlan queryPlan = th…

Error: SYSTEM:CATALOG (state=08000,code=101)org.apache.phoenix.exception.PhoenixIOException: SYSTEM:CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:113) at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDa…

v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} Normal 0 false 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {…

备注:   本次安装是在hbase docker 镜像的基础上配置的,主要是为了方便学习,而hbase搭建有觉得   有点费事,用镜像简单.   1. hbase 镜像 docker pull harisekhon/hbase 2. 启动hbase  docker run -d -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201…

How to use DBVisualizer to connect to Hbase using Apache Phoenix Article DB Visualizer is a popular free tool that allows developers to organize development tools for RDBMS development. With Apache Phoenix, that allows SQL like capability for Hbase,…

1. 安装: phoenix的官网最新版4.13.2是有parcle版本的,并不需要从cloudera的labs(实验室)中下载.安装完成后,可以运行一下phoenix的shell来简单验证一下:/opt/cloudera/parcels/APACHE_PHOENIX/bin 2. 在实际的应用中: Caused by: java.lang.ClassNotFoundException: org.apache.http.config.Lookup 添加了httpcore的jar的最新版本的引用:…

Apache Phoenix支持JDBC ARRAY类型,任何原生的数据类型就可以在ARRAY中使用.下面我介绍一下在创建的表中使用ARRAY类型. 先看一下创建表的SQL语句: CREATE TABLE regions ( region_name VARCHAR, zips VARCHAR ARRAY[10], CONSTRAINT pk PRIMARY KEY (region_name) ); 或者创建ARRAY类型时不指定大小,如下: CREATE TABLE regions ( regi…

本篇我们将介绍phoenix的一些基本操作. 1. 如何使用Phoenix输出Hello World? 1.1 使用sqlline终端命令 sqlline.py SZB-L0023780:2181:/hbase114 0:jdbc:phoenix:SZB-L0023780:2181:/hbase114> create table test (mykey integernot null primary key, mycolumn varchar); 0:jdbc:phoenix:SZB-L0023…

1. 如何映射一个Phoenix的表到一个Hbase的表? 你可以通过Create table/create view DDL语句在一个已经存在的hbase表上创建一个Phoenix表或者视图.对于Createtable来说,我们将创建任何元数据(表,列族),这些之前都是不存在的.我们也将对于每行记录添加一个空的key值,以便查询时按照我们的方式(不需要在scan过程中对所有的列进行投影). 另外需要注意的是,这些序列化的字节的方式必须匹配在Phoenix中序列化字节的方式.对于Varchar,…

原文地址:https://cloud.tencent.com/developer/article/1498057 来源: 云栖社区 作者: 瑾谦 By 大数据技术与架构 文章简介:Phoenix是一个开源的HBASE SQL层.它不仅可以使用标准的JDBC API替代HBASE client API创建表,插入和查询HBASE,也支持二级索引.事物以及多种SQL层优化. 此系列文章将会从Phoenix的语法和功能特性.相关工具.实践经验以及应用案例多方面从浅入深的阐述.希望对Phoenix入门.…

1 详细异常 Caused by: org.apache.phoenix.coprocessor.HashJoinCacheNotFoundException: ERROR 900 (HJ01): Hash Join cache not found joinId: 948789376099633279. The cache might have expired and have been removed. 2 查询到的一些信息 https://community.hortonworks.com/…

1 详细异常信息 rror: SYSTEM:CATALOG (state=,code=) org.apache.phoenix.exception.PhoenixIOException: SYSTEM:CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:) at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaData…

错误: org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:144) at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryService…

估计Phoenix中支持Joins,对很多使用Hbase的朋友来说,还是比较好的.下面我们就来演示一下. 首先看一下几张表的数据: Orders表: OrderID CustomerID ItemID Quantity Date 1630781 C004 I001 650 09-01-2013 1630782 C003 I006 2500 09-02-2013 1630783 C002 I002 340 09-03-2013 1630784 C004 I006 1260 09-04-2013 1…

Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用.多租户能力.Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful. MySQL)和计算引擎(如Flink). Kyuubi的愿景是让大数据平民化.一个的典型使用场景是替换HiveServer2,帮助企业把HiveQL迁移到Spark SQL,轻松获得10~100倍性能提升(具体提升…

环境:Phoenix:4.4,win7系统 问题:Phoenix在查询hbase时,报"系统找不到指定路径". 解决: 请参见 https://distcp.quora.com/Connect-and-query-Apache-Phoenix-with-Squirrel-from-Windows . 个人解决过程记录: 1.从hhbase的master节点下载hbase-site.xml 2.修改hbase-site.xml,添加 <property> <name&g…

背景 数据从kafka ingest到Phoenix.数据格式采取Json.数据链路: api -> kafka -> Flume -> Phoenix 官方JsonEventSerializer的问题 每个table column必须有json字段,如果某个字段json中没有,那么这条记录被丢弃: 例如table中有cola和colb两个列,但是json数据中只有{"cola":1},原生版本会将这个消息丢弃. 数组的问题,json中的数组元素是没有类型的,例如一个…

https://stackoverflow.com/questions/38495331/apache-phoenix-unable-to-connect-to-hbase 这个坑不该啊 首选配置hbase 集群是按照官网配置的 配置phoenix 是按照官网上配置的,结果就是报错了,看了stockflow上的答案才知道,,配置了backup-master时,master也cp phoenix-4.9.0-HBase-1.2-server.jar ~/apps/hbase/lib/ 换句话说每个…

Phoenix现在支持在WHERE 和FROM 中使用子查询.子查询可以被指定在很多地方,比如 IN/NOT IN, EXISTS/NOTEXISTS等. Subqueries with INor NOT IN 与传统数据库一样,例如: SELECT ItemName FROM Items WHERE ItemID IN (SELECT ItemID FROM Orders WHERE Date >= to_date('2013-09-02')); 返回结果为: +---------------…

序列作为标准SQL特性,允许生成递增的序列并应用在典型的ID中.为了创建一个序列,可以使用: 0:jdbc:phoenix:SZB-L0023780:2181:/hbase114> CREATE SEQUENCE my_sequence; 这将创建一个序列,初始化值为1,步长大小为1,序列生成器的值达到限制值后不循环,缓存定义存放序列的100个值(此值由phoenix.sequence.cacheSize决定). 在session中,缓存序列的值可以提升性能,因为我们不需要向服务器索要更多的序列…

数据类型 Java Map 占用大小 (byte) 范围 INTEGER java.lang.Integer 4 -2147483648 to 2147483647 UNSIGNED_INT java.lang.Integer 4 0 to 2147483647 BIGINT java.lang.Long 8 -9223372036854775807 to 9223372036854775807 UNSIGNED_LONG java.lang.Long 8 0 to 92233720368547…

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl/p/6898227.html 转载请注明出处 最近由于想调研下低延迟的数据查询框架,那么基于SQL on Hbase的Phoenix是必不可少的,先熟悉下它的编译和部署并记录下过程 Phoenix编译 由于当前我的测试集群是CDH5.4.0,而它并没有把phoenix include进去,因为需要自己修改phoenix的pom依赖及几个类文件,然后进行编译后才能使用,过程如下 源码下载 先去GitHub下载v…

不多说,直接上干货! 写在前面的话 我这里,四个节点的bigdata集群.分别为cmbigdata1.cmbigdata2.cmbigdata3和cmbigdata4. https://i.cnblogs.com/posts?categoryid=916378 CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) 其中,cmbigdata1即做server,又做agent. cmbigdata2.cmbigdata3和cmbigdata4都是做agent…

Phoenix 构建cdh版hbase遇到的坑 1. 安装phoenix 下载:在github上下载对应版本https://github.com/apache/phoenix 解压:略 编译: 修改根目录及其子目录下的pom.xml文件,使cdh版本对应自己集群版本.如图所示 注意:编译中修改版本号遵循原始的写法.4.14.0-cdh5.12.1 版本不可以写成4.14-cdh5.12.1,因为在编译时会有正则校验,书写不规范会导致编译不通过. 命令: vim pom.xml /cdh5. #搜…

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt…

问题描述: 前几天一个同事来说,通过phoenix创建表失败了,一直报表存在的错误,删除也报错,然后就针对这个问题找下解决方案. 问题分析: 1.通过phoenix创建表,一直卡住不动了.创建语句如下: CREATE TABLE SYNC_BUSINESS_INFO_BYDAY_EFFECT( ID VARCHAR, DAY_ID VARCHAR, PROV_ID VARCHAR, PROV_NAME VARCHAR, AREA_ID VARCHAR, AREA_NAME VARCHAR, CI…