公司最近在superset上面做二次开发,目前对接了mysql和oracle数据源,对这两个源的SQL操作查询做了完善和兼容.目前有新的需求就是要对接大数据部门的HBASE和HIVE数据源,由于superset原生支持impala,所以直接安装库测试. Superset是由Airbnb(知名在线房屋短租公司)开源的数据分析与可视化平台(曾用名Caravel.Panoramix),该工具主要特点是可自助分析.自定义仪表盘.分析结果可视化(导出).用户/角色权限控制,还集成了一个SQL编辑器,可以进

前段时间,有一个项目在连接Impala的时候,可以测试连接成功,但是查询不出表.但是通过impala-shell的时候,是可以查询出来的,我觉的这种方式查询出来的话,可能和jdbc的方式不一样,因为impala-shell连接的端口是21000,jdbc连接的端口是21050.我通过beeline的方式使用jdbc:hive2:的方式查询,因为impala和hive使用同一个metastore服务.刚开始的时候用jdbc:hive2://node1:21050/去连接,能成功,但是查询不出数据,

1.安装impyla pip install impyla 2.在superset页面配置如下,此时impala是有kerberos认证的 impala://xxxx:xx/default?auth_mechanism=GSSAPI&kerberos_service_name=impala 如果遇到下面的问题,是thrift-sasl版本过高 The error message returned was:\n'TSocket' object has no attribute 'isOpen' 降

相关环境如下: Python3.4 Win7 64位 参照官网https://github.com/cloudera/impyla中的安装步骤执行: 1.pip install six 2.pip install bit_array 3.pip install thriftpy ## thrift (on Python 2.x) or thriftpy (on Python 3.x) 4.pip install sasl-0.2.1-cp34-cp34m-win_amd64.whl(centos

下载所需jar包:http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本 import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; pu

这个错误困扰了好久,因为集群有多台,暂放到其他几台机器上执行了SQL操作,一直在找解决方法,无意间得到真传,喜出望外啊 报错信息: Traceback (most recent call last):  File "b.py", line 3, in <module>    cur=conn.cursor()  File "/usr/local/python2.7/lib/python2.7/site-packages/impyla-v0.14.0-py2.7.e

出现上述现象的原因是SQLite只支持库级锁,不支持并发执行写操作,即使是不同的表,同一时刻也只能进行一个写操作.例如,事务T1在表A新插入一条数据,事务T2在表B中更新一条已存在的数据,这两个操作是不能同时进行的,只能顺序进行.这会导致superset在运行一段时间后报上面的错误. 解决方法: 用nginx + 官方推荐的 gunicorn起多线程,简单说就是一个线程挂了,让线程A进入等待队列.线程B完成操作后,再调用函数释放资源,这样线程A就可以继续执行了. pip3 install gun

--======================= 使用impala-shell 登录 --======================= impala-shell --auth_creds_ok_in_clear -l -i ip_address -u user_name --======================= JDBC driver --======================= Impala 官方jdbc driver有一些bug很致命的bug, 比如Insert 中文字符

最近,公司生产集群添加kerberos安全认证后,访问集群的任何组件都需要进行认证,这样问题来了,对于impala,未配置kerberos安全认证之前通过impala的jdbc驱动(impala-jdbc),配置连接字符串 jdbc:impala://192.168.1.10:21050/default;AuthMech=3;UID=user;PWD=pwd;UseSasl=0 是可以正常访问的,但是开启了kerberos后,impala访问报错,经过阅读impala jdbc使用文档(http

连接Hive 新建interpreter default.driver = org.apache.hive.jdbc.HiveDriver default.url = jdbc:hive2://hostname:10000 default.user = zeppelin (默认是你们账号:anonymous,zeppelin账号需要新创建,方便做数据权限管理) 连接Impala 1. 我所用的zeppelin版本没有impala jdbc包,下载地址: https://downloads.clo

安装与使用Cloudera Impala Cloudera Impala提供快速的.交互式的SQL查询方式,直接基于Apache Hadoop存储在HDFS或HBase中的数据进行查询.除了使用与Apache Hive相同的统一存储平台外,Impala也使用了与Hive相同的元数据.SQL语法(Hive SQL).ODBC驱动和用户接口(Cloudera Impala查询UI使用Hue).这样就提供了一个用于实时或批量的查询的熟悉的.统一的平台. Cloudera Impala是一个查询大数据的

superset功能概述: 丰富的数据可视化集 易于使用的界面,用于探索和可视化数据 创建和共享仪表板 与主要身份验证提供程序集成的企业级身份验证(通过Flask AppBuilder进行数据库,OpenID,LDAP,OAuth和REMOTE_USER) 可扩展的高粒度安全/权限模型,允许谁可以访问各个功能和数据集的复杂规则 一个简单的语义层,允许用户通过定义哪些字段应显示在哪个下拉列表以及哪些聚合和功能度量标准可供用户使用来控制数据源在UI中的显示方式 通过SQLAlchemy与大多数讲SQ

当我们使用Windows Authentication去连接SQL Server的时候,SQL Server可能会使用Kerberos或者是NTLM来进行认证,有时间就会因为认证失败的缘故造成各种登录错误(login failed).解决这些问题往往令人很迷惑.今天我们就来做一个简单的介绍. 1. Kerberos VS NTLM NTLM认证:Challenge – Response 模式 在使用NTLM协议时,客户端发送用户名到服务器端:服务器生成一个challenge并发送给客户端:客户端

参考文献: How the Kerberos Version 5 Authentication Protocol Works: Logon and Authentication SQL Kerberos的原理及实验 SQL Server配置delegation实现double-hop 前言 之前写过两篇关于kerberos的博客,但是对于kerberos的验证过程还不够透彻,现在来详细讲解kerberos的验证过程. 1.Kerberos Exchange and Message Summary

一.Impala简单介绍 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL.除了像Hive使用同样的统一存储平台,Impala也使用同样的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax).Impala还提供了一个熟悉的面向批量或实时查询和统一平台. 二.Impala安装 1.安装要求 (1)软件要求 Red Hat Enterprise Linux (RHEL)/CentOS 6.2

  一.Impala简介 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL.除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax).Impala还提供了一个熟悉的面向批量或实时查询和统一平台. 二.Impala安装1.安装要求(1)软件要求 Red Hat Enterprise Linux (RHEL)/CentOS 6.2 (

ambari2.7.3(hdp3.1) 安装 impala2.12(自动安装最新) ambari的hdp中原生不支持impala安装,下面介绍如何通过mpack方式使ambari支持impala安装: 一 安装Service 1 下载 # wget https://github.com/cas-bigdatalab/ambari-impala-service/raw/master/ambari-impala-mpack-2.6.0-0816.tar.gz 2 安装 # ambari-server

本文安装Superset大致分为以下部分: 在操作系统中安装相关依赖,我所用的操作系统为Centos6.5 安装Python3.6.6 安装Superset 详细步骤如下: 相关依赖的安装 yum install sqlite* //我第一次安装的时候没有安装此依赖,最后在Superset初始化过程中有报错信息,提示缺少_sqlite3 这个包 yum upgrade python-setuptools //这是对该依赖的升级,如果原来操作系统中无此依赖,需要先install yum insta

七堇年:我们要有最朴素的生活与最遥远的梦想 . 即使明日天寒地冻,路远马亡.   加油! 之前入门的小错误总结,建表都会出错,真的好尴尬 还是要做好笔记 第一个错误: error:AnalysisException:Table property 'kudu.master_addresses' is required when the impalad startup flat -kudu_master_hosts is not used. answer:'kudu.master_addresses

Kerberos和NTLM - SQL Server https://www.cnblogs.com/dreamer-fish/p/3458425.html 当我们使用Windows Authentication去连接SQL Server的时候,SQL Server可能会使用Kerberos或者是NTLM来进行认证,有时间就会因为认证失败的缘故造成各种登录错误(login failed).解决这些问题往往令人很迷惑.今天我们就来做一个简单的介绍. 1. Kerberos VS NTLM NTLM