1.在uri中配置 hive://localhost:10000/default 2.查询 3.如果你的hive集群是带有kerberos认证的,hive数据源需要这样配置 hive://xxx:xxx/default?auth=KERBEROS&kerberos_service_name=hive 如果在连接的时候报了如下的错 Could not start SASL: b'Error in sasl_client_start (-1) SASL(-1): generic failure: G

公司最近在superset上面做二次开发,目前对接了mysql和oracle数据源,对这两个源的SQL操作查询做了完善和兼容.目前有新的需求就是要对接大数据部门的HBASE和HIVE数据源,由于superset原生支持impala,所以直接安装库测试. Superset是由Airbnb(知名在线房屋短租公司)开源的数据分析与可视化平台(曾用名Caravel.Panoramix),该工具主要特点是可自助分析.自定义仪表盘.分析结果可视化(导出).用户/角色权限控制,还集成了一个SQL编辑器,可以进

问题: 公司最近在搞presto,主要是分析一下presto和hive的查询大数据量的性能对比: 我先把我的对比图拿出来(50条数据左右)针对同一条sql(select * from employee where eid = 1203) hive的查询,下面有时间:4.436s presto的查询: 0.02s 查询效率比为  4.436 / 0.02  ===  2021 补充: presto是什么 Presto是Facebook开发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析

安装Hive(独立模式 使用mysql连接) 1.默认安装了java+hadoop 2.下载对应hadoop版本的安装包 3.解压安装包 tar zxvf apache-hive-1.2.1-bin.tar.gz 4.安装mysql yum -y install mysql-server mysql mysqldev //需要以root身份运行 另外可能需要配置yum源 mysql常用命令: service mysqld start/stop chkconfig mysqld on //加入开机

如果需要直接安装Hive,可以跳过编译步骤,从Hive的官网下载编译好的安装包,下载地址为http://hive.apache.org/downloads.html . C.1  编译Hive C.1.1   下载Hive源代码包 在Hive的官网下载页面上下载,为加快下载速度选择中国境内的镜像,并下载apache-hive-1.2.1-src.tar.gz源代码包.下载后把安装包方放在目录/home/spark/work目录下,用如下命令解压缩hive安装文件: $cd /home/spark

安装hive 1.下载hive-0.11.0.tar.gz,解压; 2.下载mysql-connector-java-5.1.29-bin.jar并放到hive/lib/下: 3.配置hive/conf/hive-site.xml 4.安装mysql: 1).解压安装包,进入安装包所在目录,执行命令:tar xzf mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz 2).复制解压后的mysql目录到系统的本地软件目录:执行命令:[root]$ cp -r mys

1.安装mysql,可参考下面链接 http://www.cnblogs.com/liuchangchun/p/4099003.html 2.安装hive,之前,先在mysql上创建一个hive,数据库,并在hive数据库中建立表user create database hive; use hive; create table user(Host ),User ),Password )); 3.进入mysql,赋予权限,密码自己改 mysql -u root -p insert into use

这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的lib下(我这里是/home/hadoop/app/hive-1.2.1/lib)存放了mysql-connector-java-5.1.21.jar. 我的mysql,是用root用户安装的,在/home/hadoop/app目录,所以,启动也得在此目录下. 对于djt002,我的mysql是roo

上一篇博客我们已经说过了要如何安装Hadoop,别忘记了我们的目的是安装Hive.所以这篇博客,我就来介绍一下如何安装Hive. 一.环境准备 (1)Vmware (2)  Ubuntu 16.04 (3)  Hadoop 二.安装Hive (1) mysql-server和mysql-client的下载 $ su hadoop $ sudo apt-get install mysql-server mysql-client (2)启动mysql服务 $ sudo /etc/init.d/mys

在安装hive的过程中,我觉得我是按照教程走的,但是在启动hive时还是报错了,错误如下 Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/hadoop/hive/ql/io/NullScanFileSystem : Unsupported major.minor version 52.0 at java.lang.ClassLoader.defineClass1(Native M

 1.安装hive 在安装hive前,请确保已经安装好了hadoop,如未安装,请参考centoos 安装hadoop集群进行安装: 1.1.下载,解压 下载hive2.1.1:http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz: 将下载好的hive包解压到/usr/local中 tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 进入到/

前两篇文章介绍了docker的基本命令如何安装hadoop 那么大家会比较了解docker的基本语法的安装过程.那么咱们今天来一起安装一下hive. 安装 1.下载gitHub,地址:https://github.com/prasanthj/docker-hive-on-tez.如果背墙了,可以选择下载zip.进入目录之后就能看见如下内容: @~/git/github/docker-hive-on-tez-master $ ls Dockerfile datagen.py hive-log4j.

Apache Hadoop的服务的部署比較繁琐.须要手工编辑配置文件.下载依赖包等.Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤.因为须要对Hive,HBase,Impala,Spark进行功能測试,就採用了Cloudera Manager方式进行安装. Cloudera Manager提供两种软件包安装源,Package 和 Parcel: Package就是一个个rpm文件.以yum的方式组织起来. Parcel是rpm包的压缩格式.以.parcel结

先安装mysql sudo apt-get update sudo apt-get install mysql-server sudo mysql_secure_installation具体详情请另查.注意:mysql 5.7.24 会有安全检测之类,可能需要降低安全机制: 详见:https://blog.csdn.net/u014236541/article/details/78244601 1. 通过tar -zxvf ....hive.tar.gz  -C /soft  解压安装hive

安装hive 配置hive 在hdfs中新建目录/user/hive/warehouse 首先启动hadoop任务 hdfs dfs -mkdir /tmp hdfs dfs -mkdir /user hdfs dfs -mkdir /user/hive hdfs dfs -mkdir /user/hive/warehouse 给新建的文件夹增加权限! hadoop fs -chmod g+w /tmp hadoop fs -chmod g+w /user/hive/warehouse 将mys

1.提示连不上数据库,password:null 解决方法:拷贝数据库驱动到hive的lib目录,数据库要使用安装hive机器的本地数据库,远程的可能连不上 2.没有/user目录权限 解决方法:因为yarn也使用了/user目录,所有其他程序没有该目录权限   在安装hive的机器上执行 su mapred //切换到mapred用户  hadoop fs -chmod 777 /user    //给user目录赋予最大权限 hadoop fs -ls / //查看目录权限

安装mysql 检查是否安装mysql: rpm -qa |grep mysql 删除已经安装的mysql: rpm -e mysql-libs-5.1.71-1.el6.x86_64 报错:因为mysql有相关依赖,并不能直接删除   rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 成功:使用--nodeps 也就是说不检查依赖.这样的话,那些使用该软件包的软件在此之后可能就不能正常工作了(注意,nodeps前是双横杠)   如果版本较高,先卸载M

第一部分:先讲这么去安装hive.先去hive官网下载,我这里以hive-0.12.0为例子. 前面第二章讲了安装hadoop,hbase实例,我们继续讲这么安装hive,先说下hive配置文件 一,先讲下使用Derby数据库的安装方式 1.tar zxvf hive-0.12.0.tar.gz     解压hive 2.sudo nano   /etc/profile      配置环境变量,在原有的基础上加上hive配置 在终端输入   source   /etc/profile   使环境

1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结 getting start: https://cwiki.apache.org/confluence/display/Hive/GettingStarted hive wiki: htt

一.Hive数据源案例 1.概述 Spark SQL支持对Hive中存储的数据进行读写.操作Hive中的数据时,必须创建HiveContext,而不是SQLContext.HiveContext继承自SQLContext,但是增加了在Hive元数据库中查找表, 以及用HiveQL语法编写SQL的功能.除了sql()方法,HiveContext还提供了hql()方法,从而用Hive语法来编译sql. 使用HiveContext,可以执行Hive的大部分功能,包括创建表.往表里导入数据以及用SQL语