SQuirreL 连接 hive

Hive(三):SQuirrel连接hive配置

熟悉了Sqlserver的sqlserver management studio.Oracle的PL/SQL可视化数据库查询分析工具,在刚开始使用hive.phoenix等类sql组件时,一直在苦苦搜寻是否也有类似的工具,不负所望,SQuirrel Sql client 可视化数据库工具基本可满足要求. SQuirrel Sql client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL.MSSQL.Hive.Phoenix等支持J…

软件安装版本: hadoop-2.5.1 hbase-0.98.12.1-hadoop2 apache-hive-1.2.1-bin SQuirreL SQL Client3.7 集成步骤: 1. SQuirreL 中添加Drivers,将hive_home/lib 下所有jar 添加至 extra class path 选项卡中,将hadoop核心jar加入至extra class path 选项卡中 2. 将libthrift-0.9.3.jar 复制到 C:\Program Files\s…

大数据自学3-Windows客户端DbVisualizer/SQuirreL配置连接hive

前面已经学习了将数据从Sql Server导入到Hive DB,并在Hue的Web界面可以查询,接下来是配置客户端工具直接连Hive数据库,常用的有DbVisualizer.SQuirreL SQL Client.DataGrip,只试用了前面两种,花了1天多时间最终实现了用这两款工具连Hive,还是挺有成就感的. 先把环境说明下,有些问题跟环境版本是非常依赖的. Hadoop/Hive:使用的是CDH 5.15版 DbVisualizer:v 9.58 SQuirreL SQL Client:…

连接Hive的客户端界面工具–SQuirrel SQL Client

关键字:Hive客户端.界面.SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法. SQuirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL.PostgreSQL.MSSQL.Oracle.Hive等等任何支持JDBC访问的数据库.使用起来非常方便.而且,SQuirrel SQL C…

通过JDBC连接hive

hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdbc驱动进行连接.本文以hive wiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库.hive wiki原文地址: https://cwiki.apache.org/confluence/display/Hive/HiveClient https://cwiki.apache.org/…

beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误

采用beeline连接hive server是遭遇到如下错误: 5: jdbc:hive2://bluejoe0/default> select * from hive_triples where subject='<http://semweb.csdb.cn/flux/resource/attribute/2348>' limit 1; Error: Error while processing statement: FAILED: Execution Error, return co…

kettle连接Hive中数据导入导出（6）

1.hive往外写数据 http://wiki.pentaho.com/display/BAD/Extracting+Data+from+Hive+to+Load+an+RDBMS 连接hive…

zeppelin中连接hive和impala

连接Hive 新建interpreter default.driver = org.apache.hive.jdbc.HiveDriver default.url = jdbc:hive2://hostname:10000 default.user = zeppelin (默认是你们账号:anonymous,zeppelin账号需要新创建,方便做数据权限管理) 连接Impala 1. 我所用的zeppelin版本没有impala jdbc包,下载地址: https://downloads.clo…

Hive(3)-meta store和hdfs详解,以及JDBC连接Hive

一. Meta Store 使用mysql客户端登录hadoop100的mysql,可以看到库中多了一个metastore 现在尤其要关注这三个表 DBS表,存储的是Hive的数据库 TBLS表,存储的是Hive中的表,使用DB_ID和DBS表关联 COLUMNS_V2存储的是每个表中的字段信息 Meta Store并不存储真实的数据,只是存储数据库的元数据信息,数据是存储在HDFS上的二. HDFS 浏览器打开 http://hadoop100:50070/explorer.html#/ …

hive学习2（Navicat连接hive）

Navicat连接hive 第一步:win下安装好mysql 第二步:win下安装Navicat 第三步:启动hadoop集群,启动hive 第四步:Navicat连接hive 在第四步中需先配置ssh,然后配置常规属性,最后点连接配置ssh连接spark1节点配置常规属性连接hive 注意:在常规属性中的用户名和密码是hive安装目录中配置文件hive-site.xml中设置的user和password.我的配置都是hive hive-site.xml配置文件中部分内容 <property…

在 windows 下搭建 IDEA + Spark 连接 Hive 的环境

为了开发测试方便,想直接在 IDEA 里运行 Spark 程序,可以连接 Hive,需不是打好包后,放到集群上去运行.主要配置工作如下: 1. 把集群环境中的 hive-core.xml, hdfs-site.xml, core-site.xml 三个文件复制一份,放到 resource 目录下.网上有说只需要放 hive-core.xml 就可以了.我部署的是高可用的集群,只复制 hive-core.xml 会报错.三个都放就不会有问题了. 2. 在本机上解压 hadoop 的安装包,下载 w…

spark_spark连接hive config

1 环境 hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.6 jdk1.8 2 配置文件在hive-site.xml中配置mysql数据库连接. cp apache-hive-2.1.1-bin/conf/hive-site.xml ./spark-2.1.0-bin-hadoop2.6/conf/ cp apache-hive-2.1.1-bin/lib/mysql-connector-java-5.1.40-bin.ja…

hive界面工具SQL Developer的安装；使用sql developer连接hive；使用sql developer连接mysql

需要oracle帐号登录后下载 1.下载: http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html 2.下载后的就是xxx.app,直接启动即可如何使用sql developer连接hive 1.首先下载hive的jdbc驱动:https://www.cloudera.com/downloads/connectors/hive/jdbc/2-6-1.html.下载的时候,弹窗随便填…

pyhive client连接hive报错处理:Could not start SASL

本来一切就绪,镜像里已安装如下主要的pip包. pyhive configparser pandas hdfs thrift sqlparse sasl thrift-sasl 但,使用pyhive client去真正连接hive服务器时,还是会报如下错误: thrift.transport.TTransport.TTransportException: Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no me…

python 连接 hive

1.python连接hive,其实是连接hiveserver,连接的包的impyla impyla安装: error: cc1plus 没有文件或目录需要安装gcc 和g++,并且版本保持一致 error: sasl/sasl.h: 没有那个文件或目录 sudo apt-get install libsasl2-dev…

Java连接Hive使用Zookeeper的方式

Java连接Hive的方式就是通过JDBC的方式来连接,URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等,这种方式是直接连接HiveServer2服务的,但是在现实中,还有一种以Zookeeper的方式去连接,例如: jdbc:hive2://zk01:2181,zk02:2181,zk03:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2 那么,这种…

JDBC连接Hive数据库

一.依赖 pom <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <jdk.version>1.8</jdk.version></properties> <dependencies> <dependency> <groupId>org.apache.hive</groupId>…

java使用JDBC连接hive（使用beeline与hiveserver2）

首先虚拟机上已经安装好hive. 下面是连接hive需要的操作. 一.配置. 1.查找虚拟机的ip 输入 ifconfig 2.配置文件 (1)配置hadoop目录下的core-site.xml和hdfs-site.xml 在core-site.xml中添加下面配置: <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> &…

通过数据库客户端界面工具DBeaver连接Hive

前言本文讲解如何通过数据库客户端界面工具DBeaver连接hive,并解决驱动下载不下来的问题. 1.为什么使用客户端界面工具为什么使用客户端界面工具而不用命令行使用hive 通过界面工具查看分析hive里的数据要方便很多业务人员没有权限通过命令行连接hive 领导喜欢在界面工具上查看hive里的数据 2.为什么使用DBeaver 其实在网上搜一下,连接hive的工具还有很多,使用DBeaver的原因是因为我之前连接关系型数据库使用的就是DBeaver,正好DBeaver支持连接hive,…

Dbeaver连接Hive和Mysql的配置

1.连接Hive 首选需要配置Hive 这里我们采用的是JDBC的连接方式 (1) 在Hive中后台启动hiveserver2 [root@hadoop-101 hive]# bin/hiveserver2 & (2) 启动beeline [bigdata@hadoop-101 hive]$ bin/beeline ls: cannot access /opt/module/spark/lib/spark-assembly-*.jar: No such file or directory Bee…

使用 beeline 连接 hive 数据库报错处理

一.beeline连接hive报错 1. User: root is not allowed to impersonate root (state=08S01,code=0) 在初次搭建完hadoop和hive后,没有设置登录验证的情况下,直接使用beeline命令连接远程的hive数据库,连接命令如下: beeline -u jdbc:hive2://hserver1:10000 -n root 可能会报出如下错误: Connecting to jdbc:hive2://hserver1:10…

大数据学习day28-----hive03------1. null值处理，子串，拼接，类型转换 2.行转列，列转行 3. 窗口函数（over，lead,lag等函数） 4.rank（行号函数）5. json解析函数 6.jdbc连接hive，企业级调优

1. null值处理,子串,拼接,类型转换 (1) 空字段赋值(null值处理) 当表中的某个字段为null时,比如奖金,当你要统计一个人的总工资时,字段为null的值就无法处理,这个时候就可以使用NVL函数 NVL:给值为NULL的数据赋值,它的格式是NVL( string1, replace_with).它的功能是如果string1为NULL,则NVL函数返回replace_with的值,否则返回string1的值,如果两个参数都为NULL ,则返回NULL. 例: 创建dept表,并导入数…

Hadoop（四）C#连接Hive

Hive Hive将HiveQL(类sql语言)转为MapReduce,完成数据的查询与分析,减少了编写MapReduce的复杂度.它有以下优点: 学习成本低:熟悉sql就能使用良好的数据分析:底层基于MapReduce实现同样存在一些缺点: HiveDL表达能力有限效率不高 Hive调优比较困难 Hive架构用户通过Hive的用户接口(User Interfaces)与hive交互,常见的用户接口有CLI,JDBC/ODBC,WEB UI等 Hive将元数据存在Meta Store中,…

如何使用DBeaver连接Hive

1 DBeaver介绍 DBeaver是一个通用的数据库管理工具和 SQL 客户端,支持多种兼容 JDBC 的数据库.DBeaver 提供一个图形界面用来查看数据库结构.执行SQL查询和脚本,浏览和导出数据,处理BLOB/CLOB 数据,修改数据库结构等. 2 安装DBeaver 下载地址:https://dbeaver.io/download/ 根据安装环境选择Windows或Linux版本,解压即安装. 3 连接Hive 3.1 点击新建连接,选择要连接的数据库(Apache Hive) 3…

CentOS-7.2安装SQuirreL SQL Client连接Hive

一,SQuirreL SQL Client干吗的? SQuirreL SQL Client是一款功能强大的服务器配置管理软件,该软件能够帮助用户快速.高效的配置服务器,且支持用户查看数剧库的结构并发出sql命令. 二,我要干嘛? 最近学习Hive,朋友推荐使用SQuirreL SQL Client.我的开发环境是CentOS7,但是SQuirreL SQL Client完美运行,前提是得安装JDK. 三,SQuirreL SQL Client去哪下载? wget https://nchc.dl.…