1.配置环境Eclipse和JDK

2.加载hive jar包或者impala jar包

备注:从CDH集群里面拷贝出来

下载地址:https://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-5.html

3.源代码参考

/*
* 1.配置好hive+sentry+impala
* 2.hive配置sentry-site.xml加入属性/值:sentry.hive.testing.mode/true
* 3.部署客户端配置,重启组件
* 4.新建linux用户和组:test,test,并加入组test,设置密码为test
* 5.beeline hive用户登录,创建角色test_role
* 6.授权查询库给角色test_role,将角色授权给test
* 7.beeline hive连接登录测试
* 8.impala-shell连接登录测试
* 9.show current roles、show grant role test_role、show create table test
* 10.测试代码,返回查询结果
*/ package com.impala; import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException; public class ImpalaJdbcTest {
public static Connection getConnection() throws ClassNotFoundException, SQLException{
String driver = "org.apache.hive.jdbc.HiveDriver";
//String driver = "com.cloudera.impala.jdbc41.Driver";
//auth=noSasl不使用Kerberos身份验证的群集执行此操作
//impala Daemon HiveServer2 端口-21050
//String url = "jdbc:hive2://10.0.4.142:21050/default;auth=noSasl";
String url = "jdbc:hive2://10.0.4.142:21050/touna_finance;auth=noSasl";
//jdbc:impala://localhost:21050;AuthMech=3;UID=UserName;PWD=Password
//AuthMech:0-不需要密码,1-krb验证,2-用户名验证,3-用户名和密码验证
//SSL:0-不连接SSL协议,1-连接SSL协议 UseSasl=0
//String url = "jdbc:impala://10.0.4.142:21050/touna_finance;AuthMech=2;SSL=0;UID=test;PWD=test";
//String url = "jdbc:impala://10.0.4.142:21050/default";
//String url = "jdbc:hive2://10.0.4.142:21050/default";
String username = "test";
String password = "test";
Connection conn = null;
Class.forName(driver);
//conn = (Connection) DriverManager.getConnection(url);
conn = (Connection) DriverManager.getConnection(url,username,password);
return conn;
}
public void select() throws ClassNotFoundException, SQLException{
Connection conn = getConnection();
String sql = "select * from tn_fms_task_record limit 2";
PreparedStatement ps = conn.prepareStatement(sql);
ResultSet rs = ps.executeQuery();
int col = rs.getMetaData().getColumnCount();
System.out.println("=====================================");
while (rs.next()){
for(int i=1;i<=col;i++){
System.out.print(rs.getString(i)+"\t");
}
System.out.print("\n");
}
System.out.println("=====================================");
}
public static void main(String[] args) throws SQLException, ClassNotFoundException {
ImpalaJdbcTest hiveJdbcClient = new ImpalaJdbcTest();
hiveJdbcClient.select();
}
}

Hive记录-Impala jdbc连接hive和kudu参考的更多相关文章

  1. 大数据学习day28-----hive03------1. null值处理,子串,拼接,类型转换 2.行转列,列转行 3. 窗口函数(over,lead,lag等函数) 4.rank(行号函数)5. json解析函数 6.jdbc连接hive,企业级调优

    1. null值处理,子串,拼接,类型转换 (1) 空字段赋值(null值处理) 当表中的某个字段为null时,比如奖金,当你要统计一个人的总工资时,字段为null的值就无法处理,这个时候就可以使用N ...

  2. 通过JDBC连接hive

    hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdb ...

  3. Hive(3)-meta store和hdfs详解,以及JDBC连接Hive

    一. Meta Store 使用mysql客户端登录hadoop100的mysql,可以看到库中多了一个metastore 现在尤其要关注这三个表 DBS表,存储的是Hive的数据库 TBLS表,存储 ...

  4. java使用JDBC连接hive(使用beeline与hiveserver2)

    首先虚拟机上已经安装好hive. 下面是连接hive需要的操作. 一.配置. 1.查找虚拟机的ip 输入 ifconfig 2.配置文件 (1)配置hadoop目录下的core-site.xml和hd ...

  5. Hive记录-配置远程连接(JAVA/beeline)

    1.修改配置hive-site.xml    hadoop core-site.xml限制---参考Hive记录-部署Hive环境 2.启动hadoop #sh /usr/app/hadoop/sbi ...

  6. Hive记录-impala常用命令

    1.impala是什么 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据.已有的Hive系统虽然也提供了SQL ...

  7. Kettle jdbc连接hive出现问题

    jdbc连接时报如下错误: Error connecting to database [k] : org.pentaho.di.core.exception.KettleDatabaseExcepti ...

  8. Java使用JDBC连接Hive

    最近一段时间,处理过一个问题,那就是hive jdbc的连接问题,其实也不是大问题,就是url写的不对,导致无法连接.问题在于HiveServer2增加了别的安全验证,导致正常的情况下,传递的参数无法 ...

  9. JDBC连接Hive数据库

    一.依赖 pom <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncodi ...

随机推荐

  1. centos6.8下安装破解quartus prime16.0以及modelsim ae安装

    前言 装逼使用 流程 安装modelsim: 1.modelsim ae在linux下是32位的,对于64位系统需要安装32位库:yum install xulrunner.i686 2.给予权限: ...

  2. 【BZOJ5119】【CTT2017】生成树计数 DP 分治FFT 斯特林数

    CTT=清华集训 题目大意 有\(n\)个点,点权为\(a_i\),你要连接一条边,使该图变成一颗树. 对于一种连边方案\(T\),设第\(i\)个点的度数为\(d_i\),那么这棵树的价值为: \[ ...

  3. hdu 2159 FATE (二维完全背包)

    链接:http://acm.hdu.edu.cn/showproblem.php?pid=2159 思路: dp[j][k] 代表消耗耐久度j,干掉k个敌人获得的经验值. 状态转移方程为: dp[j] ...

  4. Ionic3 新增 Service

    service是单例模式的 新增Service类 search.service.ts import {Injectable} from '@angular/core'; @Injectable() e ...

  5. 使用页面Cookie做ABTest测试

    背景介绍: 公司为了提升网站销售,做了2种不同风格的Bug页面,需要测试哪个页面的销售效果更好,使用了ABTest. 原理: 当用户访问www.website.com/buy.php时,生成一个随机数 ...

  6. HR_Sherlock and Anagrams_TIMEOUT[UNDONE]

    2019年1月10日15:39:23 去掉了所有不必要的循环区间 还是超时 本地运行大概3s #!/bin/python3 import math import os import random im ...

  7. luogu3621 城池攻占 (倍增)

    好像所有人都写的左偏树 但我不会啊233 首先发现乘的时候 系数不会为负,所以能得到一个关键条件:变化后的战斗力随变化前的战斗力大小单调 所以我们考虑倍增 设hp[x][i]是从x开始一路攻克$2^i ...

  8. bzoj2555(后缀自动机+LCT)

    题目描述 (1):在当前字符串的后面插入一个字符串 (2):询问字符串s在当前字符串中出现了几次?(作为连续子串) 你必须在线支持这些操作. 题解 做法很自然,建出后缀自动机,维护每个节点的right ...

  9. nginx日志文件的定时切割与归纳

    应用环境:生产环境中的Nginx服务器,由于访问日志文件增长速度非常快,日志太大会严重影响服务器效率.同时,为了 方便对日志进行分析计算,须要对日志文件进行定时切割.定时切割的方式有按月切割.按天切割 ...

  10. LaTex in Markdown

      上次写了Markdown,这次用到了LaTex,也出一期(吐槽,工作量比Markdown高太多...) Markdown基础:https://www.cnblogs.com/dotnetcrazy ...