【HIVE】(3)联合查询join、时间戳函数、字符串函数
数据
t_join1.txt
1,a,1
2,b,2
3,c,4
t_join2.txt
1,2a
2,2b
3,2c
建表、导入:
create table t_join1(id int, name string, cid int) row format delimited fields terminated by ",";
create table t_join2(id int, name string) row format delimited fields terminated by ",";
load data local inpath "/root/example/hive/data/t_join1.txt" into table t_join1;
load data local inpath "/root/example/hive/data/t_join2.txt" into table t_join2;
join,多表联合查询
join:只输出on条件相等的行
select * from t_join1 t1 join t_join2 t2 on t1.cid=t2.id;
等同于:
select * from t_join1 t1 inner join t_join2 t2 on t1.cid=t2.id;
select * from t_join1 t1, t_join2 t2 where t1.cid=t2.id;
left join,输出on条件相等的行 + 左表剩余的行(这些行对应右表的字段使用NULL)
select * from t_join1 t1 left join t_join2 t2 on t1.cid=t2.id;
right join,输出on条件相等的行 + 右表剩余的行(这些行对应左表的字段使用NULL)
select * from t_join1 t1 right join t_join2 t2 on t1.cid=t2.id;
full join,输出左右两表所有行,on条件不满足的行,使用NULL
select * from t_join1 t1 full join t_join2 t2 on t1.cid=t2.id;
built-in function,内置函数
1.查看系统自带的函数
hive> show functions;
2.显示自带的函数的用法
hive> desc function year;
3.详细显示自带的函数的用法
hive> desc function extended year;
* 数值函数:
round(DOUBLE a):四舍五入取整;
round(DOUBLE a, INT d):指定小数点位数;
rand():0~1之间的随机小数;
select round(rand()*a+b):取[b, a+b]之间的整数;
* 日期函数:
- 当前时间:
current_date
current_timestamp
- 时间戳函数:
from_unixtime(bigint unixtime[, string format]):时间戳转换为时间;
unix_timestamp():获取当前时间戳;
unix_timestamp(string date):时间转换为时间戳;
- 分别获取年、月、日:
year(string date)
quarter(date/timestamp/string)
month(string date)
day(string date) dayofmonth(date)
hour(string date)
minute(string date)
second(string date)
weekofyear(string date)
- 时间间隔:
datediff(string enddate, string startdate):两段时间相隔的天数;
date_add(date/timestamp/string startdate, tinyint/smallint/int days):增加天数;
date_sub(date/timestamp/string startdate, tinyint/smallint/int days):减少天数;
* 条件函数:
if(boolean testCondition, T valueTrue, T valueFalseOrNull)
isnull( a )
isnotnull ( a )
nvl(T value, T default_value):替换空值;
COALESCE(T v1, T v2, ...):返回第一个非空值;
重难点: CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END:该函数可以将多行转换为多行多列;
- 增加yuwen和shuxue列:
select * , case course when "yuwen" then score else 0 end as yuwen, case course when "shuxue" then score else 0 end as shuxue from t_course;
- 使用max分组:
select sid, max(yuwen) as yuwen, max(shuxue) as shuxue from (select * , case course when "yuwen" then score else 0 end as yuwen, case course when "shuxue" then score else 0 end as shuxue from t_course) t group by sid;
- 获取语文成绩比数学成绩好的学生:
select * from (select sid, max(yuwen) as yuwen, max(shuxue) as shuxue from (select * , case course when "yuwen" then score else 0 end as yuwen, case course when "shuxue" then score else 0 end as shuxue from t_course) t group by sid) t where yuwen>shuxue;
还有另一种方法,可以完成上面任务,提示:使用collect_set(),大家可以先想想思路。
CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END
* 字符串函数:
concat(string|binary A, string|binary B...):字符串连接
concat_ws(string SEP, string A, string B...):使用指定字符连接;
substr(string|binary A, int start, int len):获取子字符串;
substring(string|binary A, int start, int len):同上;
trim(string A):去除两边空格;
lower(string A) lcase(string A) upper(string A) ucase(string A):大小写转换;
split(string str, string pat):字符串分割为数组;
str_to_map(text[, delimiter1, delimiter2]):字符串转换为map;
【HIVE】(3)联合查询join、时间戳函数、字符串函数的更多相关文章
- javascript函数一共可分为五类: ·常规函数 ·数组函数 ·日期函数 ·数学函数 ·字符串函数
javascript函数一共可分为五类: ·常规函数 ·数组函数 ·日期函数 ·数学函数 ·字符串函数 1.常规函数 javascript常规函数包括以下9个 ...
- 2016/3/17 Mysq select 数学函数 字符串函数 时间函数 系统信息函数 加密函数
一,数学函数主要用于处理数字,包括整型.浮点数等. ABS(X) 返回x的绝对值 SELECT ABS(-1)--返回1 CEll(X),CEILING(x) 返回大于或等于x的最小整数 SELEC ...
- Sass函数--字符串函数
Sass的函数简介在 Sass 中除了可以定义变量,具有 @extend.%placeholder 和 mixins 等特性之外,还自备了一系列的函数功能.其主要包括: ● 字符串函数 ● 数字函数 ...
- ylb:SQLServer常用系统函数-字符串函数、配置函数、系统统计函数
原文:ylb:SQLServer常用系统函数-字符串函数.配置函数.系统统计函数 ylbtech-SQL Server:SQL Server-SQLServer常用系统函数 -- ========== ...
- mssql 系统函数-字符串函数专题--字符串函数大全
mssql 系统函数 字符串函数 substring 功能简介 mssql 系统函数 字符串函数 stuff 功能简介 mssql 系统函数 字符串函数 str 功能简介 mssql 系统函数 字符串 ...
- php常用函数——字符串函数
php常用函数——字符串函数
- Linux下常用函数-字符串函数
inux下常用函数-字符串函数 atof(将字符串转换成浮点型数) 相关函数 atoi,atol,strtod,strtol,strtoul 表头文件 #include <stdlib ...
- EF 表联合查询 join
有两张表m_Dept.m_User,联合查询 linq方式.EF方式 private void Add() { List<m_Dept> lst = new List<m_Dept& ...
- sql server 系统常用函数:聚合函数 数学函数 字符串函数 日期和时间函数和自定义函数
一.系统函数 1.聚合函数 聚合函数常用于GROUP BY子句,在SQL Server 2008提供的所有聚合函数中,除了COUNT函数以外,聚合函数都会忽略空值AVG.COUNT.COUNT_BIG ...
随机推荐
- java制作甘特图
今日来做一下甘特图.网上搜到了这个源码,但是导的jar包,并没有给我.swiftganttdemo但是名为swiftgantt制作:所以灵机一动在网上搜到了swiftangantt组件:在组件中找到了 ...
- u-boot 移植(一)编译环境搭建
u-boot 移植(一)编译环境搭建 soc:s3c2440 board:jz2440 uboot:u-boot-2016.11 toolchain:gcc-linaro-7.4.1-2019.02- ...
- Viterbi-Algorithm(维特比)算法
CSDN博客:皮乾东 知乎:Htrying 微博:Htring的微博 微信公众号:自然语言处理爱好者(ID:NLP_lover) 文章来自:<数学之美> Viterbi-Algor ...
- Spring Cloud Alibaba系列(三)使用feign进行服务调用
什么是Feign Feign是spring cloud提供的一个声明式的伪http客户端,它使得调用远程服务就像调用本地服务一样简单,只需要创建一个接口并添加一天注解即可. Nacos很好的兼容了Fe ...
- python语法学习第二天--条件与循环
条件:(一条或多条为true或false的语句.任何非0和非空(null)值为true,0 或者 null为false)若为true执行If下的语句,若为false执行else中的语句 分支: ① i ...
- 【教程】高德地图使用ECharts实现数据可视化
关于百度地图结合ECharts实现数据可视化的资料已经很多了,毕竟是官方提供支持的,这里就不再赘述.今天我们来讲一下让高德地图与ECharts结合来实现数据可视化图表的展示. 一.ECharts 高德 ...
- Java 在Excel中创建透视表
本文内容介绍通过Java程序在Excel表格中根据数据来创建透视表. 环境准备 需要使用Excel类库工具—Free Spire.XLS for Java,这里使用的是免费版,可通过官网下载Jar包并 ...
- 黑马程序员_毕向东_Java基础视频教程——变量(随笔)
变量 变量 就是将不确定的数据进行存储.也就是需要在内存中开辟一块空间. 内存就是一块运算区域.内存越大.内存中装的数位就越多.运算就越快 ============================== ...
- 有一分数序列:2/1, 3/2, 5/3, 8/5, 13/8, 21/13....求出这个数列的第M到N项之和(M>2,N>2,N>M)
package bianchengti; /* * 有一分数序列:2/1, 3/2, 5/3, 8/5, 13/8, 21/13.... * 求出这个数列的第M到N项之和(M>2,N>2, ...
- Docker 部署Spring Boot 项目并连接mysql、redis容器(记录过程)
Spring Boot 项目配置 将写好的Spring Boot 项目通过maven 进行package打包获得可执行Jar 再src/main/docker(放哪都行)下编写创建Dockerfile ...