Hive(7)-基本查询语句
一. 表和数据准备
1. 数据地址
链接:https://pan.baidu.com/s/1crr8B9bD_0Phfm99vLCWjg 提取码:5jzw
2. 建表语句
create table if not exists dept
(
deptno int, dname string, loc int
)
row format
delimited
fields terminated by '\t'; create table if not exists emp
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
row format
delimited
fields terminated by '\t'; create table if not exists location
(
loc int, loc_name string
)
row format
delimited
fields terminated by '\t'; create table if not exists student
(
id int, name string
)
row format
delimited
fields terminated by '\t';
3. 上传数据到/opt/datas目录下,使用jdbc连接hive,导入表数据
load data local inpath '/opt/datas/dept.txt' into table dept; load data local inpath '/opt/datas/emp.txt' into table emp; load data local inpath '/opt/datas/location.txt' into table location; load data local inpath '/opt/datas/student.txt' into table student;
二. 基本查询(select...from...)
1. 全表和指定列查询
-- 全表查询
select * from emp; -- 指定列查询
select empno, ename from emp;
注意:
1). SQL语言大小写不敏感
2). SQL可以写在一行或多行
3). 关键字不能被缩写,也不能分行
4). 各子句一般分行写
5). 使用缩进提高语句的可读性
2. 列别名
-- 重命名一个列
-- 便于计算
-- 紧跟列名,也可以在列名和别名之间加入关键字 as
select ename name, deptno dn from emp;
3.算数运算符
运算符 |
描述 |
A+B |
A和B 相加 |
A-B |
A减去B |
A*B |
A和B 相乘 |
A/B |
A除以B |
A%B |
A对B取余 |
A&B |
A和B按位取与 |
A|B |
A和B按位取或 |
A^B |
A和B按位取异或 |
~A |
A按位取反 |
-- 查询出所有员工的薪水后加1显示。
select sal +1 from emp;
4. 常用函数
-- 求总行数(count)
select count(*) cnt from emp; -- 求工资的最大值(max)
select max(sal) max_sal from emp; -- 求工资的最小值(min)
select min(sal) min_sal from emp; -- 求工资的总和(sum)
select sum(sal) sum_sal from emp; -- 求工资的平均值(avg)
select avg(sal) avg_sal from emp;
5. Limit语句
-- limit子句用于限制返回的行数。
select * from emp limit 5;
不同于MySQL的limit offset, pagecount,Hive的limit后只有一个参数
三. where语句
使用where子句,将不满足条件的行过滤掉, where子句紧随from子句
-- 查询出薪水大于1000的所有员工
select * from emp where sal >1000;
注意: where子句中不能使用列别名.因为sql语句的执行顺序. 以上面的sql为例,首先执行的是from子句,再是where子句,最后才是select子句
1. 比较运算符(between/in/is null)
操作符 |
支持的数据类型 |
描述 |
A=B |
基本数据类型 |
如果A等于B则返回TRUE,反之返回FALSE |
A<=>B |
基本数据类型 |
如果A和B都为NULL,则返回TRUE,其他的和等号(=)操作符的结果一致,如果任一为NULL则结果为NULL |
A<>B, A!=B |
基本数据类型 |
A或者B为NULL则返回NULL;如果A不等于B,则返回TRUE,反之返回FALSE |
A<B |
基本数据类型 |
A或者B为NULL,则返回NULL;如果A小于B,则返回TRUE,反之返回FALSE |
A<=B |
基本数据类型 |
A或者B为NULL,则返回NULL;如果A小于等于B,则返回TRUE,反之返回FALSE |
A>B |
基本数据类型 |
A或者B为NULL,则返回NULL;如果A大于B,则返回TRUE,反之返回FALSE |
A>=B |
基本数据类型 |
A或者B为NULL,则返回NULL;如果A大于等于B,则返回TRUE,反之返回FALSE |
A [NOT] BETWEEN B AND C |
基本数据类型 |
如果A,B或者C任一为NULL,则结果为NULL。如果A的值大于等于B而且小于或等于C,则结果为TRUE,反之为FALSE。如果使用NOT关键字则可达到相反的效果。 |
A IS NULL |
所有数据类型 |
如果A等于NULL,则返回TRUE,反之返回FALSE |
A IS NOT NULL |
所有数据类型 |
如果A不等于NULL,则返回TRUE,反之返回FALSE |
IN(数值1, 数值2) |
所有数据类型 |
使用 IN运算显示列表中的值 |
A [NOT] LIKE B |
STRING 类型 |
B是一个SQL下的简单正则表达式,也叫通配符模式,如果A与其匹配的话,则返回TRUE;反之返回FALSE。B的表达式说明如下:‘x%’表示A必须以字母‘x’开头,‘%x’表示A必须以字母’x’结尾,而‘%x%’表示A包含有字母’x’,可以位于开头,结尾或者字符串中间。如果使用NOT关键字则可达到相反的效果。 |
A RLIKE B, A REGEXP B |
STRING 类型 |
B是基于java的正则表达式,如果A与其匹配,则返回TRUE;反之返回FALSE。匹配使用的是JDK中的正则表达式接口实现的,因为正则也依据其中的规则。例如,正则表达式必须和整个字符串A相匹配,而不是只需与其字符串匹配。 |
-- 查询出薪水等于5000的所有员工
select * from emp where sal =5000; -- 查询工资在500到1000的员工信息
select * from emp where sal between 500 and 1000; -- 查询comm为空的所有员工信息
select * from emp where comm is null; -- 查询工资是1500或5000的员工信息
select * from emp where sal IN (1500, 5000);
2. like和rlike
使用like运算选择类似的值,选择条件可以包含字符或数字:
% 代表零个或多个字符(任意个字符)
_ 代表一个字符。
rlike子句是Hive中这个功能的一个扩展,其可以通过Java的正则表达式这个更强大的语言来指定匹配条件。
-- 查找以2开头薪水的员工信息
select * from emp where sal LIKE '2%'; -- 查找第二个数值为2的薪水的员工信息
select * from emp where sal LIKE '_2%'; -- 查找薪水中含有2的员工信息
select * from emp where sal RLIKE '[2]';
3. 逻辑运算符(and/or/not)
操作符 |
含义 |
AND |
逻辑并 |
OR |
逻辑或 |
NOT |
逻辑否 |
-- 查询薪水大于1000,部门是30
select * from emp where sal>1000 and deptno=30; -- 查询薪水大于1000,或者部门是30
select * from emp where sal>1000 or deptno=30; -- 查询除了20部门和30部门以外的员工信息
select * from emp where deptno not IN(30, 20);
四. 分组
1.group by 语句
GROUP BY语句通常会和聚合函数一起使用,按照一个或者多个列队结果进行分组,然后对每个组执行聚合操作。
-- 计算emp表每个部门的平均工资
select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno; -- 计算emp每个部门中每个岗位的最高薪水
select t.deptno, t.job, max(t.sal) max_sal from emp t group by t.deptno, t.job;
2. having 语句
having与where不同点:
1). where后面不能写分组函数,而having后面可以使用分组函数。
2). having只用于group by分组统计语句
-- 求每个部门的平均工资
select deptno, avg(sal) from emp group by deptno;
-- 求每个部门的平均薪水大于2000的部门
select deptno, avg(sal) avg_sal from emp group by deptno having avg_sal > 2000;
五.join语句
1. 等值join
Hive支持通常的SQL JOIN语句,但是只支持等值连接,不支持非等值连接。]
-- 根据员工表和部门表中的部门编号相等,查询员工编号、员工名称和部门名称;
select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;
2. 表的别名
好处: 可以简化查询; 使用表前缀可以提高执行效率
-- 合并员工表和部门表
select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;
3. 内连接
-- 内连接:只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。
select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;
4. 左外连接
-- 左外连接:JOIN操作符左边表中符合ON/WHERE子句的所有记录将会被返回。
select e.empno, e.ename, d.deptno from emp e left join dept d on e.deptno = d.deptno;
5. 右外连接
-- 右外连接:JOIN操作符右边表中符合ON/WHERE子句的所有记录将会被返回。
select e.empno, e.ename, d.deptno from emp e right join dept d on e.deptno = d.deptno;
6. 满外连接
-- 满外连接:将会返回所有表中符合ON/WHERE语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话,那么就使用NULL值替代。
select e.empno, e.ename, d.deptno from emp e full join dept d on e.deptno = d.deptno;
7. 多表连接
SELECT e.ename, d.dname, l.loc_name
FROM emp e
JOIN dept d
ON d.deptno = e.deptno
JOIN location l
ON d.loc = l.loc;
注意:连接 n个表,至少需要n-1个连接条件。例如:连接三个表,至少需要两个连接条件。
大多数情况下,Hive会对每对JOIN连接对象启动一个MapReduce任务。本例中会首先启动一个MapReduce job对表e和表d进行连接操作,然后会再启动一个MapReduce job将第一个MapReduce job的输出和表l;进行连接操作。
注意:为什么不是表d和表l先进行连接操作呢?这是因为Hive总是按照从左到右的顺序执行的。
优化:当对3个或者更多表进行join连接时,如果每个on子句都使用相同的连接键的话,那么只会产生一个MapReduce job。
8. 笛卡尔积
笛卡尔集会在下面条件下产生
1). 省略连接条件
2). 连接条件无效
3). 所有表中的所有行互相连接
select empno, dname from emp, dept;
9. 连接谓词中不支持or
-- hive join目前不支持在on子句中使用谓词or 错误的
select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno or e.ename=d.ename;
六.排序
1. 全局排序 order by
order by,只有一个reducer
1). order by 子句: ASC(ascend) 升序(默认); DESC(descend) 降序
2). order by子句在select语句的结尾
-- 查询员工信息按工资升序排列
select * from emp order by sal; -- 查询员工信息按工资降序排列
select * from emp order by sal desc;
-- 多个列排序
-- 按照部门和工资升序排序
select ename, deptno, sal from emp order by deptno, sal ;
-- 按照别名排序
-- 按照员工薪水的2倍排序
select ename, sal*2 twosal from emp order by twosal;
2. 每个MapReduce内部排序(Sort By)
Sort By:对于大规模的数据集order by的效率非常低。在很多情况下,并不需要全局排序,此时可以使用sort by。
Sort by为每个reducer产生一个排序文件。每个Reducer内部进行排序,对全局结果集来说不是排序。
-- 1.设置reduce个数
set mapreduce.job.reduces=3; -- 2.查看设置reduce个数
set mapreduce.job.reduces; -- 3.根据部门编号降序查看员工信息
select * from emp sort by deptno desc; -- 4.将查询结果导入到文件中(按照部门编号降序排序)
insert overwrite local directory '/opt/module/datas/sortby-result'
select * from emp sort by deptno desc;
sort by的分区是随机的,通常是先分区再用sort by进行区内排序
3. 分区排序
Distribute By: 在有些情况下,我们需要控制某个特定行应该到哪个reducer,通常是为了进行后续的聚集操作。distribute by子句可以做这件事。distribute by类似MR中partition(自定义分区),进行分区,结合sort by使用。
对于distribute by进行测试,一定要分配多reduce进行处理,否则无法看到distribute by的效果。
-- 先按照部门编号分区,再按照员工编号降序排序。
set mapreduce.job.reduces=3; insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;
注意:
distribute by的分区规则是根据分区字段的hash码与reduce的个数进行模除后,余数相同的分到一个区。
Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。
4. cluster by
当distribute by和sorts by字段相同时,可以使用cluster by方式。
cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序,不能指定排序规则为ASC或者DESC。
-- 以下两种写法等价
select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;
七. 分桶及抽样查询
分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive 可以进一步组织成桶,也就是更为细粒度的数据范围划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径;分桶针对的是数据文件。
-- 设置属性
set hive.enforce.bucketing=true; -- 创建分桶表
create table stu_buck(id int, name string)
clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t'; -- 插入数据
insert into table stu_buck
select id, name from stu;
Hive的分桶采用对分桶字段的值进行哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中
分桶抽样查询
对于非常大的数据集,有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。
-- 查询表stu_buck中的数据。
select * from stu_buck tablesample(bucket 1 out of 4 on id);
tablesample的语法:TABLESAMPLE(BUCKET x OUT OF y)
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了4份,当y=2时,抽取(4/2=)2个bucket的数据,当y=8时,抽取(4/8=)1/2个bucket的数据。注:是抽样语句。
x表示从哪个bucket开始抽取,如果需要取多个分区,以后的分区号为当前分区号加上y。例如,table总bucket数为4,tablesample(bucket 1 out of 2),表示总共抽取(4/2=)2个bucket的数据,抽取第1(x)个和第3(x+y)个bucket的数据。
注意:x的值必须小于等于y的值,否则
FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck
Hive(7)-基本查询语句的更多相关文章
- hive查询语句
一. 为什么hive是数据仓库 hive局限于hdfs, 不能进行记录级别的增删改 hive底层的mapreduce启动耗时很长, 无法做到传统数据库的秒查, 只适合离线分析 hive不支持事务, 无 ...
- Hive通过查询语句向表中插入数据注意事项
最近在学习使用Hive(版本0.13.1)的过程中,发现了一些坑,它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题),或许是一些bug.总而言之,这些都需要使用Hive的开发人员额 ...
- Hive通过查询语句向表中插入数据过程中发现的坑
前言 近期在学习使用Hive(版本号0.13.1)的过程中,发现了一些坑,它们也许是Hive提倡的比关系数据库更加自由的体现(同一时候引来一些问题).也许是一些bug.总而言之,这些都须要使用Hive ...
- hive查询语句入门(hive DDL)
hive DDL 启动hadoop /apps/hadoop/sbin/start-all.sh 开启MySQL库,用于存放hive的元数据 sudo service mysql start 启动hi ...
- hive基本的操作语句(实例简单易懂,create table XX as select XX)
hive建表语句DML:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Cr ...
- hive表信息查询:查看表结构、表操作等--转
原文地址:http://www.aboutyun.com/forum.PHP?mod=viewthread&tid=8590&highlight=Hive 问题导读:1.如何查看hiv ...
- hive表信息查询:查看表结构、表操作等
转自网友的,主要是自己备份下 有时候不记得! 问题导读:1.如何查看hive表结构?2.如何查看表结构信息?3.如何查看分区信息?4.哪个命令可以模糊搜索表 1.hive模糊搜索表 show tabl ...
- Hive 常用命令和语句
示例数据库为 db_hive 1. 创建表 create-table.sql create table if not exists db_hive.tb_user ( id int, username ...
- Hive[6] HiveQL 查询
6.1 SELECT ... FROM 语句 hive> SELECT name,salary FROM employees; --普通查询 hive>SELECT e.n ...
随机推荐
- Echarts实现隐藏x轴,y轴,刻度线,网格
"yAxis": [ { //就是一月份这个显示为一个线段,而不是数轴那种一个点点 "show" : true, "boundaryGap" ...
- oracle 插入大于4000字符的 clob代码
OracleConnection connection = new OracleConnection(conn); OracleCommand command = new OracleCommand( ...
- Java反编译工具Jad及插件JadClipse配置教程
Jad是一个Java的一个反编译工具,和eclipse的插件JadClipse,二者结合可以方便的在eclipse中查看class文件的源代码. 下面介绍一下配置: 下载JadClipse,http: ...
- Nucleus进程间通信(IPC)方式
版权声明:本文为博主原创文章,未经博主同意不得转载--"http://blog.csdn.net/suipingsp". https://blog.csdn.net/suiping ...
- 在win7中通过手机投放媒体
依次展开>>> 设置项 开启服务项: 和 在更给网络属性为 打开wmplayer开启两个允许 在手机端无线投屏选择设备即可
- Centos7 中使用Supervisor守护进程
转:https://www.cnblogs.com/qmhuang/p/8196132.html 配置supervisor实现进程守护 1.安装supervisor yum install Super ...
- 二十九、利用 IntelliJ IDEA 进行代码对比的方法
我们会有这样的需求,即:想对比出两个不同版本代码的区别.如何实现? 第 1 种:如果我们是从 SVN 检出的项目,并且想比较本地代码与从 SVN 检出时的代码相比都有那些区别,可以按如下步骤操作, 如 ...
- 手机站全局的html+css加载等待效果
本文只提供思路,CSS神马的自己定制吧,JS是可以优化的,比如,输出图片的JS也可以放到showdiv()里面,我没有做优化,只是实现,别笑话我,我比较懒... 基本思路:由于Html的解析是从上到下 ...
- java 编写小工具 尝试 学习(六)
1.java 布局管理器-布局管理器之null布局(空布局) 的 学习,参考大神教程:http://www.cnblogs.com/liaoliao/p/5009445.html import jav ...
- Gradle Goodness: Check Task Dependencies With a Dry Run
We can run a Gradle build without any of the task actions being executed. This is a so-called dry ru ...