HiveQ与传统SQL差异
1. hive内连接支持什么格式?
• SQL中对两表内联可以写成:
select * from dual a,dual b where a.key =
b.key;
或者:
SELECT t1.a1 as c1, t2.b1 as c2FROM t1,
t2 WHERE t1.a2 = t2.b2
•
Hive中应为
select * from dual a join dual b
on a.key = b.key;
2.
分号符号的使用
• 分号是SQL语句结束标记,在HiveQL中也是,但是在HiveQL中,对分号的识别没有那么智慧,例如:
select
concat(key,concat(';',key)) from dual;
• 但HiveQL在解析语句时提示:
FAILED: Parse Error: line 0:-1 mismatched
input '<EOF>' expecting ) in function specification
解决的办法是,使用分号的八进制的ASCII码进行转义,那么上述语句应写成:
select
concat(key,concat('\073',key)) from dual;
3.
is [not] null的使用
•
SQL中null代表空值.
• 在HiveQL中String类型的字段若是空(empty)字符串, 即长度为0, 那么对它进行IS NULL的判断结果是False.
4.
Hive不支持使用insert语句将现有数据插入现有表或分区中
• Insert仅支持覆盖重写整个表或分区的操作,例如:
INSERT OVERWRITE TABLE t1 SELECT * FROM t2;
• 使用load语句插入新数据。
5.
Hive不支持Insert into表values(),Update,Delete操作
因为数据时存储在hdfs中,所以不支持这些操作,同时hive就不需要很复杂的锁机制来读写数据。
6.
hive支持嵌入mapreduce程序,来处理复杂逻辑
• 例如:
FROM (
MAP doctext USING 'python wc_mapper.py' AS (word,
cnt)
FROM
docs
CLUSTER
BY word
) a
REDUCE word, cnt USING 'python
wc_reduce.py';
--doctext: 是输入
--word, cnt: 是map程序的输出
--CLUSTER BY: 将wordhash后,又作为reduce程序的输入
• 并且map程序、reduce程序可以单独使用,如:
FROM (
FROM
session_table
SELECT
sessionid, tstamp, data
DISTRIBUTE
BY sessionid SORT BY tstamp
) a
REDUCE sessionid, tstamp, data
USING 'session_reducer.sh';
7.
hive支持将转换后的数据直接写入不同的表,还能写入分区,hdfs,和本地目录
• FROM t1
INSERT
OVERWRITE TABLE
t2
SELECT
t3.c2, count(1)
FROM
t3
WHERE
t3.c1 <= 20
GROUP
BY t3.c2
• INSERT OVERWRITE DIRECTORY '/output_dir'
SELECT
t3.c2, avg(t3.c1)
FROM
t3
WHERE
t3.c1 > 20 AND t3.c1 <= 30
GROUP
BY t3.c2
• INSERT OVERWRITE LOCAL DIRECTORY '/home/dir'
SELECT
t3.c2, sum(t3.c1)
FROM
t3
WHERE
t3.c1 > 30
GROUP
BY t3.c2; FROM t1
HiveQ与传统SQL差异的更多相关文章
- sql差异
类别 MS SQL Server My SQL PG SQL Oracle Access 自增 identity(1,1) auto_increment ALTER TABLE 'tableNam ...
- Docker概念学习系列之Docker与传统虚拟机差异(4)
不多说,直接上干货! 见[博主]撰写的https://mp.weixin.qq.com/s/YihjPONUcUi4b_7RC8oLYw 传统虚拟化是在硬件层面实现虚拟化,需要有额外的虚拟机管理应 ...
- mysql 和 sqlserver sql差异比较
mysql:select * from table_name limit 100,200;--取出从100到200的数据 获取时间:mysql:now() mysql tinyint(0,1) → b ...
- Mysql 和 SQLServer 使用SQL差异比较
查询前100条数据 #mysql ; #sqlserver * from table_name ; 从数据库.表 定位表 #mysql写法:库名.表名 select password from Inf ...
- hive(II)--sql考查的高频问题
在了解别人hive能力水平的时候,不管是别人问我还是我了解别人,有一些都是必然会问的东西.问的问题也大都大同小异.这里总结一下我遇到的那些hive方面面试可能涉及的问题 1.行转列(列转行) 当我们建 ...
- SQL Server 虚拟化(1)——虚拟化简介
本文属于SQL Server虚拟化系列 前言: 现代系统中,虚拟化越来越普遍,如果缺乏对虚拟化工作原理的理解,那么DBA在解决性能问题比如降低资源争用.提高备份还原速度等操作时就会出现盲点.所以基于本 ...
- [转]Azure 表存储和 Windows Azure SQL Database - 比较与对照
本文转自:https://msdn.microsoft.com/library/azure/jj553018 更新时间: 2014年10月 作者:Valery Mizonov 和 Seth Manhe ...
- 5G时代,为什么NoSQL和SQL存在短板?
01 介绍 当今的通信服务提供商(CSP)需要能够在处理海量复杂的数据的同时,不会下降或者减慢网路响应速度和可靠性.5G时代,设备和用户数量呈指数级增长,这对业务支持服务(BSS)提出了新需求,也成为 ...
- SQL Azure (16) 创建PaaS SQL Azure V12数据库
<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China 最新的Azure PaaS SQL Database(SQL Azu ...
随机推荐
- SQL技巧
数据查询 且不说你是否正在从事编程方面的工作或者不打算学习SQL,可事实上几乎每一位开发者最终都会遭遇它.你多半还用不着负责创建和维持某个数据库,但你怎么着也该知道以下的一些有关的SQL知识.我 ...
- CSS基础:text-overflow:ellipsis溢出文本
<!DOCTYPE html><html> <head> <title> new document </title> <meta na ...
- LINQ Operators之过滤(Filtering)
转:http://www.cnblogs.com/lifepoem/archive/2011/11/16/2250676.html 在本系列博客前面的篇章中,已经对LINQ的作用.C# 3.0为LIN ...
- VundleVim的安装与使用
git:https://github.com/VundleVim/Vundle.vim vundle是一款vim编辑器的插件管理软,用起来很方便的原因有几点: 1)只要知道插件名称,就能搜索到并下载安 ...
- LeetCode Populating Next Right Pointers in Each Node (技巧)
题意: 给一棵满二叉树,要求将每层的节点从左到右用next指针连起来,层尾指向NULL即可. 思路: 可以递归也可以迭代.需要观察到next的左孩子恰好就是本节点的右孩子的next啦. (1)递归:这 ...
- 前端学习资源(CSS+HTML5)
CSS CSS | MDN CSS参考手册 CSS探索之旅 Web前端实验室 STYLESHEETS CSS3中的content字符编码 Font Awesome, 一套绝佳的图标字体库和CSS框架 ...
- android studio 中怎么使用adb无线调试
之前再eclipse下进行安卓开发,但谷歌却抛弃了eclipse而力挺android studio开发环境,没办法只好跟着走. 在eclipse下开发时调试用adb无线方式特别方便,但是在androi ...
- 十 SSH
一 Struts 1. 定义:该框架使用 MVC 设计模式开发程序 2. 框架概览: 二 Hibernate 1. 作用:提供了利用面向对象的思想来操作关系型数据的接口 2. 框架图示: 三 Spri ...
- BUTTON标签和INPUT标签的区别【转】
一句话概括主题:<button>具有<input type="button" ... >相同的作用但是在可操控性方面更加强大. HTML 4.01规范的Fo ...
- 最小二乘法 java
import java.util.ArrayList; import java.util.Collection; import org.apache.commons.math3.optim.Point ...