hive高级数据类型
hive的高级数据类型主要包括:数组类型、map类型、结构体类型、集合类型,以下将分别详细介绍。
1)数组类型
array_type:array<data_type>
-- 建表语句
create table test.array_table(
name string,
age int,
addr array<string>
)
row format delimited fields terminated by ','
collection items terminated by ':'
;
hive> desc test.array_table;
OK
name string
age int
addr array<string>
-- 测试数据
chavin,28,beijing:shanghai:shenyang
nope,28,beijing:shanghai:taiyuan
wzq,28,beijing:dalian:shenyang:fuxin
zhangshuai,28,beijing:shenyang:fuxin
-- 加载数据
hive> load data local inpath '/home/hadoop/array_table.txt' into table test.array_table;
Loading data to table test.array_table
OK
Time taken: 0.918 seconds
-- 查询
hive> select * from test.array_table;
OK
chavin 28 ["beijing","shanghai","shenyang"]
nope 28 ["beijing","shanghai","taiyuan"]
wzq 28 ["beijing","dalian","shenyang","fuxin"]
zhangshuai 28 ["beijing","shenyang","fuxin"]
Time taken: 0.199 seconds, Fetched: 4 row(s)
hive> select addr[1] from test.array_table;
OK
shanghai
shanghai
dalian
shenyang
Time taken: 0.186 seconds, Fetched: 4 row(s)
hive> select addr[0] from test.array_table;
OK
beijing
beijing
beijing
beijing
Time taken: 0.212 seconds, Fetched: 4 row(s)
2)map类型
map_type:map<primary_type,data_type>
-- 建表语句
create table test.map_table(
name string,
detail map<string,string>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
map keys terminated by ':'
;
hive> desc test.map_table;
OK
name string
detail map<string,string>
Time taken: 0.146 seconds, Fetched: 2 row(s)
-- 测试数据
chavin age:28,addr:beijing,phone:15998888888,email:811651208@qq.com
nope age:28,addr:beijing,phone:13899998888,email:nope@gmail.com
wzq age:28,addr:shanghai,phone:13899998888,email:wzq@gmail.com
zhangshuai age:28,addr:tianjing,phone:13899998888,email:zs@gmail.com
-- 加载数据
hive> load data local inpath '/home/hadoop/map.txt' into table test.map_table;
Loading data to table test.map_table
OK
Time taken: 0.641 seconds
-- 查询数据
hive> select * from test.map_table;
OK
chavin {"age":"28","addr":"beijing","phone":"15998888888","email":"811651208@qq.com"}
nope {"age":"28","addr":"beijing","phone":"13899998888","email":"nope@gmail.com"}
wzq {"age":"28","addr":"shanghai","phone":"13899998888","email":"wzq@gmail.com"}
zhangshuai {"age":"28","addr":"tianjing","phone":"13899998888","email":"zs@gmail.com"}
Time taken: 0.183 seconds, Fetched: 4 row(s)
hive> select detail from test.map_table;
OK
{"age":"28","addr":"beijing","phone":"15998888888","email":"811651208@qq.com"}
{"age":"28","addr":"beijing","phone":"13899998888","email":"nope@gmail.com"}
{"age":"28","addr":"shanghai","phone":"13899998888","email":"wzq@gmail.com"}
{"age":"28","addr":"tianjing","phone":"13899998888","email":"zs@gmail.com"}
Time taken: 0.177 seconds, Fetched: 4 row(s)
hive> select name,detail['email'] from test.map_table;
OK
chavin 811651208@qq.com
nope nope@gmail.com
wzq wzq@gmail.com
zhangshuai zs@gmail.com
Time taken: 0.179 seconds, Fetched: 4 row(s)
3)结构体类型
struct_type:struct<col_name:data_type,... ...>
-- 建表语句
create table test.struct_table(
name string,
detail struct<age:int,phone:string,email:string>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
;
hive> desc test.struct_table;
OK
name string
detail struct<age:int,phone:string,email:string>
Time taken: 0.139 seconds, Fetched: 2 row(s)
-- 测试数据
chavin 28,15998888888,811651208@qq.com
nope 28,13899998888,nope@gmail.com
wzq 28,13899998888,wzq@gmail.com
zhangshuai 28,13899998888,zs@gmail.com
-- 加载数据
hive> load data local inpath '/home/hadoop/struct.txt' into table test.struct_table;
Loading data to table test.struct_table
OK
Time taken: 0.564 seconds
-- 查询数据
hive> select * from test.struct_table;
OK
chavin {"age":28,"phone":"15998888888","email":"811651208@qq.com"}
nope {"age":28,"phone":"13899998888","email":"nope@gmail.com"}
wzq {"age":28,"phone":"13899998888","email":"wzq@gmail.com"}
zhangshuai {"age":28,"phone":"13899998888","email":"zs@gmail.com"}
Time taken: 0.183 seconds, Fetched: 4 row(s)
hive> select name,detail.email from test.struct_table;
OK
chavin 811651208@qq.com
nope nope@gmail.com
wzq wzq@gmail.com
zhangshuai zs@gmail.com
Time taken: 0.869 seconds, Fetched: 4 row(s)
4)集合类型
union_type:uniontype<data_type,data_type,... ...>
-- 建表语句
create table test.union_table(
detail uniontype<int,string>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
;
hive> desc test.union_table;
OK
detail uniontype<int,string>
Time taken: 0.141 seconds, Fetched: 2 row(s)
hive高级数据类型的更多相关文章
- 大数据技术之_08_Hive学习_04_压缩和存储(Hive高级)+ 企业级调优(Hive优化)
第8章 压缩和存储(Hive高级)8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩 ...
- hadoop之hive集合数据类型
除了string,boolean,date等基本数据类型之外,hive还支持三种高级数据类型: 1.ARRAY ARRAY类型是由一系列相同数据类型的元素组成,这些元素可以通过下标来访问.比如有一个A ...
- 大数据时代的技术hive:hive的数据类型和数据模型
在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数 ...
- Oracle11g R2学习系列 之八高级数据类型
所谓的高级数据类型,就是大数据类型,即BCNB(助记词:BC牛逼)+XML数据类型. B:blob,用来存储可变长度的二进制数据. C:clob,主要用来存储可变长度的字符型数据,也就是其他数据库中提 ...
- Hive 5、Hive 的数据类型 和 DDL Data Definition Language)
官方帮助文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive的数据类型 -- 扩展数据类型data_t ...
- hadoop笔记之Hive的数据类型
Hive的数据类型 Hive的数据类型 前面说过,Hive是一个数据仓库,相当于一个数据库.既然是数据库,那么就必须能创建表,既然有表,那么当中就有列,列中就有对应的类型 总的来讲,hive的数据类型 ...
- Delphi 基本数据类型列表 高级数据类型列表 字符类型查询列表清单
原文:Delphi 基本数据类型列表 高级数据类型列表 字符类型查询列表清单 长长的列表文字类型文件 分类 范围 字节 备注 简单类型 序数 整数 Integer -2147483648 .. 214 ...
- Scala进阶之路-高级数据类型之集合的使用
Scala进阶之路-高级数据类型之集合的使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Scala 的集合有三大类:序列 Seq.集 Set.映射 Map,所有的集合都扩展自 ...
- Scala进阶之路-高级数据类型之数组的使用
Scala进阶之路-高级数据类型之数组的使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.数组的初始化方式 1>.长度不可变数组Array 注意:顾名思义,长度不可变数 ...
随机推荐
- Exif格式分析
转载链接: http://blog.csdn.net/simonhehe/article/details/8593354 http://blog.csdn.net/lsiyun/article/det ...
- js的事件冒泡,事件捕获
addEventListener() 方法可以指定 "useCapture" 参数来设置传递事件类型:false→冒泡 true→捕获 默认false. ...
- shaderlab UV动画所需的变量声明
优化资源.美术需要迫使自己的顶点shader能够进行TRANSFORM_TEX运算,进行该运算的前提是需要声明一个 _MainTex_ST 变量,类型为float4即可. 此时就可以使用unity c ...
- 解决 RecyclerView 在Android Studio已经导入情况下还无法实例引用问题
系统:Windows 10 IDE::android studio 1. 问题:RecyclerView 在Android Studio已经导入情况下还无法实例引用问题 由于RecyclerView是 ...
- [转] Brook 搭建教程
https://www.jiongjun.cc/technology/500.html 在搭建 brook 代理之前,首先要求你要有一台国外 vps,关于国外 vps 选择,可以参考这篇:推荐几款国外 ...
- Linux查看设备命令
系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # ho ...
- 查看linux空间大小
du -sh : 查看当前目录总共占的容量.而不单独列出各子项占用的容量 du -lh --max-depth=1 : 查看当前目录下一级子文件和子目录占用的磁盘容量.
- Codeforces 455A Boredom (线性DP)
<题目链接> 题目大意:给定一个序列,让你在其中挑选一些数,如果你选了x,那么你能够得到x分,但是该序列中所有等于x-1和x+1的元素将全部消失,问你最多能够得多少分. 解题分析:从小到大 ...
- 基于335X平台的UBOOT中交换芯片驱动移植
基于335X平台的UBOOT中交换芯片驱动移植 一.软硬件平台资料 1.开发板:创龙AM3359核心板,网口采用RMII形式. 2.UBOOT版本:U-Boot-2016.05,采用FDT和DM. 3 ...
- Android应用程序类型和进程状态
来自<Android4高级编程> Android应用程序不能控制自己的生命周期,应用程序组件(Activity.Service等其他组件)必须监听应用程序状态的变化并做出适当的反应,而且特 ...