hive高级数据类型
hive的高级数据类型主要包括:数组类型、map类型、结构体类型、集合类型,以下将分别详细介绍。
1)数组类型
array_type:array<data_type>
-- 建表语句
create table test.array_table(
name string,
age int,
addr array<string>
)
row format delimited fields terminated by ','
collection items terminated by ':'
;
hive> desc test.array_table;
OK
name string
age int
addr array<string>
-- 测试数据
chavin,28,beijing:shanghai:shenyang
nope,28,beijing:shanghai:taiyuan
wzq,28,beijing:dalian:shenyang:fuxin
zhangshuai,28,beijing:shenyang:fuxin
-- 加载数据
hive> load data local inpath '/home/hadoop/array_table.txt' into table test.array_table;
Loading data to table test.array_table
OK
Time taken: 0.918 seconds
-- 查询
hive> select * from test.array_table;
OK
chavin 28 ["beijing","shanghai","shenyang"]
nope 28 ["beijing","shanghai","taiyuan"]
wzq 28 ["beijing","dalian","shenyang","fuxin"]
zhangshuai 28 ["beijing","shenyang","fuxin"]
Time taken: 0.199 seconds, Fetched: 4 row(s)
hive> select addr[1] from test.array_table;
OK
shanghai
shanghai
dalian
shenyang
Time taken: 0.186 seconds, Fetched: 4 row(s)
hive> select addr[0] from test.array_table;
OK
beijing
beijing
beijing
beijing
Time taken: 0.212 seconds, Fetched: 4 row(s)
2)map类型
map_type:map<primary_type,data_type>
-- 建表语句
create table test.map_table(
name string,
detail map<string,string>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
map keys terminated by ':'
;
hive> desc test.map_table;
OK
name string
detail map<string,string>
Time taken: 0.146 seconds, Fetched: 2 row(s)
-- 测试数据
chavin age:28,addr:beijing,phone:15998888888,email:811651208@qq.com
nope age:28,addr:beijing,phone:13899998888,email:nope@gmail.com
wzq age:28,addr:shanghai,phone:13899998888,email:wzq@gmail.com
zhangshuai age:28,addr:tianjing,phone:13899998888,email:zs@gmail.com
-- 加载数据
hive> load data local inpath '/home/hadoop/map.txt' into table test.map_table;
Loading data to table test.map_table
OK
Time taken: 0.641 seconds
-- 查询数据
hive> select * from test.map_table;
OK
chavin {"age":"28","addr":"beijing","phone":"15998888888","email":"811651208@qq.com"}
nope {"age":"28","addr":"beijing","phone":"13899998888","email":"nope@gmail.com"}
wzq {"age":"28","addr":"shanghai","phone":"13899998888","email":"wzq@gmail.com"}
zhangshuai {"age":"28","addr":"tianjing","phone":"13899998888","email":"zs@gmail.com"}
Time taken: 0.183 seconds, Fetched: 4 row(s)
hive> select detail from test.map_table;
OK
{"age":"28","addr":"beijing","phone":"15998888888","email":"811651208@qq.com"}
{"age":"28","addr":"beijing","phone":"13899998888","email":"nope@gmail.com"}
{"age":"28","addr":"shanghai","phone":"13899998888","email":"wzq@gmail.com"}
{"age":"28","addr":"tianjing","phone":"13899998888","email":"zs@gmail.com"}
Time taken: 0.177 seconds, Fetched: 4 row(s)
hive> select name,detail['email'] from test.map_table;
OK
chavin 811651208@qq.com
nope nope@gmail.com
wzq wzq@gmail.com
zhangshuai zs@gmail.com
Time taken: 0.179 seconds, Fetched: 4 row(s)
3)结构体类型
struct_type:struct<col_name:data_type,... ...>
-- 建表语句
create table test.struct_table(
name string,
detail struct<age:int,phone:string,email:string>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
;
hive> desc test.struct_table;
OK
name string
detail struct<age:int,phone:string,email:string>
Time taken: 0.139 seconds, Fetched: 2 row(s)
-- 测试数据
chavin 28,15998888888,811651208@qq.com
nope 28,13899998888,nope@gmail.com
wzq 28,13899998888,wzq@gmail.com
zhangshuai 28,13899998888,zs@gmail.com
-- 加载数据
hive> load data local inpath '/home/hadoop/struct.txt' into table test.struct_table;
Loading data to table test.struct_table
OK
Time taken: 0.564 seconds
-- 查询数据
hive> select * from test.struct_table;
OK
chavin {"age":28,"phone":"15998888888","email":"811651208@qq.com"}
nope {"age":28,"phone":"13899998888","email":"nope@gmail.com"}
wzq {"age":28,"phone":"13899998888","email":"wzq@gmail.com"}
zhangshuai {"age":28,"phone":"13899998888","email":"zs@gmail.com"}
Time taken: 0.183 seconds, Fetched: 4 row(s)
hive> select name,detail.email from test.struct_table;
OK
chavin 811651208@qq.com
nope nope@gmail.com
wzq wzq@gmail.com
zhangshuai zs@gmail.com
Time taken: 0.869 seconds, Fetched: 4 row(s)
4)集合类型
union_type:uniontype<data_type,data_type,... ...>
-- 建表语句
create table test.union_table(
detail uniontype<int,string>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
;
hive> desc test.union_table;
OK
detail uniontype<int,string>
Time taken: 0.141 seconds, Fetched: 2 row(s)
hive高级数据类型的更多相关文章
- 大数据技术之_08_Hive学习_04_压缩和存储(Hive高级)+ 企业级调优(Hive优化)
第8章 压缩和存储(Hive高级)8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩 ...
- hadoop之hive集合数据类型
除了string,boolean,date等基本数据类型之外,hive还支持三种高级数据类型: 1.ARRAY ARRAY类型是由一系列相同数据类型的元素组成,这些元素可以通过下标来访问.比如有一个A ...
- 大数据时代的技术hive:hive的数据类型和数据模型
在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数 ...
- Oracle11g R2学习系列 之八高级数据类型
所谓的高级数据类型,就是大数据类型,即BCNB(助记词:BC牛逼)+XML数据类型. B:blob,用来存储可变长度的二进制数据. C:clob,主要用来存储可变长度的字符型数据,也就是其他数据库中提 ...
- Hive 5、Hive 的数据类型 和 DDL Data Definition Language)
官方帮助文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive的数据类型 -- 扩展数据类型data_t ...
- hadoop笔记之Hive的数据类型
Hive的数据类型 Hive的数据类型 前面说过,Hive是一个数据仓库,相当于一个数据库.既然是数据库,那么就必须能创建表,既然有表,那么当中就有列,列中就有对应的类型 总的来讲,hive的数据类型 ...
- Delphi 基本数据类型列表 高级数据类型列表 字符类型查询列表清单
原文:Delphi 基本数据类型列表 高级数据类型列表 字符类型查询列表清单 长长的列表文字类型文件 分类 范围 字节 备注 简单类型 序数 整数 Integer -2147483648 .. 214 ...
- Scala进阶之路-高级数据类型之集合的使用
Scala进阶之路-高级数据类型之集合的使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Scala 的集合有三大类:序列 Seq.集 Set.映射 Map,所有的集合都扩展自 ...
- Scala进阶之路-高级数据类型之数组的使用
Scala进阶之路-高级数据类型之数组的使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.数组的初始化方式 1>.长度不可变数组Array 注意:顾名思义,长度不可变数 ...
随机推荐
- JAVA进阶9
间歇性混吃等死,持续性踌躇满志系列-------------第9天 1.使用throw语句抛出异常 在通常情况下,程序发生错误时系统会自动抛出异常,而有时希望程序自动抛出异常,可以使用throw语句来 ...
- 408 JavaScript 变量、数据类型、正则
JavaScript 特点 是一门解释性脚本语言 .基于对象脚本编程.简单性(弱类型).安全性.动态性.跨平台 作用: 初学js 引入方式 与html有相同之处 也是3种1 用JavaScript前缀 ...
- C++设计模式——访问者模式
访问者模式 在GOF的<设计模式:可复用面向对象软件的基础>一书中对访问者模式是这样说的:表示一个作用于某对象结构中的各元素的操作.它使你可以在不改变各元素的类的前提下定义作用于这些元素的 ...
- python套接字解决tcp粘包问题
python套接字解决tcp粘包问题 目录 什么是粘包 演示粘包现象 解决粘包 实际应用 什么是粘包 首先只有tcp有粘包现象,udp没有粘包 socket收发消息的原理 发送端可以是一K一K地发送数 ...
- sass动态实现颜色平铺显示
@function stripes($position,$colors) { $colors: if(type-of($colors)!='list', compact($colors), $colo ...
- MySQL通过Navicat实现远程连接的过程
直接使用Navicat通过IP连接会报各种错误,例如:Error 1130: Host '192.168.1.80' is not allowed to connect to this MySQL ...
- js处理有序列表、js处理无序列表
有序列表.无序列表 显示id为s下所有的li..隐藏同样 $("#s li").show();
- c++中字符串的反转
1.对于用char定义的字符串:使用string.h中的strrev函数 #include <iostream> #include <cstring> using namesp ...
- POJ 1149 PIGS 【最大流】
<题目链接> 题目大意:有一个养猪场,厂长没有钥匙,这个养猪场一共M个猪圈,N个顾客,每个顾客有一些猪圈的钥匙,每个顾客需要一些猪,问你厂长最多能卖多少猪?这里有个条件是,厂长可以在一个顾 ...
- JS 的骚操作
一.强制类型转换 1.1string强制转换为数字 //可以用*1来转化为数字((实际上是调用.valueOf方法) 然后使用Number.isNaN来判断是否为NaN,或者使用 a !== a 来判 ...