hive提供了复合数据类型:
Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域a
Maps(K-V对):访问指定域可以通过["指定域名称"]进行,例如,一个Map M包含了一个group-》gid的kv对,gid的值可以通过M['group']来获取
Arrays:array中的数据为相同类型,例如,假如array A中元素['a','b','c'],则A[1]的值为'b'

Struct使用

建表:

  1. hive> create table student_test(id INT, info struct<name:STRING, age:INT>)
  2. > ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
  3. > COLLECTION ITEMS TERMINATED BY ':';
  4. OK
  5. Time taken: 0.446 seconds

'FIELDS TERMINATED BY' :字段与字段之间的分隔符
''COLLECTION ITEMS TERMINATED BY' :一个字段各个item的分隔符 
导入数据:

  1. $ cat test5.txt
  2. 1,zhou:30
  3. 2,yan:30
  4. 3,chen:20
  5. 4,li:80
  6. hive> LOAD DATA LOCAL INPATH '/home/work/data/test5.txt' INTO TABLE student_test;
  7. Copying data from file:/home/work/data/test5.txt
  8. Copying file: file:/home/work/data/test5.txt
  9. Loading data to table default.student_test
  10. OK
  11. Time taken: 0.35 seconds

查询:

  1. hive> select info.age from student_test;
  2. Total MapReduce jobs = 1
  3. ......
  4. Total MapReduce CPU Time Spent: 490 msec
  5. OK
  6. 30
  7. 30
  8. 20
  9. 80
  10. Time taken: 21.677 seconds

Array使用
建表:

  1. hive> create table class_test(name string, student_id_list array<INT>)
  2. > ROW FORMAT DELIMITED
  3. > FIELDS TERMINATED BY ','
  4. > COLLECTION ITEMS TERMINATED BY ':';
  5. OK
  6. Time taken: 0.099 seconds

导入数据:

  1. $ cat test6.txt
  2. 034,1:2:3:4
  3. 035,5:6
  4. 036,7:8:9:10
  5. hive>  LOAD DATA LOCAL INPATH '/home/work/data/test6.txt' INTO TABLE class_test ;
  6. Copying data from file:/home/work/data/test6.txt
  7. Copying file: file:/home/work/data/test6.txt
  8. Loading data to table default.class_test
  9. OK
  10. Time taken: 0.198 seconds

查询:

  1. hive> select student_id_list[3] from class_test;
  2. Total MapReduce jobs = 1
  3. ......
  4. Total MapReduce CPU Time Spent: 480 msec
  5. OK
  6. 4
  7. NULL
  8. 10
  9. Time taken: 21.574 seconds

Map使用
建表:

  1. hive> create table employee(id string, perf map<string, int>)
  2. > ROW FORMAT DELIMITED
  3. > FIELDS TERMINATED BY '\t'
  4. > COLLECTION ITEMS TERMINATED BY ','
  5. > MAP KEYS TERMINATED BY ':';
  6. OK
  7. Time taken: 0.144 seconds

‘MAP KEYS TERMINATED BY’ :key value分隔符

导入数据:

  1. $ cat test7.txt
  2. 1       job:80,team:60,person:70
  3. 2       job:60,team:80
  4. 3       job:90,team:70,person:100
  5. hive>  LOAD DATA LOCAL INPATH '/home/work/data/test7.txt' INTO TABLE employee;

查询:

      1. hive> select perf['person'] from employee;
      2. Total MapReduce jobs = 1
      3. ......
      4. Total MapReduce CPU Time Spent: 460 msec
      5. OK
      6. 70
      7. NULL
      8. 100
      9. Time taken: 20.902 seconds
      10. hive> select perf['person'] from employee where perf['person'] is not null;
      11. Total MapReduce jobs = 1
      12. .......
      13. Total MapReduce CPU Time Spent: 610 msec
      14. OK
      15. 70
      16. 100
      17. Time taken: 21.989 seconds
      18. hive>
      19. <span style="font-family:Arial, Helvetica, sans-serif;"><span style="white-space: normal;">
      20. </span></span>

hive array、map、struct使用的更多相关文章

  1. hive复杂格式array,map,struct使用

    -- 创建数据库表,以array作为数据类型 drop table if exists person; create table person( name string ,work_locations ...

  2. Spark存储Parquet数据到Hive,对map、array、struct字段类型的处理

    利用Spark往Hive中存储parquet数据,针对一些复杂数据类型如map.array.struct的处理遇到的问题? 为了更好的说明导致问题的原因.现象以及解决方案,首先看下述示例: -- 创建 ...

  3. JavaScript Array map() 方法

    语法: array.map(function(currentValue,index,arr), thisValue) currentValue:必须.当前元素的值index:可选.当期元素的索引值ar ...

  4. 数组的方法 Array.map();Array.every()和Array.some();数组的indexof();检测是否是数组isArray(obj);

    数组的方法 Array.map(); 栗子: var a=[1,2,,3]; var b=a.map( function(value){return value*value} ); alert(b); ...

  5. 兼容低版本JS的Array.map方法

    前几天去别的公司面试遇到个这样的问题,兼容IE7下的Array.map方法,一脸蒙蔽.后面回来查了下资料发现.Array.map方法是ECMA-262 标准中新添加的方法,在低版本的JS中是木有的. ...

  6. Array.from();Object.keys();Array.map()

    Array.from():方法从一个类似数组或可迭代对象创建一个新的数组形式: const bar = ["a", "b", "c"]; A ...

  7. JavaScript 对象Array,Map,Set使用

    for(int i = 0 :i < 3 ;i++ ){ //[重点说三遍] 在说明每个对象的用法之前,首先说明 JavaScript 对象的使用一定要注意浏览器的兼容性问题!尤其是IE的版本! ...

  8. 快速数组对象取值与数组映射新数组--array.map

    array.map(callback,[ thisObject]); 1.map方法的作用不难理解,“映射”嘛,也就是原数组被“映射”成对应新数组 a)array.map(()=>值); [1, ...

  9. JavaScript Array.map

    Array.prototype.map() History Edit This article is in need of a technical review. Table of Contents ...

  10. js array map() 函数的简单使用

    语法: array.map(function(currentValue,index,arr), thisValue) currentValue:必须.当前元素的值 index:可选.当前元素的索引值 ...

随机推荐

  1. Java面向对象的三大特性之一 多态

    多态: 子类重写父类方法 1)位置:子类和父类中有同名的方法 2)方法名相同,返回类型和修饰符相同,参数列表相同       方法体不同 多态的优势和应用场合 多态:同一个引用类型,使用不同的实例而执 ...

  2. CPU使用率过高分析方法

    项目过程中发现,应用服务器经常会出现CPU使用率较高的情况,需要定位出具体代码问题. 1.用top命令,根据CPU使用率排序,找出消耗cpu最高的进程 2.找出该进程下消耗CPU最高的线程(命令:to ...

  3. vivado自动化tcl实现(更新中)

    ug1197-vivado-high-level-productivity vivado中如何使用自动化工具进行设计?用过的项目有AD9361提供的官方例子中,使用了自动化方式,可以借鉴.

  4. 多War包合并,jetty测试

    模块间的相互依赖引用配置在pom.xml中加入要依赖的模块即可<dependency>    <groupId>com.exayong</groupId>    & ...

  5. 堆排序python实现

    def MAX_Heapify(heap,HeapSize,root):#在堆中做结构调整使得父节点的值大于子节点 left = 2*root+1 right = left + 1 larger = ...

  6. [AOP] 之让人一脸蒙哔的面向切面编程

    最近接触到了面向切面编程,看来很多的文档,算是有一点点了解了,趁自己还有点印象,先把它们给写出来 什么是AOP AOP(Aspect-Oriented Programming), 即 面向切面编程. ...

  7. Mysql数据库文件迁移并修改默认数据文件存储位置

    环境: 1.两台Win10电脑 2.MySql5.6 过程: 1.原电脑停止MySql服务 2.复制C:\ProgramData\MySQL\MySQL Server 5.6\data文件夹到目标电脑 ...

  8. springBoot AOP学习(一)

    AOP学习(一) 1.简介 AOp:面向切面编程,相对于OOP面向对象编程. Spring的AOP的存在目的是为了解耦.AOP可以让一切类共享相同的行为.在OOP中只能通过继承类或者实现接口,使代码的 ...

  9. python day10作业答案

    2.def func(*args): sum = 0 for i in args: sum=sum+int(i) return sum a=func(2,3,9,6,8) print(a) 3. a= ...

  10. 【Python】多进程2

    #练习:测试单进程和多进程执行效率 import multiprocessing import time def m1(x): time.sleep(0.01) return x * x if __n ...