hive Tutorial

hive数据单元按照粒度从大到小，依次为

1、数据库database：可以用show databases; 命令查看所有的数据库，并用use d1; 命令来选中d1数据库，接下来就可以操作d1数据库中的表了。

2、表table：可以用show tables; 命令查看当前库中所有的表。

3、分区partition：每一个表都可以有一个或者多个分区key，这些分区key决定了数据的存储方式。分区，除了作为存储单元外，还允许用户有效地识别满足特定标准的行。分区key的每一个值都定义了该表的一个分区。例如，某表有一个string类型的date_partition和一个string类型的country_partition，则"2009-12-23"中的所有"US"数据属于该表的同一个分区。因此，如果仅对"2009-12-23"的"US"数据进行分析，则只会在表的相关分区上运行查询，从而显著加快分析速度。分区列是虚拟列，它们不是数据本身的一部分，而是在加载时派生的。

4、桶bucket：每个分区中的数据又可以基于表的某些列的hash值被划分为桶。桶可用于有效地采样数据。

值得注意的是，表分区和桶不是必须的，但这些可以使得系统在查询处理期间过滤掉大量数据，从而加快查询执行速度。

Hive字段支持原始类型及复杂类型：

原始类型：

整型，有tinyint(1字节整数)、smallint(2字节整数)、int(4字节整数)、bigint(8字节整数)；

boolean类型，true或者false；

浮点数，有float(单精度)和double(双精度)；

定点数(fixed point number)，decimal；

字符串类型，有string、varchar、char；

日期和时间类型，有timestamp和date；

二进制类型(binary type)，binary(字节序列)。

需要额外注意的是，string类型可以被隐式转为double类型。

复杂类型：

struct：如column c的类型是struct {a int; b int}，则a的值可以通过c.a得到

map：

array：里面的元素类型必须相同。如column a的类型是array，则可以通过a[0]、a[1]获取第一、二个元素

内建的运算符和函数

可以在beeline命令行使用show functions; 命令查看所有的运算符和函数。

还可以用describe function function_name; 命令查看某运算符或函数的用法解释。

实际发现，大多数运算符和函数都和java中的运算符和方法作用一样，遇到不一样的，再describe function 查看具体用法即可。

聚合函数返回值类型：

除count返回bigint类型外，sum、avg、min和max都返回double类型。

Hive SQL能做什么？

1、常规的DDL语句，create、drop、alter

2、常规的DML语句，load、insert、update、delete、select、where、join、group by、union

3、把查询结果存储到另外一个表中、hdfs中

4、把hive表的内容下载到本地目录

5、Ability to plug in custom scripts in the language of choice for custom map/reduce jobs