Hive文件与记录格式

1. Hive文件与记录格式

Create table 有多种用法，例如STORED AS SEQUENCEFILE, ROW FORMAT DELIMITED, SERDE, INPUTFORMAT, OUTPUTFORMAT 这些语法。

某些语法是其他语法的快捷用法，例如：

语法 STORED AS SEQUENCEFILE 的替代方式是：指定INPUTFORMAT 为 org.apache.hadoop.mapred.SequenceFileInputFormat，并指定 OUTPUTFORMAT 为 org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat。

下面创建一些表，然后使用 DESCRIBE TABLE EXTENDED 语句查看下内部实际变化情况。首先创建一个简单表：

> create table text(x int);

hive> describe extended text;

OK

x                       int

Detailed Table Information

Table(tableName:text, dbName:default, owner:hadoop, createTime:1559016716, lastAccessTime:0, retention:0,

sd:StorageDescriptor(

cols:[FieldSchema(name:x, type:int, comment:null)],

location:hdfs://ip-10-0-2-70.cn-north-1.compute.internal:8020/user/hive/warehouse/text,

inputFormat:org.apache.hadoop.mapred.TextInputFormat,

outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat,

compressed:false,

numBuckets:-1,

serdeInfo:SerDeInfo(

name:null,

serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe,

parameters:{serialization.format=1}

),

bucketCols:[], sortCols:[], parameters:{},

skewedInfo:SkewedInfo(

skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}

),

storedAsSubDirectories:false),

partitionKeys:[], parameters:{totalSize=0, numRows=0, rawDataSize=0, COLUMN_STATS_ACCURATE={"BASIC_STATS":"true"}, numFiles=0, transient_lastDdlTime=1559016716},

viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE, rewriteEnabled:false)

Time taken: 0.132 seconds, Fetched: 3 row(s)

然后再使用 STORED AS DEQUENCEFILE 语句创建一张表，用于对比：

> create table seq(x int) stored as sequencefile;

> describe extended seq;

OK

x                       int

Detailed Table Information

Table(tableName:seq, dbName:default, owner:hadoop, createTime:1559017290, lastAccessTime:0, retention:0,

sd:StorageDescriptor(

cols:[FieldSchema(name:x, type:int, comment:null)],

location:hdfs://ip-10-0-2-70.cn-north-1.compute.internal:8020/user/hive/warehouse/seq,

inputFormat:org.apache.hadoop.mapred.SequenceFileInputFormat,

outputFormat:org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat,

compressed:false, numBuckets:-1,

serdeInfo:SerDeInfo(

name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe,

parameters:{serialization.format=1}

),

bucketCols:[], sortCols:[], parameters:{},

skewedInfo:SkewedInfo(

skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}

),

storedAsSubDirectories:false

),

partitionKeys:[], parameters:{totalSize=0, numRows=0, rawDataSize=0, COLUMN_STATS_ACCURATE={"BASIC_STATS":"true"}, numFiles=0, transient_lastDdlTime=1559017290}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE, rewriteEnabled:false)

两者差异很明显：STORED AS SEQUENCEFILE 与默认的InputFormat 和 OutputFormat的值不一样：

inputFormat:org.apache.hadoop.mapred.TextInputFormat,

outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat,

inputFormat:org.apache.hadoop.mapred.SequenceFileInputFormat,

outputFormat:org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat,

在从表中读取数据时，Hive 会使用InputFormat，在向表写入数据时，会使用OutputFormat。InputFormat会从文件中读取key-value对。默认情况下，Hive会直接忽略掉key的内容，而是只有value中的数据。因为key来自于TextInputFormat，是每行的字节偏移量，并不是用户的数据。

2.文件格式

Hive中最简单的数据格式是文本文件格式，可以使用任意分隔符进行分割，同时它也是默认的文件格式，等价于：在创建时通过STORED AS TEXTFILE 语句指定使用文本存储格式

文本文件便于与其他工具共享数据，也便于查看和编辑。不过，相对于二进制文件，文本文件存储的空间要大。我们可以使用压缩，但是如果使用二进制文件存储格式的话，则既可以节约存储空间，也可以提高I/O性能。

2.1 SequenceFile

其中一种存储格式是SequenceFile文件存储格式，在定义表结构时可以通过STORED AS SEQUENCEFILE 语句指定。SequenceFile 是Hadoop生态系统中支持的标准文件格式，可以在块级别和记录级别进行压缩，这对于优化磁盘利用率和I/O来说非常有意义。同时仍然可以支持按照块级别的文件分割，以方便并行处理。Hive 所支持的另一个高效二进制文件是RCFile

2.2 RCFile

大多数Hadoop和Hive都是行式存储的，大多数场景下，这是比较高效的。高效的原因有：

1.     大多数的表具有的字段个数都不大（一般1到20个字段）

2.     对文件按块进行压缩对于需要处理重复数据的情况比较高

3.     很多的处理和调试工具（例如more、head、awk）都可以很好地应用于行式存储数据

但是对于某些特定类型的数据和应用，列式存储会更适用。例如，表中有成百上千个字段，但是大多数查询仅使用其中小部分字段，这时扫描所有的行和过滤掉大部分数据显然是很浪费的。如果数据存储是列式存储，那么仅扫描需要的列数据就可以提高性能。

对于列式存储，进行压缩通常会非常高效，特别是在这列的数据具有较低计数的时候。同时，一些列式存储并不需要物理存储null值的列。

基于这些场景，Hive中设计了RCFile。

Hive 另外一个优点是：可以很容易地在不同的存储格式间转换数据。对一个表执行一个SELECT查询时，或是向表写入执行INSERT操作时，Hive会使用这个表的metadata信息，自动执行转换过程，而不需要额外的程序来对不同存储格式进行转换。

这里我们举一个例子，首先使用ColumarSerDe、RCFileInputFormat和RCFileOutputFormat参数创建表：

> select * from a;

OK

4       5

3       2

> create table columnTable(key int, value int)

> ROW FORMAT SERDE

> 'org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe'

> STORED AS

> INPUTFORMAT 'org.apache.hadoop.hive.ql.io.RCFileInputFormat'

> OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.RCFileOutputFormat';

OK

hive> FROM a INSERT OVERWRITE TABLE columnTable SELECT a.key, a.value;

对于 RCFile 来说，无法使用通常工具打开RCFile，也无法使用通常打开SequenceFile的工具打开。例如：

>cat 000000_0

RCF    hive.io.rcfile.column.number2Ч];E3:'c
     
  
4352

不过Hive 提供了一个rcfilecat工具，用于展示RCFile文件内容：

> hive --service rcfilecat /user/hive/warehouse/columntable/000000_0

4       5

3       2

3. 记录格式：SerDe

SerDe是Serializer/Deserializer的简称。一个SerDe允许Hive从一个表读入数据，并以任意用户定义的格式写回HDFS。它包含了将一条记录的非结构化数据转化成Hive可以使用的一条记录的过程。

Hive SerDe 库在 org.apache.hadoop.hive.serde2 中（旧版本的SerDe 库在 org.apache.hadoop.hive.serde中，已经被弃用），它本身包含了一些内置的SerDes，如：

1.     Avro（Hive 0.9.1 及之后版本）

2.     ORC（Hive 0.11 及之后版本）

3.     RegEx

4.     Thrift

5.     Parquet（Hive 0.13及之后版本）

6.     CSV（Hive 0.14及之后版本）

7.     JsonSerDe（Hive 0.12 及之后版本，在hcatalog-core中）

需要注意的是：在Hive 0.12 之前的发行版中，Amazon提供了一个JSON SerDe，位于s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar

也有用户定义的SerDes，不过需要用户实现，或是使用第三方的SerDe。

 

SerDe的用途与过程有以下三点：

·       Hive 使用SerDe（以及FileFormat）读写表中的行

·       HDFS文件 --> InputFormat --> <key, value> --> Deserializer --> Row object

·       Row object --> Serializer --> <key, value> --> OutputFormat --> HDFS files

这里需要注意的是：这里的key部分在读入后是被忽略掉的（因为key来自于TextInputFormat，是每行的字节偏移量，并不是用户的数据），基本上行对象是存在value中的。

在内部，Hive 引擎使用定义的InputFormat来读取一行条目，然后此记录会被传递给SerDe.Deserializer() 方法进行处理。

以JSON SerDe为例，如果用户想使用Hive 查询JSON格式的数据。若是不使用SerDe，且每行为一个json“文件”的话，则可以在使用TextInputFormat 读入，然后使用一个JSON的SerDe 将JSON文档作为一条记录进行解析。例如：

>  create external table messages(

>    id int,

>    message string

>   )

>   row format serde "org.apache.hive.hcatalog.data.JsonSerDe"

>  location 's3://tang-emr/jsonserde/'

>  ;

JSON数据为：

{"id":1,"message":"yep"}

{"id":2,"message":"asdf"}

{"id":3,"message":"cddacddc","fa":"asf"}

hive> select * from messages;

OK

1       yep

2       asdf

3       cddacddc

References：

1. Hive 编程指南

2. https://cwiki.apache.org/confluence/display/Hive/SerDe