Hive数据仓库笔记（二）

分区和桶：

 

分区:可以提高查询的效率，只扫描固定范围数据，不用全部扫描

CREATE TABLE logs (ts BIGINT, lineSTRING) PARTITIONED BY (dt STRING, country STRING);

通过关键字PARTITIONED BY 定义分区表

LOAD DATA LOCAL INPATH '/home/data/file1'

INTO TABLE logs

PARTITION (dt='2001-01-01',country='GB');

加载数据到分区表的时候，分区字段的值需要被明确指定。

当在导入一些数据，可以看到Hive分区表的目录结构：

/user/hive/warehouse/logs

├── dt=2001-01-01/

│├── country=GB/

││ ├── file1

││ └── file2

│└── country=US/

│└── file3

└── dt=2001-01-02/

├── country=GB/

│└── file4

└── country=US/

├── file5

└── file6

查看分区表的分区信息：

hive> SHOW PARTITIONS logs;

dt=2001-01-01/country=GB

dt=2001-01-01/country=US

dt=2001-01-02/country=GB

dt=2001-01-02/country=US

只查跟该分区相关的信息：

SELECT ts, dt, line

FROM logs

WHERE country='GB';

桶表：

组织表或者分区表为桶表的两个原因：

1.      提高查询效率针对Map  join

2.      使取样更高效

创建桶表：

CREATE TABLE bucketed_users (id INT,name STRING)

CLUSTERED BY (id) INTO 4 BUCKETS;

指明分桶的列和数量

CREATE TABLE bucketed_users (id INT,name STRING)

CLUSTERED BY (id) SORTED BY (id ASC)INTO 4 BUCKETS;

排序使Map join更加高效

创建users表

CREATE TABLE users (id int, name String )

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t';

导入测试数据：

LOAD DATA LOCAL INPATH '/home/data/users.txt'

OVERWRITE INTO TABLE users ;

为了hive识别创建表时定义的桶的数量设置 hive.enforce.bucketing属性为true.

set hive.enforce.bucketing=true

将users表的数据导入：

INSERT OVERWRITE TABLE bucketed_users

SELECT * FROM users

通过hadoop dfs -ls /user/hive/warehouse/bucketed_users; 查看可以知道每个桶代表一个文件，4个桶就是4个文件。

每个桶有一部分数据

通过以下命令查看：

hive> dfs -cat/user/hive/warehouse/bucketed_users/000000_0;

0Nat

4Ann

TABLESAMPLE 取样数据 返回表的1/4

hive> SELECT * FROM bucketed_users

> TABLESAMPLE(BUCKET 1 OUT OF 4 ON id);

4 Ann

0 Nat

返回表数据的1/2

hive> SELECT * FROM bucketed_users

> TABLESAMPLE(BUCKET 1 OUT OF 2 ON id);

4 Ann

0 Nat

2 Joe

如果对没有分桶的表进行取样，使用rand()函数，即使只是取样一部分数据，也会扫描整个数据集。

hive> SELECT * FROM users

> TABLESAMPLE(BUCKET 1 OUT OF 4 ONrand());

2 Joe

存储格式：

默认的存储方式：Delimited text  分隔符是Ctrl-A

因此CREATE TABLE ...;就相当于

CREATE TABLE ...

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\001'

COLLECTION ITEMS TERMINATED BY '\002'

MAP KEYS TERMINATED BY '\003'

LINES TERMINATED BY '\n'

STORED AS TEXTFILE;

Binary storage formats: Sequence files,Avro datafiles, Parquet files, RCFiles, and ORCFiles

二进制格式分为：面向列的格式和面向行的格式

面向列的格式处理表里列少的情况，面向行的格式处理单行里列比较多的情况。

Hive支持的面向行的两种格式：Avrodatafiles、sequence files

表被存储成Avro格式：

SET hive.exec.compress.output=true;

SET avro.output.codec=snappy;

CREATE TABLE ... STORED AS AVRO;

Hive支持的面向列的格式：Parquet,RCFile, and ORCFile

创建一个副本表使用PARQUET格式：

CREATE TABLE users_parquet STORED ASPARQUET

AS

SELECT * FROM users;

自定义SerDe:RegexSerDe：

使用自定义SerDe加载数据，SerDe需要使用正则表达式

常用的正则表达式元字符：

代码	说明
.	匹配除换行符以外的任意字符
\w	匹配字母或数字或下划线或汉字
\s	匹配任意的空白符
\d	匹配数字
\b	匹配单词的开始或结束
^	匹配字符串的开始
$	匹配字符串的结束

CREATE TABLE stations (usaf STRING, wbanSTRING, name STRING)

ROW FORMAT SERDE'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'

WITH SERDEPROPERTIES (

"input.regex" = "(\\d{6})(\\d{5}) (.{29}) .*"

);

LOAD DATA LOCAL INPATH "/home/data/stations-fixed-width.txt"

INTO TABLE stations;

自定义SerDe 从文件里读固定宽度的位置的元信息，如果不是指定的宽度，该行记录为null。

自定义SerDe效率不高。

导数据：

inserts：

INSERT OVERWRITE TABLE target

SELECT col1, col2

FROM source;

分区表：

INSERT OVERWRITE TABLE target

PARTITION (dt='2001-01-01')

SELECT col1, col2

FROM source;

动态指定分区：

INSERT OVERWRITE TABLE target

PARTITION (dt)

SELECT col1, col2, dt

FROM source;

Hive里可以把From放到前面：

FROM source

INSERT OVERWRITE TABLE target

SELECT col1, col2;

多表插入更加高效，源表只扫描一次可产生不同的输出。

FROM records2

INSERT OVERWRITE TABLE stations_by_year

SELECT year, COUNT(DISTINCT station)

GROUP BY year

INSERT OVERWRITE TABLE records_by_year

SELECT year, COUNT(1)

GROUP BY year

INSERT OVERWRITE TABLE good_records_by_year

SELECT year, COUNT(1)

WHERE temperature != 9999 AND quality IN(0, 1, 4, 5, 9)

GROUP BY year;

一个源表records，三个不同的表通过查询同一张表获得数据。

CREATETABLE...AS SELECT：

CREATE TABLE target

AS

SELECT col1, col2

FROM source;

更改表：

重命名表名：

ALTER TABLE source RENAME TO target;

添加新的列：

ALTER TABLE target ADD COLUMNS (col3STRING);

由于hive不允许更新已经存在的记录数据，所以该方法一般的替代方案是重新创建新表CTAS。

删除表：

删除数据，对于外部表只删除元数据信息，数据遗留着。

DROP TABLE my_table;

删除所有数据但保存表的定义：

TRUNCATE TABLE my_table;

TRUNCATE不支持外部表，替代方案是dfs –rmr 直接删除外部表目录。

如果创建一个新的空表跟另一个表有相同模式使用like 关键字：

CREATE TABLE new_table LIKE existing_table;

查询数据：

hive> FROM records2

> SELECT year, temperature

> DISTRIBUTE BY year

> SORT BY year ASC, temperature DESC;

1949 111

1949 78

1950 22

1950 0

1950 -11

每个ReducerSORT BY 后都会产生一个文件。

DISTRIBUTE BY 控制给定年份的数据进入相同的reducer分区，如1950 年的进入相同Reducer分区