05_Hive分区总结

2.1.创建分区表并将本地文件的数据加载到分区表：

　　使用下面的命令来创建一个带分区的表

　　　

　　通过partitioned by(country string)关键字声明该表是分区表，且分区字段不能为create table时存在的字段。此

时只能说指定了这个表会分区，但是具体数据有哪些分区则会在导入数据时产生

　　使用下面的命令来指定具体导入到哪个分区：

　　

　　查询该分区表：select * from t_part;

　　

　　此时分区字段已经变成一个伪字段了。如果要分区查询，可以使用Where或者Group by来进行限定；

2.2.Hive中上传数据：　

　　之前我们直接将数据文件上传到了Hive表所在的数据目录，其实Hive还提供了一个Load命令供我们将数据进行上传

　　语法结构：Load

　　LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO
　　TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

　　参数说明：

　　Load 操作只是单纯的复制/移动操作，将数据文件移动到 Hive 表对应的位置。

　　filepath：

　　　　相对路径，例如：project/data1

　　　　绝对路径，例如：/user/hive/project/data1

　　　　包含模式的完整 URI，列如：hdfs://namenode:9000/user/hive/project/data1

　　LOCAL关键字

　　　　如果指定了 LOCAL， load 命令会去查找本地文件系统中的 filepath

　　　　如果没有指定 LOCAL关键字，则根据inpath中的uri查找文件

　　OVERWRITE 关键字

　　　　若使用了 OVERWRITE 关键字，则目标表（或者分区）中的内容会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中

　　　　如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。

2.3.Hive修改表_增加/删除分区：

语法结构
ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec [ LOCATION 'location1' ] 
partition_spec [ LOCATION 'location2' ] ...
partition_spec:
: PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

ALTER TABLE table_name DROP partition_spec, partition_spec,...

　　增加分区：alter table t_part add partition (country='American');

　　删除分区：alter table t_part drop partition (country='American');

　　查看分区数据：

　　

　　查看分区：show partitions t_part;

　　

 　总结：分区的目的就是提高查询效率，查询分区数据的方式就是指定分区名，指定分区名之后就不再全表扫描，直接从指

定分区（如name=jack的分区）中查询，从hdfs的角度看就是从相应的文件系统中（如country=‘China’文件夹下）去查找

特定的数据