《OD学hive》第五周0723

https://cwiki.apache.org/confluence/display/Hive/LanguageManual

一、创建表

create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

describe formatted student;

load data local inpath '/opt/datas/student.txt' into table test.student;

二、函数

show functions;

describe function extended upper;

select id, upper(name) from test.student;

三、设置

cat .hiverc
set hive.cli.print.header=true;
set hive.cli.print.current.db=true;

hive --hiveconf hive.root.logger=INFO,console

四、hive数据仓库位置配置

默认位置 /user/hive/warehouse

注意：

在仓库目录下，没有对默认的数据库default创建文件夹；

如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹，目录名称为表名；

在hive中使用dfs命令： dfs -rm -R /user/hive/warehouse/bf_log;

查看设置 set system:user.name;

执行设置 set system:user.name=beifeng;

此种方式进行设置，仅仅在当前session生效。

五、hive的几种交互方式

1. hive -e "select * from test.student;"

2. hive -f <filename>

hive -f hivef.sql > result.txt

3. hive -i <filename>

在hive cli命令窗口如何查看hdfs文件系统：

dfs -ls /

在hive cli命令窗口如何查看本地文件系统：

!ls /

六、数据类型

datatype:

1. primitive_type：

（1）Numeric Types：

TINYINT,SMALLINT,INT,BIGINT,FLOAT,DOUBLE,DECIMAL

（2）Date/Time Types

TIMESTARMP,DATE

（3）String Types

STRING,VARCHAR,CHAR

（4）Misc Types

BOOLEAN, BINARY

（5）Complex Types

arrays,maps,structs,union

2. array_type

3. map_type

4. struct_type

5. union_type

python

>> content

<< ip, req_url, http_ref

使用脚本语言

1）table,load　　 E

2) select, python T

3) sub table 　　  L

七、表类型

1. MANAGED_TABLE

2. EXTERNAL_TABLE

3. 分区表

分区表实际上就是对应一个HDFS系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。

在查询时通过where子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多。

create table dept_partition

(

deptno int,

deptname string,

loc string

)

partitioned by (event_month string)

row format delimited fileds terminated by '\t';

msck repair table dept_partition;

alter table dept_partition add partition(day='20160720');

show partitions dept_partition;

八、导入数据的六大方式

1. 加载本地文件到hive表

load data local inpath 'filepath' into table default.emp;

2. 加载hdfs文件到hive中

load data inpath 'filepath' into table default.emp;

3. 加载数据覆盖表中已有的数据

load data inpath 'filepath' overwrite into table default.emp;

4. 创建表时通过insert加载

create table default.emp_cli like emp;

insert into table default.emp_cli select * from default.emp;

5. 创建表时通过select 加载

6. 创建表时通过location指定加载

九、导出数据的几种方式

1.

insert overwrite local directory '/opt/datas/hive_exp_emp' select * from default.emp;

2.

insert overwrite local directory '/opt/datas/hive_exp_emp3' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY '\n' select * from default.emp;

3.

hive -e "select * from default.emp" > /opt/datas/exp_res.txt

4.

insert overwrite directory '/user/hive/warehouse/hive_exp_emp4' select * from default.emp;

十、Hive常见查询

1. 常见select

select t.empno, t.ename, t.deptno from emp t;

select * from emp limit 5;

select t.empno, t.ename, t.deptno from emp t where t.sal between 800 and 1500;

select t.empno, t.ename, t.deptno from emp t where t.comm is null;

2.  max/min/count/sum/avg

desc function extended max;

select count(*) cnt from emp;

select max(sal) max_sal from emp;

select sum(sal) from emp;

select avg(sal) from emp;

3. group by / having 分组

（1）每个部门的平均工资

select t.deptno, avg(t.sal) as avg_sal from emp t group by t.deptno;

（2）每个部门中每个岗位的最高薪水

select t.deptno, t.job, avg(t.sal) as avg_sal from emp t group by t.deptno, t.job;

（3）having

where 是针对单条记录进行筛选

having 是针对分组结果进行筛选

（4）求每个部门的平均薪水大于2000的部门

select deptno, avg(sal) avg_sal from emp group by deptno having avg_sal > 2000;

4. join

（1）

等值join

m n

m表中一条记录和n表中的一条记录组成一条记录

join ...on

select e.empno, e.ename, e.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;

（2）左连接

select e.empno, e.ename, e.deptno, d.dname from emp e left join dept d on e.deptno = d.deptno;

（3）右连接

select e.empno, e.ename, e.deptno, d.dname from emp e right join dept d on e.deptno = d.deptno;

十一、导入导出

1.  EXPORT：

导出，将Hive表中的数据，导出到外部；

EXPORT TABLE tablename TO 'export_target_path'

export_target_path: HDFS上的路径

EXPORT TABLE default.emp to '/user/hive/warehouse/export/emp_exp';

2. IMPORT：

导入，将外部数据导入Hive表中；

IMPORT [EXTENAL] TABLE new_orginal

create table db_hive_01.emp like default.emp;

import table db_hive_01.emp from '/user/hive/warehouse/export/emp_exp';

十二、order by、sort by、distribute by、cluster by

1. order by

全局排序，一个Reduce

select * from emp order by empno desc;

2. sort by

每个reduce内部进行排序，全局结果集不是排序

select * form emp sort by empno asc;

set mapreduce.job.reduces=3;

insert overwrite local directory '/opt/datas/sortby-res' select * from emp sort by empno asc;

3. distribute by

类似MR中partition，进行分区，结合sort by使用

insert overwrite local directory '/opt/datas/distbyby-res' select * from emp distribute by deptno sort by empno asc;

注意事项：

distribute by必须要在sort by 之前

4. cluster by

当distribute by和sort by字段相同时，可以使用cluster by；

insert overwrite local directory '/opt/datas/clusterby-res' select * from emp cluster by empno;

十三、Hive中自带Function使用和自定义UDF编程及使用