hive的使用02

1.hive的交互方式

　　1.1 bin/hive 进入hive交互命令行环境

　　1.2 bin/hive -e 'select * from hive.student;' （可以通过 > 将结果写入到指定的文件中）

　　　　

　　1.3 bin/hive -f /opt/data/hive-select.sql （可以通过 > 将结果写入到指定的文件中）

　　　　

　　　　

2.hive命令行模式下如何访问hdfs文件系统和本地文件系统

　　2.1 访问hdfs文件系统  dfs 命令

　　　　

　　2.2 访问本地文件系统 ！命令

　　　　

3.表的创建

　　3.1 创建普通表存储格式为textfile

　　　　create table if not exists hive.employee (id int,name string,job string,manager_id int comment '上级领导id',apply_date string comment '入职时间',salary double,
　　　　　　reward double,dept_id int comment '所在部门id') comment '员工表'
　　　　　　row format delimited
　　　　　　fields terminated by '\t'
　　　　　　stored as textfile;

　　　　其中：fields terminated by '\t' 表示字段间以tab分割

　　　　　　　stored as textfile 表示存储格式为textfile(默认)

　　　　

　　　　3.1.2 创建复杂结构表

　　　　　　create table if not exists cdh_hive.teachers(
　　　　　　　　id int,
　　　　　　　　name string,
　　　　　　　　flag boolean,
　　　　　　　　score array<int>,
　　　　　　　　tech map<string,string>,
　　　　　　　　other struct<phone:string,email:string>
　　　　　　) row format delimited
　　　　　　fields terminated by '\;'
　　　　　　collection items terminated by ','
　　　　　　map keys terminated by ':';

　　　　　　其中：fields terminated by '\;' 表示字段间以分号分割

　　　　　　　　   collection items terminated by ','  表示集合字段中各个元素间以，分割

　　　　　　　      map keys terminated by ':';　　表示map字段中键值直接以：分割

　　　　　　以下是测试数据：

　　　　　　1;test1;false;100,85,52;age:29,sex:m;\N,\N
　　　　　　2;test2;true;25,35;\N;021-111111,192165@qq.com
　　　　　　3;test3;true;\N;age:20,sex:F,height:168;\N,3@qq.com
　　　　　　4;test4;true;\N;\N;021-44444444,\N
　　　　　　5;;true;1,2,3;;021-44444444,

　　　　　　

　　3.2 创建外部表（删除表是不删除数据文件）

　　　　create external table if not exists hive.dept(id int,name string,address string) comment '部门表'
　　　　　　row format delimited
　　　　　　fields terminated by '\t'
　　　　　　stored as textfile
　　　　　　location '/user/yanglin/data/hive/dept';

　　  　其中 external 表示创建的是外部表，默认不写为管理表

　　　　　　location 表示数据所在hdfs上的目录

　　　　

　　3.3 创建分区表

　　　　create external table if not exists hive.dept_partition(id int,name string,address string)
　　　　　　partitioned by (day string)
　　　　　　row format delimited
　　　　　　fields terminated by '\t';

　　　　其中 partitioned by 指定了分区字段，可以指定多个（mouth stirng,day string）

　　　　

　　　　分区表中数据的加载问题：

　　　　3.3.1  load data local inpath '/opt/data/dept.txt' into table dept_partition partition (day='20160901');

　　　　　　

　　　　3.3.2 直接创建目录，把数据放入到指定的目录中，不能查询到数据

　　　　　　

　　　　　　

　　　　　　需要进行修复：

　　　　　　　　修复方式一：msck repair table dept_partition;

　　　　　　　　　　

　　　　　　　　修复方式二：alter table dept_partition add partition(day=20160903);

　　　　　　　　　　

　　3.4 通过like 语句创建表 create table hive.dept_like like hive.dept;

　　　　

　　3.5 通过as select 创建表　　create table hive.dept_select as select * from dept;

　　　　

4.加载数据到表中

　　4.1 通过load语句进行加载数据

　　　　load data [local] inpath 'filepath' [overwrite] into table tablename [partition (partcol1=val1,partcol2=val2 ...)]

　　　　其中：1、如果数据文件在本地需要local，如果在hdfs上不加local

　　　　　　　2、如果要覆盖表中原有的数据需要 overwrite ,如果在原有数据的基础上添加数据不加 overwrite

　　　　　　　3、如果是分区表需要制定partition 分区字段

　　4.2 通过insert into 语句进行加载数据

　　　　insert into table hive.dept_into select * from hive.dept;

　　4.3 创建表时通过location 指定数据所在的目录，例3.2

　　4.4 通过import语句进行导入

　　　　import table hive.employee_like from '/user/yanglin/data/export/employee';

　　　　

5.数据的导出

　　5.1 通过insert 方法将结果导入到指定的文件中

　　　　insert overwrite local directory '/opt/data/hive_dept_exp' select * from dept;

　　　　

　　　　

　　　　我们可以对输出的内容进行格式化：

　　　　　　insert overwrite local directory '/opt/data/hive_dept_exp_format'

　　　　　　　　row format delimited fields terminated by '\t' collection items terminated by '\n'
　　　　　　　　select * from dept;

　　　　　　其中，不加local时表示将内容放入到hdfs文件系统中。

　　　　　　

　　5.2 使用 > 将查询结果放入指定的文件中

　　　　　　bin/hive -e 'select * from hive.dept;' > /opt/data/hive_dept_exp_e

　　　　　　　　

　　　　　　bin/hive -f /opt/data/hive-select.sql > /opt/data/hive_user_exp_f

　　　　　　　　

　　5.3 使用sqoop进行数据导入和导出

　　　　　在接下来的文章中进行讲解。

　　5.4 使用export进行导出

　　　　export table hive.employee to '/user/yanglin/data/export/employee'；

　　　　注意：这里的路径为hdfs文件系统上的路径