Hive进阶(上)

Hive进阶(上)

Hive进阶(上)

执行数据导入

使用Load语句

语法：

1.LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]

说明：

[LOCAL]：从操作系统中的一个目录中进行导入，如果不写LOCAL则为hdfs的数据导入

INPATH：为导入的路径，后面指明文件目录路径，如不指明文件名，则将目录下的所有文件进行导入

[OVERWRITE]：是否要覆盖表中已经存在的数据

INTO TABLE：后面跟表名，如果导入的是个分区表，还可以通过PARTITION指明导入到哪个分区当中

数据查询排序

语法：

1.SELECT [ALL | DISTINCT] select_expr,select_expr,...
2.FROM table_reference
3.[WHERE where_condition]
4.[GROUP BY col_list]
5.[CLUSTER BY col_list
6.    |[DISTRIBUTE BY col_list][SORT BY col_list]
7.    |[ORDER BY col_list]]
8.[LIMIT number]

DISTRIBUTE BY：指定分发器(Partitioner)，多Reducer可用

使用where执行过滤

使用order by执行排序，要降序操作只需要在后面加上desc，若想在查询的时候使用列序号，可以执行set hive.groupby.orderby.position.alias=true;

简单查询的Fetch Task功能

在此状态下就不会开启Map Reduce作业，从Hive0.10.0版本开始支持

配置方式：

• set hive.fetch.task.conversion=more;
• hive --hiveconf hive.fectch.task.conversion=more
• 修改hive-site.xml文件(永久生效)

Hive的内置函数

数学函数

1.--四舍五入
2.select round(45.926,2),round(45.926,1),round(45.926,0),round(45.926,-1),round(45.926,-2);

执行结果：

1.45.93  45.9  46.0  50.0  0.0

1.--向上取整
2.select ceil(45.926);

执行结果：

1.46

1.--向下取整
2.select floor(45.926);

执行结果：

1.45

字符函数

大小写：

1.select lower('Hello World'),upper('Hello World');

执行结果：

1.hello world   HELLO WORLD

字符数：

1.select length('Hello World'),length('你好');

执行结果：

1.11    2

拼加字符串：

1.select concat('Hello',' World')

执行结果：

1.Hello World

求子串：

substr(a,b)：从a中，第b位开始取，取右边所有的字符

1.select substr('Hello World',3);

执行结果：

1.llo World

substr(a,b,c)：从a中，第b位开始取，取c个字符

1.select substr('Hello World',3,4);

执行结果：

1.llo 

去掉前后的空格：trim()

左填充：lpad()

右填充：rpad()

1.select lpad('abcd',10,'*'),rpad('abcd',10,'*');

执行结果：

1.******abcd       abcd******

收集函数和转换函数

• 收集函数size()

1.select size(map(<key,value>,<key,value>...))

• 转换函数cast()

1.select cast(1 as float);

日期函数

• to_date ：取出一个字符串中日期的部分
• year ：取出一个日期中的年
• month ：取出一个日期中的月
• day ：取出一个日期的日
• weekofyear ：返回一年中的第几周
• datediff ：两个日期之间的相隔天数
• date_add ：日期之上加上几天
• data_sub ：日期之上减去几天

条件函数

• coalesce：从左到右返回第一个不为null的值
• case...when...：条件表达式

1.CASE a WHEN b THEN c [WHEN d THEN e]*[ELSE f] END

例如：

1.给员工涨工资，总裁1000，经理800，其他400
2.
3.select ename,job.sal,
4.       case job when 'PRESIDENT' then sal+1000
5.                when 'MANAGER' then sal+800
6.                else sal+400
7.       end
8.from emp;

当然上面写法是为了好看，在hive把换行符去掉即可

聚合函数和表生成函数

• 聚合函数
  • count：求个数
  • sum：求和
  • min：求最小值
  • max：求最大值
  • avg：求平均
• 表生成函数
  
  • explode
    
    例如：

1.select explode(map(1,'Tom',2,'Mary',3,'Mike'));

执行：

1.1     Tom
2.2     Mary
3.3     Mike