Hive中的用户自定义函数

1.1 关于自定义函数

1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。

2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。

3）根据用户自定义函数类别分为以下三种：

​ （1）UDF（User-Defined-Function）

​ 一进一出

​ （2）UDAF（User-Defined Aggregation Function）

​ 聚集函数，多进一出

​ 类似于：count/max/min

​ （3）UDTF（User-Defined Table-Generating Functions）

​ 一进多出

​ 如lateral view explore()

4）官方文档地址

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

5）编程步骤：

​ （1）继承org.apache.hadoop.hive.ql.exec.UDF

​ （2）需要实现evaluate函数；evaluate函数支持重载；

​ （3）在hive的命令行窗口创建函数

​ a）添加jar

add jar linux_jar_path

​ b）创建function

create [temporary] function [dbname.]function_name AS class_name;

​ （4）在hive的命令行窗口删除函数

Drop [temporary] function [if exists] [dbname.]function_name;

6）注意事项

​ （1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；

1.2 案例实操

1）定义了四个UDF类，代码见：GitHub

使用方法：你可以选择在IDEA中checkout该项目，然后使用maven打成jar包后放置到hive的安装目录，“hive/lib”目录下

如：

2）在hive中执行add操作，添加所配置的jar包：

hive (default)> add jar /opt/module/hive/lib/log-hive.jar;

3）注册永久函数

hive (default)>create function getdaybegin AS 'com.bigdata.hive.DayBeginUDF';

hive (default)>create function getweekbegin AS 'com.bigdata.hive.WeekBeginUDF';

hive (default)>create function getmonthbegin AS 'com.bigdata.hive.MonthBeginUDF';

hive (default)>create function formattime AS 'com.bigdata.hive.FormatTimeUDF';

4）验证函数

​ 由于我将Hive的元数据信息选择保存在MySQL中（Hive的Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore），所以选择登录mysql

[bigdata@hadoop101 ~]$ mysql -uroot -p000000

mysql> show databases;

mysql> use metastore;

mysql> show tables;

mysql> select * from FUNCS;

下面是我在Dbeaver中查看到的表的具体信息：

可以发现四个自定义函数已经添加进去了。

关于FUNC表字段的描述：

5）删除函数

hive (applogsdb)> drop function getdaybegin;

hive (applogsdb)> drop function getweekbegin;

hive (applogsdb)> drop function getmonthbegin;

hive (applogsdb)> drop function formattime;

6）注意：在哪个数据库中注册的永久函数，必须在哪个数据库下将该方法删除

比如在applogsdb数据库中创建的方法，必须在该数据中调用drop方法才能实现删除功能。