自定义UDF
package hive.udf;import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDF;/*** UDF的说明文档* name是UDF的名称* value是desc function xx输出的内容* extended是desc function extended xx输出的内容**/@Description(name="uppernum",value="_FUNC_ the input is a num, the output is the UpperNum",extended="Example:\n" +"> select uppernum(1) from src \n")public class UpperNumUDF extends UDF {/*** UDF类需要自定义evaluate方法,可以重载多个** evaluate的参数、返回值必须是hive可以序列化的类型** 参数:* 1)可以是java基本类型、String* 2)可以是Text* 3)可以包含多个参数,参数类型也可以不同* 4)可以是List<?>。如果hive表字段是Array<?>类型的,则是List** 返回值:* 1)必须有返回值,可以为null* 2)返回值只能是java基本类型、String、Writable** 可以自定义 UDFMethodResolver来手动匹配方法的执行** @param num* @return*/public String evaluate(int num) {String str = "ERROR";switch (num) {case 0:str = "零";break;case 1:str = "壹";break;case 2:str = "贰";break;case 3:str = "叁";break;case 4:str = "肆";break;case 5:str = "伍";break;default:break;}return str;}public String evaluate(String num) {int intnum = 100;try {intnum = Integer.parseInt(num);} catch (NumberFormatException e) {}return evaluate(intnum);}}
hive (test)> add jar ${env:HOME}/udf.jar;
hive (test)> create [temporary] function uppernum as 'hive.udf.UpperNumUDF';
hive (test)> select uppernum(2) from dual;OK贰Time taken: 0.118 seconds, Fetched: 1 row(s)hive (test)> select uppernum(5) from dual;OK伍
hive (test)> desc function uppernum;OKuppernum the input is a num, the output is the UpperNumTime taken: 0.138 seconds, Fetched: 1 row(s)hive (test)> desc function extended uppernum;OKuppernum the input is a num, the output is the UpperNumExample:> select uppernum(1) from srcTime taken: 0.138 seconds, Fetched: 4 row(s)
hive> drop [temporary] function uppernum;OKTime taken: 0.221 seconds
附件列表
自定义UDF的更多相关文章
- Hive UDF IP解析(二):使用geoip2数据库自定义UDF
开发中经常会碰到将IP转为地域的问题,所以以下记录Hive中自定义UDF来解析IP. 使用到的地域库位maxmind公司的geoIP2数据库,分为免费版GeoLite2-City.mmdb和收费版Ge ...
- 自定义udf添加一列
//创建得分窗口字典 var dict= new mutable.HashMap[Double, Int]() ){ dict.put(result_Score(i),i) } //自定义Udf函数 ...
- 2.13 Hive中自带Function使用及自定义UDF编程
UDF:User Definition Function 一.function #查看自带的函数 hive (db_hive)> show functions; #查看一个函数的详细用法 hiv ...
- 自定义UDF函数应用异常
自定义UDF函数应用异常 版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/QQ技术交流群:299142667 ...
- 如何给Apache Pig自定义UDF函数?
近日由于工作所需,需要使用到Pig来分析线上的搜索日志数据,散仙本打算使用hive来分析的,但由于种种原因,没有用成,而Pig(pig0.12-cdh)散仙一直没有接触过,所以只能临阵磨枪了,花了两天 ...
- Hive 自定义UDF操作步骤
Hive 自定义UDF操作步骤 需要自定义类,然后继承UDF 然后在方法envluate()方法里面实现具体的业务逻辑,打包上传到linux(以免出错打包成RunningJar) 一.创建临时函数 ( ...
- 【Spark篇】---SparkSQL中自定义UDF和UDAF,开窗函数的应用
一.前述 SparkSQL中的UDF相当于是1进1出,UDAF相当于是多进一出,类似于聚合函数. 开窗函数一般分组取topn时常用. 二.UDF和UDAF函数 1.UDF函数 java代码: Spar ...
- 047 SparkSQL自定义UDF函数
一:程序部分 1.需求 Double数据类型格式化,可以给定小数点位数 2.程序 package com.scala.it import org.apache.spark.{SparkConf, Sp ...
- Spark(十三)【SparkSQL自定义UDF/UDAF函数】
目录 一.UDF(一进一出) 二.UDAF(多近一出) spark2.X 实现方式 案例 ①继承UserDefinedAggregateFunction,实现其中的方法 ②创建函数对象,注册函数,在s ...
随机推荐
- CentOS6.7-64bit编译hadoop2.6.4
1.下载maven(apache-maven-3.3.3-bin.tar.gz) http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries ...
- KahaDB简介
ActiveMQ 5.3以后,出现了KahaDB.她是一个基于文件支持事务的消息存储器,是一个可靠,高性能,可扩展的消息存储器. 她的设计初衷就是使用简单并尽可能的快.KahaDB的索引使用一 ...
- POJ 2083 Fractal 分形题目
这两天自学了一线算法导论里分治策略的内容,秉着只有真正投入投入编程,才能更好的理解一种算法的思想的想法,兴致勃勃地找一些入门的题来学习. 搜了一下最后把目光锁定在了Poj fractal这一个题上.以 ...
- Linux系统修改防火墙配置
防火墙配置文件位置 /etc/sysconfig/iptables 需要开放端口,请在里面添加一条内容即可: 1 -A RH-Firewall-1-INPUT -m state --state NEW ...
- php里use关键字与class_alias的作用域区别
use可以用在命名空间下,也可以不用再命名空间下,他在两者中的作用是一致的,都是在编译的时候执行,不真正的加载类,因为是编译的时候执行,所以只能在全局环境使用,及不能使用在方法内部,条件判断内部. 引 ...
- picker(级联)组件及组件封装经验
组件封装的几个经验 a.参数:最佳方式,仅一个object参数,所需要的实际参数,作为对象属性传入. 如此,便于数据的处理和扩展.例如,后期扩展需要增加参数,或者调整参数时,如果使用的对象传入,老的调 ...
- TCP长连接的一些事儿
1.TCP的特点以及与应用 TCP提供一种面向连接的.可靠的字节流服务.面向连接意味着两个使用TCP的应用(通常是一个客户和一个服务器)在彼此交换数据包之前必须先建立一个TCP连接.TC ...
- Ubuntu 配置Tomcat环境(转载)
Ubuntu 配置Tomcat环境 1.下载Tomcat http://tomcat.apache.org/,下载Tomcat 8(由于目前最新eclipse不支持tomcat 9) 将下载的ap ...
- 分布式理论(七)—— 一致性协议之 ZAB
前言 在前面的文章中,我们说了很多一致性协议,比如 Paxos,Raft,2PC,3PC等等,今天我们再讲一种协议,ZAB 协议,该协议应该是所有一致性协议中生产环境中应用最多的了.为什么呢?因为他是 ...
- vue简单的脚手架搭建项目
第一步 node环境安装 1.如果本机没有安装node运行环境,下载node安装包进行安装 下载地址:https://nodejs.org/en/或者http://nodejs.cn/ 第二步 nod ...