hive java编写udf函数
(一)创建JAVA 代码--例子
package hiveOpt;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public class splitMax extends UDF {
public static int getMax(String[] arr) {
                int max = Integer.valueOf(arr[0]);
                for (int i = 1; i < arr.length; i++) {
                        if (Integer.valueOf(arr[i]) > max) {
                                max = Integer.valueOf(arr[i]);
                        }
                }
                return max;
        }
public Text evaluate(String mdimlr)
{
                Text result = new Text();
                String[] a = mdimlr.split(",");
result.set(String.valueOf(getMax(a)));
                return result;
}
}
(二)上传jar到hdfs
hadoop fs -put /data/soft/splitMax.jar /tmp
(三)登录hive命令行加载jar
hive> add jar hdfs:///tmp/splitMax.jar;
hive> create temporary function splitmax as 'hiveOpt.splitMax';
hive> show funcations
hive> select splitmax(id) from wobcongfu;
( 四)测试自定义函数
select phone_num,max(myCol1)
  from temp_qiu_test1
  LATERAL VIEW explode(split(col1,',')) myTable1 AS myCol1
  group by phone_num;
hive java编写udf函数的更多相关文章
- pyspark 编写 UDF函数
		
pyspark 编写 UDF函数 前言 以前用的是Scala,最近有个东西要用Python,就查了一下如何编写pyspark的UDF. pyspark udf 也是先定义一个函数,例如: def ge ...
 - 用java编写一个函数,用于计算桌子的面积,可计算任意边长的桌子
		
/* *桌子实体类,有属性和方法 */public class Table { String name; // 声明桌子名称 Double width; // 声明桌子宽度 Doub ...
 - Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十五)Spark编写UDF、UDAF、Agg函数
		
Spark Sql提供了丰富的内置函数让开发者来使用,但实际开发业务场景可能很复杂,内置函数不能够满足业务需求,因此spark sql提供了可扩展的内置函数. UDF:是普通函数,输入一个或多个参数, ...
 - Atiitt 使用java语言编写sql函数或存储过程
		
Atiitt 使用java语言编写sql函数或存储过程 1.1. java编写sql函数或存储过程的机制1 1.2. Java编写sp的优点1 1.3. 支持java源码,class文件,blog f ...
 - Hive的内置函数
		
定义: UDF(User-Defined-Function),用户自定义函数对数据进行处理. UDTF(User-Defined Table-Generating Functions) 用来解决 输入 ...
 - 如何编写自定义hive UDF函数
		
Hive可以允许用户编写自己定义的函数UDF,来在查询中使用.Hive中有3种UDF: UDF:操作单个数据行,产生单个数据行: UDAF:操作多个数据行,产生一个数据行. UDTF:操作一个数据行, ...
 - hive 中简单的udf函数编写
		
.注册函数,使用using jar方式在hdfs上引用udf库. $hive.注销函数,只需要删除mysql的hive数据记录即可. delete from func_ru ; delete from ...
 - HIVE 编写自定义函数UDF
		
一 新建JAVA项目 并添加 hive-exec-2.1.0.jar 和hadoop-common-2.7.3.jar hive-exec-2.1.0.jar 在HIVE安装目录的lib目录下 had ...
 - hive下UDF函数的使用
		
1.编写函数 [java] view plaincopyprint?package com.example.hive.udf; import org.apache.hadoop.hive.ql. ...
 
随机推荐
- springmvc log4j 配置
			
web.xml 增加 <context-param> <param-name>log4jConfigLocation</param-name> <param- ...
 - 试着把.net的GC讲清楚(2)
			
试着把.net的GC讲清楚(1) 上篇文章说了一些基本概念的东西,然后还有很多东西概念没有头绪,这篇文章我试着解释 GC的回收算法详细步骤? 上篇]文章讲了.net GC的算法是Mark and Co ...
 - CodeForces 586D
			
题意略. 将人的移动分为3步,第一步向右,第二步是行之间的变换,第三步是向右走2步,三步加在一起算作是一次移动,计入判重数组. 在第一步时有一个特殊情况:已经越过最右边的边界线,这时graph[x][ ...
 - canvas-缩放
			
Canvas-图片缩放 由上一篇canvas-旋转的例子可以了解到canvas的一些特性,不熟悉的同学可以先去看看canvas-旋转. 我们在将图片引入canvas时,图片会一原始像素渲染.这样往往不 ...
 - 关于HTTP,你知道哪些?
			
HTTP简介 HTTP 的全称是 Hypertext Transfer Protocol,超文本传输协议 规定客户端和服务器之间的数据传输格式 让客户端和服务器能有效地进行数据沟通 HTTP 协议是网 ...
 - CentOs下Mongodb的下载与安装
			
1.下载MongoDB(64位) http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz tar zxvf mongodb-lin ...
 - HDP2.0.6+hadoop2.2.0+eclipse(windows和linux下)调试环境搭建
			
花了好几天,搭建好windows和linux下连接HDP集群的调试环境,在此记录一下 hadoop2.2.0的版本比hadoop0.x和hadoop1.x结构变化很大,没有eclipse-hadoop ...
 - simhash类的使用
			
首先感谢作者yanyiwu贡献的开源项目https://github.com/yanyiwu/simhash. 在做项目过程中,翻了一遍<这就是搜索引擎 核心技术详解>这本书的查重算法, ...
 - Android WebView编程的那些坑(一)
			
最大的坑是ROM不同,webkit不同,差异性很大.再加上google的坑,真是坑上加坑.比如js注入问题,比如client回调接口时序问题, 比如内存回收问题,etc 1.内存泄漏问题,尤其注意An ...
 - 利用squid 搭建简单的透明代理服务器
			
环境介绍 虚拟主机1: ip eth0192.168.0.100/24 eth1: 200.168.0.100/24 虚拟主机2(模拟外网) 200.168.0.109/24 (运行web serve ...