Hadoop3集群搭建之——hive添加自定义函数UDTF

上篇：

Hadoop3集群搭建之——虚拟机安装

Hadoop3集群搭建之——安装hadoop，配置环境

Hadoop3集群搭建之——配置ntp服务

Hadoop3集群搭建之——hive安装

Hadoop3集群搭建之——hbase安装及简单操作

Hadoop3集群搭建之——hive添加自定义函数UDF

其他配置请参照上篇：Hadoop3集群搭建之——hive添加自定义函数UDF

简述下需求：

　　系统userid格式如下：

　　前三位代表国家

　　接下来三位代表省

　　再接下来三位代表市

　　剩下的所以代表 商店

（瞎掰的需求，大意就是要切割字符串）

直接上代码：

/**
 * Created by venn on 5/20/2018.
 * SplitString : split string
 * first 3 string : country
 * next 3 string : province
 * next 3 string : city
 * next all : story
 */
public class SplitString extends GenericUDTF {

    /**
     * add the column name，添加列名，类型。使用的hive-exec 1.2.1,想用2.3.3的，但是不会初始化列名部分
     * @param args
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException {
        if (args.length != ) {
            throw new UDFArgumentLengthException("ExplodeMap takes only one argument");
        }
        if (args[].getCategory() != ObjectInspector.Category.PRIMITIVE) {
            throw new UDFArgumentException("ExplodeMap takes string as a parameter");
        }

        ArrayList<String> fieldNames = new ArrayList<String>();
        ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
        fieldNames.add("userid"); // 第一列将输入字符串原样输出，方便查看
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("country");  // 第二列为国家
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("province"); //第三列为省
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("city");  // 第四列为市
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("story");  // 第五列商店
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
　　　　 // 返回
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    /**
     * process the column
     * @param objects
     * @throws HiveException
     */
    public void process(Object[] objects) throws HiveException {

        String[] result = new String[];
        try {
            /*System.out.println(objects[0].toString());
            System.out.println(objects[0] != null);
            System.out.println(StringUtils.isEmpty(objects[0].toString()));
            System.out.println(objects[0].toString().length() < 10);*/
　　　　　　　　// 如果数据不满足要求，返回 0 0 0 0 0
            if (objects[] == null || StringUtils.isEmpty(objects[].toString()) || objects[].toString().length() < ) {

                result[] = "";
                result[] = "";
                result[] = "";
                result[] = "";
                result[] = "";
            } else {
                result[] = objects[].toString();
                result[] = objects[].toString().substring(, );
                result[] = objects[].toString().substring(, );
                result[] = objects[].toString().substring(, );
                result[] = objects[].toString().substring();

            }
            // 将数据返回
            forward(result);

        } catch (Exception e) {

        }

    }

    public void close() throws HiveException {

    }
}

hive UDTF函数编有三个部分：　　

initialize ： 初始化列名

process ： 处理字符串部分

forward ： 返回结果

使用方式请见上篇：Hadoop3集群搭建之——hive添加自定义函数UDF打包、上传服务器，修改 $HIVE_HOME/bin/.hiverc
添加如下内容： jar包可以添加多个

[hadoop@venn05 bin]$ more .hiverc
add jar /opt/hadoop/idp_hd/viewstat/lib/hivefunction-1.0-SNAPSHOT.jar;
create temporary function split_area as 'com.venn.udtf.SplitString';

使用结果如下：

hive> select split_area(userid) from sqoop_test limit ;
OK