UDF函数开发
使用Intellij工具通过Maven开发Hive的UDF函数，进行编译；
1. pom.xml文件中增加Hive包的依赖
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0</version>
</dependency>
2. Java示例代码如下:
package com.utils;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.ParseException;
import java.text.SimpleDateFormat;
/**
* Created by fc.w on 2018/05/08
*/
public class DateUtils extends UDF {
/**
* 将日期字符串格式化为标准的日期格式
* 如:
* 2017-8-9 to 2017-08-09
* 2017-08-09 9:23:3 to 2017-08-0909:23:03
* @param sdate
* @param pattern
* @return
*/
public static String evaluate(String sdate, String pattern) {
String formatDate = sdate;
SimpleDateFormat sdf = new SimpleDateFormat(pattern);
try {
formatDate =sdf.format(sdf.parse(sdate));
} catch (ParseException e) {
e.printStackTrace();
}
return formatDate;
}
}
此处使用一个简单的日期转换自定义函数来做事例，注意此处需要集成UDF类，重写evaluate方法，来实现自己定义函数。
3. 编译jar包
前提条件是已配置Maven的环境变量，命令行进入工程目录，执行如下命令：
mvn clean package
4. Hive使用自定义函数（UDF）
编译好的aldb_basic-1.0-SNAPSHOT.jar上传到集群服务器；
4.1创建临时UDF
进入Hive的shell命令行，执行如下命令，创建临时函数:
hive> add jar /data/aldb_basic-1.0-SNAPSHOT.jar;
hive> create temporary function parse_date as 'com.utils.DateUtils';
2.在命令行测试该UDF函数
select parse_date(dates, 'yyyy-MM-dd HH:mm:ss') from date_test;
4.2 创建永久UDF
1.在HDFS中创建相应目录，将sql-udf-utils-1.0-SNAPSHOT.jar包上传至该目录
[root@server03 data]# hdfs dfs -mkdir /user/udfjar/
[root@server03 data]# hdfs dfs -put /data/aldb_basic-1.0-SNAPSHOT.jar
注意：目录udfjar和aldb_basic-1.0-SNAPSHOT.jar的权限，所属用户为hive
2.进入Hive的shell命令行，执行如下命令创建永久的UDF
hive> create function default.parse_date as 'com.utils.DateUtils' using jar 'hdfs://server02:8020/user/udf/aldb_basic-1.0-SNAPSHOT.jar' ;
-
在命令行测试该UDF
select parse_date(dates, 'yyyy-MM-dd HH:mm:ss') from date_test;
4.验证永久UDF函数是否生效
重新打开Hive CLI能正常使用创建的UDF函数。
