經(jīng)常有學(xué)習(xí)大數(shù)據(jù)的小伙伴問(wèn)小千，hive應(yīng)該如何去自定義函數(shù)？小千今天就來(lái)給大家分享一下hive自定義函數(shù)的教程，繼續(xù)往下看。

一、自定義函數(shù)

1 為什么需要自定義函數(shù)

hive的內(nèi)置函數(shù)滿足不了所有的業(yè)務(wù)需求。

hive提供很多的模塊可以自定義功能，比如：自定義函數(shù)、serde、輸入輸出格式等。

2 常見(jiàn)自定義函數(shù)有哪些

UDF：用戶自定義函數(shù)，user defined function。一對(duì)一的輸入輸出。（最常用的）。

UDTF：用戶自定義表生成函數(shù)。user defined table-generate function.一對(duì)多的輸入輸出。lateral view explode

UDAF：用戶自定義聚合函數(shù)。user defined aggregate function。多對(duì)一的輸入輸出 count sum max。

二、自定義函數(shù)實(shí)現(xiàn)

1 UDF格式

先在工程下新建一個(gè)pom.xml,加入以下maven的依賴包 請(qǐng)查看code/pom.xml

定義UDF函數(shù)要注意下面幾點(diǎn):

繼承org.apache.hadoop.hive.ql.exec.UDF

重寫(xiě)evaluate()，這個(gè)方法不是由接口定義的,因?yàn)樗山邮艿膮?shù)的個(gè)數(shù),數(shù)據(jù)類型都是不確定的。Hive會(huì)檢查UDF,看能否找到和函數(shù)調(diào)用相匹配的evaluate()方法

1.1 自定義函數(shù)第一個(gè)案例

2 函數(shù)加載方式

2.1 命令加載

這種加載只對(duì)本session有效

# 1、將編寫(xiě)的udf的jar包上傳到服務(wù)器上，并且將jar包添加到hive的class path中

# 進(jìn)入到hive客戶端,執(zhí)行下面命令

add jar /hivedata/udf.jar

# 2、創(chuàng)建一個(gè)臨時(shí)函數(shù)名,要跟上面hive在同一個(gè)session里面：

create temporary function toUP as 'com.qf.hive.FirstUDF';

3、檢查函數(shù)是否創(chuàng)建成功

show functions;

4. 測(cè)試功能

select toUp('abcdef');

5. 刪除函數(shù)

drop temporary function if exists tolow;

2.2 啟動(dòng)參數(shù)加載

(也是在本session有效，臨時(shí)函數(shù))

2.3 配置文件加載

通過(guò)配置文件方式這種只要用hive命令行啟動(dòng)都會(huì)加載函數(shù)

3 UDTF格式

UDTF是一對(duì)多的輸入輸出,實(shí)現(xiàn)UDTF需要完成下面步驟

繼承org.apache.hadoop.hive.ql.udf.generic.GenericUDF，

重寫(xiě)initlizer（）、getdisplay（）、evaluate()。

執(zhí)行流程如下:

UDTF首先會(huì)調(diào)用initialize方法，此方法返回UDTF的返回行的信息（返回個(gè)數(shù)，類型）。

初始化完成后，會(huì)調(diào)用process方法,真正的處理過(guò)程在process函數(shù)中，在process中，每一次forward()調(diào)用產(chǎn)生一行；如果產(chǎn)生多列可以將多個(gè)列的值放在一個(gè)數(shù)組中，然后將該數(shù)組傳入到forward()函數(shù)。

最后close()方法調(diào)用，對(duì)需要清理的方法進(jìn)行清理。

3.1 需求:

把"k1:v1;k2:v2;k3:v3"類似的的字符串解析成每一行多行,每一行按照key:value格式輸出

3.2 源碼

自定義函數(shù)如下:

3.3 打包加載

對(duì)上述命令源文件打包為udf.jar,拷貝到服務(wù)器的/hivedata/目錄

在Hive客戶端把udf.jar加入到hive中,如下:

add jar /hivedata/udf.jar;

3.4 創(chuàng)建臨時(shí)函數(shù):

在Hive客戶端創(chuàng)建函數(shù):

3.5 測(cè)試臨時(shí)函數(shù)

select parseMap("name:zhang;age:30;address:shenzhen")

結(jié)果如下:

4 UDAF格式

用戶自定義聚合函數(shù)。user defined aggregate function。多對(duì)一的輸入輸出 count sum max。定義一個(gè)UDAF需要如下步驟:

UDF自定義函數(shù)必須是org.apache.hadoop.hive.ql.exec.UDAF的子類,并且包含一個(gè)火哥多個(gè)嵌套的的實(shí)現(xiàn)了org.apache.hadoop.hive.ql.exec.UDAFEvaluator的靜態(tài)類。

函數(shù)類需要繼承UDAF類，內(nèi)部類Evaluator實(shí)UDAFEvaluator接口。

Evaluator需要實(shí)現(xiàn) init、iterate、terminatePartial、merge、terminate這幾個(gè)函

這幾個(gè)函數(shù)作用如下:

函數(shù)說(shuō)明init實(shí)現(xiàn)接口UDAFEvaluator的init函數(shù)iterate每次對(duì)一個(gè)新值進(jìn)行聚集計(jì)算都會(huì)調(diào)用,計(jì)算函數(shù)要根據(jù)計(jì)算的結(jié)果更新其內(nèi)部狀態(tài)terminatePartial無(wú)參數(shù)，其為iterate函數(shù)輪轉(zhuǎn)結(jié)束后，返回輪轉(zhuǎn)數(shù)據(jù)merge接收terminatePartial的返回結(jié)果，進(jìn)行數(shù)據(jù)merge操作，其返回類型為boolean。terminate返回最終的聚集函數(shù)結(jié)果。

4.1 需求

計(jì)算一組整數(shù)的最大值

4.2 代碼

4.3 打包加載

對(duì)上述命令源文件打包為udf.jar,拷貝到服務(wù)器的/hivedata/目錄

在Hive客戶端把udf.jar加入到hive中,如下:

add jar /hivedata/udf.jar;

4.4 創(chuàng)建臨時(shí)函數(shù):

在Hive客戶端創(chuàng)建函數(shù):

3.5 測(cè)試臨時(shí)函數(shù)

select maxInt(mgr) from emp

結(jié)果如下:

最后歡迎大家添加我們的大數(shù)據(jù)技術(shù)分享交流qq群：857910996  加群找群管理免費(fèi)領(lǐng)取大數(shù)據(jù)學(xué)習(xí)資料和項(xiàng)目源碼，趕緊來(lái)等你哦~~~~