日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

UDTF概述

MaxCompute支持您通過Java、Python語言編寫代碼創建UDTF,擴展MaxCompute的函數能力,滿足個性化業務需求。本文為您介紹UDTF類型、使用限制、注意事項、開發流程及使用說明等信息。

背景信息

UDTF為用戶自定義表值函數,適用于一進多出業務場景。即其輸入與輸出是一對多的關系,讀入一行數據,輸出多個值可視為一張表。MaxCompute支持您通過如下兩種代碼語言編寫UDTF。

UDTF類型

說明

Java UDTF

使用Java語言編寫UDTF邏輯實現代碼。更多信息,請參見Java UDTF

Python UDTF

使用Python語言編寫UDTF邏輯實現代碼,支持Python 2和Python 3:

  • Python 2 UDTF:Python語言版本為2.7。更多信息,請參見Python 2 UDTF

  • Python 3 UDTF:Python語言版本為CPython-3.7.3。更多信息,請參見Python 3 UDTF

MaxCompute支持的內建函數中包含部分UDTF函數,例如EXPLODE,更多內建UDTF函數信息,請參見其他函數復雜類型函數

使用限制

  • 不支持通過自定義函數訪問外網。如果您需要通過自定義函數訪問外網,請根據業務情況填寫并提交表單,MaxCompute技術支持團隊會及時聯系您完成網絡開通操作。表單填寫指導,請參見網絡開通流程

  • select語句中使用UDTF時,不允許存在其他列或表達式。錯誤示例如下。

    --查詢語句中同時攜帶了UDTF和其他列。
    select value, user_udtf(key) as mycol ...
  • UDTF不能嵌套使用。錯誤示例如下。

    --user_udtf1嵌套了user_udtf2,不允許嵌套。
    select user_udtf1(user_udtf2(key)) as mycol...;
  • 不支持在同一個select子句中與group bydistribute bysort by聯用。錯誤示例如下。

    --UDTF不能與group by聯用。
    select user_udtf(key) as mycol ... group by mycol;

注意事項

使用自定義函數時,您需要注意:

  • 在性能上,自定義函數的性能低于內建函數,建議您優先使用內建函數實現相同邏輯的業務需求。

  • 在SQL語句中使用自定義函數時,如果計算的數據量過大并且存在傾斜,會導致作業占用的內存超出默認分配的內存。此時,您可以在Session級別設置set odps.sql.udf.joiner.jvm.memory=xxxx;屬性來解決此問題。更多自定義函數常見問題,請參見MaxCompute UDF常見問題

  • 當自定義函數的名稱與內建函數的名稱相同時,自定義函數會覆蓋同名的內建函數。例如,MaxCompute中存在一個名稱為CONCAT的自定義函數,則系統默認會調用自定義的CONCAT,不會調用內建函數CONCAT。如果您希望調用內建函數,需要在內建函數前增加::符號,例如select ::concat('ab', 'c');

開發流程

自定義標量函數(UDF\UDTF\UDAF)的開發流程如下。

說明

UDF(嵌入式)SQL自定義函數UDF(地理空間)的開發流程與此不同,請以對應文檔描述為準。

使用Java開發

當您使用Java代碼編寫MaxCompute UDF時,開發流程如下。

Java開發流程

步驟

步驟描述

支持的工具平臺

注意事項/相關文檔

可選

當您使用Maven編寫代碼時,需要先在Pom文件中添加代碼相關SDK依賴,確保后續編寫的代碼可編譯成功。例如開發自定義函數需要添加的SDK依賴為:

<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-udf</artifactId>
   <version>0.29.10-public</version>
</dependency>

您可以從Maven庫中搜索odps-sdk-udf,獲取SDK依賴版本信息。

  • IntelliJ IDEA(Maven)

必選

根據業務需求,編寫自定義函數代碼。

使用Java開發UDF時需滿足Java UDF的開發規范,詳情請參見UDF開發規范與通用流程(Java)

必選

通過本地運行或單元測試方式調試自定義函數,查看運行結果是否符合預期。

必選

調試自定義函數代碼,確保本地運行成功后打包為JAR包。

必選

將JAR包作為資源上傳至MaxCompute項目。

必選

基于上傳的JAR包資源創建自定義函數。

可選

在查詢數據代碼中調用自定義函數。

使用Python開發

當您使用Python代碼編寫MaxCompute UDF時,開發流程如下。Python開發流程

步驟

步驟描述功能介紹

支持的工具平臺

注意事項/相關文檔

必選

根據業務需求,編寫自定義函數代碼。

MaxCompute Studio

使用Python開發UDF時需滿足Python UDF的開發規范,詳情請參見UDF開發規范與通用流程(Python3)UDF開發規范與通用流程(Python2)

必選

通過本地運行或單元測試方式調試自定義函數,查看運行結果是否符合預期。

必選

將Python文件或依賴的資源(例如文件資源、表資源、第三方包)上傳至MaxCompute項目。

必選

基于上傳的Python文件或依賴的資源創建自定義函數。

可選

在查詢數據代碼中調用自定義函數。

調用UDF

開發完成UDF并將UDF注冊至MaxCompute后,在后續開發作業過程中您即可使用此UDF函數。自定義函數的使用方法如下:

  • 在歸屬MaxCompute項目中使用自定義函數:使用方法與內建函數類似,您可以參照內建函數的使用方法使用自定義函數。

  • 跨項目使用自定義函數:即在項目A中使用項目B的自定義函數,跨項目分享語句示例:select B:udf_in_other_project(arg0, arg1) as res from table_t;。更多跨項目分享信息,請參見基于Package跨項目訪問資源