UDT介紹

很多SQL引擎中UDT與MaxCompute的復雜類型STRUCT類似，相比之下，MaxCompute中的UDT與Create Type的概念更類似，Type中包含數據域和方法。MaxCompute不需要用特殊的DDL語法來定義新類型，通過UDT可以在SQL中直接使用新類型。通過如下示例，為您直觀地介紹UDT的功能。

應用場景

使用限制

目前版本不支持使用UDF/UDAF/UDT讀取以下場景的表數據：

• 做過表結構修改（Schema Evolution）的表數據。

• 包含復雜數據類型的表數據。

• 包含JSON數據類型的表數據。

• Transactional表的表數據。

實現原理

--示例數據。
@table1 := select * from values ('100000000000000000000') as t(x);
@table2 := select * from values (100L) as t(y);
--代碼邏輯。
--new創建對象。
@a := select new java.math.BigInteger(x) x from @table1; 
--靜態方法調用。         
@b := select java.math.BigInteger.valueOf(y) y from @table2;  
--實例方法調用。    
select /*+mapjoin(b)*/ x.add(y).toString() from @a a join @b b;  

--輸出結果如下所示。
100000000000000000100

該UDT共有三個Stage：M1、R2和J3。如果您熟悉MapReduce原理即可知道，由于Join的存在需要做數據Reshuffle，所以會出現多個Stage。通常，不同的Stage是在不同的進程、不同的物理機器上運行的。

M1只執行new java.math.BigInteger(x)操作。

J3在不同階段執行了java.math.BigInteger.valueOf(y)和x.add(y).toString()操作。這幾個操作不僅分階段執行，而且在不同的進程、不同的物理機器上執行。UDT把這個過程封裝起來，將這個過程變得看起來和在同一個JVM中執行的效果幾乎一樣。

從上述示例中，您可以看到子查詢的結果允許UDT類型的列。例如上面變量a的x列是java.math.BigInteger類型，而不是內置類型。UDT類型的數據可以被帶到下一個Operator中，再調用其它方法，甚至可以參與數據Shuffle。

功能說明

• UDT僅支持Java語言，Java SDK的類都是默認可用的。

  說明

  Runtime使用的JDK版本是JDK1.8，可能不支持更新版本的JDK。

• UDT支持您上傳自己的JAR包，并且直接引用。當前提供了一些Flag方便您的使用。

  • set odps.sql.session.resources指定引用的資源，可以指定多個，用逗號隔開，例如set odps.sql.session.resources=foo.sh,bar.txt;。

    說明

    這個Flag和select transform中指定資源的Flag相同，所以這個Flag會同時影響兩個功能。例如UDT概述中UDF的JAR包，用于UDT使用。

    set odps.sql.type.system.odps2=true;
    set odps.sql.session.resources=odps-test.jar; 
    --指定要引用的JAR。這些JAR需要提前上傳至Project，并且需要是JAR類型的資源。
    select new com.aliyun.odps.test.IntegerMaxValue().evaluate();

  • odps.sql.session.java.imports指定默認的Java Package，可以指定多個，用逗號隔開。和Java的import語句類似，可以提供完整類路徑，例如java.math.BigInteger，也可以使用*。暫不支持static import。

    UDT概述中UDF的JAR包，使用UDT功能還有如下寫法。

    set odps.sql.type.system.odps2=true;
    set odps.sql.session.resources=odps-test.jar;
    set odps.sql.session.java.imports=com.aliyun.odps.test.*;  
    -- 指定默認的Package。
    select new IntegerMaxValue().evaluate();

• UDT支持資源（Resource）的訪問，您可以在SQL中通過com.aliyun.odps.udf.impl.UDTExecutionContext.get()靜態方法獲取ExecutionContext對象，從而訪問當前的ExecutionContext，進而訪問資源（例如文件資源和表格資源）。

• UDT支持的操作：

  • 實例化對象的new操作。

  • 實例化數組的new操作，包括使用初始化列表創建數組，例如new Integer[] { 1, 2, 3 }。

  • 方法調用，包括靜態方法調用。

  • 域訪問，包括靜態域。

  說明

  • 僅支持公有方法和公有域的訪問。

  • UDT中的標識符是大小寫敏感的，包括Package、類名、方法名和域名。

  • 暫不支持匿名類和Lambda表達式。

  • 暫不支持無返回值的函數調用（因為UDT均出現在Expression中，沒有返回值的函數調用無法嵌入到Expression中，這個問題在后續的版本中會有解決方案）。

• UDT支持的數據類型：

  • UDT支持類型轉換，支持SQL的風格，例如cast(1 as java.lang.Object)。但不支持Java風格的類型轉換，例如(Object)1。

  • UDT內置類型與特定Java類型有一一映射關系，詳情請參見Java UDF中的數據類型映射表，這個映射關系對UDT也有效。

    • 內置類型的數據能夠直接調用其映射到的Java類型的方法，例如'123'.length() , 1L.hashCode()。

    • UDT類型能夠直接參與內置函數或者UDF的運算， 例如chr(Long.valueOf('100'))，其中Long.valueOf返回的是java.lang.Long類型的數據，而內置函數Chr接受的數據類型是內置類型BIGINT。

    • Java的PRIMITIVE類型可以自動轉化為其BOXING類型，并應用前兩條規則。

    說明

    部分內置的新數據類型需要先設置set odps.sql.type.system.odps2=true;才可使用，否則會報錯。

  • UDT擴展了類型轉換規則：

    • UDT對象可以被隱式類型轉換為其基類對象。

    • UDT對象可以被強制類型轉換為其基類或子類對象。

    • 沒有繼承關系的兩個對象之間遵守原來的類型轉換規則，注意這時可能會導致內容的變化。例如java.lang.Long類型的數據是可以強制轉換為java.lang.Integer的，應用的是內置類型的BIGINT強制轉換為INT的過程，而這個過程會導致數據內容的變化，甚至可能導致精度的損失。

    說明

    目前除隱式類型轉換變成內置類型外，UDT對象不能存儲到硬盤，即不能將UDT對象INSERT到表中（實際上DDL不支持UDT，不能創建這樣的表）。內置類型支持BINARY，即支持自己實現序列化的過程，將byte[]的數據存儲到硬盤，下次讀出時再還原回來。因此需要您自己調用序列化反序列化方法，將其轉換為BINARY數據類型再存儲到硬盤。

    屏顯的最終結果不可以是UDT類型。對于屏顯的場景，由于所有的Java類都有toString()方法，而java.lang.String類型是合法的。所以Debug時，可以用這種方法觀察UDT的內容。

    您也可以設置set odps.sql.udt.display.tostring=true;，MaxCompute會自動幫您把所有以UDT為最終輸出的列Wrap上java.util.Objects.toString(...)，以方便調試。這個Flag只對屏顯語句生效，對INSERT語句不生效，所以它只在調試的過程中使用。

  • UDT支持比較完整的泛型。例如java.util.Arrays.asList(new java.math.BigInteger('1'))，編譯器可以根據參數類型判斷出該方法的返回值是java.util.List<java.math.BigInteger>類型。

    說明

    構造函數需要指定類型參數，否則需要使用java.lang.Object，這點和Java保持一致。

    new java.util.ArrayList(java.util.Arrays.asList('1', '2'))的結果是java.util.ArrayList<Object>類型，而new java.util.ArrayList<String>(java.util.Arrays.asList('1', '2'))的結果是java.util.ArrayList<String>類型。

• 所有的運算符都是MaxCompute SQL的語義，不是UDT的語義。例如：

  • STRING的相加操作：String.valueOf(1) + String.valueOf(2)的結果是3（STRING隱式轉換為DOUBLE，并且DOUBLE相加） ，而不是12（Java中STRING相加是Concatenate的語義）。

  • =操作：SQL中的=不是賦值而是判斷相等。而對于Java對象來說，判斷相等應該用Equals方法，而非=操作。

• UDT對同一對象的概念是模糊的，這是由數據的Reshuffle導致的。對象有可能會在不同進程、不同物理機器之間傳輸。在傳輸過程中，同一個對象可能分別引用了不同的對象（例如對象先被Shuffle到兩臺機器，然后下次又Shuffle回一起）。 所以在使用UDT時，應該使用equals方法判斷相等，避免使用=判斷相等。

  某行某列的對象，其內部包含的各個數據對象的相關性是可以保證的。不同行或者不同列的對象的數據相關性是不保證的。

• UDT不能用作Shuffle Key，包括Join、Group By、Distribute By、Sort By、Order By、Cluster By等結構的Key。

  UDT可以在Expression中間的任意階段使用，但不能作為最終輸出。例如，不可以使用語句group by new java.math.BigInteger('123')，但可以使用語句group by new java.math.BigInteger('123').hashCode()。因為hashCode方法的返回值是int.class類型，可以當做內置類型INT來使用（應用上述內置類型與特定Java類型規則）。

• UDT不僅可以實現Scalar函數的功能，配合內置函數COLLECT_SET和其他函數，UDT還可以實現Aggregator和Table Function功能。

功能優勢

性能

安全性

在安全控制方面，UDT和UDF完全一樣，都會受到Java沙箱Policy的限制。因此如果要使用受限的操作，需要打開沙箱隔離，或者申請沙箱白名單。