Blink-2.2.7 是Blink-2.x系列中最新穩定版本，在Blink-1.x版本（最新穩定版本為Blink-1.6.4）進行了全面的升級，采用了自主研發的新一代存儲Niagara作為Statebackend的底層存儲，優化了SQL的性能，增加了一系列新功能：

• 主要特性

  • SQL

    • 新增Window Emit機制，可以控制Window結果的輸出策略，例如：1小時窗口，每1分鐘輸出一次。

    • 雙流Join支持miniBatch，針對不同場景優化了Retraction處理和State存儲結構，提高了性能。

    • AGG支持Filter語法，可以只聚合滿足條件的行。

    • 對Local-global AGG進行優化。

    • 重構了SQL的Optimize階段，解決了SQL編譯時間過長的問題。

    • SortedMapView中KEY支持多種數據類型：BOOLEAN、BYTE、SHORT、INT、LONG、FLOAT、DOUBLE、BIGDECIMAL、BIGINT、BYTE[]和STRING。

    • 優化了MIN、MAX、FIRST和LAST函數Retraction場景的性能。

    • 新增多種標量函數，例如時區相關的解析TO_TIMESTAMP_TZ、格式化DATE_FORMAT_TZ和轉換函數CONVERT_TZ。

    • 對SQL和Connector模塊的錯誤信息進行了歸類，并對每種類型設計了相應的ERROR_CODE。

  • Connector

    • 支持用戶自定義的TableFactory注冊源表和結果表的Connector。

    • 支持用戶通過UDTF方式直接解析數據源類型。

    • 支持讀取和寫入Kafka。

    • 支持寫入到Elasticsearch。

  • Runtime

    • 通過Blink Session機制，統一了用戶提交Job、獲取執行結果等行為。

    • 開放了調度插件機制，允許計算模型根據需求自定義調度邏輯。

    • 在有限流的情況下，通過避免不必要的全圖重啟，提高了JobManager和Task FailOver的處理效率。

  • StateBackend

    • 使用NiagaraStateBackend替換RocksDBStateBackend，具備更好的讀寫性能。

    • (Experimental) NiagaraStateBackend支持計算存儲分離，支持Failover過程中State秒級恢復。

• 與Blink1.6.4不兼容的語法

  功能項	影響	解決辦法
  TableFunction接口修改	所有使用自定義TableFunction的用戶。	更新代碼，實現新的getResultType接口。
  ScalarFunction接口修改	所有使用自定義ScalarFunction的用戶。	實現新的getResultType接口。
  AggregateFunction接口修改	所有使用自定義AggregateFunction的用戶。	實現新的getAccumulatorType和getResultType接口。例如，accumulator類型為Row(STRING, LONG)，Agg result的類型為STRING，則需要實現如下代碼。 public DataType getAccumulatorType\(\) { return DataTypes.createRowType\(DataTypes.String, DataTypes.LONG\); } public DataType getResultType\(\) { return DataTypes.String; }
  MapView構造函數修改	MapView構造函數形參類型由之前的TypeInformation變更為DataType。所以在自定義UDAF中聲明了MapView的Job都會受影響。	更新代碼，按DataType去構造MapView。例如MapView map = new MapView<>(Types.STRING, Types.INT);需要更新為MapView map = new MapView<>(DataTypes.STRING, DataTypes.INT);。
  當參數是LONG或INT時，除法和AVG返回類型改為DOUBLE	以前的除法和AVG函數返回的是入參的字段類型，現在是DOUBLE，會導致類型不匹配的錯誤。例如：除法和AVG的結果直接寫入結果表，可能會報結果表與Query字段類型不匹配的錯誤。	在除法和AVG的結果上強制加上CAST。
  在比較BigDecimal 和Decimal數據類型的數據時，會考慮精度	用到Decimal的Job，可能會報BigDecimal類型不匹配的錯誤。	用到Decimal類型的Job，全局替換成帶精度的聲明方式，Decimal(38, 18)。
  NULL與字符串的比較語義	1.x版本NULL與字符串比較返回True，在2.x版本后遵循了SQL語法語義改為返回False。	所有NULL與字符串比較的地方，例如：WHERE SPLIT_INDEX(shop_list, ':', 1) <> shop_id，如果SPLIT_INDEX(shop_list, ':', 1)返回了NULL，在1.x版本上WHERE條件會返回True，在2.x上會返回False，將數據過濾。

• 如何升級到Blink-2.x

  使用Blink-1.x版本的Job升級到Blink-2.x，需要進行數據回溯升級，數據回溯是指用戶根據業務需要，在啟動Job的時候，指定啟動位點，具體操作如下：

  1. 停止待升級Job（清除State）。

  2. 開發界面單擊右下角的Flink版本下拉箭頭，修改Job的Blink版本為Blink-2.2.7，上線Job。

  3. 啟動修改后的Job并指定啟動位點。

     如果步驟3執行不成功，需要人工介入查明原因后，進行如下操作：

     • 快速修復SQL，重復步驟1、2、3。

     • 如果無法修復SQL，回退到原有Blink版本。

     • 如果無法生成Json Plan，可以嘗試設置如下參數：

       • blink.job.option.jmMemMB=4096

       • blink.job.submit.timeoutInSeconds=600

  Blink-2.0.1的UDX第三方插件安裝包詳情，請參見Blink PDF文檔中的5.11.1章節。類似如下的異常，是因為UDX包的版本太低或者包沖突導致的。

  code:[30016], brief info:[get app plan failed], context info:[detail:[java.lang.NoClassDefFoundError: org/apache/flink/table/functions/aggfunctions/DoubleSumWithRetractAggFunction
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)