本文為您介紹2024年11月21日發布的實時計算Flink版的重大功能變更和主要缺陷修復。
概述
2024年11月21日正式對外發布實時計算Flink版新版本，包含平臺升級、引擎更新、連接器更新、性能優化以及缺陷修復。
平臺側
本次平臺功能更新我們聚焦于提升您的使用體驗和系統穩定性，同時增強運維效率。以下是本次更新的主要亮點：
支持混合計費模式：該模式結合了包年包月和按量計費的優勢，在固定資源的基礎上增加了彈性資源上限。可以解決短期高峰預留過多資源的問題，又緩解了完全依賴彈性資源而無法申請到所需資源的困境。同時，該模式配合平臺的自動調優能力，能夠將自動調優模式節省的資源轉化為成本收益。
控制臺概覽頁重構：重構概覽頁展示內容，可以查看到更多常用功能和資源作業總覽信息。
支持重命名作業：支持修改已創建的作業草稿的名稱。
版本收斂能力優化：隨著Flink新版本的不斷發布和時間的推移，部分舊版本逐漸停止服務，為了保證作業版本平穩升級，我們將為您保存最近使用的EOS版本，方便您在必要時候回滾。
引擎側
引擎側正式對外發布VVR 8.0.10，該版本基于Apache Flink 1.17.2的企業級Flink引擎，并在社區最新完成的缺陷修復上繼續優化和增強，主要包括以下變更：
新能力
引擎側支持JDK 11：提供了更多的JDK版本選擇，JDK 8和JDK 11的實時計算引擎VVR小版本之間均不提供兼容性保證。
SelectDB連接器公測：支持了云數據庫SelectDB版的結果表寫入。
上述新功能目前為實驗性功能，不保障服務等級協議（SLA），請謹慎用于生產環境。
能力增強
SQL語義增強：支持了使用處理時間（Processing Time）進行 Temporal Join，可以將事實表中的每條數據與維表的最新數據進行關聯處理。其與事件時間（Event Time）不同，處理時間并不關注事件實際發生的時刻，而是依據數據到達處理系統的時間點。
SQL內置函數增強：支持百分位計算函數PERCENTILE(expr, percentage[, frequency])。
YAML CDC數據攝入增強：CDC YAML作業新增Kafka Source連接器，支持Debezium JSON和Canal JSON格式數據；Paimon和StarRocks連接器支持來自MySQL上游的truncate和drop table事件；支持分庫分表場景下精度不同的Decimal和Timestamp字段合并。
CTAS/CDAS鑒權支持增強：增加了在CTAS/CDAS中使用Paimon對接DLF 2.0的能力。
StarRocks連接器增強：支持BIGINT UNSIGNED和VARBINARY數據類型。
性能提升
CDC全增量一體化性能優化：利用流批融合技術優化了MySQL CDC到Paimon數據庫的實時全增量數據攝入，顯著提升了入湖性能。
全托管存儲優化：優化了全托管存儲的快照恢復耗時和成本，提高了存儲效率。
體驗優化
連接器體驗優化：為了防止誤用，屏蔽了不必要的Debezium配置參數；優化了Hologres連接器的超時參數，降低了部署階段的重試次數，從而提升了入倉體驗。
SQL體驗優化：增強了SQL深度檢查中對SinkMaterializer算子的提示和建議。
安全提升
Paimon Catalog安全增強：在創建Catalog后，fs.oss.accessKeySecret參數進行密文顯示，以確保數據的安全性。
該版本主要特性詳情及相關文檔詳見下方表格，我們將在全網進行分步驟的灰度，灰度完畢后，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
主要功能介紹
特性 | 詳情 | 相關文檔 |
引擎支持JDK 11 | 引擎全面支持JDK11，助力開發者利用新特性優化Java應用，拓寬運行環境選擇，提升平臺靈活性與兼容性。 | |
維表Join支持Keyed-Ordered模式 | 為滿足業務場景中異步獲取外部系統數據并按UpsertKey順序處理的需求，引入Key-Ordered模式，該模式彌補了現有Ordered和Unordered模式的不足。 | |
YAML CDC數據攝入增強 | YAML中支持添加Kafka作為Source，從而增強了基于YAML配置的系統或應用程序處理Kafka數據流的靈活性。 | |
SLS連接器優化 | 采用退避策略，增強SLS連接器的連接穩定性和可靠性。 | 暫無 |
StarRocks連接器增強 |
| |
SQL語義增強 | 支持使用Processing Time進行Temporal Join，利用處理時間屬性，將事實表數據與維表最新數據關聯。 | |
SQL內置函數增強 | 新增對PERCENTILE函數的支持。 | |
Hive Catalog優化 | 使用全托管存儲的工作空間支持創建Hive Catalog，并在創建時直接上傳相關配置文檔，并管理文件的生命周期。 | |
CTAS/CDAS鑒權支持增強 | 在CTAS/CDAS中新增了使用Paimon對接DLF 2.0的能力。 | |
控制臺體驗優化 | 重構控制臺概覽頁內容，增加資源作業總覽、常用功能入口、常用文檔等，方便您快速掌握作業狀態、訪問核心功能以及查閱必要文檔。 | 暫無 |
新增混合計費模式 | 結合了按量付費的靈活性與包年包月的成本效益，提供一種更優化的計費策略。 | |
日志歸檔能力優化 | 定期清理作業中已過有效期的歷史歸檔日志，減少額外的存儲成本。 | |
支持SelectDB連接器 | 云數據庫SelectDB版是基于Apache Doris的新一代云原生實時數倉服務，支持使用SelectDB連接器寫入數據至云數據庫SelectDB版。 |
主要缺陷修復
連接器缺陷
MySQL CDC數據同步：修復在開啟OSS讀取binlog時，全量轉增量讀取可能出現的數據丟失問題。
Redis數據寫入：修復了VVR 8.0.9版本Redis Connector buffered writer缺陷，導致無數據輸出的問題。
OSS寫入性能：優化了VVR 8.0.7及以上版本寫入OSS的性能問題。
YAML作業時間戳：修復了YAML作業寫出到Paimon時timestamp類型時區轉換的問題。
SQL缺陷修復
Source Merge配置：修復了設置
table.optimizer.source-merge.enabled為true后作業無法啟動的問題。Minibatch Interval配置：修復了VVR 8.0.7版本中Minibatch Interval配置不生效的問題。
兼容性與依賴問題修復
Connector類加載：修復了內置連接器使用附加依賴JAR時啟動報
connector class not found異常的問題。IDEA本地運行：解決了本地IDEA使用MySQL CDC JAR報錯
ClassNotFoundException MySqlSourceReaderMetrics的問題。
動態配置缺陷修復
修復了偶發情況下動態更新不生效的問題。