日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
輸入文檔關(guān)鍵字查找
首頁 實(shí)時(shí)計(jì)算 Flink版 產(chǎn)品概述 動(dòng)態(tài)與公告 功能發(fā)布記錄 2024-05-29版本

2024-05-29版本

更新時(shí)間：
產(chǎn)品詳情
我的收藏

本文為您介紹2024年05月29日發(fā)布的實(shí)時(shí)計(jì)算Flink版的重大功能變更和主要缺陷修復(fù)。

重要

本次升級(jí)計(jì)劃在全網(wǎng)分步驟完成灰度，具體升級(jí)計(jì)劃，請(qǐng)關(guān)注實(shí)時(shí)計(jì)算管理控制臺(tái)頁面右側(cè)的最新公告。如果您不能使用相關(guān)新功能，說明您的賬號(hào)暫未完成灰度。如果您需要盡快升級(jí)，請(qǐng)提交工單告知我們，我們將結(jié)合實(shí)際情況進(jìn)行安排。

概述

2024年5月29日正式對(duì)外發(fā)布實(shí)時(shí)計(jì)算Flink版的新版本，包含平臺(tái)升級(jí)、引擎更新、連接器更新、性能優(yōu)化以及缺陷修復(fù)。

平臺(tái)側(cè)

本次平臺(tái)功能更新聚焦于增強(qiáng)系統(tǒng)的穩(wěn)定性和運(yùn)維能力，并提升了易用性。

  • 為保證您作業(yè)運(yùn)行的穩(wěn)定性，我們對(duì)同城高可用功能進(jìn)行了優(yōu)化。支持將已有的單可用區(qū)CU類型項(xiàng)目空間轉(zhuǎn)換為跨可用區(qū)CU類型項(xiàng)目空間，無需新建項(xiàng)目空間并進(jìn)行作業(yè)遷移，極大地簡化了啟用同城高可用的流程。

  • 支持在作業(yè)資源配置專家模式下設(shè)置算子的狀態(tài)TTL，能更精細(xì)地調(diào)整不同算子的狀態(tài)TTL，實(shí)現(xiàn)用更少的資源獲取更高的穩(wěn)定性效果。

  • 支持通過實(shí)時(shí)計(jì)算Flink版VS Code插件，實(shí)現(xiàn)本地Flink作業(yè)開發(fā)、部署及上線全流程，并支持快速從線上同步作業(yè)。

除此之外，我們也對(duì)數(shù)據(jù)血緣、運(yùn)維頁面等部分進(jìn)行了進(jìn)一步的優(yōu)化。

引擎?zhèn)?/b>

引擎?zhèn)日綄?duì)外發(fā)布VVR 8.0.7，該版本是基于Apache Flink 1.17.2的企業(yè)級(jí)Flink引擎，主要包含以下變更：

  • 在實(shí)時(shí)湖倉方面，Paimon連接器SDK升級(jí)，支持Paimon數(shù)據(jù)湖格式0.9版本。

  • 在SQL增強(qiáng)方面，您可以使用算子狀態(tài)生命周期（TTL）Hints單獨(dú)為雙流聯(lián)接算子和分組聚合算子設(shè)定TTL，更精準(zhǔn)的控制各個(gè)算子的狀態(tài)大小；您可以使用命名參數(shù)來實(shí)現(xiàn)自定義函數(shù)，提升開發(fā)效率，降低維護(hù)成本。

  • 在連接器方面，本版本MongoDB連接器結(jié)束公測，正式進(jìn)入生產(chǎn)階段，它提供了完整的CDC源表、維表和結(jié)果表能力，相關(guān)技術(shù)解讀請(qǐng)參見MongoDB CDC的設(shè)計(jì)與實(shí)現(xiàn)。另外本版本還重點(diǎn)提升了MySQL CDC和Redis連接器相關(guān)能力：

    • MySQL CDC：

      • 支持通過op_type虛擬列獲取數(shù)據(jù)操作類型，使得下游能夠獲得該變化數(shù)據(jù)的操作類型（+I、+/-U、-D），借此功能，您可靈活地根據(jù)具體的操作類型設(shè)計(jì)業(yè)務(wù)邏輯和數(shù)據(jù)清理策略。

      • 優(yōu)化了以Decimal類型作為主鍵的MySQL表的讀取性能，并實(shí)現(xiàn)了大容量表的SourceRecord（數(shù)據(jù)變更記錄）并行處理，以提升處理效率。

      • 支持Source復(fù)用功能，開啟Source復(fù)用功能后，F(xiàn)link會(huì)嘗試合并同一作業(yè)內(nèi)某些配置項(xiàng)（庫名、表名和server-id除外）均相同的MySQL CDC源表，以減輕MySQL服務(wù)器的連接和監(jiān)聽壓力。

      • 在開啟sink.ignore-null-when-update參數(shù)時(shí)，會(huì)進(jìn)行攢批執(zhí)行，數(shù)倍提升了處理性能。

    • Redis：Redis作為維表和結(jié)果表時(shí)，當(dāng)Key的數(shù)據(jù)類型為HashMap時(shí)，支持多種非主鍵Key格式的DDL定義，方便您更好地理解；支持設(shè)置Key的前綴和分隔符，滿足Redis數(shù)據(jù)治理要求。

  • 在元數(shù)據(jù)管理方面，MySQL視圖作為數(shù)據(jù)庫中的一種邏輯結(jié)構(gòu)，本身無法進(jìn)行實(shí)際的數(shù)據(jù)讀寫。為避免數(shù)據(jù)操作錯(cuò)誤，新創(chuàng)建的MySQL Catalog中將不再展示視圖信息。

  • 在安全方面，本版本對(duì)開啟Kerberos的Hive集群的兼容范圍擴(kuò)展至Hadoop 2.x版本；對(duì)日志中連接器的連接配置等敏感信息進(jìn)行了隱藏屏蔽。

  • 在缺陷修復(fù)方面，本版本重點(diǎn)修復(fù)了ClickHouse結(jié)果表shardWrite參數(shù)未生效與在極端情況下作業(yè)快照無法生成等問題，旨在提高系統(tǒng)的穩(wěn)定性和可靠性。

該版本主要特性詳情及相關(guān)文檔詳見下方表格，我們將在全網(wǎng)進(jìn)行分步驟的灰度，灰度完畢后，歡迎您將作業(yè)使用的引擎升級(jí)至此版本，具體操作請(qǐng)參見作業(yè)引擎版本升級(jí)。期待您的使用體驗(yàn)反饋！

主要功能介紹

特性

詳情

相關(guān)文檔

同城高可用功能優(yōu)化

支持項(xiàng)目空間類型（單可用區(qū)和跨可用區(qū)）互相切換。

同城高可用

血緣關(guān)系功能優(yōu)化

字段級(jí)別血緣關(guān)系支持通過字段名稱進(jìn)行搜索，多個(gè)結(jié)果時(shí)支持按上下鍵進(jìn)行切換，方便您快速定位并查看字段血緣信息。

image

通過節(jié)點(diǎn)或字段名稱搜索查看血緣信息

作業(yè)運(yùn)維頁面新增創(chuàng)建人字段

您可以在作業(yè)運(yùn)維頁面，單擊右側(cè)的image配置自定義列表展示，添加創(chuàng)建人字段。通過創(chuàng)建人字段，能夠準(zhǔn)確過濾作業(yè)列表，當(dāng)作業(yè)出現(xiàn)問題時(shí)可以快速確認(rèn)作業(yè)的創(chuàng)建人，提升協(xié)作效率。

  • 在作業(yè)列表的創(chuàng)建人列，支持篩選我創(chuàng)建的，查看該項(xiàng)目空間下當(dāng)前賬號(hào)創(chuàng)建的所有作業(yè)。

    image

  • 在作業(yè)列表上方的檢索框中，選擇創(chuàng)建人字段，輸入目標(biāo)創(chuàng)建人名稱，可以查找指定創(chuàng)建人創(chuàng)建的作業(yè)列表。

    image

無

權(quán)限管理功能優(yōu)化

創(chuàng)建工作空間的身份（主賬號(hào)、RAM用戶、RAM角色等）默認(rèn)具有項(xiàng)目空間下owner角色權(quán)限。

項(xiàng)目空間授權(quán)

SQL作業(yè)有狀態(tài)啟動(dòng)時(shí)狀態(tài)兼容性檢測行為優(yōu)化

選擇從最新狀態(tài)啟動(dòng)作業(yè)時(shí)，F(xiàn)link系統(tǒng)會(huì)檢測作業(yè)變化。當(dāng)檢測到作業(yè)發(fā)生變化時(shí)，建議單擊狀態(tài)兼容性檢測旁的點(diǎn)擊檢測檢查兼容性，并依據(jù)兼容性結(jié)果后決定后續(xù)行為。

作業(yè)啟動(dòng)

上線VS Code本地開發(fā)插件

為您打通了本地Flink作業(yè)開發(fā)全流程，幫助您在本地輕松完成Flink作業(yè)的開發(fā)、部署及上線，包括SQL、JAR和Python作業(yè)，并支持快速從線上同步作業(yè)。

VS Code本地開發(fā)插件

支持算子粒度的TTL設(shè)置

在只有某些算子需要設(shè)置較大TTL的場景下，為整個(gè)作業(yè)設(shè)置統(tǒng)一的TTL可能會(huì)導(dǎo)致State膨脹，造成資源損耗。您可以通過以下任意一種方式設(shè)置算子TTL，更精準(zhǔn)的控制各個(gè)算子的狀態(tài)大小，節(jié)約大狀態(tài)作業(yè)的使用資源。

  • 在作業(yè)運(yùn)維頁面資源配置專家模式中設(shè)置。

    說明

    • 僅實(shí)時(shí)計(jì)算引擎VVR 8.0.7及以上版本支持。

    • 僅SQL作業(yè)使用專家模式（細(xì)粒度）資源配置時(shí)支持。

  • 使用算子狀態(tài)生命周期（TTL）Hints為雙流聯(lián)接算子和分組聚合算子設(shè)置TTL。

支持通過命名參數(shù)實(shí)現(xiàn)自定義函數(shù)

可以提升開發(fā)效率，降低維護(hù)成本。

概述

MySQL CDC連接器能力增強(qiáng)

  • 支持通過op_type虛擬列獲取數(shù)據(jù)操作類型。

  • MySQL CDC優(yōu)化了以Decimal類型作為主鍵的MySQL表的讀取性能，并實(shí)現(xiàn)了大容量表的SourceRecord（數(shù)據(jù)變更記錄）并行處理。

  • 支持開啟CDC Source復(fù)用功能。

  • 在開啟sink.ignore-null-when-update參數(shù)時(shí)，會(huì)進(jìn)行攢批執(zhí)行。

MySQL

Redis連接器能力增強(qiáng)

  • Redis作為維表和結(jié)果表時(shí)，當(dāng)Key的數(shù)據(jù)類型為HashMap時(shí)，支持多種非主鍵Key格式的DDL定義，方便您更好地理解。

  • 支持設(shè)置Key的前綴和分隔符，滿足Redis數(shù)據(jù)治理要求。

云數(shù)據(jù)庫Redis

MQ支持?jǐn)€批讀取

可以有效提高處理效率并降低資源成本。

云消息隊(duì)列 RocketMQ 版

MySQL Catalog中不再支持查看視圖

MySQL視圖作為數(shù)據(jù)庫中的一種邏輯結(jié)構(gòu)，本身并不存儲(chǔ)數(shù)據(jù)。因此自該版本起，新創(chuàng)建的MySQL Catalog都無法查看視圖信息。

管理MySQL Catalog

增強(qiáng)了對(duì)Hive Kerberos集群的支持

對(duì)開啟Kerberos的Hive集群兼容性范圍擴(kuò)展至Hadoop 2.x。

注冊(cè)Hive Kerberos集群

Iceberg Connector SDK版本升級(jí)

支持讀寫Apache Iceberg 1.5。

主要缺陷修復(fù)

  • 修復(fù)了實(shí)時(shí)計(jì)算引擎VVR 8.0.5和VVR 8.0.6版本Hologres連接器Where條件下推導(dǎo)致的數(shù)據(jù)正確性問題。

  • 修復(fù)了SLS連接器在Failover期間，SLS源表仍然在消費(fèi)位點(diǎn)提交而導(dǎo)致數(shù)據(jù)丟失問題。

  • 修復(fù)了同時(shí)設(shè)置有TTL的mapState和無TTL的valueState時(shí)出現(xiàn)的valueState狀態(tài)丟失問題。

  • 修復(fù)了動(dòng)態(tài)CEP中反序列化WithinType.PREVIOUS_AND_CURRENT結(jié)果不一致問題。

  • 修復(fù)了控制臺(tái)監(jiān)控頁面與Flink UI頁面的currentEmitEventTimeLag 匯報(bào)數(shù)據(jù)不一致問題。

  • 修復(fù)了Apache Flink 1.17.2版本的所有缺陷，詳情請(qǐng)參見Apache Flink 1.17.2 Release Announcement。