PolarDB MySQL版的聯邦分析功能已于2024年7月23日完成迭代升級。該功能的入口已下線,不再支持新建任務。后續您可前往PolarDB控制臺-數據集成,進行同步任務的創建。詳情請參見通過無感集成同步數據。
若您已經設置了聯邦分析鏈路,您仍可在華東1(杭州)、華東2(上海)、華南1(深圳)、華北2(北京)、美國(弗吉尼亞)地區看到聯邦分析入口,以便進行鏈路管理。
聯邦分析使用AnalyticDB for MySQL的免費高速數據管道服務(APS)將PolarDB MySQL中的數據實時同步至AnalyticDB for MySQL企業版、基礎版及湖倉版集群中,幫助您一站式完成數據同步與管理。本文介紹如何通過聯邦分析將PolarDB MySQL中的數據同步至AnalyticDB for MySQL企業版、基礎版及湖倉版集群。
前提條件
使用限制
PolarDB MySQL聯邦分析僅支持AnalyticDB for MySQL企業版、基礎版及湖倉版集群。
僅部分地域支持聯邦分析:華北1(青島)、華北2(北京)、華北3(張家口)、華東1(杭州)、華東2(上海)、華南1(深圳)、華南3(廣州)、中國(香港)、日本(東京)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達)、美國(硅谷)、美國(弗吉尼亞)、德國(法蘭克福)、英國(倫敦)。
單個PolarDB MySQL實例僅允許創建3個同步鏈路任務;單個地域僅允許創建30個同步鏈路任務。
創建同步鏈路
登錄PolarDB控制臺。
在頁面左上角,選擇目標實例所在地域。
在左側導航欄選擇聯邦分析。
單擊新建鏈路,在彈出的新建鏈路面板中配置如下參數:
參數
說明
任務名稱
您可以自定義任務名稱。任務名稱默認為data-sync-時間標識。
PolarDB MySQL集群
源PolarDB MySQL實例ID。
源數據庫賬號名
聯邦分析會自動為PolarDB MySQL實例創建數據庫賬號,執行數據同步操作。數據庫賬號以sync開頭,請勿刪除或修改該數據庫賬號名稱。
AnalyticDB MySQL實例
目標AnalyticDB for MySQL集群ID。
您可以選擇已有的企業版、基礎版及湖倉版集群或單擊點擊新建AnalyticDB MySQL實例,新建企業版、基礎版及湖倉版集群。
高級設置
默認關閉。關閉時為源端整實例同步。
開啟高級配置后可配置同步庫表選擇和大表分區鍵設置參數。
同步庫表選擇
您可以選擇需要同步的數據庫和數據表。默認同步源端所有的庫表。
重要不支持同步無主鍵的表,無主鍵的表會被自動過濾。
AnalyticDB for MySQL每個集群最多可創建2048個數據庫。更多信息,請參見使用限制。
大表分區鍵設置
為了提高數據的寫入和查詢性能,建議您設置分區鍵。如何設置分區鍵,請參見表結構設計。
支持設置的分區格式如下:
value:按值進行分區。
yyyyMMdd:按年、月、日進行分區。
yyyyMM:按年、月進行分區。
yyyy:按年進行分區。
單擊確定。任務自動啟動。
在聯邦分析頁面,您可以查看已創建的任務,也可以在操作列查看、編輯、刪除、暫停、啟動同步任務。
重要任務刪除后無法恢復。
單擊目標實例ID,頁面將自動跳轉到云原生數據倉庫 AnalyticDB MySQL 版控制臺。您可以在AnalyticDB for MySQL控制臺進行數據分析。相關操作請參見SQL開發編輯器。
后續操作
創建同步鏈路后,您可以進行SQL開發或Spark開發,具體開發步驟請參考以下文檔: