本文為您介紹將數據歸檔至云原生數倉AnalyticDB MySQL版 3.0的操作步驟。
前提條件
支持如下類型的源數據庫:
MySQL類型:RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。
PostgreSQL類型:RDS PostgreSQL、PolarDB PostgreSQL版。
PolarDB-X 2.0。
說明MySQL數據庫賬號必須具有REPLICATION CLIENT權限。
已購買AnalyticDB MySQL 3.0實例。購買操作,請參見創建集群。
需要歸檔的源表必須存在主鍵或者唯一鍵。
說明建議源表中包含修改時間的字段,以便將業務修改時間作為歸檔的過濾條件。
注意事項
若在數據歸檔過程中選擇了自動清理源庫表數據,請注意源庫表空間的預留情況,避免由于空間不足導致歸檔過程中出現異常。
例如您需要歸檔90 GB的表數據,那么您源庫表空間也需要預留至少90 GB。
源庫和目標庫的管控模式均為安全協同或穩定變更,才可執行周期歸檔任務。若您僅需要單次執行歸檔任務,則不限制數據庫的管控模式。
若歸檔目標為AnalyticDB for MySQL湖倉版3.0時,需保證實例的計算預留資源不為0,否則會導致數據歸檔失敗。湖倉版擴縮容的具體操作,請參見湖倉版擴縮容。
費用說明
購買AnalyticDB MySQL 3.0實例的費用。相關費用信息,請參見數倉版(3.0)產品定價、湖倉版產品定價。
數據歸檔
- 登錄數據管理DMS 5.0。
在頂部菜單欄中,選擇 。
說明若您使用的是極簡模式的控制臺,請單擊控制臺左上角的圖標,選擇
。在頁面右上角,單擊數據歸檔。
在新建數據歸檔工單頁面,配置工單信息。
配置項
是否必填
說明
任務名
是
請輸入明確、清晰的任務名,以減少溝通成本。
歸檔目標
是
選中AnalyticDB for MySQL 3.0。
ADB實例
是
搜索并選擇目標AnalyticDB MySQL 3.0實例。
源數據庫
是
搜索并選擇源數據庫。
歸檔配置
是
可選:輸入歸檔數據的過濾條件。例如,
gmt_modified<='${6_month_ago}'
。說明如果您需要使用時間變量,例如,歸檔6個月前的數據,可以先進行變量配置。
可選:單擊添加,添加多個源表。
歸檔表映射
否
您可以單擊表名操作列下的編輯,編輯源表歸檔到目標庫后的表名、列信息、分庫鍵和分區鍵。
變量配置
否
配置該變量可以在配置歸檔過濾條件時使用。例如,時間變量為
6_month_ago
,時間格式為yyyy-MM-dd,偏移量設置為-6月。如果當前日期為2021-8-12,則變量${6_month_ago}
的值為2021-02-11。配置時間變量的更多信息,請參見配置時間變量。后置行為
否
若您選中清理原表已歸檔數據(delete-無鎖),則在歸檔完成后,系統將自動執行歸檔后的源表數據刪除操作,可以通過無鎖數據變更的
DELETE
語句完成。但刪除源表的同時,源庫中會生成存儲此次歸檔數據的備份臨時表,請保證源庫空間充足,避免空間容量不足引發實例不可用問題。清理備份臨時表:您可以在確認數據歸檔完成且數據無誤后,通過新建普通數據變更工單,清理源庫中的備份臨時表。
若您未選中清理原表已歸檔數據(delete-無鎖),則需要在數據歸檔成功后,手動進行源表數據刪除和空間優化。
清理源表數據:通過新建普通數據變更工單清理數據庫中已歸檔的數據。新建普通數據變更工單,請參見普通數據變更。
源表空間優化:通過新建無鎖變更工單完成源表空間優化。新建無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更。
運行方式
是
選擇運行方式,當前支持:
單次執行:工單審核通過后,僅單次運行歸檔任務。
周期調度:工單審核通過后,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度。
單擊提交申請。
工單審批通過后,系統自動執行數據歸檔任務,等待歸檔任務執行完成。
若任務執行失敗,您可在工單的執行區域,單擊操作列下的詳情,查看歸檔任務日志,找出任務執行失敗的原因。若是由于網絡或數據庫連接失敗等偶然發生的問題,您也可以單擊斷點重試,嘗試重新執行。
歸檔后的數據以表形式存儲在數據庫中。
歸檔后查詢數據
方式一:通過DMS查詢歸檔數據
數據歸檔任務執行成功后,您可在當前工單詳情頁的基本信息區域,單擊目標庫右側的查看。
進入SQL Console頁面后,在左側表列表區域,選擇并雙擊目標表名,再單擊執行,查看已歸檔的數據。
說明系統會自動根據源數據庫的庫表名稱在歸檔實例上生成庫和表,所以此處的目標數據庫名稱與源庫名稱相同。
歸檔后的表會新增四列數據,不影響表原始數據的使用:
歸檔信息(工單號和歸檔時間)
數據庫名稱
表名稱
實例ID(DMS錄入實例時賦予的ID,與實例真實ID對應)
方式二:通過AnalyticDB for MySQL查詢歸檔數據
具體的查詢操作,請參見導入數據并查詢。