本文為您介紹如何將數據歸檔用戶OSS(您開通的阿里云OSS服務),以及恢復已歸檔數據至源庫。
前提條件
源數據庫類型如下:
MySQL類型:RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。
PostgreSQL類型:RDS PostgreSQL、PolarDB PostgreSQL版。
MongoDB3.6版本及以上。
PolarDB-X 2.0。
說明MySQL數據庫賬號必須具有REPLICATION CLIENT權限。
目前MongoDB作為源庫進行數據歸檔正在公測中。
源和目標數據庫的管控模式均為穩定變更或安全協同。
已開通并購買標準存儲或低頻訪問類型的用戶OSS。具體操作,請參見開通OSS服務。
用戶OSS需要錄入DMS。具體操作,請參見云數據庫錄入。
重要請錄入用戶OSS至DMS時使用公網地址。若使用的內網地址,則無法進行數據歸檔。若您有任何疑問,請使用釘釘搜索釘釘群號19040023327,加入釘釘群反饋。
錄入OSS前,請您準備好您當前阿里云賬號下創建的AccessKey ID和AccessKey Secret,以成功完成登錄驗證。獲取AccessKey操作,請參見獲取AccessKey。
需要歸檔的源表必須存在主鍵或者唯一鍵。
說明建議源表中配置有業務修改時間的字段,以便將業務修改時間作為歸檔的過濾條件。
注意事項
如果待歸檔的源表中存在三個列聯合主鍵(即三個相互關聯的列共同構成該表的主鍵)或三個及以上的唯一鍵,可能會出現歸檔失敗的情況。建議您在歸檔前對擁有三個列聯合主鍵的源表進行充分測試,或者考慮使用DBS備份等其他歸檔方式。
數據歸檔
- 登錄數據管理DMS 5.0。
- 在頂部菜單欄中,選擇 。
在頁面右上角,單擊數據歸檔。
在新建數據歸檔工單頁面,配置以下信息:
配置項
說明
任務名
請輸入明確、清晰的任務名,方便后續查詢。
歸檔目標
選中OSS。
OSS實例
選擇存放歸檔數據的目標實例。
說明請選擇標準存儲或低頻訪問類型的用戶OSS實例。
OSS BUCKET
選擇實例下的OSS Bucket。
重要若選擇的OSS實例下沒有您所需要的OSS Bucket,請在DMS控制臺登錄此實例,具體操作請參見錄入對象存儲OSS。
歸檔后數據會存儲在此Bucket下的archive文件夾中,請勿刪除。
數據庫
搜索并選擇待歸檔的業務數據庫。
歸檔配置
選擇需要歸檔數據的表。
可選:輸入歸檔數據的過濾條件。
說明如果您需要使用時間變量,例如,歸檔6個月前的數據,可以先進行變量配置。
可選:單擊添加,添加多個源表。
歸檔表映射
您可以單擊操作列下的編輯,配置歸檔表信息。
變量配置(可選)
配置該變量可以在配置歸檔過濾條件時使用。例如,時間變量為
6_month_ago
,時間格式為yyyy-MM-dd,偏移量設置為-6月。如果當前日期為2021-8-12,則變量${6_month_ago}
的值為2021-02-11。配置時間變量的更多信息,請參見配置時間變量。后置行為
選擇是否清理源表已歸檔數據:
不清理:歸檔后不清理源表數據。
清理:歸檔完成后,自動用無鎖的方式清理源表數據。
選擇是否校驗歸檔數據:
不校驗:不校驗歸檔后的數據。
校驗:歸檔數據與原庫數據進行比對,展示差異信息與歸檔信息。
校驗時間隨數據量增長。
運行方式
選擇運行方式,當前支持:
單次執行:工單審核通過后,僅單次運行歸檔任務。
周期調度:工單審核通過后,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度。
單擊提交申請。
工單審批通過后,自動執行數據歸檔任務。
說明數據歸檔功能將以0時區進行數據歸檔與后置行為(與數據庫實際時區無關)。
可選:數據歸檔成功且確認無誤后,您可以刪除已歸檔的源表數據并優化源表空間。
清理源表已歸檔數據。
如果您開啟了后置行為,源表已歸檔數據會被清理,同時在源數據庫中生成備份臨時表。
清理備份臨時表:通過新建普通數據變更工單,清理數據庫中的備份臨時表。新建普通數據變更工單,請參見普通數據變更。
說明在數據歸檔工單詳情頁的最下方,單擊查看臨時表drop SQL,復制清理備份臨時表的SQL語句。
如果您沒有開啟后置行為,需要手動清理源表已歸檔數據。
清理源表已歸檔數據:通過新建普通數據變更工單,清理源數據庫中已歸檔數據。
優化源表空間:通過新建無鎖變更工單,完成源表空間優化。新建無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更。
說明在數據歸檔工單詳情頁的最下方,單擊查看源表空間優化SQL,復制源表空間優化的SQL語句。
恢復已歸檔數據至源庫
費用說明
該功能免費使用。
使用限制
恢復到源庫的任務每次只能恢復一個,必須等待當前恢復完成后,才能執行下一個任務。
僅源數據庫類型為RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0可使用此功能。
操作步驟
進入數據歸檔工單列表頁面,視圖選擇工單視圖。
單擊目標工單視圖行操作列下的詳情。
在數據歸檔工單列表頁的執行區域,單擊操作列下的恢復到源庫。
在對話框中,單擊確認。
此時歸檔的任務下會增加一個恢復的任務。系統自動執行此任務,您需要等待任務狀態從正在執行變為執行成功,此過程耗時長短與您恢復的數據量有關。
重要執行歸檔數據恢復到源庫操作后,系統會自動在源庫中創建臨時表,可能會造成源庫空間不足,請您謹慎操作。
查看已恢復的數據。
在該工單詳情頁的基本信息區域,單擊變更庫名稱,在彈出的提示框上單擊查詢。
雙擊目標表名稱,單擊執行。
您可在SQL Console頁面下方的執行結果區域,查看已恢復的數據。