數據歸檔
當線上數據庫中的歷史數據(訪問率很低的數據)越來越多,占用的存儲越來越大,以至于會影響數據庫的查詢性能與業務運轉,此時您可以使用數據管理DMS的數據歸檔功能,周期性地將符合篩選條件的表數據歸檔至其他數據庫或存儲服務中。同時,該功能還支持刪除源表數據、表空間整理等,降低在線存儲成本。
使用場景示例
在電子商務平臺中,每天會產生大量的訂單數據,這些訂單數據隨著時間的推移,其訪問需求逐漸減少。為了提高數據庫的性能和減少存儲空間的占用,可以使用DMS的數據歸檔,周期性地歸檔訂單數據。
注意事項
DMS數據歸檔僅適用于中小規模數據量的歸檔。對于特別大規模數據量的歸檔,建議您使用引擎自身的冷熱數據分離功能。
歸檔表包含大字段(BLOB、TEXT等類型)和數據量較大的行時,可能會導致歸檔任務失敗。
數據歸檔操作可能會對正在運行的業務性能產生一定的影響。
重要為最小化影響,建議您在業務低峰時執行歸檔操作。
目前不支持對包含虛擬列的表數據進行歸檔。
目前不支持在DMS控制臺或使用API歸檔他云或自建數據庫的數據。
DMS歸檔的數據是根據工單配置的過濾條件,在數據庫查詢結果的基礎上進行篩選,請確保過濾條件的查詢效率。
DMS數據歸檔與DTS數據遷移的區別
功能目的
數據歸檔可通過自定義過濾條件,將不經常訪問的數據歸檔至其他存儲中,旨在減輕主數據庫的負載和提高性能。
數據遷移實現同構和異構數據源之間的數據遷移。數據遷移詳情,請參見遷移方案概覽。
應用場景
數據歸檔可實現將不常訪問的數據,周期性地或一次性歸檔至其他數據庫或存儲中。
數據遷移適用于數據上云遷移、阿里云內部跨任務數據遷移、數據庫拆分或擴容等業務場景。
歸檔目標選擇指引
引擎類
對比項 | Lindorm | AnalyticDB MySQL 3.0 | AnalyticDB for PostgreSQL | RDS MySQL | PolarDB MySQL版 |
支持的源數據庫類型 |
說明 MySQL數據庫賬號必須具有REPLICATION CLIENT權限。 | ||||
費用說明 | 數據歸檔功能不收費,在購買、使用目標實例過程中,可能會涉及費用。 | ||||
歸檔后是否支持刪除源數據 | 支持同步刪除源數據,保證數據歸檔和源數據刪除同步完成,降低了后期刪除源數據的麻煩和風險。
| ||||
如何查詢已歸檔的數據 |
| ||||
指定歸檔位置 |
| ||||
表結構變化 | 新增一列,記錄工單號、歸檔時間等,不影響數據使用。 | ||||
用途 |
|
|
|
|
|
數據把控能力 | 最強,數據歸檔在您管理的數據庫實例上,可以通過數據庫交互靈活處理數據。 |
存儲類
對比項 | 專屬存儲(推薦) | 用戶OSS | DBS內置OSS(不推薦) |
支持的源數據庫類型 |
說明
|
說明 目前MongoDB作為源庫進行數據歸檔正在公測中。 |
|
費用說明 | 公測階段專屬存儲暫不收費。 | 數據歸檔功能不收費,在購買、使用OSS過程中,可能會涉及費用。 | DMS會在DBS中創建一個備份計劃,DBS會根據備份的數據量收取備份、存儲等費用。費用請參見DBS費用概述。 說明 數據歸檔創建的DBS備份計劃規格為xlarge。 |
歸檔后是否支持刪除源數據 | 支持同步刪除源數據,保證數據歸檔和源數據刪除同步完成,降低了后期刪除源數據的麻煩和風險。
| 不支持自動刪除源數據,需要通過新建普通數據變更工單清理數據庫中已歸檔的數據。 | |
如何查詢已歸檔的數據 | 支持通過DMS邏輯數倉查詢已歸檔數據,同時,您可以使用文件合并功能提升查詢歸檔數據效率,查詢速度相對其他方式較快。 | 支持通過DMS邏輯數倉查詢已歸檔數據。 | - |
指定歸檔位置 | 無需關注數據存儲的具體位置。 | 需要指定OSS。 | 不需要指定OSS。系統會自動在DBS中創建一個備份計劃,將數據歸檔至OSS。 |
表結構變化 | 表結構不變化。 | 表結構不變化。 | |
用途 |
| 降低在線存儲成本(能力最強)。 | 降低在線存儲成本(能力強)。 |
數據把控能力 | 較強,數據歸檔并存儲在DMS中,您無需關注數據存儲的具體位置。 | 較強,數據歸檔在用戶開通的阿里云OSS上。 | 較弱,數據歸檔在DBS內置OSS上。 |
歸檔鏈路文檔
常見問題
Q:如果在數據歸檔過程中選擇了清理源表數據,歷史的業務數據還能查詢到嗎?
A:可以。數據歸檔功能定時將大表的數據歸檔至其他數據庫,可通過查詢歸檔的歷史實例來查詢歸檔的歷史業務數據。
若您還有其他數據歸檔的問題,請通過釘釘搜索群號19040023327,加入釘釘群進行反饋。