數(shù)據(jù)歸檔
當(dāng)線上數(shù)據(jù)庫中的歷史數(shù)據(jù)(訪問率很低的數(shù)據(jù))越來越多,占用的存儲越來越大,以至于會影響數(shù)據(jù)庫的查詢性能與業(yè)務(wù)運(yùn)轉(zhuǎn),此時您可以使用數(shù)據(jù)管理DMS的數(shù)據(jù)歸檔功能,周期性地將符合篩選條件的表數(shù)據(jù)歸檔至其他數(shù)據(jù)庫或存儲服務(wù)中。同時,該功能還支持刪除源表數(shù)據(jù)、表空間整理等,降低在線存儲成本。
使用場景示例
在電子商務(wù)平臺中,每天會產(chǎn)生大量的訂單數(shù)據(jù),這些訂單數(shù)據(jù)隨著時間的推移,其訪問需求逐漸減少。為了提高數(shù)據(jù)庫的性能和減少存儲空間的占用,可以使用DMS的數(shù)據(jù)歸檔,周期性地歸檔訂單數(shù)據(jù)。
注意事項
DMS數(shù)據(jù)歸檔僅適用于中小規(guī)模數(shù)據(jù)量的歸檔。對于特別大規(guī)模數(shù)據(jù)量的歸檔,建議您使用引擎自身的冷熱數(shù)據(jù)分離功能。
歸檔表包含大字段(BLOB、TEXT等類型)和數(shù)據(jù)量較大的行時,可能會導(dǎo)致歸檔任務(wù)失敗。
數(shù)據(jù)歸檔操作可能會對正在運(yùn)行的業(yè)務(wù)性能產(chǎn)生一定的影響。
重要為最小化影響,建議您在業(yè)務(wù)低峰時執(zhí)行歸檔操作。
目前不支持對包含虛擬列的表數(shù)據(jù)進(jìn)行歸檔。
目前不支持在DMS控制臺或使用API歸檔他云或自建數(shù)據(jù)庫的數(shù)據(jù)。
DMS歸檔的數(shù)據(jù)是根據(jù)工單配置的過濾條件,在數(shù)據(jù)庫查詢結(jié)果的基礎(chǔ)上進(jìn)行篩選,請確保過濾條件的查詢效率。
DMS數(shù)據(jù)歸檔與DTS數(shù)據(jù)遷移的區(qū)別
功能目的
數(shù)據(jù)歸檔可通過自定義過濾條件,將不經(jīng)常訪問的數(shù)據(jù)歸檔至其他存儲中,旨在減輕主數(shù)據(jù)庫的負(fù)載和提高性能。
數(shù)據(jù)遷移實現(xiàn)同構(gòu)和異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)遷移。數(shù)據(jù)遷移詳情,請參見遷移方案概覽。
應(yīng)用場景
數(shù)據(jù)歸檔可實現(xiàn)將不常訪問的數(shù)據(jù),周期性地或一次性歸檔至其他數(shù)據(jù)庫或存儲中。
數(shù)據(jù)遷移適用于數(shù)據(jù)上云遷移、阿里云內(nèi)部跨任務(wù)數(shù)據(jù)遷移、數(shù)據(jù)庫拆分或擴(kuò)容等業(yè)務(wù)場景。
歸檔目標(biāo)選擇指引
引擎類
對比項 | Lindorm | AnalyticDB MySQL 3.0 | AnalyticDB for PostgreSQL | RDS MySQL | PolarDB MySQL版 |
支持的源數(shù)據(jù)庫類型 |
說明 MySQL數(shù)據(jù)庫賬號必須具有REPLICATION CLIENT權(quán)限。 | ||||
費(fèi)用說明 | 數(shù)據(jù)歸檔功能不收費(fèi),在購買、使用目標(biāo)實例過程中,可能會涉及費(fèi)用。 | ||||
歸檔后是否支持刪除源數(shù)據(jù) | 支持同步刪除源數(shù)據(jù),保證數(shù)據(jù)歸檔和源數(shù)據(jù)刪除同步完成,降低了后期刪除源數(shù)據(jù)的麻煩和風(fēng)險。
| ||||
如何查詢已歸檔的數(shù)據(jù) |
| ||||
指定歸檔位置 |
| ||||
表結(jié)構(gòu)變化 | 新增一列,記錄工單號、歸檔時間等,不影響數(shù)據(jù)使用。 | ||||
用途 |
|
|
|
|
|
數(shù)據(jù)把控能力 | 最強(qiáng),數(shù)據(jù)歸檔在您管理的數(shù)據(jù)庫實例上,可以通過數(shù)據(jù)庫交互靈活處理數(shù)據(jù)。 |
存儲類
對比項 | 專屬存儲(推薦) | 用戶OSS | DBS內(nèi)置OSS(不推薦) |
支持的源數(shù)據(jù)庫類型 |
說明
|
說明 目前MongoDB作為源庫進(jìn)行數(shù)據(jù)歸檔正在公測中。 |
|
費(fèi)用說明 | 公測階段專屬存儲暫不收費(fèi)。 | 數(shù)據(jù)歸檔功能不收費(fèi),在購買、使用OSS過程中,可能會涉及費(fèi)用。 | DMS會在DBS中創(chuàng)建一個備份計劃,DBS會根據(jù)備份的數(shù)據(jù)量收取備份、存儲等費(fèi)用。費(fèi)用請參見DBS費(fèi)用概述。 說明 數(shù)據(jù)歸檔創(chuàng)建的DBS備份計劃規(guī)格為xlarge。 |
歸檔后是否支持刪除源數(shù)據(jù) | 支持同步刪除源數(shù)據(jù),保證數(shù)據(jù)歸檔和源數(shù)據(jù)刪除同步完成,降低了后期刪除源數(shù)據(jù)的麻煩和風(fēng)險。
| 不支持自動刪除源數(shù)據(jù),需要通過新建普通數(shù)據(jù)變更工單清理數(shù)據(jù)庫中已歸檔的數(shù)據(jù)。 | |
如何查詢已歸檔的數(shù)據(jù) | 支持通過DMS邏輯數(shù)倉查詢已歸檔數(shù)據(jù),同時,您可以使用文件合并功能提升查詢歸檔數(shù)據(jù)效率,查詢速度相對其他方式較快。 | 支持通過DMS邏輯數(shù)倉查詢已歸檔數(shù)據(jù)。 | - |
指定歸檔位置 | 無需關(guān)注數(shù)據(jù)存儲的具體位置。 | 需要指定OSS。 | 不需要指定OSS。系統(tǒng)會自動在DBS中創(chuàng)建一個備份計劃,將數(shù)據(jù)歸檔至OSS。 |
表結(jié)構(gòu)變化 | 表結(jié)構(gòu)不變化。 | 表結(jié)構(gòu)不變化。 | |
用途 |
| 降低在線存儲成本(能力最強(qiáng))。 | 降低在線存儲成本(能力強(qiáng))。 |
數(shù)據(jù)把控能力 | 較強(qiáng),數(shù)據(jù)歸檔并存儲在DMS中,您無需關(guān)注數(shù)據(jù)存儲的具體位置。 | 較強(qiáng),數(shù)據(jù)歸檔在用戶開通的阿里云OSS上。 | 較弱,數(shù)據(jù)歸檔在DBS內(nèi)置OSS上。 |
歸檔鏈路文檔
常見問題
Q:如果在數(shù)據(jù)歸檔過程中選擇了清理源表數(shù)據(jù),歷史的業(yè)務(wù)數(shù)據(jù)還能查詢到嗎?
A:可以。數(shù)據(jù)歸檔功能定時將大表的數(shù)據(jù)歸檔至其他數(shù)據(jù)庫,可通過查詢歸檔的歷史實例來查詢歸檔的歷史業(yè)務(wù)數(shù)據(jù)。
若您還有其他數(shù)據(jù)歸檔的問題,請通過釘釘搜索群號19040023327,加入釘釘群進(jìn)行反饋。