隨著企業(yè)的數(shù)據(jù)資料持續(xù)積累,需要持久化地保留數(shù)據(jù)資產(chǎn),但是數(shù)據(jù)的存儲成本居高不下,因此DMS和AnalyticDB PostgreSQL版Serverless模式共同推出了數(shù)據(jù)歸檔功能,可以面對數(shù)據(jù)庫實(shí)現(xiàn)靈活低價、歸檔管理和高分析性能的能力。
功能介紹
DMS目前支持用戶對企業(yè)主要的生產(chǎn)日志,交易等業(yè)務(wù)數(shù)據(jù)進(jìn)行靈活的數(shù)據(jù)歸檔。AnalyticDB PostgreSQL版 Serverless模式實(shí)例作為數(shù)據(jù)歸檔引擎具有以下優(yōu)勢:
- 支持表級歸檔、自定義歸檔條件、歸檔過程數(shù)據(jù)映射和歸檔清理等主流歸檔能力。
- 支持自定義周期性歸檔,可滿足審計(jì)、歷史數(shù)據(jù)分析的數(shù)據(jù)歸檔訴求。
- 當(dāng)您選中成本最優(yōu)時,可以實(shí)現(xiàn)歸檔時自動啟動實(shí)例、歸檔后自動暫停實(shí)例。大幅優(yōu)化了OLAP引擎作為歸檔引擎時的成本浪費(fèi),保證了計(jì)算按需啟動。
- AnalyticDB PostgreSQL版Serverless模式具有極強(qiáng)地?cái)?shù)據(jù)分析性能,相較于OSS等存儲介質(zhì),可幫助用戶結(jié)構(gòu)化地管理歸檔數(shù)據(jù),同時按需對歸檔數(shù)據(jù)進(jìn)行高效分析。
- 支持直接使用AnalyticDB PostgreSQL版分析歸檔數(shù)據(jù)。
AnalyticDB PostgreSQL版支持將以下數(shù)據(jù)源的數(shù)據(jù)進(jìn)行歸檔:
- RDS MySQL
- PolarDB MySQL引擎
- PolarDB-X
- AnalyticDB MySQL 3.0
- RDS PostgreSQL
- PolarDB PostgreSQL引擎
數(shù)據(jù)歸檔方案對比
歸檔方案 | 性價比 | 數(shù)據(jù)管理的易用性 | 數(shù)據(jù)查詢以及分析能力 |
---|---|---|---|
使用OLTP數(shù)據(jù)庫進(jìn)行數(shù)據(jù)歸檔 | 較差 | 優(yōu)秀 | 中等 |
使用對象存儲OSS進(jìn)行數(shù)據(jù)歸檔 | 優(yōu)秀 | 較差 | 較差 |
使用傳統(tǒng)OLAP引擎進(jìn)行數(shù)據(jù)歸檔 | 較差 | 優(yōu)秀 | 優(yōu)秀 |
使用AnalyticDB PostgreSQL版Serverless模式進(jìn)行數(shù)據(jù)歸檔 | 優(yōu)秀 | 優(yōu)秀 | 優(yōu)秀 |
前提條件
- 已創(chuàng)建AnalyticDB PostgreSQL版Serverless模式實(shí)例,作為歸檔目標(biāo)庫。如何創(chuàng)建實(shí)例,請參見創(chuàng)建實(shí)例。
- 已為歸檔目標(biāo)庫創(chuàng)建賬號。具體操作,請參見創(chuàng)建數(shù)據(jù)庫賬號。
注意事項(xiàng)
- 若在數(shù)據(jù)歸檔過程中選擇了自動清理源庫表數(shù)據(jù),請注意源庫表空間的預(yù)留情況,避免由于空間不足導(dǎo)致歸檔過程中出現(xiàn)異常。
- 支持存儲彈性模式和Serverless模式兩種實(shí)例資源類型的AnalyticDB PostgreSQL版。
- 推薦您使用資源類型為Serverless模式作為目標(biāo)數(shù)據(jù)歸檔引擎,可以享受超低存儲價格和高性能數(shù)據(jù)分析,同時,在后續(xù)創(chuàng)建數(shù)據(jù)歸檔工單過程中,選中成本最優(yōu),可以實(shí)現(xiàn)歸檔時自動啟動實(shí)例、歸檔后自動暫停實(shí)例。
- 源庫和目標(biāo)庫的管控模式均為安全協(xié)同,才可執(zhí)行周期歸檔任務(wù),否則歸檔任務(wù)可能會失敗。變更管控模式的操作,請參見變更管控模式。
- 若您僅需要單次執(zhí)行歸檔任務(wù),則不限制數(shù)據(jù)庫的管控模式。
第一步:進(jìn)入數(shù)據(jù)歸檔
- 登錄云原生數(shù)據(jù)倉庫AnalyticDB PostgreSQL版控制臺。
- 在控制臺左上角,選擇實(shí)例所在地域。
- 找到目標(biāo)實(shí)例,單擊實(shí)例ID。
- 在基本信息頁面,單擊右上角的登錄數(shù)據(jù)庫。
- 在登錄實(shí)例頁面,輸入數(shù)據(jù)庫賬號和數(shù)據(jù)庫密碼。
- 單擊登錄。
- 在頂部菜單欄中,選擇 。
第二步:創(chuàng)建數(shù)據(jù)歸檔任務(wù)
- 在頂部菜單欄中,選擇 。
- 在新建數(shù)據(jù)歸檔工單頁面,配置工單信息。
配置項(xiàng) 是否必填 說明 任務(wù)名 是 請輸入明確、清晰的任務(wù)名,以減少溝通成本。 歸檔目標(biāo) 是 選中AnalyticDB PostgreSQL。 ADB實(shí)例 是 搜索并選擇目標(biāo)AnalyticDB PostgreSQL版實(shí)例。 說明 若您選中了成本最優(yōu),且實(shí)例的資源類型為Serverless模式、付費(fèi)的方式為按量付費(fèi)時,有如下優(yōu)勢:- 歸檔任務(wù)開始執(zhí)行時,實(shí)例自動啟動。
- 歸檔任務(wù)完成執(zhí)行后,實(shí)例自動暫停。
- 歸檔任務(wù)執(zhí)行期間,實(shí)例處于運(yùn)行中狀態(tài),收取計(jì)算節(jié)點(diǎn)費(fèi)用和存儲費(fèi)用。費(fèi)用詳情,請參見費(fèi)用說明。
- 歸檔任務(wù)執(zhí)行結(jié)束后,實(shí)例處于已暫停狀態(tài),僅收取存儲費(fèi)用。
數(shù)據(jù)庫 是 搜索并選擇源數(shù)據(jù)庫。 歸檔配置 是 - 選擇需要?dú)w檔數(shù)據(jù)的表。
- 可選:輸入歸檔數(shù)據(jù)的過濾條件。說明 如果您需要使用時間變量,例如,歸檔6個月前的數(shù)據(jù),可以先進(jìn)行變量配置。
歸檔表映射 否 您可以單擊表名操作列下的編輯,編輯源表歸檔到目標(biāo)庫后的表名、列信息、分庫鍵和分區(qū)鍵。 變量配置 否 配置時間變量,請參見配置時間變量。 后置行為 否 - 若您選中清理原表已歸檔數(shù)據(jù)(delete-無鎖),則在歸檔完成后,系統(tǒng)將自動執(zhí)行歸檔后的源表數(shù)據(jù)刪除操作,可以通過無鎖數(shù)據(jù)變更的
DELETE
語句完成。但刪除源表的同時,源庫中會生成存儲此次歸檔數(shù)據(jù)的備份臨時表,請保證源庫空間充足,避免空間容量不足引發(fā)實(shí)例不可用問題。清理備份臨時表:您可以在確認(rèn)數(shù)據(jù)歸檔完成且數(shù)據(jù)無誤后,通過新建普通數(shù)據(jù)變更工單,清理源庫中的備份臨時表。
- 若您未選中清理原表已歸檔數(shù)據(jù)(delete-無鎖),則需要在數(shù)據(jù)歸檔成功后,手動進(jìn)行源表數(shù)據(jù)刪除和空間優(yōu)化。
- 清理源表數(shù)據(jù):通過新建普通數(shù)據(jù)變更工單清理數(shù)據(jù)庫中已歸檔的數(shù)據(jù)。新建普通數(shù)據(jù)變更工單,請參見普通數(shù)據(jù)變更。
- 源表空間優(yōu)化:通過新建無鎖變更工單完成源表空間優(yōu)化。新建無鎖變更工單,請參見通過無鎖變更工單實(shí)現(xiàn)無鎖結(jié)構(gòu)變更。
運(yùn)行方式 是 選擇運(yùn)行方式,當(dāng)前支持: - 單次執(zhí)行:工單審核通過后,僅單次運(yùn)行歸檔任務(wù)。
- 周期調(diào)度:工單審核通過后,可根據(jù)部署的周期調(diào)度執(zhí)行歸檔任務(wù)。具體配置,請參見周期調(diào)度。
- 單擊提交申請。
- 在彈出的歸檔數(shù)據(jù)預(yù)覽頁面,單擊確定。
- 工單審批通過后,系統(tǒng)自動執(zhí)行數(shù)據(jù)歸檔任務(wù)。
若任務(wù)執(zhí)行失敗,您可在工單的執(zhí)行區(qū)域,單擊操作列下的詳情,查看歸檔任務(wù)日志,找出任務(wù)執(zhí)行失敗的原因。若是由于網(wǎng)絡(luò)或數(shù)據(jù)庫連接失敗等偶然發(fā)生的問題,您也可以單擊斷點(diǎn)重試,嘗試重新執(zhí)行。
- 任務(wù)執(zhí)行完成。
第三步:查詢歸檔數(shù)據(jù)
- 登錄云原生數(shù)據(jù)倉庫AnalyticDB PostgreSQL版控制臺。
- 在控制臺左上角,選擇實(shí)例所在地域。
- 找到目標(biāo)實(shí)例,單擊實(shí)例ID。
- 如果您在配置工單參數(shù)時選擇了成本最優(yōu),需要在基本信息頁面,單擊右上角的 ,重啟實(shí)例。
- 單擊基本信息頁面右上角的登錄數(shù)據(jù)庫。
- 在登錄實(shí)例頁面,輸入數(shù)據(jù)庫賬號和數(shù)據(jù)庫密碼。
- 單擊登錄。
- 在DMS控制臺左側(cè)的已登錄實(shí)例列表,找到歸檔實(shí)例和歸檔數(shù)據(jù)庫,雙擊進(jìn)入數(shù)據(jù)庫。
- 在SQL Console頁面中,執(zhí)行
SELECT
語句查詢歸檔數(shù)據(jù)。SELECT * FROM customer;
周期調(diào)度
配置項(xiàng) | 說明 |
---|---|
調(diào)度周期 | 選擇調(diào)度任務(wù)的周期:
|
定時調(diào)度 | 提供了2種定時調(diào)度的方式:
|
指定時間 |
|
具體時間 | 設(shè)置執(zhí)行任務(wù)流的具體時間。 例如配置02:55,系統(tǒng)將在指定天的02時55分執(zhí)行任務(wù)。 |
cron表達(dá)式 | 不需要手動配置,系統(tǒng)會根據(jù)您配置的周期、具體時間自動展現(xiàn)。 |