隨著企業(yè)的數(shù)據(jù)資料持續(xù)積累,需要持久化地保留數(shù)據(jù)資產(chǎn),但是數(shù)據(jù)的存儲成本居高不下,因此DMS和AnalyticDB PostgreSQL版Serverless模式共同推出了數(shù)據(jù)歸檔功能,可以面對數(shù)據(jù)庫實(shí)現(xiàn)靈活低價、歸檔管理和高分析性能的能力。

功能介紹

DMS目前支持用戶對企業(yè)主要的生產(chǎn)日志,交易等業(yè)務(wù)數(shù)據(jù)進(jìn)行靈活的數(shù)據(jù)歸檔。AnalyticDB PostgreSQL版 Serverless模式實(shí)例作為數(shù)據(jù)歸檔引擎具有以下優(yōu)勢:

  • 支持表級歸檔、自定義歸檔條件、歸檔過程數(shù)據(jù)映射和歸檔清理等主流歸檔能力。
  • 支持自定義周期性歸檔,可滿足審計(jì)、歷史數(shù)據(jù)分析的數(shù)據(jù)歸檔訴求。
  • 當(dāng)您選中成本最優(yōu)時,可以實(shí)現(xiàn)歸檔時自動啟動實(shí)例、歸檔后自動暫停實(shí)例。大幅優(yōu)化了OLAP引擎作為歸檔引擎時的成本浪費(fèi),保證了計(jì)算按需啟動。
  • AnalyticDB PostgreSQL版Serverless模式具有極強(qiáng)地?cái)?shù)據(jù)分析性能,相較于OSS等存儲介質(zhì),可幫助用戶結(jié)構(gòu)化地管理歸檔數(shù)據(jù),同時按需對歸檔數(shù)據(jù)進(jìn)行高效分析。
  • 支持直接使用AnalyticDB PostgreSQL版分析歸檔數(shù)據(jù)。
AnalyticDB PostgreSQL版支持將以下數(shù)據(jù)源的數(shù)據(jù)進(jìn)行歸檔:
  • RDS MySQL
  • PolarDB MySQL引擎
  • PolarDB-X
  • AnalyticDB MySQL 3.0
  • RDS PostgreSQL
  • PolarDB PostgreSQL引擎

數(shù)據(jù)歸檔方案對比

歸檔方案性價比數(shù)據(jù)管理的易用性數(shù)據(jù)查詢以及分析能力
使用OLTP數(shù)據(jù)庫進(jìn)行數(shù)據(jù)歸檔較差優(yōu)秀中等
使用對象存儲OSS進(jìn)行數(shù)據(jù)歸檔優(yōu)秀較差較差
使用傳統(tǒng)OLAP引擎進(jìn)行數(shù)據(jù)歸檔較差優(yōu)秀優(yōu)秀
使用AnalyticDB PostgreSQL版Serverless模式進(jìn)行數(shù)據(jù)歸檔優(yōu)秀優(yōu)秀優(yōu)秀

前提條件

注意事項(xiàng)

  • 若在數(shù)據(jù)歸檔過程中選擇了自動清理源庫表數(shù)據(jù),請注意源庫表空間的預(yù)留情況,避免由于空間不足導(dǎo)致歸檔過程中出現(xiàn)異常。
  • 支持存儲彈性模式和Serverless模式兩種實(shí)例資源類型的AnalyticDB PostgreSQL版
  • 推薦您使用資源類型為Serverless模式作為目標(biāo)數(shù)據(jù)歸檔引擎,可以享受超低存儲價格和高性能數(shù)據(jù)分析,同時,在后續(xù)創(chuàng)建數(shù)據(jù)歸檔工單過程中,選中成本最優(yōu),可以實(shí)現(xiàn)歸檔時自動啟動實(shí)例、歸檔后自動暫停實(shí)例。
  • 源庫和目標(biāo)庫的管控模式均為安全協(xié)同,才可執(zhí)行周期歸檔任務(wù),否則歸檔任務(wù)可能會失敗。變更管控模式的操作,請參見變更管控模式
  • 若您僅需要單次執(zhí)行歸檔任務(wù),則不限制數(shù)據(jù)庫的管控模式。

第一步:進(jìn)入數(shù)據(jù)歸檔

  1. 登錄云原生數(shù)據(jù)倉庫AnalyticDB PostgreSQL版控制臺
  2. 在控制臺左上角,選擇實(shí)例所在地域。
  3. 找到目標(biāo)實(shí)例,單擊實(shí)例ID。
  4. 基本信息頁面,單擊右上角的登錄數(shù)據(jù)庫
  5. 登錄實(shí)例頁面,輸入數(shù)據(jù)庫賬號數(shù)據(jù)庫密碼
  6. 單擊登錄
  7. 在頂部菜單欄中,選擇解決方案 > 數(shù)據(jù)歸檔

第二步:創(chuàng)建數(shù)據(jù)歸檔任務(wù)

  1. 在頂部菜單欄中,選擇解決方案 > 數(shù)據(jù)歸檔
  2. 新建數(shù)據(jù)歸檔工單頁面,配置工單信息。
    配置項(xiàng)是否必填說明
    任務(wù)名請輸入明確、清晰的任務(wù)名,以減少溝通成本。
    歸檔目標(biāo)選中AnalyticDB PostgreSQL
    ADB實(shí)例搜索并選擇目標(biāo)AnalyticDB PostgreSQL版實(shí)例。
    說明 若您選中了成本最優(yōu),且實(shí)例的資源類型為Serverless模式、付費(fèi)的方式為按量付費(fèi)時,有如下優(yōu)勢:
    • 歸檔任務(wù)開始執(zhí)行時,實(shí)例自動啟動。
    • 歸檔任務(wù)完成執(zhí)行后,實(shí)例自動暫停。
    • 歸檔任務(wù)執(zhí)行期間,實(shí)例處于運(yùn)行中狀態(tài),收取計(jì)算節(jié)點(diǎn)費(fèi)用和存儲費(fèi)用。費(fèi)用詳情,請參見費(fèi)用說明
    • 歸檔任務(wù)執(zhí)行結(jié)束后,實(shí)例處于已暫停狀態(tài),僅收取存儲費(fèi)用。
    數(shù)據(jù)庫搜索并選擇源數(shù)據(jù)庫。
    歸檔配置
    1. 選擇需要?dú)w檔數(shù)據(jù)的表。
    2. 可選:輸入歸檔數(shù)據(jù)的過濾條件。
      說明 如果您需要使用時間變量,例如,歸檔6個月前的數(shù)據(jù),可以先進(jìn)行變量配置
    歸檔表映射您可以單擊表名操作列下的編輯,編輯源表歸檔到目標(biāo)庫后的表名、列信息、分庫鍵和分區(qū)鍵。
    變量配置配置時間變量,請參見配置時間變量
    后置行為
    • 若您選中清理原表已歸檔數(shù)據(jù)(delete-無鎖),則在歸檔完成后,系統(tǒng)將自動執(zhí)行歸檔后的源表數(shù)據(jù)刪除操作,可以通過無鎖數(shù)據(jù)變更的DELETE語句完成。但刪除源表的同時,源庫中會生成存儲此次歸檔數(shù)據(jù)的備份臨時表,請保證源庫空間充足,避免空間容量不足引發(fā)實(shí)例不可用問題。

      清理備份臨時表:您可以在確認(rèn)數(shù)據(jù)歸檔完成且數(shù)據(jù)無誤后,通過新建普通數(shù)據(jù)變更工單,清理源庫中的備份臨時表。

    • 若您未選中清理原表已歸檔數(shù)據(jù)(delete-無鎖),則需要在數(shù)據(jù)歸檔成功后,手動進(jìn)行源表數(shù)據(jù)刪除和空間優(yōu)化。
      1. 清理源表數(shù)據(jù):通過新建普通數(shù)據(jù)變更工單清理數(shù)據(jù)庫中已歸檔的數(shù)據(jù)。新建普通數(shù)據(jù)變更工單,請參見普通數(shù)據(jù)變更
      2. 源表空間優(yōu)化:通過新建無鎖變更工單完成源表空間優(yōu)化。新建無鎖變更工單,請參見通過無鎖變更工單實(shí)現(xiàn)無鎖結(jié)構(gòu)變更
    運(yùn)行方式選擇運(yùn)行方式,當(dāng)前支持:
    • 單次執(zhí)行:工單審核通過后,僅單次運(yùn)行歸檔任務(wù)。
    • 周期調(diào)度:工單審核通過后,可根據(jù)部署的周期調(diào)度執(zhí)行歸檔任務(wù)。具體配置,請參見周期調(diào)度
  3. 單擊提交申請
  4. 在彈出的歸檔數(shù)據(jù)預(yù)覽頁面,單擊確定
  5. 工單審批通過后,系統(tǒng)自動執(zhí)行數(shù)據(jù)歸檔任務(wù)。

    若任務(wù)執(zhí)行失敗,您可在工單的執(zhí)行區(qū)域,單擊操作列下的詳情,查看歸檔任務(wù)日志,找出任務(wù)執(zhí)行失敗的原因。若是由于網(wǎng)絡(luò)或數(shù)據(jù)庫連接失敗等偶然發(fā)生的問題,您也可以單擊斷點(diǎn)重試,嘗試重新執(zhí)行。

  6. 任務(wù)執(zhí)行完成。

第三步:查詢歸檔數(shù)據(jù)

  1. 登錄云原生數(shù)據(jù)倉庫AnalyticDB PostgreSQL版控制臺
  2. 在控制臺左上角,選擇實(shí)例所在地域。
  3. 找到目標(biāo)實(shí)例,單擊實(shí)例ID。
  4. 如果您在配置工單參數(shù)時選擇了成本最優(yōu),需要在基本信息頁面,單擊右上角的實(shí)例管理 > 啟動實(shí)例,重啟實(shí)例。
  5. 單擊基本信息頁面右上角的登錄數(shù)據(jù)庫
  6. 登錄實(shí)例頁面,輸入數(shù)據(jù)庫賬號數(shù)據(jù)庫密碼
  7. 單擊登錄
  8. 在DMS控制臺左側(cè)的已登錄實(shí)例列表,找到歸檔實(shí)例和歸檔數(shù)據(jù)庫,雙擊進(jìn)入數(shù)據(jù)庫。
  9. SQL Console頁面中,執(zhí)行SELECT語句查詢歸檔數(shù)據(jù)。
    SELECT * FROM customer;

周期調(diào)度

表 1. 調(diào)度周期配置表
配置項(xiàng)說明
調(diào)度周期選擇調(diào)度任務(wù)的周期:
  • 小時:按設(shè)定的小時執(zhí)行任務(wù)調(diào)度,需要配置定時調(diào)度。
  • :按每日一次的頻率執(zhí)行任務(wù)調(diào)度,需要配置每日調(diào)度的具體時間。
  • :以周為周期,每個指定天執(zhí)行一次任務(wù)調(diào)度,需要配置指定時間和具體時間。
  • :以月為周期,每個指定天執(zhí)行一次任務(wù)調(diào)度,需要配置指定時間和具體時間。
定時調(diào)度提供了2種定時調(diào)度的方式:
  • 固定間隔時間調(diào)度:
    • 開始時間:執(zhí)行任務(wù)的開始時間。
    • 間隔時間:執(zhí)行任務(wù)的間隔時間,單位為小時。
    • 結(jié)束時間:執(zhí)行任務(wù)的結(jié)束時間。
    例如,配置開始時間為00:00、間隔時間為6小時、結(jié)束時間為20:59,系統(tǒng)將在0點(diǎn)、6點(diǎn)、12點(diǎn)、18點(diǎn)執(zhí)行任務(wù)。
  • 指定時間調(diào)度:選擇執(zhí)行任務(wù)的目標(biāo)時間點(diǎn)。

    例如選擇和0小時和5小時,系統(tǒng)將在0點(diǎn)和5點(diǎn)執(zhí)行任務(wù)。

指定時間
  • 如果調(diào)度周期為周,選擇星期幾執(zhí)行任務(wù),支持多選。
  • 如果調(diào)度周期為月,選擇每月幾號執(zhí)行任務(wù),支持多選。
具體時間設(shè)置執(zhí)行任務(wù)流的具體時間。

例如配置02:55,系統(tǒng)將在指定天的02時55分執(zhí)行任務(wù)。

cron表達(dá)式不需要手動配置,系統(tǒng)會根據(jù)您配置的周期、具體時間自動展現(xiàn)。