冷數(shù)據(jù)分層存儲
PolarDB PostgreSQL版支持冷熱數(shù)據(jù)分層存儲功能,使用OSS等更低成本的存儲介質(zhì),將冷熱數(shù)據(jù)進(jìn)行分層存儲。將訪問頻率和更新頻率低的數(shù)據(jù)轉(zhuǎn)存到OSS中,可以有效降低存儲成本。本文介紹了冷數(shù)據(jù)分層存儲的優(yōu)勢和技術(shù)原理。
功能優(yōu)勢
當(dāng)開啟冷數(shù)據(jù)分層存儲后,單位存儲的價格相較于ESSD PL1降低了約90%。詳細(xì)定價規(guī)則請參見冷數(shù)據(jù)分層存儲計(jì)費(fèi)規(guī)則。
PolarDB PostgreSQL版的冷數(shù)據(jù)分層存儲功能具備易用性好、靈活度高、性能優(yōu)良、覆蓋場景廣泛、安全可靠的特點(diǎn):
易用性好
SQL透明:數(shù)據(jù)庫的SQL操作完全透明,無需進(jìn)行任何改寫,支持OSS表聯(lián)合查詢;存儲到OSS上的數(shù)據(jù)也支持進(jìn)行增、刪、改、查操作。
索引透明:支持針對索引、物化視圖等設(shè)置歸檔策略,操作透明。
靈活度高
支持多種分層存儲策略,包括按照表維度進(jìn)行歸檔(同時支持索引、物化視圖)、按分區(qū)維度進(jìn)行歸檔、按指定LOB字段進(jìn)行歸檔。并且支持不同策略的組合,可以根據(jù)業(yè)務(wù)使用情況進(jìn)行靈活配置。
性能良好
查詢性能良好,采用了三層緩存設(shè)計(jì):UDF內(nèi)邏輯對象緩存+頁面共享緩存+文件持久化緩存,有效減少了對OSS的訪問次數(shù),從而將OSS的讀寫延遲影響降到最低。
覆蓋場景廣泛
支持通用、時空、時序數(shù)據(jù)的歸檔,例如將時空軌跡、高精度地圖等數(shù)據(jù)歸檔,大幅降低存儲成本。
安全可靠
OSS冷存數(shù)據(jù)同樣支持備份恢復(fù)功能,在降低備份成本的同時還保障了高可用能力。
該功能支持版本為PolarDB PostgreSQL版14.10.21.0及以上版本。
冷存后的數(shù)據(jù)訪問延遲會有所增加,且不建議頻繁更新或?qū)懭?,您可以選擇性地將數(shù)據(jù)存儲在OSS中。
支持的地域
地區(qū) | 地域 |
中國 | 華東1(杭州) |
華東2(上海) | |
華南1(深圳) | |
華南3(廣州) | |
華北2(北京) | |
華北3(張家口) | |
華北6(烏蘭察布) | |
中國(香港) | |
亞太地區(qū) | 新加坡 |
印度尼西亞(雅加達(dá)) | |
馬來西亞(吉隆坡) |
技術(shù)原理
PolarDB PostgreSQL版 實(shí)現(xiàn)的冷熱分層存儲功能可以將OSS對象存儲直接作為數(shù)據(jù)庫的一種存儲介質(zhì),存儲價格低廉。PolarDB PostgreSQL版也可以與塊存儲聯(lián)合使用,根據(jù)不同維度自動將冷熱數(shù)據(jù)分層存儲,既保持了增刪改查的SQL全部透明,又通過多級緩存保障了性能的最少衰減。
數(shù)據(jù)冷存的幾種模式
數(shù)據(jù)冷存是指將數(shù)據(jù)表/索引/物化視圖轉(zhuǎn)存入OSS,轉(zhuǎn)存后不再占用或者極少量占用數(shù)據(jù)庫云盤存儲空間,從而大大降低數(shù)據(jù)庫的存儲成本。數(shù)據(jù)冷存后,所有的增刪改查SQL都透明,無需做任何修改。
PolarDB支持的數(shù)據(jù)冷存模式包含以下三種:
將整表數(shù)據(jù)存儲在OSS中,索引存儲在云盤中,降本后還能有良好的訪問性能;
只將表中的LOB字段、輔助性字段獨(dú)立存儲在OSS中;
只將分區(qū)表中的過期子分區(qū)存儲在OSS中,熱分區(qū)存儲在云盤中,這是比較典型的冷熱分層模式。
數(shù)據(jù)冷熱分層場景
由于OSS訪問延遲是云盤介質(zhì)訪問延遲的幾百倍,數(shù)據(jù)一旦冷存處理后,其訪問性能會降低。為了降低成本將數(shù)據(jù)冷存處理,但對冷數(shù)據(jù)依舊有低頻訪問、更新的需求,同時對訪問、更新的性能也有一定要求。為了滿足這方面的需求,PolarDB PostgreSQL版除了支持低頻訪問的數(shù)據(jù)對象冷存處理外,還支持兩種冷熱分層存儲場景:
通過分區(qū)表將部分已過期的子表轉(zhuǎn)入冷存,部分熱訪問的子表依舊保留在數(shù)據(jù)庫云盤中,實(shí)現(xiàn)數(shù)據(jù)冷熱分層存儲,既不影響查詢性能,又降低存儲成本。具體可參考分區(qū)表冷存。
在數(shù)據(jù)庫云盤中提供冷存對象的物化緩存,將頻繁讀取、頻繁更新的部分?jǐn)?shù)據(jù)緩存在云盤中,OSS介質(zhì)中保留了數(shù)據(jù)的完整性,數(shù)據(jù)在物化緩存中的生命周期由訪問頻率決定,這樣可以達(dá)到性能優(yōu)良但存儲成本更低的效果。具體可參考冷數(shù)據(jù)物化緩存。