云原生多模數據庫 Lindorm支持冷熱分離功能,將容量型云存儲作為冷數據存儲介質。您可以根據訪問頻率將數據進行分類,存儲在不同的介質上,減少訪問冷數據帶來的性能消耗,同時有效降低存儲成本。
背景信息
在海量大數據場景下,一張表中往往存儲著大量的歷史數據,如訂單數據或者監控數據。隨著時間的推移,這些數據被訪問的頻率會逐漸降低,最終被擱置。減少這部分數據的存儲成本,成為一個新的問題。為解決這一問題同時降低存儲成本,Lindorm冷熱分離功能應運而生。冷熱分離功能支持將冷熱數據存儲在不同的介質上,冷存儲的存儲類型為容量型存儲,熱存儲的存儲類型為標準型存儲、性能性存儲、本地SSD盤或本地HDD盤。冷存儲的價格僅為標準型存儲的20%,大大降低了存儲成本。
原理簡介
在功能實現上,Lindorm支持對同一張表的數據進行冷熱分離存儲。Lindorm會根據時間戳、自定義時間列和冷熱分界線,自動將數據存儲在熱存儲或冷存儲中。新寫入數據最初會保存在熱存儲上,隨著時間的推移分批向冷存儲遷移。
在訪問方式上,冷熱分離表和普通表幾乎沒有任何差異,操作簡單且易上手。在查詢的過程中,只需要配置Hint或時間范圍等相關參數,即可限制是否只查詢熱數據。
Lindorm目前支持的冷熱分離方式有以下兩種:
按自定義時間列冷熱分離:通過設置自定義時間列和冷熱分離時間點,將數據分別存儲在冷存儲或熱存儲中。如果自定義時間列中未寫入數據,則數據會被全部歸檔至熱存儲中。具體內容,請參見按自定義時間列冷熱分離。
按時間戳冷熱分離:以時間戳為條件,冷熱分離時間點為依據對數據進行歸檔。未設置自定義時間戳時,默認時間戳的值為數據寫入時間。具體內容,請參見按時間戳冷熱分離。
使用限制
按自定義時間列冷熱分離:僅支持Lindorm SQL,不支持HBase兼容使用方式。推薦Lindorm SQL用戶使用該方式。
按時間戳冷熱分離:支持Lindorm SQL和HBase兼容使用方式。適用于無法設置自定義時間列的場景。推薦使用HBase接口的用戶使用該方式。
注意事項
容量型云存儲讀IOPS的能力很低,因此只適用于低頻查詢的場景。
容量型云存儲和標準型存儲在寫入吞吐量上的差別不大,您可以放心寫入數據。
容量型云存儲不適合并發大量讀請求的場景,并發大量的讀請求可能會導致請求異常。
如果您購買的容量型云存儲的存儲空間較大,可根據實際業務情況調整讀IOPS能力。如何調整,請聯系技術支持。
每個節點管理冷數據的數據量不能超過30T。如果需要增加管理上限,請聯系技術支持。
容量型云存儲的使用占比超過95%后,將無法繼續寫入數據,請您在使用過程中及時關注容量型存儲的使用情況。如何查看容量型存儲的使用情況,請參見查看冷存儲容量。
關于容量型云存儲的讀取性能,更多說明請參見容量型云存儲讀取性能說明。