容量型云存儲
云原生多模數據庫 Lindorm將容量型云存儲作為冷存儲介質,用于存儲數據庫中訪問頻率較低的歷史數據(冷數據),從而降低存儲成本。本文介紹容量型云存儲的功能特性及性能測試結果。
功能特性
存儲成本低。
存儲成本僅為標準型云存儲成本的20%。
支持數據寫入能力,并保證數據隨時可讀。
使用簡單。
購買Lindorm實例時選擇容量型云存儲并選擇存儲空間,然后通過創建表格語句將冷數據存儲至容量型云存儲中即可。
支持同一張表內的冷熱分離功能。
冷熱分離功能可以自動將表中的熱數據存儲至讀寫速度更快的熱存儲中,將不常訪問的歷史數據存儲至容量型云存儲中,從而降低存儲成本。如果您在業務上有冷熱分離的需求,請參見冷熱分離介紹。
開通容量型云存儲
如何開通容量型云存儲,請參見開通容量型云存儲。
性能測試
測試環境:Master: ecs.c5.xlarge, 4core 8G;4個 RegionServer:ecs.c5.xlarge, 4core 8G。
寫性能:
表類型 | avg rt | p99 rt |
熱存儲表 | 1736 us | 4811 us |
容量型云存儲表 | 1748 us | 5243 us |
每條記錄10列,每列100 B,也就是單行1KB,16線程寫。
隨機查詢Get性能:
表類型 | avg rt | p99 rt |
熱存儲表 | 1704 us | 5923 us |
容量型云存儲表 | 14738 us | 31519 us |
關閉表的BlockCache。每條記錄10列,每列100 B,也就是單行1KB。8線程讀,每次讀出1KB。
范圍查詢Scan性能:
表類型 | avg rt | p99 rt |
熱存儲表 | 6222 us | 20975 us |
容量型云存儲表 | 51134 us | 115967 us |
關閉表的BlockCache。每條記錄10列,每列100 B,也就是單行1KB。8線程讀,每次讀出1KB。Scan的Caching設置為30。
容量型云存儲讀取限流說明
容量型云存儲目前僅適用于寫多讀少的場景。同時,容量型云存儲對讀取IOPS(Input/Output Operations Per Second)存在以下限制:
每個實例的容量型云存儲有一個Token(令牌)池,當監控中剩余可用Token數為
0
時,容量型云存儲的讀取將會被限速。此時系統僅提供一個最低保底的IOPS,每個節點僅提供保底10 IOPS能力。Token池中的Token會以一定速率積累,該速率取決于實例容量型云存儲的實際容量,容量越大,積累速率越快。
Token池存在最大容量上限,積累滿后可用Token數將不再繼續增加。同時,該上限也取決于容量型云存儲的實際容量,容量越大,上限越大。
在Token池中還有存量的情況下,容量型云存儲的IO讀取行為不會受到限制,每次IO讀取會消耗一個Token,單節點的最高IOPS為1500。
上層數據引擎(例如寬表引擎、時序引擎等)對容量型云存儲的訪問,取決于數據引擎如何將讀取請求轉換為實際的IO請求。例如,一次請求命中了多個數據塊因此產生了多次IO請求,或請求數據塊位于緩存中因此不產生實際IO等情況。因此,無法簡單地通過預估來確定上層多模引擎可以承擔的讀取請求QPS,建議根據Token池的消耗情況進行評估。
容量型云存儲監控指標說明
登錄Lindorm管理控制臺。在左上角選擇實例所屬的地域。在實例列表頁,單擊目標實例ID或者目標實例所在行操作列的管理。
在左側導航欄,單擊實例監控,查看底層存儲指標。各項指標說明如下:
指標
說明
可用token百分比
實例級別指標,剩余可用token的百分比。如果實例整體可用token百分比降為
0%
,讀請求將會被限流等待。DataNode容量型云存儲IOPS
節點級別指標,每次讀取IOPS會消耗1個token。該指標數值越高,token消耗越快。由于數據引擎與IO模型的不同,數據庫的讀請求可能會讀多次數據并消耗多個token。
容量型云存儲限流OPS
節點級別指標,表示每個節點被限流的讀OPS。該值大于
0
表示有讀請求被限流,會導致上層讀延遲增加。重要實例整體可用token百分比大于
0
,但單節點IOPS大于1500
,也會觸發限流。
注意事項
容量型云存儲讀IOPS的能力很低,因此只適用于低頻查詢的場景。
容量型云存儲和標準型存儲在寫入吞吐量上的差別不大,您可以放心地寫入數據。
容量型云存儲不適合并發大量讀請求的場景,并發大量的讀請求可能會導致請求異常。
如果您購買的容量型云存儲的存儲空間較大,可根據實際業務情況調整讀IOPS能力。如何調整,請聯系技術支持。
每個節點管理冷數據的數據量不能超過30T。如果需要增加管理上限,請聯系技術支持。
容量型云存儲的使用占比超過95%后,將無法繼續寫入數據,請您在使用過程中及時關注容量型存儲的使用情況。如何查看容量型存儲的使用情況,請參見查看容量型云存儲容量。