日志服務提供智能分層存儲功能,您可以按需將數據進行熱存儲、低頻存儲和歸檔存儲。降低您長周期存儲的成本,并同時保證日志的查詢、分析、可視化、告警、投遞和加工等能力不受影響。本文將為您介紹日志服務數據存儲生命周期管理。
什么是智能存儲分層
存儲類型
類型 | 說明 |
熱存儲 |
|
低頻存儲 |
|
歸檔存儲 |
|
存儲周期說明
熱存儲數據保存時間、低頻存儲數據保存時間和歸檔存儲數據保存時間的總和,等于數據保存時間。
數據保存時間3650天表示永久保存,超過3650天的也會繼續保存,計入歸檔存儲數據層。
數據保存時間在3650天以內
場景1:數據保存時間為90天,將熱存儲數據保存30天后自動轉換為歸檔存儲,歸檔存儲數據保存60天后自動刪除。
場景2:數據保存時間為97天,將熱存儲數據保存7天后自動轉換為低頻存儲,低頻存儲數據保存30天后自動轉換為歸檔存儲,歸檔存儲數據保存60天后自動刪除。
數據保存時間在3650天及以上
場景3:數據保存時間為3650天,熱存儲層數據保存時間為30天,全部轉換為歸檔存儲,則歸檔存儲數據保存時間需設置為3650 - 30 = 3620天。同時,因為數據保存時間3650天表示永久保存,超過3620天的也會繼續保存,計入歸檔存儲數據層。
場景4:數據保存時間為3650天,熱存儲層數據保存時間為7天,低頻存儲數據保存時間為30天,則歸檔存儲數據保存時間需設置為3650 - 7- 30 = 3613天。同時,因為數據保存時間3650天表示永久保存,超過3613天的也會繼續保存,計入歸檔存儲數據層。
存儲類型對比
存儲類型 | 熱存儲 | 低頻存儲 | 歸檔存儲 | |
適用場景 | 高頻、高性能的查詢與分析 | 問題回溯定位場景 | 數據審計場景 | |
費用 | 0.0115元/GB/天 | 0.005元/GB/天 | 0.0017元/GB/天 | |
性能 | 時延(十億級規模) | 十至百毫秒 | 百毫秒至秒 | 分鐘 |
并發(Project級別) | 查詢并發數:100 分析并發數:2 | 查詢并發數:10 分析并發數:2 | 查詢并發數:1 分析并發數:1 | |
優勢 | 快速高并發查詢與分析 | 低頻率查詢與分析,高性價比 | 偶爾查詢與分析,低成本 | |
多種存儲類型間可通過數據生命周期管理功能實現數據自動分層:
| ||||
存儲時間限制 |
| 至少保存30天低頻存儲后可轉為歸檔存儲。 | 最少存儲時間為60天。 | |
30天熱存儲免費權益 |
存儲分層的轉換流程
三種存儲類型之間可以互相轉換,存儲類型轉換說明參見下表。
序號 | 說明 |
1 | 熱存儲數據至少需要保存7天才能轉換為低頻存儲。 |
2 | 熱存儲數據至少需要保存30天才能轉換為歸檔存儲。 |
3 | 低頻存儲數據至少需要保存30天才能轉換為歸檔存儲。 |
4 | 通過修改熱存儲數據保存時間,將低頻存儲數據轉回熱存儲中。 |
5 | 通過修改低頻儲數據保存時間,將歸檔存儲數據轉回低頻存儲中。 |
6 | 通過修改熱存儲數據保存時間,實現將歸檔存儲數據轉回熱存儲中。 |
管理存儲分層
控制臺
登錄日志服務控制臺。
在Project列表區域,單擊目標Project。
在
頁簽中,單擊目標Logstore對應的圖標,然后單擊修改。在Logstore屬性頁面,單擊修改。參考下圖配置開啟智能存儲分層,然后單擊保存。
開啟智能存儲分層功能的相關參數如下表所示,其他參數說明請參見創建Logstore。
參數
說明
數據保存時間
數據保存時間請參見基礎資源。
數據保存時間支持設置為限定天數和永久保存。
熱存儲數據保存時間、低頻存儲數據保存時間和歸檔存儲數據保存時間的總和,等于數據保存時間。
重要縮短數據保存時間后,日志服務將在1小時左右刪除數據。例如您原本的數據保存時間為5天,現修改為1天,則日志服務將在1小時左右刪除前4天的數據。
智能分層存儲
打開智能分層存儲開關,開啟智能分層存儲功能。
存儲策略
配置數據在各層的存儲時間。
熱存儲層數據保存
數據在Logstore熱存儲層中的存儲時間。
當熱存儲轉為低頻存儲時,取值范圍為7~3650,單位:天。
當熱存儲轉為歸檔存儲時,取值范圍為30~3650,單位:天。
重要修改熱存儲層數據保存時間后,日志服務將在1小時左右生效。例如您原本的數據的熱存儲時間為30天,現修改為40天,則日志服務將在1小時左右將低頻存儲數據或歸檔存儲數據轉回熱存儲。
熱存儲層數據保存時間參數值要小于數據保存時間參數值。
低頻存儲數據保存
數據在Logstore低頻存儲層中的存儲時間。
當低頻存儲轉為歸檔存儲時,取值范圍為30~3650,單位:天。
重要修改低頻存儲層數據保存時間后,日志服務將在1小時左右生效。例如您原本的數據的低頻存儲時間為30天,現修改為40天,則日志服務將在1小時左右將歸檔存儲數據轉回低頻存儲。
低頻存儲層數據保存時間參數值要小于數據保存時間參數值。
歸檔存儲數據保存
數據在Logstore歸檔存儲層中的存儲時間。取值范圍為60~3650,單位:天。當數據的存儲時間超過您所配置的歸檔存儲數據保存時間后,數據將自動刪除。
重要歸檔存儲層數據保存時間參數值要小于數據保存時間參數值。
API
您可以在創建Logstore的過程中,通過API調用并傳遞
ttl
(數據保存時間)、hot_ttl
(熱存儲數據保存時間)、infrequentAccessTTL
(低頻存儲數據保存時間)參數來配置存儲分層的保留策略。創建Logstore詳細請參見CreateLogStore - 創建LogStore。同樣地,對于已經創建的Logstore,您也可以通過調用修改Logstore的API接口,并更新
ttl
、hot_ttl
和infrequentAccessTTL
參數的值,來動態調整存儲分層的保留策略,以滿足您對數據保留和成本控制的需求。修改Logstore詳細信息請參見UpdateLogStore - 更新LogStore。
相關文檔
管理Logstore相關信息請參見管理Logstore。
分層存儲數據的存儲費用按照存儲空間計費,數據轉換不會產生費用。詳細信息請參見計費概述。
按寫入數據量計費模式下,存在30天免費存儲額度,當開啟智能分層存儲后,存儲費用將根據具體存儲時間及當前存儲類型進行計算,更多信息,請參見計費案例。
按使用功能計費與按寫入數據量計費模式具體信息請參見按量付費。
日志服務提供本地冗余存儲和同城冗余存儲兩種存儲冗余類型,詳細信息請參見存儲冗余。