時序數據的降采樣是指將頻率較高的時序數據降低到較低頻率的時序數據的過程。降采樣可以減少數據量從而延長存儲時間,提升查詢速度,同時盡可能地保留原始數據的趨勢和特征。日志服務的降采樣通過將時間序列中的數據點進行特定算法的分組與聚合來實現。
本功能不再支持新開通,如果已有的MetricStore已開通降采樣功能,則保留該功能。
使用限制
需保證時序庫活躍時間線(即最大降采樣周期內出現的時間線)的數量小于ReadWrite Shard數 * 100W,否則可能出現降采樣庫數據不完整的情況。
工作原理
當創建一個降采樣配置時,會根據配置的存儲時長創建時序子庫,并根據配置的聚合周期創建降采樣定時任務。第一條降采樣配置,由主時序庫向第一個時序子庫中寫入;第二條降采樣配置,由第一個時序子庫向第二個時序子庫中寫入,以此類推。當發生降采樣配置條目修改時,會根據前后配置差異,自動創建、修改、刪除時序子庫或降采樣定時任務。
在查詢時,如果降采樣配置的范圍滿足查詢時間范圍,將自動以降采樣子庫的數據作為查詢數據源,以獲得超越原始時序庫的存儲時長、更快的查詢速度。例如下述樣例,在查詢Step為30min時將自動選擇降采樣 1 的時序庫。
資產詳情
開啟降采樣配置后,日志服務會在Project中創建一個專屬的MetricStore和定時SQL任務。
MetricStore
監控指標Metricstore用于存儲降采樣的數據。開啟降采樣配置后,自動生成該專屬Metricstore,其名稱為 {metricstore}--ds-{config-no}。
定時SQL任務
定時SQL任務用于定期執行降采樣導入。開啟降采樣配置后,自動生成該專屬定時SQL任務,其名稱為 {metricstore}_{config-no - 1}_to_{config-no}_downsampling。
創建降采樣配置
前提條件
已創建Project和MetricStore。具體操作,請參見創建項目Project和創建MetricStore。
已采集到時序數據。
登錄日志服務控制臺。
在Project列表區域,單擊目標Project。
在
頁簽中,單擊目標MetricStore右側的,進入MetricStore屬性頁。單擊頁面右上角的修改,并單擊降采樣配置對應的操作。
設置降采樣配置參數。
參數
說明
自身指標間隔(秒)
原始時序庫中兩條相同時間線的采集間隔。
您可以根據實際情況自行填寫,也可以單擊自動計算。自動計算的方式為,隨機提取當前時序庫中的一條時間線,計算指標間隔并對齊到5秒。
自身存儲時長(天)
原始時序庫的數據保存時間。
當MetricStore屬性頁中原始時序庫數據保存時間發生改變時,將自動同步到降采樣配置的該字段中,無需自行更改。如果發生了某些特殊情況導致MetricStore屬性頁中的數據保存時間和降采樣配置中記錄的時間不一致,可以手動單擊同步。
降采樣配置
一個原始時序庫最多配置5條降采樣配置。
支持手動配置降采樣參數及自動生成降采樣配置。
手動配置:
聚合周期:降采樣子庫的指標間隔。
重要聚合周期取值需大于等于60且不能為空。
當前配置的聚合周期,必須整除上一個配置(或自身指標間隔)。
當前配置的聚合周期,必須是上一個配置(或自身指標間隔)的2倍及以上。
存儲時長:降采樣子庫的存儲時長。
重要存儲時長取值必須大于0且不能為空。
當前配置的存儲時長,不能低于上一個配置。
自動生成:單擊推薦降采樣配置,可以根據您當前的指標間隔和存儲時長,自動生成降采樣配置。
重要單擊推薦降采樣配置時,已編輯未提交的降采樣配置將被覆蓋。
單擊提交保存配置。
刪除降采樣配置
刪除降采樣配置將刪除所有降采樣配置和相關資源。
在MetricStore屬性頁中,單擊頁面右上角的修改,并單擊降采樣配置對應的操作。
單擊刪除降采樣配置關閉降采樣功能。
降采樣任務異常處理
當降采樣任務發生異常時,可以對任務狀態中查看詳細原因并進行處理。
在MetricStore屬性頁中,單擊降采樣配置對應的查看。
在降采樣配置頁面中,單擊查看詳細原因。
重要當任務未完成時(運行中、失敗),禁止再次提交新任務。
單擊重試運行上一個任務,或單擊刪除降采樣配置后重新創建降采樣配置。