數據處理
如果您需要在日志數據寫入Logstore前對數據進行處理,例如數據過濾、字段提取、字段擴展、數據脫敏,可以使用寫入處理器(IngestProcessor)。
工作原理
使用場景
字段提取:從原始日志字段中通過正則表達式、Key-Value格式、JSON等解析方式提取出新的字段。
擴展字段:為原始日志添加新的字段。
丟棄字段:刪除原始日志的部分字段。
數據脫敏:將原始日志的敏感信息進行脫敏處理。
數據過濾:丟棄原始日志的部分數據。
使用限制
寫入處理器個數、SPL語句長度、寫入處理器個數等配額限制,請參見寫入處理器(數據處理)。
功能計費
寫入處理器是按照數據處理過程中消耗的計算資源量進行計費,計費單位為OCU。
可觀測資源額度OCU(Observability Capacity Unit)是阿里云云原生可觀測推出的新版計費單位,可根據每小時資源使用情況自動統計OCU用量,中國站公共云OCU的定價為0.15元/個。
日志服務計算型功能收費計劃逐步通過OCU進行計量,以用戶實際消耗的計算資源作為計量的度量維度。一個OCU的性能約等于0.5 Core CPU、2 GB內存、3000 IOPS,在計算OCU的總數時,會按照消耗的CPU核心數、內存大小和IOPS三個維度分別計算三個OCU數量,然后取三個OCU數量的最大值作為OCU的最終值,用于計費。
假設您的計算作業消耗了1 Core CPU,2GB內存,3000 IOPS,則這個作業消耗2個OCU。在一個計量周期(1小時)內,計算平均消耗的OCU可參考:數據寫入處理器處理1GB數據,大約消耗1/3個OCU。數據加工(新版)處理1GB數據,大約消耗1/3個OCU。規則消費處理1GB數據,約消耗0.3個OCU。
OCU的計費信息,請參見按寫入數據量計費模式計費項和按使用功能計費模式計費項。