數(shù)據(jù)處理
如果您需要在日志數(shù)據(jù)寫入Logstore前對(duì)數(shù)據(jù)進(jìn)行處理,例如數(shù)據(jù)過濾、字段提取、字段擴(kuò)展、數(shù)據(jù)脫敏,可以使用寫入處理器(IngestProcessor)。
工作原理
通過Logtail采集、日志服務(wù)SDK、Web Tracking功能等方式采集日志數(shù)據(jù),數(shù)據(jù)會(huì)先經(jīng)過寫入處理器(IngestProcessor),然后寫入Logstore。數(shù)據(jù)處理過程在日志服務(wù)中完成,不會(huì)占用客戶端的資源。
寫入處理器、查詢和分析日志、數(shù)據(jù)加工(新版)都支持SPL語法。
使用場(chǎng)景
字段提?。簭脑既罩咀侄沃型ㄟ^正則表達(dá)式、Key-Value格式、JSON等解析方式提取出新的字段。
擴(kuò)展字段:為原始日志添加新的字段。
丟棄字段:刪除原始日志的部分字段。
數(shù)據(jù)脫敏:將原始日志的敏感信息進(jìn)行脫敏處理。
數(shù)據(jù)過濾:丟棄原始日志的部分?jǐn)?shù)據(jù)。
使用限制
寫入處理器個(gè)數(shù)、SPL語句長(zhǎng)度、寫入處理器個(gè)數(shù)等配額限制,請(qǐng)參見寫入處理器(數(shù)據(jù)處理)。
功能計(jì)費(fèi)
寫入處理器是按照數(shù)據(jù)處理過程中消耗的計(jì)算資源量進(jìn)行計(jì)費(fèi),計(jì)費(fèi)單位為OCU。
可觀測(cè)資源額度OCU(Observability Capacity Unit)是阿里云云原生可觀測(cè)推出的新版計(jì)費(fèi)單位,可根據(jù)每小時(shí)資源使用情況自動(dòng)統(tǒng)計(jì)OCU用量,中國(guó)站公共云OCU的定價(jià)為0.15元/個(gè)。
日志服務(wù)計(jì)算型功能收費(fèi)計(jì)劃逐步通過OCU進(jìn)行計(jì)量,以用戶實(shí)際消耗的計(jì)算資源作為計(jì)量的度量維度。一個(gè)OCU的性能約等于0.5 Core CPU、2 GB內(nèi)存、3000 IOPS,在計(jì)算OCU的總數(shù)時(shí),會(huì)按照消耗的CPU核心數(shù)、內(nèi)存大小和IOPS三個(gè)維度分別計(jì)算三個(gè)OCU數(shù)量,然后取三個(gè)OCU數(shù)量的最大值作為OCU的最終值,用于計(jì)費(fèi)。
假設(shè)您的計(jì)算作業(yè)消耗了1 Core CPU,2GB內(nèi)存,3000 IOPS,則這個(gè)作業(yè)消耗2個(gè)OCU。在一個(gè)計(jì)量周期(1小時(shí))內(nèi),計(jì)算平均消耗的OCU可參考:數(shù)據(jù)寫入處理器處理1GB數(shù)據(jù),大約消耗1/3個(gè)OCU。數(shù)據(jù)加工(新版)處理1GB數(shù)據(jù),大約消耗1/3個(gè)OCU。規(guī)則消費(fèi)處理1GB數(shù)據(jù),約消耗0.3個(gè)OCU。
OCU的計(jì)費(fèi)信息,請(qǐng)參見按寫入數(shù)據(jù)量計(jì)費(fèi)模式計(jì)費(fèi)項(xiàng)和按使用功能計(jì)費(fèi)模式計(jì)費(fèi)項(xiàng)。