加工原理

日志服務(wù)提供的數(shù)據(jù)加工（新版）功能，通過托管實時數(shù)據(jù)消費的任務(wù)，結(jié)合日志服務(wù)SPL規(guī)則消費功能，實現(xiàn)對日志數(shù)據(jù)的實時加工處理。關(guān)于SPL規(guī)則細(xì)節(jié)請參考SPL語法，對應(yīng)SPL的實時消費應(yīng)用場景，SPL規(guī)則消費請參考普通消費概述。

調(diào)度機(jī)制

對每一個加工任務(wù)，加工服務(wù)的調(diào)度器會啟動一個或多個運行實例，并發(fā)執(zhí)行數(shù)據(jù)處理，每個運行實例扮演一個消費者角色消費1個或者多個源Logstore的Shard。調(diào)度器根據(jù)運行實例資源消耗以及處理進(jìn)度決定運行實例數(shù)目，實現(xiàn)彈性并發(fā)。單個任務(wù)的并發(fā)上限為源Logstore的Shard數(shù)量。

運行實例

根據(jù)任務(wù)的SPL規(guī)則和目標(biāo)Logstore等配置信息，從數(shù)據(jù)加工服務(wù)分配的Shard中，使用SPL規(guī)則消費源日志數(shù)據(jù)，將基于SPL規(guī)則處理后的結(jié)果分發(fā)寫入對應(yīng)的目標(biāo)Logstore。在運行實例運行過程中，自動保存Shard的消費點位，確保任務(wù)停止重啟時，從斷點處繼續(xù)消費。

任務(wù)停止

數(shù)據(jù)加工任務(wù)運行生命周期和任務(wù)狀態(tài)，跟任務(wù)配置和操作相關(guān)，詳情請參考ETL。

適用場景

數(shù)據(jù)加工功能用于數(shù)據(jù)的規(guī)整、流轉(zhuǎn)、脫敏和過濾等處理場景，具體說明如下。

• 數(shù)據(jù)規(guī)整與信息提取：針對混亂格式的日志進(jìn)行字段提取、格式轉(zhuǎn)換，獲取結(jié)構(gòu)化數(shù)據(jù)以支持下游的流處理、數(shù)據(jù)倉庫分析。

• 數(shù)據(jù)流轉(zhuǎn)與分發(fā)：

  • 不同類型的日志統(tǒng)一采集至一個Logstore，根據(jù)日志特征將來自不同服務(wù)模塊或者業(yè)務(wù)組件的日志分發(fā)給對應(yīng)的下游Logstore，以實現(xiàn)數(shù)據(jù)隔離、分場景計算等需求。

  • 服務(wù)在多地域部署，日志按地域采集，將不同地域的日志跨地域（加速）匯集到中心地域，實現(xiàn)全球日志集中化管理需求。

• 數(shù)據(jù)清洗與過濾：清理無效的日志條目、或者用不到的日志字段，過濾出關(guān)鍵的信息寫入下游Logstore，用于重點分析。

• 數(shù)據(jù)脫敏：對數(shù)據(jù)中包含的密碼、手機(jī)號、地址等敏感信息進(jìn)行脫敏。

功能優(yōu)勢

• 日志服務(wù)SPL語法，統(tǒng)一采集、查詢、消費處理的語法，無需額外學(xué)習(xí)成本。

• 數(shù)據(jù)加工（新版）SPL編寫過程支持按行調(diào)試和代碼提示，接近IDE編碼體驗。

• 實時處理、數(shù)據(jù)秒級可見、計算能力擴(kuò)展、按量彈性伸縮、高吞吐能力。

• 面向日志分析場景，提供開箱即用的數(shù)據(jù)處理指令和SQL函數(shù)。

• 提供實時觀測指標(biāo)和儀表盤，支持基于運行指標(biāo)做自定義監(jiān)控。

• 全托管、免運維，與阿里云大數(shù)據(jù)產(chǎn)品、開源生態(tài)集成。

費用說明

• 若Logstore的計費模式為按寫入數(shù)據(jù)量計費時，數(shù)據(jù)加工（新版）服務(wù)不產(chǎn)生費用，僅從日志服務(wù)公網(wǎng)域名所在接口拉取或者寫入數(shù)據(jù)時，會產(chǎn)生外網(wǎng)讀取流量（按照壓縮后的數(shù)據(jù)量計算）。具體內(nèi)容，可參見按寫入數(shù)據(jù)量計費模式計費項。

• 若Logstore的計費模式為按使用功能計費時，數(shù)據(jù)加工（新版）服務(wù)會消耗機(jī)器與網(wǎng)絡(luò)資源產(chǎn)生相應(yīng)費用。更多信息，請參見按使用功能計費模式計費項。