日志服務提供可托管、可擴展、高可用的數據加工服務。數據加工服務可用于數據的規整、富化、流轉、脫敏和過濾。
快速了解數據加工
觀看以下視頻，快速了解數據加工。
日志服務提供豐富的數據加工視頻，您可以通以下鏈接查看更多介紹和操作指導。更多信息，請參見數據加工視頻專區。
視頻主題 | 鏈接 |
數據加工語法 | |
查詢字符串語法 | |
結構化數據解析 | |
映射富化 | |
數據流轉 | |
Log轉Metric | |
特殊數據處理（Base64文本、URL類數據、IP地址數據等） |
加工流程
數據加工服務通過如下三個步驟完成加工處理。
通過協同消費組對源Logstore的數據進行讀取。
通過加工規則對讀取到的每一條數據進行加工處理。
將加工后的數據寫入目標Logstore。
數據加工完成后，您可以在目標Logstore中查看加工后的數據。
功能特性
日志服務提供數據加工功能，用于數據的規整、富化、流轉、脫敏和過濾。具體說明如下：
數據規整：針對混亂格式的日志進行字段提取、格式轉換，獲取結構化數據以支持后續的流處理、數據倉庫計算。
數據富化：對日志（例如訂單日志）和維表（例如用戶信息表）進行字段連接（JOIN），為日志添加更多維度的信息，用于數據分析。
數據流轉：通過跨地域加速功能將海外地域的日志傳輸到中心地域，實現全球日志集中化管理。
數據脫敏：對數據中包含的密碼、手機號、地址等敏感信息進行脫敏。
數據過濾：過濾出關鍵服務的日志，用于重點分析。
適用場景
數據規整（一對一）：從源Logstore中讀取日志數據，進行加工后輸出到目標Logstore中。
數據分派（一對多）：從源Logstore中讀取日志數據，進行加工后分別輸出到不同的目標Logstore中。
數據融合（多對一）：分別從不同的源Logstore中讀取日志數據，進行加工后輸出到目標Logstore中。
加工語法
SLS DSL（Domain Specific Language）提供了200多個內置函數以及400多個正則表達式模式，同時提供靈活的自定義函數（UDF）能力。更多信息，請參見語法簡介 。
優勢
SLS DSL自由編排，包括過濾、規整、富化、流轉、脫敏等。
實時處理、數據秒級可見、計算能力擴展、按量彈性伸縮、高吞吐能力。
面向日志分析場景，提供開箱即用的函數。
提供實時儀表盤、異常日志和告警集成功能。
全托管、免運維，與阿里云大數據產品、開源生態集成。
費用說明
若Logstore的計費模式為按寫入數據量計費時，數據加工服務不產生費用，僅從日志服務公網域名所在接口拉取數據時，會產生外網讀取流量（按照壓縮后的數據量計算）。具體內容，可參見按寫入數據量計費模式計費項。
若Logstore的計費模式為按使用功能計費時，數據加工服務會消耗機器與網絡資源產生相應費用。更多信息，請參見按使用功能計費模式計費項。
您可以根據實際情況關閉源Logstore的索引，并設置較短的日志數據保存時間，以節省費用。更多信息，請參見性能指南和成本優化指南。