配置項

說明

配置名稱

Logtail配置名稱，在其所屬Project內(nèi)必須唯一。創(chuàng)建Logtail配置成功后，無法修改其名稱。

日志主題類型

選擇日志主題（Topic）的生成方式。更多信息，請參見日志主題。

• 機器組Topic：設置為機器組的Topic屬性，用于明確區(qū)分不同機器組產(chǎn)生的日志。

• 文件路徑提取：設置為文件路徑正則，則需要設置自定義正則，用正則表達式從路徑里提取一部分內(nèi)容作為Topic。用于區(qū)分不同源產(chǎn)生的日志。

• 自定義：自定義日志主題。

高級參數(shù)

其它可選的與配置全局相關的高級功能參數(shù)，請參見創(chuàng)建Logtail流水線配置。

配置項

說明

文件路徑

根據(jù)日志在主機（例如ECS）上的位置，設置日志目錄和文件名稱。

• 如果目標主機是Linux系統(tǒng)，則日志路徑必須以正斜線（/）開頭，例如/apsara/nuwa/**/app.Log。

• 如果目標主機是Windows系統(tǒng)，則日志路徑必須以盤符開頭，例如C:\Program Files\Intel\**\*.Log。

目錄名和文件名均支持完整模式和通配符模式，文件名規(guī)則請參見Wildcard matching。其中，日志路徑通配符只支持星號（*）和半角問號（?）。

日志文件查找模式為多層目錄匹配，即符合條件的指定目錄（包含所有層級的目錄）下所有符合條件的文件都會被查找到。例如：

• /apsara/nuwa/**/*.log表示/apsara/nuwa目錄（包含該目錄的遞歸子目錄）中后綴名為.log的文件。

• /var/logs/app_*/**/*.log表示/var/logs目錄下所有符合app_*格式的目錄（包含該目錄的遞歸子目錄）中后綴名為.log的文件。

• /var/log/nginx/**/access*表示/var/log/nginx目錄（包含該目錄的遞歸子目錄）中以access開頭的文件。

最大目錄監(jiān)控深度

設置日志目錄被監(jiān)控的最大深度，即文件路徑中通配符**匹配的最大目錄深度。0代表只監(jiān)控本層目錄。

文件編碼

選擇日志文件的編碼格式。

首次采集大小

配置首次生效時，匹配文件的起始采集位置距離文件結尾的大小。首次采集大小設定值為1024 KB。

• 首次采集時，如果文件小于1024 KB，則從文件內(nèi)容起始位置開始采集。

• 首次采集時，如果文件大于1024 KB，則從距離文件末尾1024 KB的位置開始采集。

您可以通過此處修改首次采集大小，取值范圍為0~10485760，單位為KB。

采集黑名單

打開采集黑名單開關后，可進行黑名單配置，即可在采集時忽略指定的目錄或文件。支持完整匹配和通配符匹配目錄和文件名。其中，通配符只支持星號（*）和半角問號（?）。

支持按照文件路徑黑名單、文件黑名單、目錄黑名單設置，詳細說明如下：

允許文件多次采集

默認情況下，一個日志文件只能匹配一個Logtail配置。如果文件中的日志需要被采集多份，需要打開允許文件多次采集開關。

高級參數(shù)

其它可選的與文件輸入插件相關的高級功能參數(shù)，請參見創(chuàng)建Logtail流水線配置。

配置項

說明

日志樣例

待采集日志的樣例，請務必使用實際場景的日志。日志樣例可協(xié)助您配置日志處理相關參數(shù)，降低配置難度。支持添加多條樣例，總長度不超過1500個字符。

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

多行模式

• 多行日志的類型：多行日志是指每條日志分布在連續(xù)的多行中，需要從日志內(nèi)容中區(qū)分出每一條日志。

  • 自定義：通過行首正則表達式區(qū)分每一條日志。

  • 多行JSON：每個JSON對象被展開為多行，例如：

    {
      "name": "John Doe",
      "age": 30,
      "address": {
        "city": "New York",
        "country": "USA"
      }
    }

• 切分失敗處理方式：

  Exception in thread "main" java.lang.NullPointerException
      at com.example.MyClass.methodA(MyClass.java:12)
      at com.example.MyClass.methodB(MyClass.java:34)
      at com.example.MyClass.main(MyClass.java:?0)

  對于以上日志內(nèi)容，如果日志服務切分失敗：

  • 丟棄：直接丟棄這段日志。

  • 保留單行：將每行日志文本單獨保留為一條日志，保留為一共四條日志。

處理模式

處理插件組合，包括原生插件和拓展插件。有關處理插件的更多信息，請參見處理插件概述。

• 2.0版本的Logtail：

  • 原生處理插件可任意組合。

  • 原生處理插件和擴展處理插件可同時使用，但擴展處理插件只能出現(xiàn)在所有的原生處理插件之后。

• 低于2.0版本的Logtail：

  • 不支持同時添加原生插件和擴展插件。

  • 原生插件僅可用于采集文本日志。使用原生插件時，須符合如下要求：

    • 第一個處理插件必須為正則解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

    • 從第二個處理插件到最后一個處理插件，最多包括1個時間解析處理插件，1個過濾處理插件和多個脫敏處理插件。

  • 對于解析失敗時保留原始字段和解析成功時保留原始字段參數(shù)，只有以下組合有效，其余組合無效。

    • 只上傳解析成功的日志：

      

    • 解析成功時上傳解析后的日志，解析失敗時上傳原始日志：

      

    • 解析成功時不僅上傳解析后的日志，并且追加原始日志字段，解析失敗時上傳原始日志。

      例如，原始日志"content": "{"request_method":"GET", "request_time":"200"}"解析成功，追加原始字段是在解析后日志的基礎上再增加一個字段，字段名為重命名的原始字段（如果不填則默認為原始字段名），字段值為原始日志{"request_method":"GET", "request_time":"200"}。