配置項

說明

配置名稱

Logtail配置名稱，在其所屬Project內必須唯一。創建Logtail配置成功后，無法修改其名稱。

日志主題類型

選擇日志主題（Topic）的生成方式。更多信息，請參見日志主題。

• 機器組Topic：設置為機器組的Topic屬性，用于明確區分不同機器組產生的日志。

• 文件路徑提取：設置為文件路徑正則，則需要設置自定義正則，用正則表達式從路徑里提取一部分內容作為Topic。用于區分不同源產生的日志。

• 自定義：自定義日志主題。

高級參數

其它可選的與配置全局相關的高級功能參數，請參見創建Logtail流水線配置。

配置項

說明

文件路徑

根據日志在主機（例如ECS）上的位置，設置日志目錄和文件名稱。

• 如果目標主機是Linux系統，則日志路徑必須以正斜線（/）開頭，例如/apsara/nuwa/**/app.Log。

• 如果目標主機是Windows系統，則日志路徑必須以盤符開頭，例如C:\Program Files\Intel\**\*.Log。

目錄名和文件名均支持完整模式和通配符模式，文件名規則請參見Wildcard matching。其中，日志路徑通配符只支持星號（*）和半角問號（?）。

日志文件查找模式為多層目錄匹配，即符合條件的指定目錄（包含所有層級的目錄）下所有符合條件的文件都會被查找到。例如：

• /apsara/nuwa/**/*.log表示/apsara/nuwa目錄（包含該目錄的遞歸子目錄）中后綴名為.log的文件。

• /var/logs/app_*/**/*.log表示/var/logs目錄下所有符合app_*格式的目錄（包含該目錄的遞歸子目錄）中后綴名為.log的文件。

• /var/log/nginx/**/access*表示/var/log/nginx目錄（包含該目錄的遞歸子目錄）中以access開頭的文件。

最大目錄監控深度

設置日志目錄被監控的最大深度，即文件路徑中通配符**匹配的最大目錄深度。0代表只監控本層目錄。

文件編碼

選擇日志文件的編碼格式。

首次采集大小

配置首次生效時，匹配文件的起始采集位置距離文件結尾的大小。首次采集大小設定值為1024 KB。

• 首次采集時，如果文件小于1024 KB，則從文件內容起始位置開始采集。

• 首次采集時，如果文件大于1024 KB，則從距離文件末尾1024 KB的位置開始采集。

您可以通過此處修改首次采集大小，取值范圍為0~10485760，單位為KB。

采集黑名單

打開采集黑名單開關后，可進行黑名單配置，即可在采集時忽略指定的目錄或文件。支持完整匹配和通配符匹配目錄和文件名。其中，通配符只支持星號（*）和半角問號（?）。

支持按照文件路徑黑名單、文件黑名單、目錄黑名單設置，詳細說明如下：

允許文件多次采集

默認情況下，一個日志文件只能匹配一個Logtail配置。如果文件中的日志需要被采集多份，需要打開允許文件多次采集開關。

高級參數

其它可選的與文件輸入插件相關的高級功能參數，請參見創建Logtail流水線配置。

配置項

說明

日志樣例

待采集日志的樣例，請務必使用實際場景的日志。日志樣例可協助您配置日志處理相關參數，降低配置難度。支持添加多條樣例，總長度不超過1500個字符。

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

多行模式

• 多行日志的類型：多行日志是指每條日志分布在連續的多行中，需要從日志內容中區分出每一條日志。

  • 自定義：通過行首正則表達式區分每一條日志。

  • 多行JSON：每個JSON對象被展開為多行，例如：

    {
      "name": "John Doe",
      "age": 30,
      "address": {
        "city": "New York",
        "country": "USA"
      }
    }

• 切分失敗處理方式：

  Exception in thread "main" java.lang.NullPointerException
      at com.example.MyClass.methodA(MyClass.java:12)
      at com.example.MyClass.methodB(MyClass.java:34)
      at com.example.MyClass.main(MyClass.java:?0)

  對于以上日志內容，如果日志服務切分失敗：

  • 丟棄：直接丟棄這段日志。

  • 保留單行：將每行日志文本單獨保留為一條日志，保留為一共四條日志。

處理模式

處理插件組合，包括原生插件和拓展插件。有關處理插件的更多信息，請參見處理插件概述。

• 低于2.0版本的Logtail：

  • 不支持同時添加原生插件和擴展插件。

  • 原生插件僅可用于采集文本日志。使用原生插件時，須符合如下要求：

    • 第一個處理插件必須為正則解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

    • 第一個處理插件之后僅允許存在1個時間解析處理插件，1個過濾插件和多個脫敏插件。

  • 擴展處理插件只能出現在所有的原生處理插件之后，不能出現在任何原生處理插件之前。

• 2.0版本的Logtail：

  • 原生處理插件可任意組合。

  • 原生處理插件和擴展處理插件可同時使用，但擴展處理插件只能出現在所有的原生處理插件之后。