背景信息

Logtail處理插件可分為原生處理插件和擴展處理插件。

• 原生插件：性能較優，適用于大部分業務場景，推薦優先使用。

• 擴展插件：功能覆蓋更廣，當您的業務日志過于復雜，無法使用原生插件處理時，可以考慮使用擴展插件完成日志解析，但性能會受到一定影響。

使用限制

• 性能限制

  • 使用Logtail擴展插件進行日志處理時，Logtail會消耗更多的資源（以CPU為主），請根據實際情況調整Logtail的參數配置，更多信息請參見設置Logtail啟動參數。

  • 當原始數據量的生成速度超過5 MB/s時，不建議您使用過于復雜的插件組合來處理日志，您可以使用Logtail擴展插件進行簡單處理，再通過數據加工完成進一步處理。

• 日志采集限制

  • 擴展插件對文本日志的處理采用行模式，即文件級別的元數據（例如__tag__:__path__、__topic__等）會被存放到每一條日志中。

  • 添加擴展插件后會影響和Tag相關的功能：

    • 上下文查詢和LiveTail功能不可用。如果您要使用這些功能，需要額外添加aggregators配置。

    • __topic__字段會被重命名為__log_topic__。如果您添加了aggregators配置，日志中將同時存在__topic__字段和__log_topic__字段。如果您不需要__log_topic__字段，可使用processor_drop插件刪除該字段。

    • __tag__:__path__等字段不再具備原生字段索引，需要創建字段索引。

• 插件組合限制

  • Logtail 2.0以下版本（不包括2.0版本）：

    • 不支持同時添加原生插件和擴展插件。

    • 原生插件僅可用于采集文本日志。使用原生插件時，須符合如下要求：

      • 第一個處理插件必須為正則解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

      • 第一個處理插件之后僅允許存在1個時間解析處理插件，1個過濾插件和多個脫敏插件。

  • Logtail 2.0版本：擴展處理插件只能出現在所有的原生處理插件之后，不能出現在任何原生處理插件之前。

• 原生插件解析參數組合限制

  對于Logtail 2.0以下版本的正則解析、JSON解析、分隔符解析、Nginx模式解析、Apache模式解析、IIS模式解析的原生插件，您可以根據不同場景選擇不同的參數配置組合。其余的配置組合無效，日志服務不能保證配置效果。

  • 只上傳解析成功的日志：

    

  • 解析成功時上傳解析后的日志，解析失敗時上傳原始日志：

    

  • 解析成功時不僅上傳解析后的日志，并且追加原始日志字段，解析失敗時上傳原始日志。

    例如，原始日志"content": "{"request_method":"GET", "request_time":"200"}"解析成功，追加原始字段是在解析后日志的基礎上再增加一個字段，字段名為重命名的原始字段（如果不填則默認為原始字段名），字段值為原始日志{"request_method":"GET", "request_time":"200"}。

    

添加插件

Logtail處理插件列表

原生插件列表

擴展插件