采集流程

監(jiān)聽日志

在服務(wù)器上安裝Logtail及在日志服務(wù)控制臺上創(chuàng)建Logtail采集配置后，日志服務(wù)會實(shí)時下發(fā)Logtail采集配置到Logtail，Logtail根據(jù)Logtail采集配置開始監(jiān)聽文件。Logtail根據(jù)Logtail采集配置中的日志路徑和最大監(jiān)控目錄深度，逐層掃描符合規(guī)則的日志目錄和文件。

將Logtail采集配置應(yīng)用到機(jī)器組后，對應(yīng)服務(wù)器上沒有發(fā)生修改事件的日志文件會被判定為歷史日志文件，Logtail監(jiān)聽到歷史日志文件，并不會采集。當(dāng)日志文件產(chǎn)生了修改事件，才會觸發(fā)采集流程，Logtail開始讀取文件。如果您要采集歷史日志文件，請參見導(dǎo)入歷史日志文件。

為保證采集日志的時效性以及穩(wěn)定性，Logtail會對待采集的目錄注冊事件監(jiān)聽（Linux下使用Inotify）以及定期輪詢。

讀取日志

Logtail監(jiān)聽到日志文件，并確認(rèn)有更新后，開始讀取。

• 首次讀取日志文件時，日志服務(wù)默認(rèn)首次讀取大小為1024 KB。

  • 如果文件小于1024 KB，則從文件內(nèi)容起始位置開始讀取。

  • 如果文件大于1024 KB，則從距離文件末尾1024 KB的位置開始讀取。

  說明

  日志服務(wù)支持自定義首次讀取大小。

  • 控制臺方式：在Logtail配置中修改首次采集大小參數(shù)。具體操作，請參見高級配置。

  • API方式：在Logtail配置中修改tail_size_kb參數(shù)。具體操作，請參見advanced參數(shù)說明。

• 如果Logtail已讀取過該日志文件，則從上次讀取的Checkpoint處繼續(xù)讀取。

• 讀取日志文件時，每次最多可以讀取512 KB，因此每條日志的大小請控制在512 KB以內(nèi)，否則無法正常讀取。

處理日志

Logtail讀取日志后，對日志內(nèi)容進(jìn)行分行、解析、設(shè)置時間字段。

• 分行

  如果Logtail采集配置中指定了行首正則表達(dá)式，則Logtail根據(jù)行首正則表達(dá)式對每次讀取的日志進(jìn)行分行，切分成多條日志；如果沒有指定行首正則表達(dá)式，則將一行日志作為一條日志處理。

• 解析

  根據(jù)Logtail采集配置中配置的采集模式，對每條日志內(nèi)容進(jìn)行解析。

  說明

  如果您的正則表達(dá)式比較復(fù)雜，可能會導(dǎo)致CPU占用率過高，請使用合理高效的正則表達(dá)式。

  如果解析失敗，會根據(jù)Logtail采集配置中是否開啟丟棄解析失敗日志的功能進(jìn)行處理。

  • 開啟丟棄解析失敗日志，則直接丟棄該日志，并上報(bào)解析失敗的報(bào)錯信息。

  • 關(guān)閉丟棄解析失敗日志，則上傳解析失敗的原始日志，其中Key為raw_log、Value為日志內(nèi)容。

• 設(shè)置日志時間字段

  • 如果未配置時間字段，則日志時間為當(dāng)前解析日志的時間。

  • 如果配置了時間字段：

    • 日志中記錄的時間距離當(dāng)前時間12小時以內(nèi)，則從解析的日志字段中提取時間。

    • 日志中記錄的時間距離當(dāng)前時間12小時以上，則丟棄該日志并上傳錯誤信息。

過濾日志

處理日志后，根據(jù)Logtail采集配置中的過濾器配置過濾日志。

• 在Logtail采集配置中未設(shè)置過濾器配置，則不過濾日志，執(zhí)行下一個步驟。

• Logtail采集配置已設(shè)置過濾器配置，則對每條日志中的所有字段進(jìn)行遍歷并驗(yàn)證。

  只有符合過濾器配置的日志被采集。

聚合日志

為降低網(wǎng)絡(luò)請求次數(shù)，在日志處理、過濾完畢后，會在Logtail內(nèi)部緩存一段時間后進(jìn)行聚合打包，再發(fā)送到日志服務(wù)。緩存數(shù)據(jù)后，觸發(fā)打包日志發(fā)送到日志服務(wù)的條件如下：

• 日志聚合時間超過3秒。

• 日志聚合條數(shù)超過4000條。

• 日志聚合總大小超過512 KB。

發(fā)送日志

Logtail將采集到的日志聚合并發(fā)送到日志服務(wù)。如果數(shù)據(jù)發(fā)送失敗，Logtail自動根據(jù)錯誤信息決定重試或放棄發(fā)送。

功能優(yōu)勢

• 基于日志文件，無侵入式采集日志。您無需修改應(yīng)用程序代碼，且采集日志不會影響您的應(yīng)用程序運(yùn)行。

• 除采集文本日志外，還支持采集binlog、http數(shù)據(jù)、容器日志等。

• 支持Docker、Kubernetes集群等容器集群的數(shù)據(jù)采集。

  • 阿里云容器服務(wù)Kubernetes：請參見K8s容器日志提取。

  • 自建Kubernetes：請參見K8s容器日志提取。

  • 自建Docker集群：請參見采集Docker容器文件日志。

• 穩(wěn)定處理日志采集過程中的各種異常。當(dāng)遇到網(wǎng)絡(luò)異常、服務(wù)端異常等問題時會采取主動重試、本地緩存數(shù)據(jù)等措施保障數(shù)據(jù)安全。

• 基于日志服務(wù)的集中管理能力。安裝Logtail后，只需要在日志服務(wù)上配置機(jī)器組、Logtail采集配置等信息即可。

• 完善的自我保護(hù)機(jī)制。為保證運(yùn)行在服務(wù)器上的Logtail不會明顯影響您服務(wù)器上其他服務(wù)的性能，Logtail在CPU、內(nèi)存及網(wǎng)絡(luò)使用方面都做了嚴(yán)格的限制和保護(hù)機(jī)制。

配置流程

1. 安裝Logtail

   如果ECS實(shí)例且與日志服務(wù)Project屬于同一賬號且在同一地域，請參見安裝Logtail（ECS實(shí)例）。其他情況，請參見安裝Logtail（Linux系統(tǒng)）、安裝Logtail（Windows系統(tǒng)）。

2. 配置用戶標(biāo)識

   在采集非本賬號ECS、自建IDC或其他云廠商服務(wù)器日志時需要配置用戶標(biāo)識。

3. 創(chuàng)建機(jī)器組

   日志服務(wù)Project支持使用IP地址或用戶自定義標(biāo)識創(chuàng)建機(jī)器組。

4. 創(chuàng)建Logtail采集配置

   您可以通過日志服務(wù)控制臺配置向?qū)瓿刹僮鳌＞唧w操作，請參見采集文本日志和采集容器日志。

完成上述操作后，Logtail開始采集您服務(wù)器上的日志，并發(fā)送到對應(yīng)的Logstore中。您可以通過日志服務(wù)控制臺、API、SDK或CLI查詢?nèi)罩尽?/p>

核心概念

• 機(jī)器組：一個機(jī)器組包含一臺或多臺待采集同類日志的服務(wù)器。將Logtail采集配置應(yīng)用到機(jī)器組后，日志服務(wù)會根據(jù)Logtail采集配置采集機(jī)器組內(nèi)所有服務(wù)器上的日志。

  日志服務(wù)通過機(jī)器組管理所有需要通過Logtail采集日志的服務(wù)器，支持通過IP地址或者用戶自定義標(biāo)識的方式定義機(jī)器組。您可以通過日志服務(wù)控制臺管理機(jī)器組（包括創(chuàng)建、刪除機(jī)器組，添加、移除機(jī)器等操作）。 更多信息，請參見什么是機(jī)器組。

• Logtail：日志服務(wù)提供的日志采集Agent，運(yùn)行在待采集日志的服務(wù)器上。

  • Linux操作系統(tǒng)：Logtail安裝在/usr/local/ilogtail目錄下，啟動兩個以ilogtail開頭的獨(dú)立進(jìn)程，一個為采集進(jìn)程，另外一個為守護(hù)進(jìn)程，程序運(yùn)行日志保存在/usr/local/ilogtail/ilogtail.LOG文件中。更多信息，請參見安裝Logtail（Linux系統(tǒng)）。

  • Windows操作系統(tǒng)

    • Logtail（32位程序）

      • 安裝在Windows 32位操作系統(tǒng)中時，對應(yīng)的安裝目錄為C:\Program Files\Alibaba\Logtail。

      • 安裝在Windows 64位操作系統(tǒng)中時，對應(yīng)的安裝目錄為C:\Program Files (x86)\Alibaba\Logtail。

        說明

        Windows 64位操作系統(tǒng)支持運(yùn)行32/64位應(yīng)用程序，但是出于兼容性考慮，在Windows 64位操作系統(tǒng)上，Windows會使用單獨(dú)的x86目錄來存放32位應(yīng)用程序。

    • Logtail（64位程序）

      只支持安裝在Windows 64位操作系統(tǒng)中，對應(yīng)的安裝目錄為C:\Program Files\Alibaba\Logtail。

    您可以通過控制面板 > 管理工具 > 服務(wù)，查看LogtailDaemon服務(wù)（Logtail 1.0.0.0及以上版本）或LogtailWorker服務(wù)（Logtail 0.x.x.x版本），確認(rèn)Logtail的運(yùn)行狀態(tài)。程序運(yùn)行日志保存在安裝目錄下的 ilogtail.LOG文件中。更多信息，請參見安裝Logtail（Windows系統(tǒng)）。

• Logtail配置：Logtail采集日志的策略集合。通過在創(chuàng)建Logtail采集配置時設(shè)置數(shù)據(jù)源、采集模式等參數(shù)，實(shí)現(xiàn)定制化的采集策略。Logtail采集配置定義了如何在服務(wù)器上采集同類日志并解析、發(fā)送到指定的日志服務(wù)Logstore上。

基本功能

數(shù)據(jù)采集可靠性

Logtail在采集日志時，定期將采集的點(diǎn)位（CheckPoint）信息保存到本地，如果遇到服務(wù)器意外關(guān)閉、進(jìn)程崩潰等異常情況時，Logtail重啟后會從上一次記錄的位置開始采集數(shù)據(jù)，盡可能保證數(shù)據(jù)不丟失。Logtail會根據(jù)啟動參數(shù)配置文件中配置進(jìn)行工作，如果資源占用超過限定值5分鐘以上，則Logtail會強(qiáng)制重啟。重啟后可能會產(chǎn)生一定的數(shù)據(jù)重復(fù)。

相關(guān)文檔

• Logtail診斷

• Logtail常見問題

• 數(shù)據(jù)采集常見問題

• Logtail限制說明