本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
如果需要只使用一個Logtail實例收集Kubernetes節點上所有容器的日志,可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介紹DaemonSet方式采集容器文本日志的工作原理、使用限制、前提條件、操作步驟等信息。
工作原理
DaemonSet模式
在DaemonSet模式中,Kubernetes集群確保每個節點(Node)只運行一個Logtail容器,用于采集當前節點內所有容器(Containers)的日志。
當新節點加入集群時,Kubernetes集群會自動在新節點上創建Logtail容器;當節點退出集群時,Kubernetes集群會自動銷毀當前節點上的Logtail容器。通過DaemonSet的自動擴縮容機制以及標識型機器組,無需您手動管理Logtail實例。
容器發現
Logtail容器采集其他容器的日志,必須發現和確定哪些容器正在運行,這個過程稱為容器發現。在容器發現階段,Logtail容器不與Kubernetes集群的kube-apiserver進行通信,而是直接和節點上的容器運行時守護進程(Container Runtime Daemon)進行通信,從而獲取當前節點上的所有容器信息,避免容器發現對集群kube-apiserver產生壓力。
Logtail支持通過Namespace名稱、Pod名稱、Pod標簽、容器環境變量等條件指定或排除采集相應容器的日志。
容器文件路徑映射
在Kubernetes集群中,因為Pod之間資源隔離,所以Logtail容器無法直接訪問其他Pod中的容器的文件。但是,容器內的文件系統都是由宿主機的文件系統掛載形成,通過將宿主機根目錄所在的文件系統掛載到Logtail容器,就可以訪問宿主機上的任意文件,從而間接采集業務容器文件系統的文件。容器內文件路徑與宿主機文件路徑之間的關系被稱為文件路徑映射。
日志文件在當前容器內的路徑是/log/app.log
,假設映射后的宿主機路徑是/var/lib/docker/containers/<container-id>/log/app.log
。Logtail默認將宿主機根目錄所在的文件系統掛載到自身的/logtail_host
目錄下,因此Logtail實際采集的文件路徑為/logtail_host/var/lib/docker/containers/<container-id>/log/app.log
。
使用限制
容器運行時:Logtail只支持Docker和Containerd兩種容器引擎。對于Docker只支持overlay、overlay2這兩種存儲驅動,其他存儲驅動需將日志所在目錄通過數據卷掛載為臨時目錄。
存儲卷掛載方式:如果NAS以PVC的方式掛載到數據目錄,不支持使用DaemonSet方式部署Logtail,建議使用Sidecar方式或Deployment方式部署Logtail并完成日志采集。具體操作,請參見通過Sidecar方式采集Kubernetes容器文本日志和通過業務容器和Logtail容器共享PVC實現日志采集。
日志文件路徑:
容器內文件路徑暫不支持存在軟鏈接,請按實際路徑配置采集目錄。
如果業務容器的數據目錄通過數據卷(Volume)掛載,則填寫的文件路徑不能短于掛載點路徑。例如
/var/log/service
目錄是數據卷掛載的路徑,則設置采集目錄為/var/log
將無法采集該目錄下的日志,因為采集目錄比掛載路徑短。必須設置采集目錄為/var/log/service
或更深的目錄。
日志文件采集停止:
docker:當容器被停止時,Logtail會立刻釋放容器文件句柄,容器可正常退出。如果在容器停止前,出現因網絡延遲、資源占用多等原因導致的采集延時,可能會丟失容器停止前的部分日志。
containerd:當容器被停止時,Logtail會持續持有容器內文件的句柄(即保持對日志文件的打開狀態),直至所有日志文件內容發送完畢。因此,當出現網絡延遲、資源占用多等原因導致的采集延時時,可能會導致業務容器不能及時銷毀。
前提條件
已安裝Logtail組件。具體操作,請參見安裝Logtail組件(阿里云Kubernetes集群)。
安裝Logtail的主機需要在出口方向開放80(HTTP)端口和443(HTTPS)端口。ECS實例的端口由安全組規則控制,添加安全組規則的步驟請參見添加安全組規則。
目標容器持續新增日志。Logtail只采集增量日志。如果下發logtail采集配置后,日志文件無更新,則Logtail不會采集該文件中的日志。更多信息,請參見讀取日志。
對于不同容器引擎,必須確認對應的UNIX域套接字存在,并確保Logtail有相應UNIX域套接字的訪問權限。
Docker:
/run/docker.sock
。Containerd:
/run/containerd/containerd.sock
。
創建Logtail采集配置
通過CRD方式創建的配置,在控制臺上對其修改不會同步到CRD中。因此,如需修改由CRD創建的配置內容,只能修改CRD資源,不要直接在控制臺操作,避免iLogtail采集配置不一致。
日志服務控制臺
登錄日志服務控制臺。
單擊控制臺右側的快速接入數據,在接入數據區域單擊Kubernetes-文件卡片。
選擇目標Project和Logstore,單擊下一步。選擇您在安裝Logtail組件時所使用的Project。Logstore為您自定義創建的Logstore。
在機器組配置頁面。
根據實際場景,單擊以下頁簽:
- 重要
不同頁簽的后續配置步驟不同,請根據實際需求正確選擇。
確認目標機器組已在應用機器組列表中,然后單擊下一步。在ACK中安裝Logtail組件后,日志服務自動創建名為
k8s-group-${your_k8s_cluster_id}
的機器組,您可以直接使用該機器組。重要如果需要新建機器組,請單擊創建機器組,按照右側面板進行創建。更多信息,請參見通過控制臺配置。
如果機器組心跳為FAIL,您可單擊自動重試。如果還未解決,請參見Logtail機器組無心跳進行排查。
創建Logtail采集配置,單擊下一步創建Logtail采集配置,日志服務開始采集日志。
說明Logtail采集配置生效時間最長需要3分鐘,請耐心等待。
配置項
說明
配置名稱
Logtail配置名稱,在其所屬Project內必須唯一。創建Logtail配置成功后,無法修改其名稱。
日志主題類型
選擇日志主題(Topic)的生成方式。更多信息,請參見日志主題。
機器組Topic:設置為機器組的Topic屬性,用于明確區分不同機器組產生的日志。
文件路徑提取:設置為文件路徑正則,則需要設置自定義正則,用正則表達式從路徑里提取一部分內容作為Topic。用于區分不同源產生的日志。
自定義:自定義日志主題。
高級參數
其它可選的與配置全局相關的高級功能參數,請參見創建Logtail流水線配置。
配置項
說明
日志樣例
待采集日志的樣例,請務必使用實際場景的日志。日志樣例可協助您配置日志處理相關參數,降低配置難度。支持添加多條樣例,總長度不超過1500個字符。
[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3) at TestPrintStackTrace.g(TestPrintStackTrace.java:7) at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
多行模式
多行日志的類型:多行日志是指每條日志分布在連續的多行中,需要從日志內容中區分出每一條日志。
自定義:通過行首正則表達式區分每一條日志。
多行JSON:每個JSON對象被展開為多行,例如:
{ "name": "John Doe", "age": 30, "address": { "city": "New York", "country": "USA" } }
切分失敗處理方式:
Exception in thread "main" java.lang.NullPointerException at com.example.MyClass.methodA(MyClass.java:12) at com.example.MyClass.methodB(MyClass.java:34) at com.example.MyClass.main(MyClass.java:?0)
對于以上日志內容,如果日志服務切分失?。?/p>
丟棄:直接丟棄這段日志。
保留單行:將每行日志文本單獨保留為一條日志,保留為一共四條日志。
處理模式
處理插件組合,包括原生插件和拓展插件。有關處理插件的更多信息,請參見處理插件概述。
重要處理插件的使用限制,請以控制臺頁面的提示為準。
2.0版本的Logtail:
原生處理插件可任意組合。
原生處理插件和擴展處理插件可同時使用,但擴展處理插件只能出現在所有的原生處理插件之后。
低于2.0版本的Logtail:
不支持同時添加原生插件和擴展插件。
原生插件僅可用于采集文本日志。使用原生插件時,須符合如下要求:
第一個處理插件必須為正則解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。
從第二個處理插件到最后一個處理插件,最多包括1個時間解析處理插件,1個過濾處理插件和多個脫敏處理插件。
對于解析失敗時保留原始字段和解析成功時保留原始字段參數,只有以下組合有效,其余組合無效。
只上傳解析成功的日志:
解析成功時上傳解析后的日志,解析失敗時上傳原始日志:
解析成功時不僅上傳解析后的日志,并且追加原始日志字段,解析失敗時上傳原始日志。
例如,原始日志
"content": "{"request_method":"GET", "request_time":"200"}"
解析成功,追加原始字段是在解析后日志的基礎上再增加一個字段,字段名為重命名的原始字段(如果不填則默認為原始字段名),字段值為原始日志{"request_method":"GET", "request_time":"200"}
。
創建索引和預覽數據,然后單擊下一步。日志服務默認開啟全文索引。您也可以根據采集到的日志,手動創建字段索引,或者單擊自動生成索引,日志服務將自動生成字段索引。更多信息,請參見創建索引。
重要如果需要查詢日志中的所有字段,建議使用全文索引。如果只需查詢部分字段、建議使用字段索引,減少索引流量。如果需要對字段進行分析(SELECT語句),必須創建字段索引。
單擊查詢日志,系統將跳轉至Logstore查詢分析頁面。
您需要等待1分鐘左右,待索引生效后,才能在原始日志頁簽中,查看已采集到的日志。更多信息,請參見查詢和分析日志。
(推薦)CRD-AliyunPipelineConfig
創建Logtail采集配置
使用AliyunPipelineConfig,需要日志組件版本最低為0.5.1。
您只需要創建AliyunPipelineConfig CR即可創建iLogtail采集配置,創建完成后自動生效。對于通過CR創建的iLogtail采集配置,其修改只能通過更新相應的CR來實現。
執行如下命令創建一個YAML文件。
cube.yaml
為文件名,請根據實際情況替換。vim cube.yaml
在YAML文件輸入如下腳本,并根據實際情況設置其中的參數。
重要請確保
configName
字段值在安裝Logtail組件的Project中唯一。每個iLogtail采集配置必須單獨設置一個對應的CR,如果多個CR關聯同一個Logtail配置,后配置的CR將不會生效。
AliyunPipelineConfig
的參數,請參見【推薦】使用AliyunPipelineConfig管理采集配置。本文的iLogtail采集配置樣例包含基礎的文本日志采集功能,參數說明參見CreateLogtailPipelineConfig - 創建Logtail流水線配置。請確保config.flushers.Logstore參數配置的Logstore已存在,可以通過配置spec.logstore參數自動創建Logstore。
采集指定容器內的單行文本日志
創建名為
example-k8s-file
的iLogtail采集配置,對于集群內名稱包含app
的所有容器,以單行文本模式采集/data/logs/app_1
路徑下的test.LOG
文件,直接發送到名稱為
k8s-file
的Logstore,該Logstore屬于名稱為k8s-log-test
的Project。apiVersion: telemetry.alibabacloud.com/v1alpha1 # 創建一個 ClusterAliyunPipelineConfig kind: ClusterAliyunPipelineConfig metadata: # 設置資源名,在當前Kubernetes集群內唯一。該名稱也是創建出的iLogtail采集配置名 name: example-k8s-file spec: # 指定目標project project: name: k8s-log-test # 創建用于存儲日志的 Logstore logstores: - name: k8s-file # 定義iLogtail采集配置 config: # 定義輸入插件 inputs: # 使用input_file插件采集容器內文本日志 - Type: input_file # 容器內的文件路徑 FilePaths: - /data/logs/app_1/**/test.LOG # 啟用容器發現功能。 EnableContainerDiscovery: true # 添加容器信息過濾條件,多個選項之間為“且”的關系。 ContainerFilters: # 指定待采集容器所在 Pod 所屬的命名空間,支持正則匹配。 K8sNamespaceRegex: default # 指定待采集容器的名稱,支持正則匹配。 K8sContainerRegex: ^(.*app.*)$ # 定義輸出插件 flushers: # 使用flusher_sls插件輸出到指定Logstore。 - Type: flusher_sls # 需要確保該 Logstore 存在 Logstore: k8s-file # 需要確保 endpoint 正確 Endpoint: cn-hangzhou.log.aliyuncs.com Region: cn-hangzhou TelemetryType: logs
采集所有容器內的多行文本日志并正則解析
創建名為
example-k8s-file
的iLogtail采集配置,以多行文本模式采集集群內所有容器內的/data/logs/app_1
路徑下的test.LOG
文件,對采集到的數據進行JSON解析,直接發送到名稱為k8s-file
的Logstore,該Logstore屬于名稱為k8s-log-test
的Project。下面樣例中的日志原文通過input_file插件讀取后格式為
{"content": "2024-06-19 16:35:00 INFO test log\nline-1\nline-2\nend"}
,會被正則解析插件解析為{"time": "2024-06-19 16:35:00", "level": "INFO", "msg": "test log\nline-1\nline-2\nend"}
apiVersion: telemetry.alibabacloud.com/v1alpha1 # 創建一個 ClusterAliyunPipelineConfig kind: ClusterAliyunPipelineConfig metadata: # 設置資源名,在當前Kubernetes集群內唯一。該名稱也是創建出的iLogtail采集配置名 name: example-k8s-file spec: # 指定目標project project: name: k8s-log-test # 創建用于存儲日志的 Logstore logstores: - name: k8s-file # 定義iLogtail采集配置 config: # 日志樣例(可不填寫) sample: | 2024-06-19 16:35:00 INFO test log line-1 line-2 end # 定義輸入插件 inputs: # 使用input_file插件采集容器內多行文本日志 - Type: input_file # 容器內的文件路徑 FilePaths: - /data/logs/app_1/**/test.LOG # 啟用容器發現功能。 EnableContainerDiscovery: true # 開啟多行能力 Multiline: # 選擇自定義行首正則表達式模式 Mode: custom # 配置行首正則表達式 StartPattern: \d+-\d+-\d+.* # 定義處理插件 processors: # 使用正則解析插件解析日志 - Type: processor_parse_regex_native # 源字段名 SourceKey: content # 解析用的正則表達式,用捕獲組"()"捕獲待提取的字段 Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*) # 提取的字段列表 Keys: ["time", "level", "msg"] # 定義輸出插件 flushers: # 使用flusher_sls插件輸出到指定Logstore。 - Type: flusher_sls # 需要確保該 Logstore 存在 Logstore: k8s-file # 需要確保 endpoint 正確 Endpoint: cn-hangzhou.log.aliyuncs.com Region: cn-hangzhou TelemetryType: logs
執行如下命令使iLogtail采集配置生效。iLogtail采集配置生效后,Logtail開始采集各個容器上的文本日志,并發送到日志服務中。
cube.yaml
為文件名,請根據實際情況替換。kubectl apply -f cube.yaml
重要采集到日志后,您需要先創建索引,才能在Logstore中查詢和分析日志。具體操作,請參見創建索引。
CRD-AliyunLogConfig
您只需要創建AliyunLogConfig CR即可創建iLogtail采集配置,創建完成后自動生效。對于通過CR創建的iLogtail采集配置,其修改只能通過更新相應的CR來實現。
執行如下命令創建一個YAML文件。
cube.yaml
為文件名,請根據實際情況替換。vim cube.yaml
在YAML文件輸入如下腳本,并根據實際情況設置其中的參數。
重要請確保
configName
字段值在安裝Logtail組件的Project中唯一。如果多個CR關聯同一個iLogtail采集配置,則刪除或修改任意一個CR均會影響到該iLogtail采集配置,導致其他關聯該iLogtail采集配置的CR狀態與日志服務中iLogtail采集配置的狀態不一致。
CR字段的格式請參見使用AliyunLogConfig管理采集配置。本文的iLogtail采集配置樣例包含基礎的文本日志采集功能,具體參數參見CreateConfig - 創建Logtail采集配置。
采集指定容器內的單行文本日志
“創建名為
example-k8s-file
的iLogtail采集配置,以單行文本模式采集集群內所有名稱開頭為app
的Pod的容器內的/data/logs/app_1
路徑下的test.LOG
文件,直接發送到名稱為k8s-file
的Logstore,該Logstore屬于名稱為k8s-log-test
的Project?!?/p>apiVersion: log.alibabacloud.com/v1alpha1 kind: AliyunLogConfig metadata: # 設置資源名,在當前Kubernetes集群內唯一。 name: example-k8s-file namespace: kube-system spec: # 設置目標project名稱(可不填寫,默認為k8s-log-<your_cluster_id>) project: k8s-log-test # 設置Logstore名稱。如果您所指定的Logstore不存在,日志服務會自動創建。 logstore: k8s-file # 設置iLogtail采集配置。 logtailConfig: # 設置采集的數據源類型。采集文本日志時,需設置為file。 inputType: file # 設置iLogtail采集配置的名稱。 configName: example-k8s-file inputDetail: # 指定通過極簡模式采集文本日志。 logType: common_reg_log # 設置日志文件所在路徑。 logPath: /data/logs/app_1 # 設置日志文件的名稱。支持通配符星號(*)和半角問號(?),例如log_*.log。 filePattern: test.LOG # 采集容器的文本日志時,需設置dockerFile為true。 dockerFile: true #設置容器過濾條件。 advanced: k8s: K8sPodRegex: '^(app.*)$'
執行如下命令使其iLogtail采集配置生效。iLogtail采集配置生效后,Logtail開始采集各個容器上的文本日志,并發送到日志服務中。
cube.yaml
為文件名,請根據實際情況替換。kubectl apply -f cube.yaml
重要采集到日志后,您需要先創建索引,才能在Logstore中查詢和分析日志。具體操作,請參見創建索引。
查看Logtail采集配置
控制臺
登錄日志服務控制臺。
在Project列表區域,單擊目標Project。
在 頁簽中,單擊目標日志庫前面的>,依次選擇 。
單擊目標Logtail采集配置,查看Logtail采集配置詳情。
(推薦)CRD-AliyunPipelineConfig
查看由AliyunPipelineConfig創建的Logtail采集配置
執行kubectl get clusteraliyunpipelineconfigs
命令查看iLogtail采集配置。
查看由AliyunPipelineConfig創建的Logtail采集配置的詳細信息
您可以執行以下命令進行查看。其中,<config_name>
為AliyunPipelineConfig
的名稱,請根據實際情況替換。
kubectl get clusteraliyunpipelineconfigs <config_name> -o yaml
以采集指定容器內的單行文本日志的CR為例,返回結果參考如下所示,可以根據status查看iLogtail采集配置的應用情況:
apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
finalizers:
- finalizer.pipeline.alibabacloud.com
name: example-k8s-file
# 預期的配置
spec:
config:
flushers:
- Endpoint: cn-hangzhou.log.aliyuncs.com
Logstore: k8s-file
Region: cn-hangzhou
TelemetryType: logs
Type: flusher_sls
inputs:
- EnableContainerDiscovery: true
FilePaths:
- /data/logs/app_1/**/test.LOG
Type: input_file
logstores:
- encryptConf: {}
name: k8s-file
project:
name: k8s-log-clusterid
# CR的應用狀態
status:
# CR 是否應用成功
success: true
# CR 當前的狀態信息
message: success
# 當前 status 的更新時間
lastUpdateTime: '2024-06-19T09:21:34.215702958Z'
# 上次成功應用的配置信息,該配置信息為填充默認值后實際生效的配置
lastAppliedConfig:
# 上次成功應用的時間
appliedTime: '2024-06-19T09:21:34.215702958Z'
# 上次成功應用的配置詳情
config:
configTags:
sls.crd.cluster: e2e-cluster-id
sls.crd.kind: ClusterAliyunPipelineConfig
sls.logtail.channel: CRD
flushers:
- Endpoint: cn-hangzhou.log.aliyuncs.com
Logstore: k8s-file
Region: cn-hangzhou
TelemetryType: logs
Type: flusher_sls
inputs:
- EnableContainerDiscovery: true
FilePaths:
- /data/logs/app_1/**/test.LOG
Type: input_file
name: example-k8s-file
logstores:
- appendMeta: true
autoSplit: true
encryptConf: {}
maxSplitShard: 64
name: k8s-file
shardCount: 2
ttl: 30
machineGroups:
- name: k8s-group-clusterid
project:
description: 'k8s log project, created by alibaba cloud log controller'
endpoint: cn-hangzhou.log.aliyuncs.com
name: k8s-log-clusterid
CRD-AliyunLogConfig
查看由AliyunLogConfig創建的iLogtail采集配置
您可以執行kubectl get aliyunlogconfigs
命令進行查看,返回結果如下圖所示。
查看由AliyunLogConfig創建的iLogtail采集配置的詳細信息
您可以執行kubectl get aliyunlogconfigs <config_name> -o yaml
命令進行查看。其中,<config_name>
為AliyunLogConfig
的名稱,請根據實際情況替換。 返回結果如下圖所示。
執行結果中的status
字段和statusCode
字段表示iLogtail采集配置的狀態。
如果
statusCode
字段的值為200,表示應用iLogtail采集配置成功。如果
statusCode
字段的值為非200,表示應用iLogtail采集配置失敗。
查詢分析已采集的日志
在Project列表中,單擊目標Project,進入對應的Project詳情頁面。
在對應的日志庫右側的圖標,選擇查詢分析,查看Kubernetes集群輸出的日志。
容器日志文本默認字段
每條容器文本日志默認包含的字段如下表所示。
字段名稱 | 說明 |
__tag__:__hostname__ | 容器宿主機的名稱。 |
__tag__:__path__ | 容器內日志文件的路徑。 |
__tag__:_container_ip_ | 容器的IP地址。 |
__tag__:_image_name_ | 容器使用的鏡像名稱。 |
__tag__:_pod_name_ | Pod的名稱。 |
__tag__:_namespace_ | Pod所屬的命名空間。 |
__tag__:_pod_uid_ | Pod的唯一標識符(UID)。 |
相關文檔
當您使用Logtail采集容器(標準容器、Kubernetes)日志遇到異常情況時,您可以參見如何排查容器日志采集異常和通過DaemonSet方式采集Kubernetes容器標準輸出進行排查。
采集Kubernetes容器標準輸出的步驟,請參見通過DaemonSet方式采集Kubernetes容器標準輸出。