通過阿里云Logstash的日志功能,您可以輸入關鍵字和設置時間范圍,鎖定需要查詢的日志內容,快速定位集群問題,輔助集群運維。本文為您介紹如何查詢日志以及常見日志的使用說明。
操作步驟
- 進入阿里云Elasticsearch控制臺的Logstash頁面。
- 進入目標實例。
- 在頂部菜單欄處,選擇地域。
- 在Logstash實例中單擊目標實例ID。
在左側導航欄,單擊日志查詢,查看集群的運行日志。
阿里云Logstash支持4種類型的日志:主日志、慢日志、GC日志和調試日志。各類日志的說明和使用場景如下,更多詳細信息請參見日志說明。
日志類型
說明
使用場景
主日志
集群的運行狀態日志。
當您需要查看集群中各節點的運行狀況及管道的運行情況,例如源端和目標端的連通性、創建或修改管道配置情況、管道運行的錯誤信息時,可查看主日志進行排查。
重要如果您的業務側出現問題,建議優先查看主日志和集群監控,排除集群自身的性能瓶頸或管道配置問題。
慢日志
耗時比較久的管道事件日志。當管道運行耗時超過指定閾值時,將在慢查詢日志中打印相關信息。
重要為了方便后續排查與定位阿里云Logstash問題,YML文件配置中默認開啟了慢日志,請不要移除該慢日志配置,詳細信息請參見配置YML文件。
當您的業務出現寫入慢的問題時,可查看慢日志進行排查。常見原因如下:
管道配置中的源端或目標端壓力達到瓶頸:建議擴充源端或目標端資源。
Logstash的管道工作線程數配置太?。涸黾覮ogstash的管道批大小和工作線程數,詳細信息請參見通過配置文件管理管道。
GC日志
垃圾回收器日志。顯示所有JVM堆內存占用觸發的垃圾回收情況,通過GC日志可獲取詳細的垃圾回收信息,包括Old GC、CMS GC、Full GC以及Minor GC等回收機制。
當集群出現性能瓶頸時,可通過GC日志獲取詳細的GC回收信息,查看是否存在耗時長或操作頻繁的GC。
調試日志
管道處理后的輸出數據。默認關閉,需要安裝logstash-output-file_extend插件,并在output中配置file_extend參數進行開啟。
需要在控制臺上查看管道配置的輸出結果,調試管道配置的場景。
在日志頁面的搜索框中,輸入查詢條件,選擇開始時間和結束時間,單擊搜索。
阿里云Logstash最多支持查詢連續7天內的日志,日志默認按時間倒序展示。支持基于Lucene的日志查詢語法,詳情請參見Query string syntax。
本文以查詢content包含關鍵字running,level為INFO,host為172.16.xx.xx的Logstash主日志為例,示例查詢條件為:
host:172.16.xx.xx AND level:info AND content:running
。重要查詢條件中的
AND
必須為大寫。如果結束時間為空,那么結束時間默認為當前時間。如果開始時間為空,那么開始時間默認為結束時間減去1小時。
搜索成功后,阿里云Logstash會根據您的查詢條件返回日志查詢結果,并展示在日志查詢頁面。
日志說明
主日志
主日志主要展示集群的運行日志,包括日志產生的時間、日志所在的節點IP和日志的詳細信息。
參數 | 說明 |
時間 | 日志產生時間。 |
節點IP | 生成日志的節點的IP地址。 |
內容 | 日志的詳細信息,主要由level、host、time和content組成:
|
GC日志
GC日志默認開啟,包含日志產生的時間、所在節點的IP地址和日志內容。詳細信息,請參見主日志。
慢日志
慢日志默認開啟,您可在Logstash實例的YML配置中查看或修改默認的慢日志配置,詳細信息請參見配置YML文件。
為方便后續排查與定位阿里云Logstash問題,請不要移除該慢日志配置。
調試日志
當Logstash管道配置出現錯誤時,可能導致輸出數據結果不符合預期,需要反復去目標端確認數據格式,再返回控制臺修改配置,這樣會耗費大量的時間和人力。對于這種情況,您可以通過阿里云Logstash提供的管道配置調試功能,在管道配置完成后,直接在控制臺上通過調試日志查看管道配置的輸出結果,降低調試成本。詳細信息,請參見使用Logstash管道配置調試功能。
調試日志默認關閉,您需要通過以下方式開啟:
安裝logstash-output-file_extend插件,具體操作請參見安裝或卸載插件。
在管道配置的output中配置file_extend參數,具體操作請參見通過配置文件管理管道。
開啟調試日志后,您可以在調試日志頁簽中,獲取管道處理后的輸出數據。