快速入門
文本日志是日志的最基本類型,本文介紹使用Logtail采集ECS主機(jī)文本日志、查詢與分析日志等步驟,幫助您快速上手使用日志服務(wù)。
前提條件
已有可用的ECS。更多信息,請(qǐng)參見云服務(wù)器ECS快速入門。
已開通日志服務(wù)。具體操作,請(qǐng)參見開通日志服務(wù)。
背景信息
本示例中待采集的日志路徑為/var/log/nginx/access.log
。
access.log
文件中的日志內(nèi)容如下:
127.0.*.1 - - [20/Mar/2023:12:00:01 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"
192.168.*.1 - - [20/Mar/2023:12:00:02 +0000] "GET /about.html HTTP/1.1" 200 1435 "http://example.com/" "Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1"
10.0.*.1 - - [20/Mar/2023:12:00:03 +0000] "POST /login HTTP/1.1" 302 0 "http://example.com/login.html" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36"
127.0.*.1 - - [20/Mar/2023:12:00:04 +0000] "GET /images/logo.png HTTP/1.1" 200 45678 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
192.168.*.2 - - [20/Mar/2023:12:00:05 +0000] "GET /contact.html HTTP/1.1" 404 155 "http://example.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15"
10.0.*.2 - - [20/Mar/2023:12:00:06 +0000] "GET /style.css HTTP/1.1" 200 12345 "http://example.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"
127.0.*.1 - - [20/Mar/2023:12:00:07 +0000] "GET /favicon.ico HTTP/1.1" 404 554 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"
192.168.*.3 - - [20/Mar/2023:12:00:08 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.79.1"
10.0.*.3 - - [20/Mar/2023:12:00:09 +0000] "POST /api/data HTTP/1.1" 201 123 "http://example.com/dashboard" "PostmanRuntime/7.
針對(duì)該日志樣例,本文介紹主機(jī)文本日志采集的操作步驟。
方案概覽
采集主機(jī)指定文件的文本日志,分為三步:
創(chuàng)建Project和Logstore:項(xiàng)目(Project)是日志服務(wù)中的資源管理單元,用于資源隔離和控制。日志庫(Logstore)是日志服務(wù)中日志數(shù)據(jù)的采集、存儲(chǔ)和查詢單元。
添加Logtail采集配置:通過進(jìn)行Logtail采集配置,可以將Logtail安裝至ECS服務(wù)器并開始采集日志,日志會(huì)發(fā)送到對(duì)應(yīng)的Logstore中。
查詢和分析日志:您可以在控制臺(tái)查詢和分析日志,例如日志檢索、日志聚合、日志統(tǒng)計(jì)等。
說明添加Logtial采集配置后,您需要等待1分鐘左右,待索引生效后,才能在原始日志頁簽中,查看已采集到的日志。更多信息,請(qǐng)參見查詢語法。
Logtail只采集增量日志。如果添加Logtail采集配置后,日志文件無更新,則Logtail不會(huì)采集該文件中的日志。您可以在日志文件中增加一行日志。更多信息,請(qǐng)參見Logtail采集詳情。
1. 創(chuàng)建Project和Logstore
1.1 創(chuàng)建Project
在Project列表區(qū)域,單擊創(chuàng)建Project,在創(chuàng)建Project面板中,選擇所屬地域(和ECS所屬地域相同),輸入Project名稱,其余參數(shù)保持默認(rèn)。更多配置,請(qǐng)參見創(chuàng)建項(xiàng)目Project。
1.2 創(chuàng)建Logstore
創(chuàng)建Project完成后,系統(tǒng)會(huì)提示您創(chuàng)建一個(gè)Logstore。
在Logstore面板中,輸入Logstore名稱,其余參數(shù)保持默認(rèn)。更多參數(shù)配置,請(qǐng)參見創(chuàng)建Logstore。
2. 添加Logtail采集配置
通過進(jìn)行Logtail采集配置,可以將Logtail安裝至ECS服務(wù)器并開始采集日志,日志會(huì)發(fā)送到對(duì)應(yīng)的Logstore中。
2.1 選擇日志空間
在創(chuàng)建成功對(duì)話框中,單擊確定。
在快速數(shù)據(jù)接入對(duì)話框的自建開源/商業(yè)軟件頁簽下,單擊單行-文本日志對(duì)應(yīng)的立即接入。
2.2 機(jī)器組配置
- ,在創(chuàng)建機(jī)器組面板中,選擇ECS實(shí)例,單擊安裝并創(chuàng)建為機(jī)器組。Project和ECS不同地域,請(qǐng)參見
頁面中Logtail安裝情況提示成功,則表示安裝成功。如果安裝失敗,單擊重建安裝任務(wù),重新選擇ECS實(shí)例,安裝Logtail。
Logtail安裝完成后,輸入機(jī)器組名稱,IP地址會(huì)自動(dòng)填充已安裝Logtail的實(shí)例IP,無需填寫。更多信息,請(qǐng)參見創(chuàng)建IP地址機(jī)器組。
檢測(cè)機(jī)器組心跳。創(chuàng)建機(jī)器組大約需要2分鐘。創(chuàng)建未生效,將導(dǎo)致心跳為FAIL。請(qǐng)2分鐘后單擊自動(dòng)重試進(jìn)行重試,直到機(jī)器組心跳為OK。機(jī)器組心跳排查請(qǐng)參見Logtail機(jī)器組無心跳。
2.3 Logtail配置
參考下圖,輸入配置名稱,文件路徑,添加背景信息中的1條日志樣例(一共9條日志樣例)。更多配置,請(qǐng)參見全局配置。
2.4 查詢分析配置
Logtail配置生效需要3分鐘左右,自動(dòng)刷新后,出現(xiàn)預(yù)覽數(shù)據(jù),則說明Logtail配置生效。 配置生效后,單擊下一步,Logtail采集配置全部完成。
日志服務(wù)默認(rèn)開啟全文索引。您也可以根據(jù)采集到的日志,手動(dòng)創(chuàng)建字段索引,或者單擊自動(dòng)生成索引,日志服務(wù)將自動(dòng)生成字段索引。更多信息,請(qǐng)參見創(chuàng)建索引。
3. 查詢與分析日志
在配置向?qū)У?b data-tag="uicontrol" id="2e7b424e1en6q" class="uicontrol">結(jié)束步驟中,單擊查詢?nèi)罩?/b>。跳轉(zhuǎn)到目標(biāo)Logstore的查詢分析頁面,可以查看access.log
文件中的日志內(nèi)容。在輸入框中輸入任意字符(如HTTP
),選擇時(shí)間范圍,就可以查詢所有包含該字符的日志。
相關(guān)文檔
采集主機(jī)文本日志的詳細(xì)步驟請(qǐng)參見采集主機(jī)文本日志。
采集K8s日志請(qǐng)參見通過DaemonSet方式采集Kubernetes容器文本日志和通過Sidecar方式采集Kubernetes容器文本日志。
采集云產(chǎn)品日志請(qǐng)參見云產(chǎn)品日志概述。
您可以將重要的查詢和分析結(jié)果保存成儀表盤(可視化工具)。具體操作,請(qǐng)參見創(chuàng)建儀表盤。
如需對(duì)日志配置告警,請(qǐng)參見快速設(shè)置日志告警。
下載日志請(qǐng)參見下載日志。
常見問題
僅創(chuàng)建Project和Logstore,會(huì)產(chǎn)生費(fèi)用嗎?
當(dāng)您在創(chuàng)建Logstore時(shí),日志服務(wù)默認(rèn)預(yù)留Shard資源,因此可能產(chǎn)生活躍Shard租用費(fèi)用。更多信息,請(qǐng)參見為什么會(huì)產(chǎn)生活躍Shard租用費(fèi)用?
采集日志失敗,如何排查?
使用Logtail采集日志失敗,可能是因?yàn)長ogtail心跳異常、采集錯(cuò)誤、Logtail采集配置錯(cuò)誤等原因。如何排查,請(qǐng)參見Logtail采集日志失敗的排查思路。
在Logstore查詢與分析頁面,可以查詢?nèi)罩镜珶o法分析日志,如何解決?
如果您要分析日志,需要為日志字段配置字段索引并開啟統(tǒng)計(jì)功能。更多信息,請(qǐng)參見創(chuàng)建索引。