查詢與分析快速指引
日志服務(wù)提供查詢和分析功能,支持秒級查詢十億到千億級別的日志,并支持通過SQL對查詢結(jié)果進(jìn)行統(tǒng)計(jì)分析。本文以Nginx日志為例,為您介紹如何快速開啟索引,并在控制臺(tái)完成查詢與分析的基本操作。
前提條件
已創(chuàng)建Project、標(biāo)準(zhǔn)型Logstore并完成日志采集。具體操作,請參見創(chuàng)建項(xiàng)目Project、創(chuàng)建Logstore和數(shù)據(jù)采集概述。
步驟一:配置索引
在Project列表區(qū)域,單擊目標(biāo)Project。
在
頁簽中,單擊目標(biāo)Logstore。在Logstore的查詢和分析頁面,單擊開啟索引。
說明開啟后等待1min左右即可查詢最新數(shù)據(jù)。
單擊開啟索引后,全文索引開關(guān)默認(rèn)打開。在查詢分析頁面單擊自動(dòng)生成索引。日志服務(wù)會(huì)根據(jù)采集時(shí)預(yù)覽數(shù)據(jù)中的第一條內(nèi)容,自動(dòng)生成字段索引。
說明其他配置項(xiàng)保持默認(rèn)即可,更多信息,請參見創(chuàng)建索引。
生成的字段索引配置如下所示:
步驟二:查詢和分析日志
默認(rèn)情況下,打開查詢和分析頁面時(shí),系統(tǒng)會(huì)自動(dòng)執(zhí)行一次查詢操作,展示查詢結(jié)果。您可單擊頁面右上角的圖標(biāo),在查詢設(shè)置頁簽下,關(guān)閉該功能或設(shè)置查詢時(shí)間。
在頂部搜索欄,輸入查詢或分析語句,并單擊查詢/分析。
查詢語句
用于日志數(shù)據(jù)的查看、簡單搜索和過濾。用戶使用查詢語句,通過特定條件(例如時(shí)間范圍、請求類型、關(guān)鍵字等)篩選出感興趣的數(shù)據(jù)集。查詢語句可以單獨(dú)使用,具體用法請參見查詢語法與功能。
示例:查詢狀態(tài)碼為
200
的日志,可使用以下語句。status :200
更多查詢示例,請參見查詢語句示例。
分析語句
用于對日志數(shù)據(jù)進(jìn)行過濾、轉(zhuǎn)換、統(tǒng)計(jì)、聚合等操作,例如統(tǒng)計(jì)一段時(shí)間內(nèi)數(shù)據(jù)的平均值、獲取數(shù)據(jù)的同比和環(huán)比結(jié)果。分析語句必須配合查詢語句一起使用,格式為
查詢語句|分析語句
,語法說明請參見SQL函數(shù)。示例:查詢?nèi)罩局兴杏涗洠⒎治龈髡埱鬆顟B(tài)的數(shù)量,可使用以下語句。
* | SELECT status, count(*) AS PV GROUP BY status
使用Data Explorer,用戶可以簡單、快速地構(gòu)建查詢和分析語句,無需編寫SQL代碼。具體操作,請參見通過Data Explorer構(gòu)建查詢和分析語句。
設(shè)置日志數(shù)據(jù)的時(shí)間范圍。有以下三種設(shè)置方式,如果在分析語句中設(shè)置了時(shí)間范圍,則查詢分析結(jié)果以該時(shí)間范圍為準(zhǔn)。
在頁面頂端的下拉列表中,選擇時(shí)間范圍例如最近15分鐘。
在分析語句中通過
__time__
字段指定時(shí)間范圍(閉合區(qū)間),例如:* | SELECT * FROM log WHERE __time__>1731297600 AND __time__< 1731310038
在分析語句中指定時(shí)間時(shí),使用from_unixtime函數(shù)或to_unixtime函數(shù)轉(zhuǎn)換時(shí)間格式。例如:
* | SELECT * FROM log WHERE from_unixtime(__time__) > from_unixtime(1731297600) AND from_unixtime(__time__) < now()
* | SELECT * FROM log WHERE __time__ > to_unixtime(date_parse('2024-10-19 15:46:05', '%Y-%m-%d %H:%i:%s')) AND __time__ < to_unixtime(now())
執(zhí)行查詢和分析語句后,默認(rèn)只返回100行。如果您希望返回更多數(shù)據(jù),可使用LIMIT語法。更多信息,請參見LIMIT子句。
控制臺(tái)說明
概覽
選擇時(shí)間周期,并單擊查詢/分析,查看日志查詢和分析結(jié)果。
直方圖
將鼠標(biāo)懸浮在綠色數(shù)據(jù)塊上時(shí),您可以查看該數(shù)據(jù)塊代表的時(shí)間范圍和日志命中次數(shù)。
雙擊綠色數(shù)據(jù)塊,您可以查看更細(xì)時(shí)間粒度的日志分布,同時(shí)原始日志頁簽中將同步展示指定時(shí)間范圍內(nèi)的查詢結(jié)果。
原始日志
日志詳情區(qū)域
單擊表格或原始,切換日志格式。
:支持選擇下載范圍和下載工具。具體操作,請參見下載日志。
>JSON設(shè)置:設(shè)置JSON展示類型和展示級別。
>事件配置:為原始日志配置事件。
:復(fù)制日志內(nèi)容。
:SLS Copilot,基于日志內(nèi)容總結(jié)信息、查找錯(cuò)誤信息等。
:查看指定日志在原始文件中的上下文信息。只有通過Logtail采集到的日志才支持上下文瀏覽功能。具體操作,請參見上下文查詢。
:實(shí)時(shí)監(jiān)控日志內(nèi)容,提取關(guān)鍵日志信息。只有通過Logtail采集到的日志才支持LiveTail功能。 具體操作,請參見LiveTail。
顯示字段區(qū)域
:收藏視圖。在區(qū)域5設(shè)置顯示字段后,可以收藏顯示視圖。在區(qū)域4上方的下拉列表選擇視圖。
>tag設(shè)置:將字段設(shè)置為系統(tǒng)Tag。
>別名:開啟后,字段名稱將被別名替換,未設(shè)置別名的字段仍展示字段名稱。設(shè)置字段別名的步驟,請參見創(chuàng)建索引。
索引字段區(qū)域
在索引字段區(qū)域,單擊目標(biāo)字段后的,將字段添加到顯示字段中,在右側(cè)的日志信息中顯示。
在顯示字段區(qū)域,單擊目標(biāo)字段后的,將索引字段從顯示字段中清除,右側(cè)的日志信息中不再顯示。
:查看字段的基本分布情況、統(tǒng)計(jì)指標(biāo)等信息。具體操作,請參見字段設(shè)置。
統(tǒng)計(jì)圖表
執(zhí)行查詢和分析語句后,您可以在統(tǒng)計(jì)圖表頁簽中查看可視化的查詢和分析結(jié)果。
查看查詢和分析結(jié)果:統(tǒng)計(jì)圖表是日志服務(wù)根據(jù)查詢與分析語句渲染出的結(jié)果。日志服務(wù)提供表格、線圖、柱狀圖等多種圖表類型。目前,統(tǒng)計(jì)圖表包括Pro版本和普通版本。具體操作,請參見統(tǒng)計(jì)圖表概述、統(tǒng)計(jì)圖表概述。
添加圖表到儀表盤:儀表盤是日志服務(wù)提供的實(shí)時(shí)數(shù)據(jù)分析大盤。單擊添加到儀表盤,將查詢和分析結(jié)果以圖表形式保存到儀表盤中。具體操作,請參見可視化概述。
設(shè)置交互事件:交互事件是數(shù)據(jù)分析中不可缺少的功能之一,通過改變數(shù)據(jù)維度的層次、變換分析的粒度從而獲取數(shù)據(jù)中更詳盡的信息。具體操作,請參見為儀表盤添加交互事件實(shí)現(xiàn)下鉆分析。
創(chuàng)建定時(shí)SQL任務(wù):日志服務(wù)提供定時(shí)SQL功能,用于定時(shí)分析數(shù)據(jù)、存儲(chǔ)聚合數(shù)據(jù)、投影與過濾數(shù)據(jù)。具體操作,請參見定時(shí)SQL。
日志聚類
在日志聚類頁簽中,單擊開啟日志聚類,可實(shí)現(xiàn)在采集日志時(shí)聚合相似度高的日志。具體操作,請參見日志聚類。
SQL增強(qiáng)
單擊右上角圖標(biāo),可單次開啟SQL獨(dú)享版。當(dāng)您在使用SQL分析時(shí),如果數(shù)據(jù)量較大,日志服務(wù)無法在一次查詢中完整分析這個(gè)時(shí)間段內(nèi)的所有日志。通過開啟SQL獨(dú)享版,增加計(jì)算資源,可以提升單次分析的數(shù)據(jù)量。如需設(shè)置默認(rèn)開啟,請參見默認(rèn)開啟SQL獨(dú)享版。
告警
單擊右上角圖標(biāo),為查詢和分析結(jié)果設(shè)置告警。具體操作,請參見快速設(shè)置日志告警。
快速查詢
單擊右上角圖標(biāo),將某一查詢和分析語句保存為快速查詢。具體操作,請參見快速查詢。
分享
單擊右上角圖標(biāo),復(fù)制本頁面鏈接,分享給其他用戶。
Scan掃描
在某些場景下無法創(chuàng)建索引、沒有創(chuàng)建索引,但仍需要查詢或分析日志,可以使用掃描功能。更多信息,請參見掃描(Scan)日志。