日志服務支持通過索引模式查詢和分析日志。該功能結合了SQL計算功能。本文介紹查詢與分析功能的基本語法、使用限制和SQL函數等信息。
如果您要查詢與分析日志,則必須將日志采集到Standard Logstore中,且在配置索引時打開對應字段的開啟統計開關。更多信息,請參見管理Logstore、創建索引。
如果您需要查詢百億級的日志數據量,您可以反復執行(10次以內)某查詢語句獲取最終完整的結果。更多信息,請參見控制臺提示“查詢結果不精確”,如何解決?。
日志服務默認存在保留字段。如果您要分析保留字段,請參見保留字段。
基本語法
查詢語句中建議不超過30個條件。
分析語句默認分析當前Logstore中的數據,不需要填寫FROM子句和WHERE子句。
分析語句不支持使用offset,不區分大小寫,末尾不需要加分號。
查詢語句和分析語句以豎線|
分割。查詢語句可單獨使用,分析語句必須與查詢語句一起使用。即分析功能是基于查詢結果或全量數據進行的。
查詢語句|分析語句
類型 | 說明 |
查詢語句 | 查詢語句用于指定日志查詢時的過濾規則,返回符合條件的日志。查詢條件可使用關鍵詞、數值、數值范圍、空格、星號(*)等。 如果為空格或星號(*),表示無過濾條件。更多信息,請參見查詢語法。 |
分析語句 | 對查詢結果或全量數據進行計算和統計。更多信息,請參見使用SPL查詢和分析日志、SQL分析語法與功能。 |
示例
* | SELECT status, count(*) AS PV GROUP BY status
查詢與分析結果如下圖所示:
在Logstore中進行實時查詢和分析操作,請參見查詢和分析日志。
高級功能
LiveTail:日志服務在控制臺提供了日志實時監控的交互功能LiveTail,針對線上日志進行實時監控分析,減輕運維壓力。
日志聚類:在采集日志時,將相似度高的日志聚合,提取共同的日志模式(Pattern),快速掌握日志全貌。
上下文查詢:通過查看指定日志的上下文信息,您可以在業務故障排查中快速查找相關故障信息,方便定位問題。
字段分析:此功能涵蓋了字段的基本分布情況、各種統計指標以及TOP5的時間序列圖,為用戶提供了深入的數據洞察和可視化工具,便于理解和挖掘。
事件配置:事件配置為原始日志提供可視化、易操作的日志鉆取功能,方便您獲取更詳盡的日志信息。
跨LogStore查詢日志(StoreView):通過StoreView功能,可實現跨地域、跨Store聯合查詢。
查詢功能使用限制
限制項 | 說明 |
關鍵詞個數 | 關鍵詞查詢時,除布爾邏輯符外的條件個數。每次查詢最多30個。 |
字段值大小 | 單個字段值最大為512 KB,超出部分不參與查詢。 如果單個字段長度大于512 KB,有一定幾率無法通過關鍵詞查詢到日志,但數據仍然是完整的。 |
操作并發數 | 單個Project支持的最大查詢操作并發數為100個。 例如100個用戶同時在同一個Project的各個Logstore中執行查詢操作。 |
返回結果 | 每次查詢時,每頁最多顯示100條查詢結果,您可翻頁讀取完整的查詢結果。 |
模糊查詢 | 執行模糊查詢時,日志服務最多查詢到符合條件的100個詞,并返回包含這100個詞并滿足查詢條件的所有日志。更多信息,請參見模糊查詢。 |
查詢結果排序 | 默認按照秒級時間(如果存在納秒級則以納秒級時間)從最新開始展示。 |
分析功能使用限制
限制項 | 普通實例 | 獨享實例 |
操作并發數 | 單個Project支持的最大分析操作并發數為15個。 例如最大支持15個用戶同時在一個Project的各個Logstore中執行分析操作。 | 單個Project支持的最大分析操作并發數為100個。 例如最大支持100個用戶同時在一個Project的各個Logstore中執行分析操作。 |
數據量 | 單個Shard單次僅支持分析1 GB數據。 | 單次分析最大支持掃描2000億行數據。 |
開啟模式 | 默認開啟。 | 通過開關開啟。具體操作,請參見開啟SQL獨享版。 |
費用 | 免費。 | 根據實際使用的CPU時間付費。 |
數據生效機制 | 分析功能只對開啟統計功能后寫入的數據生效。 如果您需要分析歷史數據,請對歷史數據重建索引。更多信息,請參見重建索引。 | 分析功能只對開啟統計功能后寫入的數據生效。 如果您需要分析歷史數據,請對歷史數據重建索引。更多信息,請參見重建索引。 |
返回結果 | 執行分析操作后,默認最多返回100行數據。 如果您需要返回更多數據,請使用LIMIT語法。更多信息,請參見LIMIT子句。 | 執行分析操作后,默認最多返回100行數據。 如果您需要返回更多數據,請使用LIMIT語法。更多信息,請參見LIMIT子句。 |
字段值大小 | 單個字段值最大長度為16 KB(16384字節),超出部分不參與分析。 說明 默認支持的字段值最大長度為2048字節,即2 KB。如果您需要修改字段值的最大長度,可設置統計字段(text)最大長度。更新索引設置只對增量數據有效。具體操作,請參見創建索引。 | 單個字段值最大長度為16 KB(16384字節),超出部分不參與分析。 說明 默認支持的字段值最大長度為2048字節,即2 KB。如果您需要修改字段值的最大長度,可設置統計字段(text)最大長度。更新索引設置只對增量數據有效。具體操作,請參見創建索引。 |
超時時間 | 分析操作的最大超時的時間為55秒。 | 分析操作的最大超時的時間為55秒。 |
Double類型的字段值位數 | Double類型的字段值最多52位。 如果浮點數編碼位數超過52位,會造成精度損失。 | Double類型的字段值最多52位。 如果浮點數編碼位數超過52位,會造成精度損失。 |