通過實時查詢與分析采集的日志數據,您可以準確把握網絡活動的具體情況,并識別出流量的異常情況,從而實現安全監控的加強和安全事件響應效率的提升。本文將指導您如何運用查詢和分析語句操作日志分析工具,并展示如何查閱和理解查詢結果。
語句說明
查詢語句和分析語句
日志分析的語句分為查詢語句和分析語句,查詢語句和分析語句之間以豎線(|)分隔。
查詢語句|分析語句
查詢語句的語法為日志服務專有語法,查詢滿足條件的日志數據,可以單獨使用。查詢語句可以為關鍵詞、數值、數值范圍、空格、星號(*)等;如果為空格或星號(*),表示無過濾條件。
查詢語法根據索引配置方式可分為全文查詢和字段查詢。更多信息,請參見查詢語法。
指定關鍵字進行全文查詢。您可以用雙引號("")包裹關鍵字,查詢包含該關鍵字的日志;也可以用空格或and分隔多個關鍵字,查詢包含指定關鍵字的日志。
多關鍵字查詢
搜索包含所有www.aliyun.com和pass的日志。
www.aliyun.com pass
或
www.aliyun.com and pass
條件查詢
搜索所有包含www.aliyun.com,并且包含pass或者tcp的日志。
www.aliyun.com and (pass or tcp)
前綴查詢
搜索所有包含www.aliyun.com,并且以tcp_開頭的日志。
www.aliyun.com and tcp_*
說明查詢中只支持后綴添加*,不支持以*作為前綴(如*_not_establish)。
指定字段名稱和字段值進行查詢。字段查詢支持數值類型字段的比較查詢,格式為
字段:值
或字段 >= 值
;同時,通過and、or等可進行組合查詢,并支持與全文搜索組合使用。云防火墻日志分析支持索引的字段,請參見支持索引的字段。
查詢多字段
查詢指定客戶端
192.XX.XX.22
訪問目的地址192.XX.XX.54
的訪問日志。src_ip: 192.XX.XX.22 and dst_ip: 192.XX.XX.54
查詢字段是否存在
查詢包含
cloud_instance_id
字段的日志。cloud_instance_id: *
查詢不包含
cloud_instance_id
字段的日志。not cloud_instance_id: *
分析語句是對查詢結果或全量數據進行計算和統計,必須與查詢語句一起使用。如果分析語句為空,表示只返回查詢結果,不進行分析。分析語句的語法與函數說明,請參見分析概述。
常用的查詢語句
以下為您介紹云防火墻日志的常用查詢語法和示例。
流量大小查詢語句
查詢互聯網主動向內部資產
1.2.*.*
發起訪問的網絡記錄,并統計流入資產的流量總大小和報文總數。log_type:internet_log and direction:"in" and dst_ip:1.2.*.* | select sum(in_packet_bytes) as flow, sum(in_packet_count) as packet
查詢NAT邊界防火墻流量,并以源IP、目的IP、目的端口字段聚合,分析流入資產和流出資產的總流量大小Top 10情況。
log_type:nat_firewall_log | select src_ip, dst_ip, dst_port, sum(in_packet_bytes) as in_bytes, sum(out_packet_bytes) as out_bytes, sum(total_packet_bytes) as total_bytes group by src_ip, dst_ip, dst_port order by total_bytes desc limit 10
訪問控制常見語句
查詢互聯網主動向內部資產發起訪問,并且命中訪問控制策略的流量日志。
log_type:internet_log and direction:"in" and not acl_rule_id:00000000-0000-0000-0000-000000000000
其中,
not acl_rule_id
全為0表示命中訪問控制策略,其他情況則表示未命中訪問控制策略。查詢內部資產主動向互聯網發起訪問、并且命中訪問控制策略被攔截的流量日志,分析Top 10目的IP、目的端口的分布情況。
log_type:internet_log and direction:out and not acl_rule_id:00000000-0000-0000-0000-000000000000 and rule_result:drop | select dst_ip, dst_port, count(*) as cnt group by dst_ip, dst_port order by cnt desc limit 10
查詢內部資產主動向互聯網發起訪問、目的端口443、報文數大于3(完成TCP 3次握手)、未識別到域名信息的流量日志,并以目的IP段、應用字段聚合,分析源IP、目的IP、應用的Top 10情況。
log_type:internet_log and direction:out and dst_port:443 and total_packet_count>3 and domain:""| select array_agg(distinct src_ip) as srcip, array_agg(distinct dst_ip) as dstip, slice(split(dst_ip,'.' ,4),1,3) as dstip_c, app_name, COUNT(1) as cnt GROUP by dstip_c,app_name order by cnt desc limit 10
攻擊防護常見語句
查詢互聯網主動向內部資產主動發起訪問、并且命中攻擊防護策略的流量日志。
log_type:internet_log and direction:"in" and not ips_rule_id:00000000-0000-0000-0000-000000000000
其中,
not ips_rule_id
全為0表示命中攻擊防護策略,其他情況則表示未命中攻擊防護策略。查詢內部資產主動向互聯網發起訪問、并且命中攻擊防護策略的流量日志,查看IP、端口、應用、域名、IPS策略結果等信息。
log_type:internet_log and direction:out and not ips_rule_id:00000000-0000-0000-0000-000000000000 | select src_ip, dst_ip, dst_port,app_name, domain,ips_rule_id, ips_rule_name, rule_result
操作步驟
登錄云防火墻控制臺。
在左側導航欄,選擇,然后單擊日志查詢。
(可選)默認情況下,進入日志查詢頁面時,系統會自動執行一次查詢操作,展示查詢結果。您可以單擊頁面右上角的圖標,在查詢設置頁簽,關閉該功能或設置查詢時間。
在搜索框輸入查詢語句和分析語句。
查詢語句用于日志數據的查看、簡單搜索和過濾。您可以使用查詢語句,通過特定條件(例如時間范圍、請求類型、關鍵字等)篩選出感興趣的數據集。查詢語句可以單獨使用,語法說明請參見查詢語法。
分析語句用于對日志數據進行過濾、轉換、統計、聚合等操作,例如統計一段時間內數據的平均值、獲取數據的同比和環比結果。分析語句必須配合查詢語句一起使用,格式為
查詢語句|分析語句
,語法說明請參見聚合函數。在搜索框右側,單擊圖標,切換為交互式查詢分析方式。您可以使用Data Explorer簡單、快速地構建查詢和分析語句,無需編寫SQL代碼。具體操作,請參見通過Data Explorer構建查詢和分析語句。
設置日志數據的時間范圍。有以下三種設置方式,如果在分析語句中設置了時間范圍,則查詢分析結果以該時間范圍為準。
重要執行查詢和分析語句后,默認只返回100行。如果您希望返回更多數據,可使用LIMIT語法。更多信息,請參見LIMIT子句。
在頁面頂端的下拉列表中,選擇時間范圍例如最近15分鐘。
在分析語句中通過
__time__
字段指定時間范圍(閉合區間),例如* | SELECT * FROM log WHERE __time__>1558013658 AND __time__< 1558013660
。在分析語句中指定時間時,使用from_unixtime函數或to_unixtime函數轉換時間格式。例如:
* | SELECT * FROM log WHERE from_unixtime(__time__) > from_unixtime(1664186624) AND from_unixtime(__time__) < now()
* | SELECT * FROM log WHERE __time__ > to_unixtime(date_parse('2022-10-19 15:46:05', '%Y-%m-%d %H:%i:%s')) AND __time__ < to_unixtime(now())
單擊查詢/分析,查看查詢分析結果。詳細介紹,請參見查看查詢分析結果。
查看查詢分析結果
您可以通過直方圖、原始日志等模塊展示的數據,查看日志查詢分析結果。
分析語句如果不設置limit,默認返回100條內容。如果您需要返回更多的內容,請手動設置limit。
以下為您介紹直方圖和原始日志展示的數據信息,其他功能模塊,請參見查詢和分析日志。
直方圖
直方圖展示查詢到的日志在時間上的分布情況。
將鼠標懸浮在綠色數據塊上時,您可以查看該數據塊代表的時間范圍和日志命中次數。
雙擊綠色數據塊,您可以查看更細時間粒度的日志分布,同時原始日志頁簽中將同步展示指定時間范圍內的查詢結果。
原始日志
原始日志展示了日志的查詢分析結果。
序號 | 說明 |
圖示① | 切換日志的展示格式、排序時間等。 |
圖示② | 單擊圖標,可下載日志到本地或查看日志的下載記錄。詳細介紹,請參見導出日志。 |
圖示③ |
|
圖示④ | 展示日志顯示字段、索引日志和系統字段。
|
圖示⑤ |
|
圖示⑥ | 展示日志詳情,日志字段的詳細介紹,請參見日志字段。
|