將網站接入DDoS高防后,您可以通過全量日志分析采集和存儲網站的日志數據,并對采集到的日志數據進行查詢與分析。本文介紹如何快速使用全量日志分析功能。
使用前須知
使用前請您了解什么是全量日志分析、如何計算所需的日志存儲容量、日志采樣說明等基本信息。詳細內容,請參見概述。
前提條件
步驟一:購買全量日志分析
登錄DDoS高防控制臺。
在頂部菜單欄左上角處,選擇地域。
DDoS高防(中國內地):選擇中國內地地域。
DDoS高防(非中國內地):選擇非中國內地地域。
在左側導航欄,選擇
。在全量日志分析頁面,單擊立即購買。
在全量日志購買頁面,完成配置項設置后,單擊立即購買并完成支付。
配置項
說明
適用產品
選擇DDoS實例類型。
日志存儲量
選擇日志數據的最大存儲空間,單位:TB。
當日志存儲空間足夠大且在服務有效期內,將從使用服務的第一天開始,連續存儲180天的日志數據。第181天的日志數據,將覆蓋第一天存儲的日志數據,即始終保持存儲最近180天的全量日志數據。
重要當您選購的日志存儲空間占滿后,將停止存儲新的日志數據。
購買時長
選擇服務有效期。
重要全量日志分析服務到期后,將停止存儲新的日志數據。
購買成功后,您需要返回全量日志分析頁面,根據頁面提示完成授權,授權DDoS高防服務將日志數據存儲到日志服務專屬日志庫。
步驟二:開啟日志采集
在全量日志分析頁面,為網站域名開啟日志采集。
為單個域名開啟日志采集:從選擇域名下拉列表中選擇目標域名,打開狀態開關。
批量為域名開啟日志采集:單擊頁面右上方的批量配置,并在批量配置面板選中多個域名,單擊批量開啟。
開啟日志采集后,日志服務將自動為DDoS高防創建一個專屬的日志項目(Project),用于管理DDoS高防的日志數據。您可以在日志服務控制臺的首頁查看DDoS高防專屬日志項目。
DDoS高防(中國內地)服務的專屬日志項目名稱以ddoscoo-project
開頭,DDoS高防(非中國內地)服務的專屬日志項目名稱以ddosdip-project
開頭。專屬日志項目默認包含以下資源:
1個專屬日志庫(Logstore),用于存儲DDoS高防的日志數據。DDoS高防(中國內地)服務的專屬日志庫名稱為
ddoscoo-logstore
,DDoS高防(非中國內地)服務的專屬日志庫名稱為ddosdip-logstore
。2個預設的日志儀表盤(DDoS訪問中心、DDoS運營中心),用于展示日志分析圖形報表。DDoS高防(中國內地)和DDoS高防(非中國內地)服務的日志儀表盤內容相同。
(可選)步驟三:查詢和分析全量日志
在全量日志分析頁面的選擇域名列表中,選擇目標域名。
在全量日志頁簽,單擊15分鐘(相對),設置查詢的時間范圍。
說明DDoS高防日志的默認保存時間為180天,180天之前的日志數據會被刪除。默認情況下只支持查詢最近180天內的日志數據。
查詢結果相對于指定的時間范圍有1分鐘以內的誤差。
在查詢框中輸入查詢分析語句,然后單擊查詢/分析。
查詢分析語句由查詢語句和分析語句兩個部分組成,通過豎線(|)進行分隔,格式:
查詢語句|分析語句
。語句類型
是否可選
說明
查詢語句
可選
查詢條件,可以為查詢關鍵詞、模糊查詢、數值、數值范圍和組合條件。
如果為空或星號(*),表示針對當前時間段所有數據不設置任何過濾條件,即返回所有數據,詳情請參見查詢語法。
說明關于DDoS高防訪問日志的日志字段說明,請參見全量日志字段說明。
分析語句
可選
對查詢結果或全量數據進行計算和統計。
如果為空,表示只返回查詢結果,不做統計分析,詳情請參見分析概述。
說明分析語句中可以省略SQL標準語法中的
from 表格名
語句,即from log
。日志數據默認返回前100條,您可以通過LIMIT子句修改返回范圍。
查詢分析語句執行后默認按表格方式展示分析結果,您還可以選擇折線圖、柱狀圖、餅圖等多種圖形方式進行展示。具體操作,請參見統計圖表概述。
您也可以根據儀表盤中的查詢圖表設置告警,實現實時的服務狀態監控。具體操作,請參見告警簡介。
查詢域名的訪問量
* | SELECT COUNT(*) as times, host GROUP by host ORDER by times desc limit 100
查詢攔截類型
* | select cc_action,cc_phase,count(*) as t group by cc_action,cc_phase order by t desc limit 10
查詢QPS
* | select time_series(__time__,'15m','%H:%i','0') as time,count(*)/900 as QPS group by time order by time
查詢被攻擊域名
* and cc_blocks:1 | select cc_action,cc_phase,count(*) as t group by cc_action,cc_phase order by t desc limit 10
查詢被攻擊URL
* and cc_blocks:1 | select count(*) as times,host,request_path group by host,request_path order by times
查詢請求詳情
* | select date_format(date_trunc('second',__time__),'%H:%i:%s') as time,host,request_uri,request_method,status,upstream_status,querystring limit 10
查詢5XX狀態碼詳情
* and status>499 | select host,status,upstream_status,count(*)as t group by host,status,upstream_status order by t desc
查詢請求時延分布
* | SELECT count_if(upstream_response_time<20) as "<20", count_if(upstream_response_time<50 and upstream_response_time>20) as "<50", count_if(upstream_response_time<100 and upstream_response_time>50) as "<100", count_if(upstream_response_time<500 and upstream_response_time>100) as "<500", count_if(upstream_response_time<1000 and upstream_response_time>500) as "<1000", count_if(upstream_response_time>1000) as ">1000"
(可選)步驟四:查詢日志報表
儀表盤是日志服務提供的實時數據分析大盤,使用常用查詢語句獲取分析結果后,您可以將結果圖表保存到儀表盤中。全量日志分析服務默認為您提供DDoS訪問中心和DDoS運營中心兩個儀表盤。
在全量日志分析頁面的選擇域名列表中,選擇目標域名。
單擊日志報表頁簽,單擊時間選擇設置時間范圍。
說明日志報表中所有圖表都是基于不同時間段的數據統計結果,例如訪問量的默認時間范圍為1小時,訪問趨勢為1周。設置時間范圍后當前頁面的所有圖表均按照設置的時間范圍進行顯示。
查看DDoS高防默認儀表盤。
日志報表展示區域按照預定義的布局展示多個報表,包含不同的圖表類型。關于圖表類型的說明,請參見統計圖表概述。
DDoS訪問中心:展示網站的基本指標(PV、UV、流入流量、帶寬峰值)、訪問趨勢、請求來源分布、其他統計信息(例如訪問域名、客戶端類型等)。
DDoS訪問中心
圖表名稱
類型
默認時間范圍
描述
樣例
PV
單值
1小時(相對)
請求總數。
100000
UV
單值
1小時(相對)
獨立的訪問客戶端的總數。
100000
流入流量
單值
1小時(相對)
網站的流入流量總和,單位為MB。
300 MB
網絡in帶寬峰值
單值
今天(整點時間)
網站請求的流入流量速率的峰值,單位為Bytes/s。
100 Bytes/s
網絡out帶寬峰值
單值
今天(整點時間)
網站請求的流出流量速率的峰值,單位為Bytes/s。
100 Bytes/s
流量帶寬趨勢
雙線圖
1周(相對)
網站流入流出流量的趨勢圖,單位為KB/s。
無
PV/UV訪問趨勢
雙線圖
1周(相對)
PV與UV的趨勢圖,單位為個。
無
訪問狀態分布
餅圖
1周(相對)
各種請求處理狀態(400、304、200等)的趨勢圖,單位為個/分鐘。
無
訪問來源
世界地圖
1小時(相對)
訪問者PV在來源國家的分布。
無
流入流量來源(世界)
世界地圖
1小時(相對)
流入流量總和在來源國家的分布,單位為MB。
無
流入流量來源(中國)
中國地圖
1小時(相對)
流入流量總和在來源省份的分布,單位為MB。
無
訪問熱力圖
高德地圖
1小時(相對)
訪問者在地理位置上的訪問熱力圖。
無
來源網絡提供商
環圖
1小時(相對)
訪問者通過網絡運營商接入的流入流量分布,例如電信、聯通、移動、教育網等,單位為MB。
無
Referer
表格
1小時(相對)
前100個最多的跳轉Referer URL、主機以及次數等。
無
接入線路分布
環圖
1小時(相對)
訪問請求接入的DDoS高防線路的分布。
無
客戶端類型分布
環圖
1小時(相對)
前20個被訪問最多的User Agent(用戶代理),例如iPhone、iPad、Widnows IE、Chrome等。
無
請求內容類型分布
環圖
1小時(相對)
前20個最多的請求內容類型,例如HTML、Form、JSON、流數據等。
無
訪問域名
環圖
1小時(相對)
前20個被訪問最多的域名。
無
訪問最多的客戶端
表格
1小時(相對)
前100個訪問最多的客戶端信息,包括IP、PV、流入流量、錯誤訪問次數、攻擊次數等。
無
響應最慢的URL
表格
1小時(相對)
前100個響應時間最長的URL信息,包括網站、URL、響應時間、訪問次數等。
無
DDoS運營中心:展示網站的總體運營狀況,包括帶寬流入流出趨勢、請求與攔截趨勢、攻擊者列表、被訪問網站列表等。
您可以通過單擊右上角的訂閱按鈕訂閱儀表盤功能,通過郵件或者釘釘群消息將儀表盤內容定時推送給指定對象。具體操作,請參見訂閱儀表盤。