下載離線日志
阿里云CDN按小時顆粒度記錄了域名的全網(wǎng)訪問日志。您可以根據(jù)需求將指定域名在30天內(nèi)某一天的日志下載到本地路徑進(jìn)行保存,并進(jìn)行分析。
注意事項
通過CDN/DCDN控制臺(或者OpenAPI)的監(jiān)控查詢、用量查詢(實際計費(fèi)流量)功能查到的加速域名使用的流量數(shù)據(jù)與通過日志統(tǒng)計的流量數(shù)據(jù)有差異。通常來說,通過監(jiān)控查詢、用量查詢功能查到的加速域名使用的流量數(shù)據(jù)是通過日志統(tǒng)計的流量數(shù)據(jù)的1.1倍,詳細(xì)請參見為什么監(jiān)控查詢流量、用量查詢流量與日志統(tǒng)計流量有差異。
少數(shù)ISP在特定區(qū)域可能會分配私有IP地址給用戶端,導(dǎo)致CDN節(jié)點接收到的是用戶的私有IP地址。
說明私有IP地址范圍有以下三個:
A類私有IP地址:10.0.0.0~10.255.255.255,子網(wǎng)掩碼:10.0.0.0/8
B類私有IP地址:172.16.0.0~172.31.255.255,子網(wǎng)掩碼:172.16.0.0/12
C類私有IP地址:192.168.0.0~192.168.255.255,子網(wǎng)掩碼:192.168.0.0/16
日志下載使用說明
日志文件延遲時間:通常情況下延遲在24小時之內(nèi),也有可能超過24小時。
日志下載默認(rèn)支持下載30天內(nèi)的日志數(shù)據(jù)。如果您需要存儲更長時間的日志,可以使用離線日志轉(zhuǎn)存服務(wù),將日志轉(zhuǎn)存到您名下的OSS進(jìn)行長期存儲。具體操作請參見通過函數(shù)計算轉(zhuǎn)存離線日志。
日志命名規(guī)則:加速域名_年_月_日_開始時間_結(jié)束時間[擴(kuò)展字段].gz,擴(kuò)展字段以下劃線(_)開頭。例如
aliyundoc.com_2018_10_30_000000_010000_xx.gz
。說明擴(kuò)展字段可能不存在,例如
aliyundoc.com_2018_10_30_000000_010000.gz
。
日志的字段格式說明
日志示例
[9/Jun/2015:01:58:09 +0800] 10.10.10.10 - 1542 "-" "GET http://www.aliyun.com/index.html" 200 191 2830 MISS "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://example.com/robot/)" "text/html" 1.1.1.1
字段含義
字段
描述
[9/Jun/2015:01:58:09 +0800]
用戶訪問請求的結(jié)束時間。
10.10.10.10
從用戶請求攜帶的請求頭X-Forwarded-For中提取左邊第一個IP地址(即client_ip,客戶端IP,如果客戶端與CDN節(jié)點之間沒有經(jīng)過代理的話,等同于客戶端與CDN節(jié)點建聯(lián)使用的IP)。
說明請求頭 X-Forwarded-For 的格式為
X-Forwarded-For: <client_ip>, <proxy_ip>
。在客戶端與CDN節(jié)點之間沒有經(jīng)過代理的場景下(即x-forwarded-for里面只有<client_ip>),可能會出現(xiàn)日志中<client_ip>的值為私網(wǎng)IP地址的情況,其原因通常為客戶端所在的運(yùn)營商為其分配了私網(wǎng)IP地址(目的是減少公網(wǎng)IP地址的使用,以降低成本)。
在客戶端與CDN節(jié)點之間有經(jīng)過代理的場景下(即x-forwarded-for里面既有<client_ip>,也有<proxy_ip>),也可能會出現(xiàn)日志中<client_ip>的值為私網(wǎng)IP地址的情況,其原因通常為運(yùn)營商為客戶端分配的公網(wǎng)IP地址被配置到了代理上面,而此時客戶端上配置的是私網(wǎng)IP地址。
-
從用戶請求攜帶的請求頭X-Forwarded-For中提取左邊第二個IP地址(即proxy_ip,代理IP,如果客戶端與CDN節(jié)點之間沒有經(jīng)過代理的話,提取到的空值用
-
表示)。1542
請求響應(yīng)時間,單位為毫秒。
"-"
HTTP請求頭中的Referer。
GET
請求方法。
http://www.aliyun.com/index.html
用戶請求的URL鏈接。
200
HTTP狀態(tài)碼。
191
請求大小,單位為字節(jié)。
2830
請求返回大小,單位為字節(jié)。
MISS
命中信息。
HIT:用戶請求命中了CDN邊緣節(jié)點上的資源(不需要回源)。
MISS:用戶請求的內(nèi)容沒有在CDN邊緣節(jié)點上緩存,需要向上游獲取資源(上游可能是CDN L2節(jié)點,也可能是源站)。
說明阿里云CDN目前僅提供了CDN邊緣節(jié)點的日志信息,不包含CDN L2節(jié)點的回源相關(guān)信息,因此當(dāng)該字段為MISS時,無法獲取回源信息,因此無法直觀地從日志里面看到用戶請求是否回源。
Mozilla/5.0(compatible; AhrefsBot/5.0; +http://example.com/robot/)
User-Agent請求頭信息。
text/html
文件類型。
1.1.1.1
建連IP地址。
操作步驟
登錄CDN控制臺。
在左側(cè)導(dǎo)航欄,單擊 。
在日志下載頁簽,選擇域名和查詢時間,單擊查詢。
根據(jù)查詢結(jié)果,單擊操作列下的下載,即可下載日志至本地。
相關(guān)API
DescribeCdnDomainLogs:查詢域名的離線日志下載地址。