如果您的業(yè)務存在因自動化工具(例如腳本、模擬器等)造成網站數據被爬取、業(yè)務作弊或欺詐、撞庫或垃圾注冊、惡意秒殺或薅羊毛、短信接口濫刷等情況,您可以開通Web 應用防火墻 WAF(Web Application Firewall)Bot管理,根據機器流量分析數據,制定有針對性的Bot防護策略,緩解核心數據資產泄露和業(yè)務營銷活動風險,降低服務器帶寬費用和負載。本文介紹如何開通和配置Bot管理防護策略。
功能介紹
Bot管理為您提供如下功能,盡可能的幫助您快速識別機器流量,防御爬蟲風險,避免您的業(yè)務數據被爬取。
機器流量分析(無需開通Bot管理)
無需開通Bot管理,即可查看機器流量分析的風險接口數據,包括指定時間范圍內的機器流量走勢、存在風險的Top20客戶端和Top20 IP、防護對象的機器流量分析數據,幫助您快速識別和定位當前可能存在風險接口。具體操作,請參見查看機器流量分析數據。
針對有風險的接口,您可以申請試用或立即購買Bot管理,為其配置場景化防護策略。關于如何申請試用、立即購買的具體操作,請參見開通Bot管理。
場景化防護(開通Bot管理后支持)
特定業(yè)務場景的精細化防控,通過集成SDK,配置針對網頁和App的場景化防護策略,實現最佳防護效果。具體操作,請參見創(chuàng)建網頁防爬場景化防護規(guī)則、創(chuàng)建App防爬場景化防護規(guī)則。
適用對象:對于機器流量敏感的用戶。
基礎防護(開通Bot管理后支持)
基于四層或七層流量指紋識別Bot流量,無需集成SDK,一鍵開啟防護。具體操作,請參見創(chuàng)建基礎防護規(guī)則。
適用對象:希望通過配置盡量簡化的防護策略,攔截中低級爬蟲的用戶。
前提條件
已在接入管理頁面完成Web業(yè)務接入。具體操作,請參見接入管理概述。
如果需要創(chuàng)建App防爬場景化防護模板,請確保要防護的App已集成SDK。具體操作,請參見Android應用集成SDK、iOS應用集成SDK。
查看機器流量分析數據
登錄Web應用防火墻3.0控制臺。在頂部菜單欄,選擇WAF實例的資源組和地域(中國內地、非中國內地)
在左側導航欄,選擇
在機器流量分析頁簽,查看指定防護對象在某個時間段的機器流量走勢、Top20客戶端、Top20 IP、防護對象機器流量分析。
開通Bot管理
登錄Web應用防火墻3.0控制臺。在頂部菜單欄,選擇WAF實例的資源組和地域(中國內地、非中國內地)
在左側導航欄,選擇
開通Bot管理。
申請試用
說明高級版、企業(yè)版、旗艦版可免費試用一次Bot管理。
試用時長為試用申請通過后的7天內。試用結束后,如果您未開通正式版本,試用期間生成的分析數據將被立即清除。如果您需要保留試用期間的數據,繼續(xù)使用Bot管理,請在試用結束前,開通正式版Bot管理。
在機器流量分析頁簽,單擊申請試用。按照WAF-Bot管理PoC調查問卷頁面的提示,填寫試用申請信息并單擊提交。
阿里云工程師在收到試用申請的一周時間內,將通過提交的聯系方式聯系您,與您確認試用相關事宜。試用申請審核通過后,您的WAF實例會自動開通Bot管理功能。
開通正式版Bot管理
在機器流量分析頁簽,或單擊場景化防護、基礎防護頁簽后,單擊立即購買。
在立即購買面板,開啟Bot管理-Web防護或Bot管理-APP防護,并完成支付。
說明開啟Bot管理-Web防護后,您可以配置Bot管理基礎防護規(guī)則、網頁防爬場景化規(guī)則。
開啟Bot管理-APP防護后,您可以配置Bot管理基礎防護規(guī)則、App防爬場景化規(guī)則。
如果您需要同時配置Bot管理基礎防護規(guī)則、網頁防爬場景化規(guī)則、App防爬場景化規(guī)則,您可以同時開啟Bot管理-Web防護和Bot管理-APP防護。
開通Bot管理后,您可以單擊機器流量分析頁簽,在防護對象機器流量分析區(qū)域,定位到機器流量較高的風險接口,單擊操作列的添加防護,添加場景化防護策略。具體操作,請參見創(chuàng)建網頁防爬場景化防護規(guī)則、創(chuàng)建App防爬場景化防護規(guī)則。
如果您配置簡化的防護策略,攔截中低級爬蟲,您可以在基礎防護頁簽,配置Bot管理基礎防護規(guī)則。具體操作,請參見創(chuàng)建基礎防護規(guī)則。
創(chuàng)建網頁防爬場景化防護規(guī)則
如果您的實際業(yè)務通過瀏覽器訪問網頁或H5頁面(包括App中使用的H5頁面)等,您可以創(chuàng)建網頁防爬場景化防護模板,自定義防護規(guī)則,防御網頁爬蟲。
啟用了JavaScript校驗或滑塊防護動作,當訪問流量命中規(guī)則后,Web應用防火墻將對客戶端發(fā)起JS校驗或滑塊驗證,當客戶端驗證通過后將會在HTTP報文的Header中分別植入Cookie
acw_sc__v2
和acw_sc__v3
,用于標識客戶端已經通過驗證。配置Bot場景化模板,并開啟了自動集成Web SDK,將會在HTTP報文的Header中植入
ssxmod_itna
、ssxmod_itna2
、ssxmod_itna3
Cookie用于獲取客戶端瀏覽器的指紋信息。收集的指紋信息包括HTTP報文的host字段、瀏覽器高度和寬度等。
登錄Web應用防火墻3.0控制臺。在頂部菜單欄,選擇WAF實例的資源組和地域(中國內地、非中國內地)
在左側導航欄,選擇
在場景化防護頁簽,單擊新建模板。
在防護場景定義配置向導頁面,完成如下配置后,單擊下一步。
配置項
說明
模板名稱
為該模板設置一個名稱。
長度為1~255個字符,支持中文和大小寫英文字母,可包含數字、半角句號(.)、下劃線(_)和短劃線(-)。
模板介紹
為該模板填寫相關介紹信息。
防護目標類型
選擇網頁/瀏覽器,表示防護通過瀏覽器訪問的網頁或H5頁面(包括App中使用的H5頁面)等。
Web SDK集成
更多信息,請參見Web應用集成SDK。
防護目標特征
添加目標流量的HTTP請求字段及其規(guī)則,即訪問該防護目標時,HTTP請求報文中生成的有關該防護業(yè)務場景的字段內容。最多可以添加5個條件特征,且各條件之間為與關系。有關字段的詳細內容,請參見匹配條件說明。
在防護規(guī)則推薦向導頁面,完成如下配置后,單擊下一步。
配置項
說明
風險識別
勾選業(yè)務安全策略后,請?zhí)顚懴嚓P信息。更多詳情,請參見風險識別。
啟用規(guī)則后,與風險識別產品融合,配置后可實現針對黃牛等異常手機號的訪問阻斷,根據規(guī)則命中情況進行后付費。
合法Bot管理
勾選搜索引擎蜘蛛白名單后,選擇合法搜索引擎白名單。
啟用規(guī)則后,來自相關搜索引擎的合法爬蟲IP將被直接放行,不經過Bot管理模塊的防護檢測。
Bot特征識別
Bot行為識別
Bot威脅情報
在生效范圍向導頁面,完成如下配置后,單擊下一步。
配置項
說明
生效對象
選中需要應用的防護對象或防護對象組,單擊圖標,將該防護對象或防護對象組移入已選擇對象區(qū)域內。
生效時間及規(guī)則灰度
您需要為已選擇的防護規(guī)則設置規(guī)則灰度和生效時間。如果不設置,則規(guī)則默認關閉規(guī)則灰度,且永久生效。
定位到目標規(guī)則,單擊操作列的編輯。
配置規(guī)則灰度和生效時間。
規(guī)則灰度:配置規(guī)則針對不同維度的對象的生效比例。
開啟規(guī)則灰度后,您還需要設置灰度維度和灰度比例。灰度維度包括:IP、自定義header、自定義參數、自定義Cookie、Session。
生效時間模式
永久生效(默認):防護模板開啟時,規(guī)則永久生效。
按時間段生效:您可以將具體某一時區(qū)的一段時間設置為防護規(guī)則的生效時間。
按周期生效:您可以將具體某一時區(qū)的每一天的一段時間設置為防護規(guī)則的生效時間。
您也可以選中多個規(guī)則,批量修改規(guī)則灰度和生效時間模式。
在防護效果驗證向導頁面,測試防爬防護規(guī)則。
建議您先完成防護動作驗證,再發(fā)布策略,避免出現因規(guī)則配置錯誤、兼容性等問題引發(fā)誤攔截。如果您確認規(guī)則配置無誤,也可以單擊左下角跳過,直接創(chuàng)建。
驗證步驟如下:
新建的規(guī)則模板默認開啟。您可以在場景化防護頁簽的規(guī)則模板卡片區(qū)域執(zhí)行如下操作:
單擊規(guī)則模板卡片,查看該模板包含的規(guī)則信息。
復制、編輯或刪除規(guī)則模板。
通過模板開關,開啟或關閉模板。
查看模板的規(guī)則動作和關聯的防護對象/組數量。
創(chuàng)建App防爬場景化防護規(guī)則
如果您的實際業(yè)務是基于iOS或Android原生開發(fā)的App(不包括App中使用的H5頁面)等,您可以創(chuàng)建App防爬場景化防護模板,自定義防護規(guī)則,防御App爬蟲。
啟用了JavaScript校驗或滑塊防護動作,當訪問流量命中規(guī)則后,Web應用防火墻將對客戶端發(fā)起JS校驗或滑塊驗證,當客戶端驗證通過后將會在HTTP報文的Header中分別植入Cookieacw_sc__v2
和acw_sc__v3
,用于標識客戶端已經通過驗證。
登錄Web應用防火墻3.0控制臺。在頂部菜單欄,選擇WAF實例的資源組和地域(中國內地、非中國內地)
在左側導航欄,選擇
在場景化防護頁簽,單擊新建模板。
在防護場景定義配置向導頁面,完成如下配置后,單擊下一步。
配置項
說明
模板名稱
為該模板設置一個名稱。
長度為1~255個字符,支持中文和大小寫英文字母,可包含數字、半角句號(.)、下劃線(_)和短劃線(-)。
模板介紹
為該模板填寫相關介紹信息。
防護目標類型
選擇APP,表示對使用基于iOS或Android原生開發(fā)的App(不包括App中使用的H5頁面)進行防護。
APP SDK集成
WAF提供基于Native App(Android/iOS)的SDK用以提升該場景下的防護效果。SDK集成后將會采集客戶端的風險特征并生成安全簽名附帶在請求中,WAF會根據簽名特征進行請求風險的識別和攔截。
您可以通過如下方式,集成App SDK:
請?zhí)峤?span data-tag="ph" id="bfcbcfd12c8t3" docid="3307547" class="ph">工單聯系我們,獲取iOS應用對應的SDK。
單擊獲取并復制appkey,用于發(fā)起SDK初始化請求。
集成App SDK。具體操作,請參見iOS應用集成SDK。
防護目標特征
添加目標流量的HTTP請求字段及其規(guī)則,即訪問該防護目標時,HTTP請求報文中生成的有關該防護業(yè)務場景的字段內容。最多可以添加5個條件特征,且各條件之間為與關系。有關字段的詳細內容,請參見匹配條件說明。
在防護規(guī)則推薦向導頁面,完成如下配置后,單擊下一步。
配置項
說明
風險識別
勾選業(yè)務安全策略后,請?zhí)顚懴嚓P信息。更多詳情,請參見風險識別。
啟用規(guī)則后,與風險識別產品融合,配置后可實現針對黃牛等異常手機號的訪問阻斷,根據規(guī)則命中情況進行后付費。
Bot特征識別
識別規(guī)則
防護動作
您可根據需要為配置的Bot特征識別規(guī)則,設置處置動作為觀察、攔截或嚴格滑塊。
高級防護
單擊高級防護,進行如下設置:
Bot行為識別
勾選AI智能防護后,需要為被識別的Bot行為配置規(guī)則動作為觀察、滑塊、嚴格滑塊或回源標記。如果設置為回源標記,您還需要設置回源時標記的Header名稱、Header內容。
開啟此開關后,防爬規(guī)則會通過AI智能防護引擎對訪問流量進行分析和自動學習,生成有針對性的防護規(guī)則或黑名單。
Bot限速
開啟此開關后,可自定義訪問頻率限制條件,有針對性地對訪問頻率過高的爬蟲請求進行過濾,有效緩解CC攻擊。
在統計時長(秒)內,來自同一IP地址的訪問次數超過指定閾值(次)時,在限速時間(秒)內,對來自該IP的訪問請求執(zhí)行攔截、觀察、滑塊或嚴格滑塊的限速動作。最多可以設置3個條件,且條件之間為或關系。
在統計時長(秒)內,對指定的會話類型的訪問次數超過指定閾值(次)時,在限速時間(秒)內,對該會話的請求執(zhí)行攔截、觀察、滑塊或嚴格滑塊的限速動作。最多可以設置3個條件,且條件之間為或關系。
會話類型支持自定義header、自定義參數、自定義cookie、Session。
Bot威脅情報
收錄一段時間內在阿里云上對多個用戶有多次惡意爬取行為的攻擊源IP,并對其執(zhí)行觀察、滑塊、嚴格滑塊或回源標記處置。如果設置為回源標記,您還需要設置回源時標記的Header名稱、Header內容。
開啟此開關后,如果攻擊源IP來自選中IP庫,則對其執(zhí)行觀察、滑塊、攔截、嚴格滑塊或回源標記。如果設置為回源標記,您還需要設置回源時標記的Header名稱、Header內容。
說明如果您使用公有云或IDC機房的源IP來訪問,請注意加白已知的合法調用,如支付寶或微信的支付回調、監(jiān)控程序等。
在生效范圍向導頁面,完成如下配置后,單擊下一步。
配置項
說明
生效對象
選中需要應用的防護對象或防護對象組,單擊圖標,將該防護對象或防護對象組移入已選擇對象區(qū)域內。
生效時間及規(guī)則灰度
您需要為已選擇的防護規(guī)則設置規(guī)則灰度和生效時間。如果不設置,則規(guī)則默認關閉規(guī)則灰度,且永久生效。
定位到目標規(guī)則,單擊操作列的編輯。
配置規(guī)則灰度和生效時間。
規(guī)則灰度:配置規(guī)則針對不同維度的對象的生效比例。
開啟規(guī)則灰度后,您還需要設置灰度維度和灰度比例。灰度維度包括:IP、自定義header、自定義參數、自定義Cookie、Session。
生效時間模式
永久生效(默認):防護模板開啟時,規(guī)則永久生效。
按時間段生效:您可以將具體某一時區(qū)的一段時間設置為防護規(guī)則的生效時間。
按周期生效:您可以將具體某一時區(qū)的每一天的一段時間設置為防護規(guī)則的生效時間。
您也可以選中多個規(guī)則,批量修改規(guī)則灰度和生效時間模式。
在防護效果驗證向導頁面,測試防爬防護規(guī)則。
建議您先完成防護動作驗證,再發(fā)布策略,避免出現因規(guī)則配置錯誤、兼容性等問題引發(fā)誤攔截。如果您確認規(guī)則配置無誤,也可以單擊左下角跳過,直接創(chuàng)建。
驗證步驟如下:
新建的規(guī)則模板默認開啟。您可以在場景化防護頁簽的規(guī)則模板卡片區(qū)域執(zhí)行如下操作:
單擊規(guī)則模板卡片,查看該模板包含的規(guī)則信息。
復制、編輯或刪除規(guī)則模板。
通過模板開關,開啟或關閉模板。
查看模板的規(guī)則動作和關聯的防護對象/組數量。
創(chuàng)建基礎防護規(guī)則
如果您的業(yè)務遭遇中低級爬蟲,您可以配置較簡單的基礎防護規(guī)則。基礎防護不提供默認規(guī)則模板。如果您需要啟用該功能,必須新建一個規(guī)則模板。
登錄Web應用防火墻3.0控制臺。在頂部菜單欄,選擇WAF實例的資源組和地域(中國內地、非中國內地)
在左側導航欄,選擇
在基礎防護頁簽,單擊新建模板。
在新建模板 - Bot管理面板,完成如下配置后,單擊確定。
配置項
說明
模板名稱
為該模板設置一個名稱。
長度為1~255個字符,支持中文和大小寫英文字母,可包含數字、半角句號(.)、下劃線(_)和短劃線(-)。
模板介紹
為該模板填寫相關介紹信息。
規(guī)則動作
為該防護規(guī)則配置處置動作為攔截或觀察。
高級設置
規(guī)則灰度:配置規(guī)則針對不同維度的對象的生效比例。
開啟規(guī)則灰度后,您還需要設置灰度維度和灰度比例。灰度維度包括:IP、自定義header、自定義參數、自定義Cookie、Session。
生效時間模式
永久生效(默認):防護模板開啟時,規(guī)則永久生效。
按時間段生效:您可以將具體某一時區(qū)的一段時間設置為防護規(guī)則的生效時間。
按周期生效:您可以將具體某一時區(qū)的每一天的一段時間設置為防護規(guī)則的生效時間。
生效對象
從已添加的防護對象及對象組中,選擇要應用該模板的防護對象和防護對象組。
一個防護對象或對象組只能關聯到當前防護模塊下的一個模板。關于添加防護對象和對象組的具體操作,請參見配置防護對象和防護對象組。
新建的規(guī)則模板默認開啟。您可以在基礎防護頁簽的規(guī)則模板卡片區(qū)域執(zhí)行如下操作:
查看模板包含的規(guī)則ID。
說明一個基礎防護模板包含三個規(guī)則ID,包括兩個白名單規(guī)則ID、一個ACL和CC防護規(guī)則組成的規(guī)則ID。您可以通過該規(guī)則ID,在安全報表查看防護效果。具體操作,請參見安全報表。
復制、編輯或刪除規(guī)則模板。
通過模板開關,開啟或關閉模板。
查看模板的規(guī)則動作和關聯的防護對象/組數量。
防爬策略測試常見問題
若在防護效果驗證時出現異常情況,可參考表格解決對應問題。
報錯 | 原因 | 解決方法 |
未查詢到任何有效測試請求,您可以查看幫助文檔或咨詢我們以分析可能的原因。 | 實際測試請求沒有發(fā)送成功,或者沒有發(fā)送到WAF。 | 確認測試請求已經成功發(fā)送到WAF解析的地址。 |
實際測試請求的字段內容與防爬規(guī)則中定義的防護目標特征不一致。 | 在防爬策略中修改防護目標特征的內容。 | |
實際測試請求的源IP與配置策略中填寫的公網測試IP不一致。 | 請確保您使用的是正確的公網IP,建議直接使用診斷工具查詢您的公網IP地址。 | |
請求未通過校驗,您可以查看幫助文檔或咨詢我們以分析可能的原因。 | 沒有模擬真實用戶訪問,例如使用了調試模式、自動化工具等。 | 測試時使用客戶端真實模擬用戶訪問。 |
防護場景選擇錯誤,例如實際需要配置App防爬場景規(guī)則,但錯選為網頁/瀏覽器。 | 在防爬場景化規(guī)則中修改防護場景類型。 | |
訪問請求存在跨域的情況,但在防爬場景化規(guī)則中未正確配置。 | 修改防爬場景化規(guī)則,選中 防護目標有來自其它防護對象的跨域調用并從下拉列表中選擇跨域訪問的來源域名。 | |
前端兼容性問題。 | 請?zhí)峤?span data-tag="ph" id="99b822712cg0o" docid="3307547" class="ph">工單,聯系我們。 | |
請求未觸發(fā)校驗,您可以查看幫助文檔或咨詢我們以分析可能的原因。 | 測試規(guī)則沒有下發(fā)完畢。 | 建議您多測試幾次,等待防爬測試規(guī)則下發(fā)完成。 |
未攔截且查詢到任何有效測試請求,您可以查看幫助文檔或咨詢我們以分析可能的原因。 | 實際測試請求沒有發(fā)送成功,或者沒有發(fā)送到WAF。 | 確認測試請求已經成功發(fā)送到WAF解析的地址。 |
實際測試請求的字段內容與防爬規(guī)則中定義的防護目標特征不一致。 | 在防爬策略中修改防護目標特征的內容。 | |
實際測試請求的源IP與配置策略中填寫的公網測試IP不一致。 | 請確保您使用的是正確的公網IP,建議直接使用診斷工具查詢您的公網IP地址。 |
后續(xù)步驟
您可以在安全報表頁面,查詢防護規(guī)則的執(zhí)行記錄。更多信息,請參見安全報表。