Bots
通過配置Bot管理,您可以設(shè)置對應(yīng)的防爬蟲規(guī)則,為瀏覽器Web頁面或基于iOS/Android原生開發(fā)的App(需要您的App集成我們的SDK)提供防爬功能。Bot管理支持您靈活配置對不同特征的請求做爬蟲挑戰(zhàn),也支持您直接使用系統(tǒng)內(nèi)置的爬蟲庫(搜索引擎爬蟲、AI智能防護、爬蟲威脅情報庫、IDC黑名單、偽造爬蟲名單等)而無需自己手動分析和更新爬蟲特征。
注意事項
通過Bots規(guī)則攔截的請求將不會計入費用,也不會消耗套餐額度。
配置Bot規(guī)則集
登錄ESA控制臺。
在左側(cè)導(dǎo)航欄,單擊站點管理。
在站點管理頁面,單擊目標(biāo)站點名稱,或?qū)?yīng)站點操作列的詳情。
在站點詳情中,選擇安全防護>Bot管理。
在Bot管理頁面,單擊創(chuàng)建規(guī)則集。
按需求設(shè)置網(wǎng)頁防爬規(guī)則或設(shè)置App防爬規(guī)則后,單擊確定。
設(shè)置網(wǎng)頁防爬規(guī)則
如果您通過瀏覽器訪問網(wǎng)頁或H5頁面(包括App中使用的H5頁面)等,您可以通過設(shè)置瀏覽器訪問網(wǎng)頁的防爬規(guī)則,更有針對性地對業(yè)務(wù)進行爬蟲風(fēng)險防護。
配置模塊 | 配置項 | 說明 |
全局配置 | 規(guī)則集名稱 | 設(shè)置規(guī)則集名稱,支持輸入英文字符(大小寫)、數(shù)字(0~9)及下劃線(_)。 |
防護目標(biāo)類型 | 選擇網(wǎng)頁/瀏覽器,表示防護通過瀏覽器訪問的網(wǎng)頁或H5頁面等,包括App中使用純H5頁面呈現(xiàn)的內(nèi)容。 | |
SDK集成方式 |
| |
跨域調(diào)用 | 選擇自動集成時,如果您有多個站點均開啟了Bot管理的Web SDK自動集成且多個站點域名互相訪問(如通過站點B下某頁面調(diào)用當(dāng)前站點A的登錄接口),為了防止多次嵌入JS代碼,您需勾選并選擇跨域訪問的來源站點域名(即例子中的B站點)。 | |
當(dāng)請求匹配以下規(guī)則時... | 設(shè)置要匹配的用戶請求特征,請求匹配規(guī)則詳細信息請參見WAF。 | |
則執(zhí)行... | 合法Bot管理 | 搜索引擎爬蟲白名單,支持主流搜索引擎的爬蟲IP信息,可動態(tài)更新,目前包含Google、百度、搜狗、Bing、360、Yandex。 選擇指定的搜索引擎爬蟲后,來自相關(guān)搜索引擎的合法爬蟲IP將被直接放行,不經(jīng)過Bot管理模塊的防護檢測。 |
Bot特征識別 |
| |
Bot行為識別 | AI智能防護,防爬規(guī)則會通過AI智能防護引擎對訪問流量進行分析和自動學(xué)習(xí),生成有針對性的防護規(guī)則或黑名單。
| |
自定義限速 |
| |
爬蟲威脅情報庫 | 收錄一段時間內(nèi)在阿里云上對多個用戶有多次惡意爬取行為的攻擊源IP地址。 您可設(shè)置爬蟲威脅情報庫為觀察或滑塊校驗。 | |
IDC黑名單封禁 | 會封禁選中IP庫。如果您使用公有云或IDC機房的源IP來訪問,請注意加白已知的合法調(diào)用,如支付寶或微信的支付回調(diào)、監(jiān)控程序等。IDC黑名單封禁支持如下IP庫:阿里云、世紀(jì)互聯(lián)、美團云、騰訊云、其他。 您可設(shè)置IDC黑名單封禁為觀察、滑塊校驗或攔截。 | |
偽造爬蟲攔截 | 開啟后將攔截合法Bot管理中所有搜索引擎的User-Agent,已開啟白名單的搜索引擎對應(yīng)的合法客戶端IP將被放行。 | |
生效時間 | 創(chuàng)建規(guī)則后默認(rèn)立即生效且永久生效。您可以選擇對不同規(guī)則按指定時間段生效或按指定的周期生效。 |
設(shè)置App防爬規(guī)則
如果您使用的是基于iOS或Android原生開發(fā)的App(不包括App中使用的H5頁面),您可以通過設(shè)置App防爬規(guī)則,更有針對性地對業(yè)務(wù)進行爬蟲風(fēng)險防護。
配置模塊 | 配置項 | 說明 |
全局配置 | 規(guī)則集 | 設(shè)置規(guī)則集名稱,支持輸入英文字符(大小寫)、數(shù)字(0~9)及下劃線(_)。 |
防護目標(biāo)類型 | 選擇APP,表示對使用基于iOS或Android原生開發(fā)的App(不包括App中使用的H5頁面)進行防護。 | |
SDK集成方式 | 您需要單擊獲取并復(fù)制appkey,填寫信息申請獲取SDK包。更多信息,請參見Android應(yīng)用集成SDK或iOS應(yīng)用集成SDK。SDK集成后,將會采集客戶端的風(fēng)險特征并生成安全簽名附帶在請求中,WAF會根據(jù)簽名特征進行請求風(fēng)險的識別和攔截。 | |
當(dāng)請求匹配以下規(guī)則時... | 設(shè)置要匹配的用戶請求特征,請求匹配規(guī)則詳細信息請參見WAF。 | |
則執(zhí)行... | Bot特征識別 |
|
Bot限速 |
| |
爬蟲威脅情報庫 | 收錄一段時間內(nèi)在阿里云上對多個用戶有多次惡意爬取行為的攻擊源IP地址。 | |
IDC黑名單封禁 | 開啟此開關(guān)后,會封禁選中IP庫。如果您使用公有云或IDC機房的源IP來訪問,請注意加白已知的合法調(diào)用,如支付寶或微信的支付回調(diào)、監(jiān)控程序等。IDC黑名單封禁支持如下IP庫:阿里云、世紀(jì)互聯(lián)、美團云、騰訊云、其他。 | |
生效時間 | 創(chuàng)建規(guī)則后默認(rèn)立即生效且永久生效。您可以選擇對不同規(guī)則按指定時間段生效或按指定的周期生效。 |
不同套餐的支持情況
基礎(chǔ)版 | 標(biāo)準(zhǔn)版 | 高級版 | 企業(yè)版 | |
支持配置Bot管理規(guī)則集數(shù) | 不支持 | 不支持 | 不支持 | 10個 |