搜索引擎線路
概述
搜索引擎是指搜索引擎爬蟲(又被稱為網(wǎng)頁蜘蛛,網(wǎng)絡(luò)機(jī)器人),是一種按照一定的規(guī)則、自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。
應(yīng)用場(chǎng)景
網(wǎng)站被搜索引擎爬蟲訪問會(huì)耗費(fèi)服務(wù)器的流量和帶寬,可通過設(shè)置搜索引擎線路專門指向一個(gè)服務(wù)器地址,將來自搜索引擎爬蟲的DNS請(qǐng)求指向該服務(wù)器地址。從而有效地控制爬蟲的爬取路徑。
臨時(shí)閉站做SEO收錄排名保護(hù),可通過搜索引擎線路設(shè)置個(gè)搜索引擎專線,這樣雖然站點(diǎn)關(guān)閉,但是蜘蛛爬蟲還可以正常抓取網(wǎng)站信息,從而達(dá)到降低對(duì)站點(diǎn)SEO收入排名影響。
設(shè)置方法
例如將百度蜘蛛爬蟲的請(qǐng)求指向?qū)俚姆?wù)器IP地址192.0.2.0。此設(shè)置的效果是:百度蜘蛛會(huì)和服務(wù)器192.0.2.0 建立連接,訪問并收集網(wǎng)頁上的內(nèi)容、圖片等信息,使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁、圖片、視頻等內(nèi)容。
登錄 云解析DNS控制臺(tái)。
在 權(quán)威域名解析 頁面,權(quán)威域名 頁簽下,單擊目標(biāo)域名,進(jìn)入 解析設(shè)置 。
在解析設(shè)置中,單擊 添加記錄 ,在添加記錄彈框中單擊 解析請(qǐng)求來源 的下拉框,選擇需要配置的搜索引擎線路類型。完成所有配置參數(shù)后單擊 確認(rèn) 。
常見問題
搜索引擎線路需要單獨(dú)收費(fèi)嗎?
答: 免費(fèi)。
使用google瀏覽器訪問,為何沒有命中搜索引擎線路?
答:搜索引擎線路是指搜索引擎爬蟲所用LocalDNS出口IP,跟瀏覽器所用的LocalDNS出口IP不一樣。
搜索引擎線路都支持哪些搜索引擎商?
答:谷歌、百度、必應(yīng)、有道。
為什么會(huì)出現(xiàn)搜索爬蟲沒有抓取到搜索引擎配置的線路?
答:以百度爬蟲舉例,如果百度爬蟲服務(wù)器的本地DNS使用的不是百度的localdns,那么當(dāng)DNS查詢時(shí),就會(huì)出現(xiàn)百度搜索爬蟲無法抓取到搜索引擎配置的線路。