Robots.txt主要針對爬蟲技術(shù)，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限。本文旨在介紹添加Robots.txt的途徑。
背景信息
當(dāng)一個搜索蜘蛛訪問一個站點(diǎn)時，它會首先檢查該站點(diǎn)的根目錄下是否存在Robots.txt，如果存在，搜索蜘蛛就會按照該文件中的內(nèi)容來確定訪問的范圍，如果該文件不存在，搜索蜘蛛能訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。如果用戶需要讓爬蟲訪問所有頁面，請勿配置此文件。
操作步驟
- 進(jìn)入Robots.txt頁面：在網(wǎng)站后臺左側(cè)的導(dǎo)航欄中單擊。
- 添加Robots.txt文件：通過選擇上傳文件即可完成添加Robot.txt操作。Robots.txt的寫法請參見通過robots屏蔽搜索引擎抓取網(wǎng)站內(nèi)容。