Robots.txt
更新時間：
Robots.txt主要針對爬蟲技術，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限。本文旨在介紹添加Robots.txt的途徑。
背景信息
當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點的根目錄下是否存在Robots.txt，如果存在，搜索蜘蛛就會按照該文件中的內容來確定訪問的范圍，如果該文件不存在，搜索蜘蛛能訪問網站上所有沒有被口令保護的頁面。
操作步驟
進入Robots.txt頁面：在產品控制臺左側的導航欄中單擊。
添加Robots.txt文件：通過選擇上傳文件即可完成添加Robot.txt操作。Robots.txt的寫法請參見網站管理常見問題。
文檔內容是否對您有幫助？