網站設置robots協議的幾個原因
日期：2019-01-11 14:48
訪問：573次
作者：
網站設置robots.txt的幾個原因。
1：設置訪問權限保護網站安全。
2：禁止搜索引擎爬取無效頁面，集中權值到主要頁面。
怎么用標準寫法書寫協議？
有幾個概念需掌握。
User-agent表示定義哪個搜索引擎，如User-agent：Baiduspider，定義百度蜘蛛。
Disallow表示禁止訪問。
Allow表示運行訪問。
通過以上三個命令，可以組合多種寫法，允許哪個搜索引擎訪問或禁止哪個頁面。
robots.txt文件放在那里？
此文件需放置在網站的根目錄，且對字母大小有限制，文件名必須為小寫字母。所有的命令第一個字母需大寫，其余的小寫。且命令之后要有一個英文字符空格。
哪些時候需要使用該協議。
1：無用頁面，很多網站都有聯系我們，用戶協議等頁面，這些頁面相對于搜索引擎優化來講，作用不大，此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。
2：動態頁面，企業類型站點屏蔽動態頁面，有利于網站安全。且多個網址訪問同一頁面，會造成權重分散。因此，一般情況下，屏蔽動態頁面，保留靜態或偽靜態頁面。
3：網站后臺頁面，網站后臺也可以歸類于無用頁面，禁止收錄有百益而無一害。
