詳解的robots.txt協議文件寫法
2013-06-11 分類： 網站建設
詳解的robots.txt協議文件寫法!多建站系統，在建成網站后，都網站根目錄，默認有robots.txt協議文件。在網站優化競爭日益加劇的今天，原本設立之初無優化因素的robots.txt文件也被大化使用，掌握其寫法，有備無患。
一：robots.txt […]
很多建站系統，在建成網站后，都網站根目錄，默認有robots.txt協議文件。在網站優化競爭日益加劇的今天，原本設立之初無優化因素的robots.txt文件也被大化使用，掌握其寫法，有備無患。
一：robots.txt協議文件有什么用?
搜索引擎訪問一個網站的時候，最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛，哪些網站頁面可以被抓取，哪些禁止抓取。表面來看，這個功能作用有限。從搜索引擎優化的角度來看，可以通過屏蔽頁面，達到集中權重的作用，這，也是優化人員最為看重的地方。
以某seo站點為例，其robots.txt文件如圖所示：
二：網站設置robots.txt的幾個原因。
1：設置訪問權限保護網站安全。
2：禁止搜索引擎爬取無效頁面，集中權值到主要頁面。
三：怎么用標準寫法書寫協議?
有幾個概念需掌握。
User-agent表示定義哪個搜索引擎，如User-agent：Baiduspider，定義百度蜘蛛。
Disallow表示禁止訪問。
Allow表示運行訪問。
通過以上三個命令，可以組合多種寫法，允許哪個搜索引擎訪問或禁止哪個頁面。
四：哪些時候需要使用該協議。
1：無用頁面，很多網站都有聯系我們，用戶協議等頁面，這些頁面相對于搜索引擎優化來講，作用不大，此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。
2：動態頁面，企業類型站點屏蔽動態頁面，有利于網站安全。且多個網址訪問同一頁面，會造成權重分散。因此，一般情況下，屏蔽動態頁面，保留靜態或偽靜態頁面。
3：網站后臺頁面，網站后臺也可以歸類于無用頁面，禁止收錄有百益而無一害。
五：robots.txt文件放在那里?
此文件需放置在網站的根目錄，且對字母大小有限制，文件名必須為小寫字母。所有的命令第一個字母需大寫，其余的小寫。且命令之后要有一個英文字符空格。
以上就是robots.txt協議文件寫法的相關內容介紹，希望今天分享內容可以幫助大家更加了解robots.txt協議文件寫法。推薦閱讀：學習SEO需要知道哪些代碼?
網站名稱：詳解的robots.txt協議文件寫法
文章網址：http://m.2m8n56k.cn/news/1615.html
成都網站建設公司_創新互聯，為您提供手機網站建設、外貿網站建設、域名注冊、企業建站、外貿建站、網站內鏈
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 有哪些方法刷網站流量?? 2013-06-11
- seo優化如何利用好內容？ 2013-06-11
- 新站seo優化要怎么做好？ 2013-06-11
- 詳解站長常用的seo工具 2013-06-10
- 刷抖音作品點贊優化過程中建設的重點 2013-06-10
- 網站seoer的就業前景如何? 2013-06-10
- 關于SEO鏈接優化的正確做法 2013-06-10
- 淺談借助熱點為網站帶來流量的訣竅 2013-06-10
- 網站seo效果不好是什么原因？ 2013-06-11
- seo優化效果慢是什么原因？ 2013-06-11
- 多維度闡述關鍵詞是什么意思? 2013-06-10
- 網站關鍵詞怎么排名到前3名？ 2013-06-10
- SEO內容可以有哪些簡單獲得的途徑？ 2013-06-10
- 網站關鍵詞排名刷點擊率質量好指的是哪些方面？ 2013-06-10
- 快速提升網站流量的技巧 2013-06-10
- 網站seo如何進行優化? 2013-06-10
- 怎么樣的文章符合seo? 2013-06-10
- 網站刷點擊要注意什么? 2013-06-10
- 新站做刷點擊率優化需要注意的問題 2013-06-10