建網站時如何設置Robots.txt文件
2021-07-08 分類： 網站建設
做網站的朋友可能都聽說過Robots.txt文件，這個Robots.txt是網站與搜索引擎溝通的一個重要的渠道，通過這個文件，可以告訴搜索引擎自己做的網站那些頁面可以允許他們收錄，那些不允許他們收錄。那么自己就可以在建網站的時候，通過這個文件和搜索引擎達成協(xié)議。
Robots.txt文件必須要放在網站根目錄的下面，搜索引擎也會自動地根據網站域名，自動的找到這個文件來判斷自己是否可以收錄這個頁面。如果自己的網站允許搜索引擎可以收錄自己網站的所有的內容，那么就可以不放這個文件。
要放相關的文件的話，就要做Robots.txt，那么就要符合相關的格式，格式內容是用一個記事本命名為Robots.txt。里面寫上下面的內容。大家可以在建網站的時候做好之后傳到網站根目錄下。
格式如下：
User-agent:*
這個指的就是針對所有的搜索引擎蜘蛛代理
Disallow:/search.html
Disallow是不允許的意思，這一行說明的是不允許收錄/search.html這個文件；
Disallow:/index.php?
這一行說的是不允許搜索引擎收錄URL里面包含index.php?的文件；
Disallow:/tempweb/
這一行說的是不允許搜索引擎收錄這個文件夾/tempweb/里面所有的內容。
很多建網站的朋友做了這個文件之后不是很自信，這個時候，不妨可以找一些大型的網站，去看看他們的是怎么做的，對比一下自己的是不是有錯誤，自己就會確信其效果了。
另外需要注意一些符號是否有錯誤，比如大小寫空格啊什么的，盡量不要用一些復雜的參數；盡量的采用這種比較簡潔的方式來屏蔽自己一些不想讓搜索引擎收錄的內容。
大家可能聽說過一些網站被人惡意的修改Robots.txt文件，本來排名很好的被修改后，搜索引擎就不收錄了，所以大家在做網站維護的時候，有時候要不斷地檢查下自己的這個Robots.txt文件。
本文由成都創(chuàng)新互聯(lián)科技有限公司（m.2m8n56k.cn）原創(chuàng)編輯,轉載請注明
文章名稱：建網站時如何設置Robots.txt文件
鏈接地址：http://m.2m8n56k.cn/news32/119132.html
成都網站建設公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網站制作、域名注冊、關鍵詞優(yōu)化、商城網站、建站公司
聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容
- 影響SEO優(yōu)化網站推廣的因素 2021-07-07
- 網頁設計中關于H標簽的優(yōu)化設計 2021-07-07
- 數據分析以及推廣手法對營銷型網站的重要性 2021-07-07
- 網站推廣優(yōu)化之關鍵詞的相關性的概念 2021-07-07
- 建網站時如何制作404頁面 2021-07-08
- 企業(yè)如何讓網絡營銷奇跡隨時隨地的發(fā)生 2021-07-08
- 網站推廣：如何讓您的原創(chuàng)文章更完美容易被收錄 2021-07-08
- 網頁設計中數據庫的連結設置 2021-07-08
- 長尾關鍵詞在內容頁面網頁設計優(yōu)化的寫法 2021-07-07
- 網站推廣優(yōu)化時如何選擇網站的目標關鍵詞 2021-07-07
- 網頁設計中要注意的一些SEO的問題 2021-07-07
- 網站備案與國外空間對網站優(yōu)化推廣的影響 2021-07-07
- 鏈接對優(yōu)化網站推廣的作用 2021-07-07
- 企業(yè)營銷型網站的優(yōu)化推廣 2021-07-07
- 關鍵字在優(yōu)化網站推廣中的作用 2021-07-07
- 企業(yè)網站如何巧妙的轉化網絡營銷的平臺 2021-07-07
- 如何讓網站推廣排名不要“波蕩起伏” 2021-07-07
- 網站推廣如何讓軟文標題抓住用戶的內心 2021-07-07
- 網絡營銷：微博營銷大家知道嗎 2021-07-07