seo教程-網站robot什么意思？robots.txt如何寫作？
2022-08-28 分類： 網站建設
什么是robots.txt？Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。robots.txt是一個協議，而不是一個命令。robots.txt是搜索引擎中訪問網站的時候要查看的一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。那么各位站長對robots了解多少?知道robots文件怎么寫嗎?下面創新互聯小編就來為大家介紹。
robots協議原理
Robots協議是國際互聯網界通行的道德規范，基于以下原則建立：
1、搜索技術應服務于人類，同時尊重信息提供者的意愿，并維護其隱私權;
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
robots功能
Robots協議用來告知搜索引擎營銷哪些頁面能被抓取，哪些頁面不能被抓取;可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬;可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容;設置網站地圖連接，方便引導蜘蛛爬取頁面。
網站robots.txt文件如何寫作?
robots.txt文件寫法如下：
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符。
robots文件的寫法
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄。
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄。
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄。
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址。
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片。
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄。
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄。
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片。
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖。
對于robots.txt文件的寫法就為大家分享到這里，當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。成都網站制作思路網小編提醒大家，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。
參考資料：
成都seo顧問收費標準是多少？seo顧問多少錢一年
大連seo關鍵詞優化-百度排名首頁-百度推廣-網站優化
網絡營銷工程師好學嗎？網絡營銷工程師培訓考試
英文網站建設,建網站新手7天實現百度網站收錄
網站信息維護包括哪些內容？做好網站維護工作
詞條標簽：robots協議，
猜您關注：
營銷策劃書怎么寫？手機、ktv、ppt、產品、酒店行業
seo優化一個網站多少錢？成都seo優化推廣合作
大理網站制作公司哪家收費便宜？大理做網站價格低
成都網站關鍵字優化報價4513元全包「成都seo優化報價」
新聞標題：seo教程-網站robot什么意思？robots.txt如何寫作？
文章分享：http://m.2m8n56k.cn/news37/193637.html
成都網站建設公司_創新互聯，為您提供外貿建站、品牌網站設計、網站導航、做網站、定制開發、面包屑導航
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
