robots.txt是一個純文本文件，是搜索引擎訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。每個站點最好建立一個robots.txt文件，對網(wǎng)站SEO優(yōu)化有很很好的作用。

　　每當搜索蜘蛛來尋找并不存在的robots.txt文件時，服務(wù)器將在日志中記錄一條404錯誤，所以你應(yīng)該在網(wǎng)站中添加一個robots.txt(即使這個robots.txt文件只是一個空文件)。

　　robots.txt的寫法(語法)

　　1)User-agent: 該項的值用于描述搜索引擎蜘蛛的名字。如果該項的值設(shè)為*，則該協(xié)議對任何機器人均有效。

　　2)Disallow: 該項的值用于描述不希望被訪問到的一個URL，一個目錄或者整個網(wǎng)站。以Disallow開頭的URL 均不會被搜索引擎蜘蛛訪問到。任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問。

　　3)用法舉例：

　　網(wǎng)站目錄下所有文件均能被所有搜索引擎蜘蛛訪問

　　User-agent: *

　　Disallow:

　　禁止所有搜索引擎蜘蛛訪問網(wǎng)站的任何部分

　　User-agent: *

　　Disallow: /

　　禁止所有的搜索引擎蜘蛛訪問網(wǎng)站的幾個目錄

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　禁止搜索引擎蜘蛛訪問目錄a和目錄b

　　User-agent: Googlebot

　　Disallow:

　　只允許某個搜索引擎蜘蛛訪問

　　您應(yīng)該限制網(wǎng)站某些文件不被蜘蛛抓取。

　　一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。

分享標題：robots.txt文件是什么?robots.txt的寫法
標題網(wǎng)址：http://m.2m8n56k.cn/news34/169034.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、營銷型網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、手機網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計公司、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)