robots.txt的作用是什么？在網(wǎng)站內(nèi)部?jī)?yōu)化中有很多細(xì)節(jié)優(yōu)化要注意，這些都不能忽視的，今天同樣介紹一種seo入門(mén)教程當(dāng)中的基礎(chǔ)知識(shí)：如何設(shè)置robots.txt!要想把網(wǎng)站做好，做一個(gè)比較正規(guī)有權(quán)威的網(wǎng)站，robots文件是必不可少。

什么是robots.txt?

簡(jiǎn)單的說(shuō)robots文件是搜索引擎蜘蛛爬取網(wǎng)頁(yè)時(shí)要遵守的協(xié)議文件，這個(gè)文件是以記事本 txt 的形式保存在網(wǎng)站的根目錄下。

與此同時(shí)我們還有了解一個(gè)個(gè)概念：robot：即搜索引擎蜘蛛。它是一種搜索引擎抓取網(wǎng)頁(yè)內(nèi)容的程序工具。

robots.txt這個(gè)文件是用來(lái)告訴搜索機(jī)器人不要爬行我們的部分網(wǎng)頁(yè)，比如：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫(kù)文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。這些頁(yè)面或文件被搜索引擎收錄了，用戶(hù)也看不了，對(duì)用戶(hù)沒(méi)幫助，既浪費(fèi)了服務(wù)器資源，又增加了服務(wù)器的壓力，因此我們可以用robots.txt告訴機(jī)器人集中注意力去收錄我們的文章頁(yè)面。增強(qiáng)用戶(hù)體驗(yàn)，減少服務(wù)器壓力。

robots.txt的作用

1. 幾乎所有的搜索引擎 Spider 都遵循 robots.txt 給出的爬行規(guī)則，協(xié)議規(guī)定搜索引擎 Spider 進(jìn)入某個(gè)網(wǎng)站的入口即是該網(wǎng)站的 robots.txt，當(dāng)然，前提是該網(wǎng)站存在此文件。對(duì)于沒(méi)有配置robots.txt 的網(wǎng)站，Spider 將會(huì)被重定向至404 錯(cuò)誤頁(yè)面，相關(guān)研究表明，如果網(wǎng)站采用了自定義的 404 錯(cuò)誤頁(yè)面，那么 Spider 將會(huì)把其視作 robots.txt——雖然其并非一個(gè)純粹的文本文件——這將給 Spider 索引網(wǎng)站帶來(lái)很大的困擾，影響搜索引擎對(duì)網(wǎng)站頁(yè)面的收錄。

2. robots.txt 可以制止不必要的搜索引擎占用服務(wù)器的寶貴帶寬，如 email retrievers，這類(lèi)搜索引擎對(duì)大多數(shù)網(wǎng)站是沒(méi)有意義的;再如 image strippers，對(duì)于大多數(shù)非圖形類(lèi)網(wǎng)站來(lái)說(shuō)其也沒(méi)有太大意義，但卻耗用大量帶寬。

3. robots.txt 可以制止搜索引擎對(duì)非公開(kāi)頁(yè)面的爬行與索引，如網(wǎng)站的后臺(tái)程序、管理程序，事實(shí)上，對(duì)于某些在運(yùn)行中產(chǎn)生臨時(shí)頁(yè)面的網(wǎng)站來(lái)說(shuō)，如果未配置 robots.txt，搜索引擎甚至?xí)饕切┡R時(shí)文件。

4. 對(duì)于內(nèi)容豐富、存在很多頁(yè)面的網(wǎng)站來(lái)說(shuō)，配置 robots.txt 的意義更為重大，因?yàn)楹芏鄷r(shí)候其會(huì)遭遇到搜索引擎 Spider 給予網(wǎng)站的巨大壓力：洪水般的 Spider 訪問(wèn)，如果不加控制，甚至?xí)绊懢W(wǎng)站的正常訪問(wèn)。

5. 同樣地，如果網(wǎng)站內(nèi)存在重復(fù)內(nèi)容，使用 robots.txt 限制部分頁(yè)面不被搜索引擎索引和收錄，可以避免網(wǎng)站受到搜索引擎關(guān)于 duplicate content 的懲罰，保證網(wǎng)站的排名不受影響。

本文標(biāo)題：robots.txt的作用是什么？
分享鏈接：http://m.2m8n56k.cn/news41/169291.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、定制開(kāi)發(fā)、網(wǎng)站排名、建站公司、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)