淺談搜索引擎抓取原理

2022-12-29 分類：網站建設

搜索引擎在爬行網站時，一般分為兩種策略：深度抓取和廣度抓取。這兩種抓取應該聽過的人特別多，那是否還有第三種呢?其實吸引蜘蛛也算一種抓取策略，因為它改變了蜘蛛的爬行規律。今天就來主要解釋一下三種抓取的方式。

淺談搜索引擎抓取原理

深度抓取，比如容易理解，當搜索引擎蜘蛛到了一個網站時。它會根據網站中第一個鏈接，之后順著第一個鏈接一路爬行，直至抓取完成后。這時，蜘蛛會返回搜索引擎抓取的第一個鏈接，接著該鏈接，抓取網站第二個鏈接，之后順著第二個鏈接一路爬行，直至抓取完成。以此反復抓取，完成深度抓取。

而廣度抓取，則是搜索引擎在發現一個頁面時，首先，將該頁面第一層所有鏈接均索引到搜索引擎數據庫中。然后，將第二部分鏈接索引，之后為第三個頁面，以此反復。

當然，無論深度或廣度抓取，搜索引擎都不會以此種方式將整個網站所有的頁面鏈接全部抓取，除非網站鏈接極少。那一些鏈接藏的比較深，或者頁面層級較深，這些頁面如何讓搜索引擎抓取呢?那就要說說第三種抓取策略，吸引蜘蛛。

在通過外鏈或者友情鏈接等規劃時，在其它網站中存在自身網站鏈接，吸引蜘蛛通過外鏈或友情鏈接中的地址爬行網站中，為一些隱藏較深的頁面提供索引。

當然，大概的搜索引擎抓取策略分為以上三種，還有一些其余情況，比如，頁面點擊率，或者頁面更新度等情況，同樣會影響到抓取情況。搜索引擎抓取策略也不會一成不變，我們要做的，就是做好網站自己的優化，盡量使用樹狀型物理結構，保證網站的抓取索引。

文章來源：耐特康賽(http://www.netconcepts.cn/)，版權歸原作者所有，特此聲明。

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容

中文字幕第五页-中文字幕第页-中文字幕韩国-中文字幕最新-国产尤物二区三区在线观看-国产尤物福利视频一区二区