是什么原因導致搜索引擎蜘蛛在抓取網頁的時候無法爬行我們的頁面?這個問題可能困擾著不少在做SEO優化的人員，這種“抓取非常”的情況，是由哪些原因引發的呢?下面我們來一起進行盤點。

　　1、服務器鏈接異常

　　服務器鏈接異常會有兩種環境：一種是站點不穩固，百度spider實驗鏈接您網站的服務器時呈現臨時沒法鏈接的環境：另一種是百度spider不停沒法鏈接上您網站的服務器。

　　出現上述情況的原因可能是網站服務器過大，超負荷運轉;也有可能是網站運轉不一般，請查抄網站的web服務器是不是安裝且一般運轉，并利用掃瞄器查抄重要頁面可否一般拜候。您的網站和主機還大概制止了空間大概購置cdn辦事。

　　2、IP封禁

　　限定收集的出口IP地點，克制該IP段的利用者舉行內容拜候，在這里特指封禁了百度spiderIP。當您的網站不盼望百度spider拜候時，才必要該設置。假如您盼望百度spiderIP。也有大概是您網站地點的空間辦事商把百度IP舉行了封禁，這時候您必要接洽辦事商變動設置。

　　3、DNS非常

　　當百度spider沒法剖析您網站的IP時，會呈現DNS非常。大概是您的網站IP地點毛病，大概域名辦事商把百度spider封禁。請利用WHOIS大概host查詢本身網站IP地點是不是精確且可剖析，假如不精確或沒法剖析，請與域名注冊商接洽，更新你的IP地點。

　　4、死鏈

　　頁面已無效，沒法對用戶供給任何有代價信息的頁面就是死鏈接，包羅和談死鏈和內容死鏈兩種情勢。和談死鏈，即頁面的TCP和談狀況、HTTP和談狀況明白表現的死鏈，常見的如404、403、502狀況等;內容死鏈，即服務器返回狀況是一般的，但內容已變動為不存在、已刪除或必要權限等與原內容無關的信息頁面的死鏈。

　　5、UA封禁

　　UA即為用戶署理(User-Agent)，服務器經由歷程UA辨認拜候者的身份。當網站針對指定UA的拜候，呈現返回非常頁面(如404、500)或跳轉到其他頁面的環境，即為UA封禁。當您的網站不盼望百度spider拜候時，才必要該設置;假如您盼望百度spider拜候您的網站，檢察usragent的相干設置中是不是百度spiderUA，予以實時點竄。

　　6、非常跳轉

　　講收集哀求從頭指向其他位置即為跳轉，非常跳轉指的是以下幾種環境。

　　(1)當前該頁面為無效頁面(內容已刪除、死鏈等)，間接跳轉到前一目次大概首頁。百度發起站長將該無效頁面的進口超鏈接刪撤除。

　　(2)跳轉到墮落大概無效頁面。(注：對付長時候跳轉到其他域名的環境，如網站調換域名，百度發起利用201跳轉和談舉行設置。)

　　有一些質量高的網站，如果是因為以上原因導致搜索引擎蜘蛛無法爬取，無論是對站點來說，對搜索引擎來說都是一種損失。所以，SEO優化人員一定要及時甄別異常，這樣才能維持網站的排名穩定。