4、外部鏈接錯(cuò)誤用戶或者站長在站外發(fā)布了錯(cuò)誤 URL，蜘蛛爬取后產(chǎn)生錯(cuò)誤頁面;別的網(wǎng)站復(fù)制或采集了你們含有錯(cuò)誤鏈接的頁面;有些垃圾網(wǎng)站自動(dòng)生成的靜態(tài)搜索結(jié)果頁，如 www。8875。org/desc/3715714444.html 這個(gè)頁面中出現(xiàn)的很多鏈接在 html 前面有“...”。

5、爬蟲提取了不完整的 URL 個(gè)別爬蟲在提取頁面 URL 的時(shí)候，只提取部分 URL 或者把正常的 URL 后面的文字或字符也提取進(jìn)去了。

6、網(wǎng)站改版或管理員刪除頁面網(wǎng)站改版過程中處理不當(dāng)導(dǎo)致部分老頁面無法訪問，或者網(wǎng)站管理員刪除被黑、廣告、過時(shí)、被灌水頁面。

出現(xiàn)了上述情況，我們該如何去解決

1、修復(fù)錯(cuò)誤頁面抓取異常中的很多錯(cuò)誤頁面是因?yàn)槌绦騿T大意或者我們程序問題導(dǎo)致的，本應(yīng)該是正常頁面，因?yàn)槭д`導(dǎo)致無法訪問，對于此類頁面，第一時(shí)間進(jìn)行修復(fù)。

2、提交死鏈接但必定很多錯(cuò)誤頁面是本不應(yīng)該存在的，那么我們要想辦法獲取此類頁面 URL，獲取方式主要有三種：

（1）百度站長工具--抓取異常--找不到的頁面--復(fù)制數(shù)據(jù) [修正：此處死鏈不需我們提交了，百度站長工具自動(dòng)提交死鏈];
（2）管理員在刪除頁面的時(shí)候手動(dòng)或者程序自動(dòng)保存被刪頁面 URL;
（3）使用相關(guān)爬蟲軟件，爬取整站獲取死鏈，如 Xenu 。

然后將上述數(shù)據(jù)合并并刪除重復(fù)項(xiàng)(excel 表格中能實(shí)現(xiàn)刪重，wps 表格更容易操作)，然后再復(fù)制所有 URL 通過 HTTP 狀態(tài)批量查詢工具查詢下[這個(gè)不錯(cuò) pl.soshoulu.com/webspeed.aspx]，剔除掉非 404 返回碼頁面。

然后整理上面處理好的數(shù)據(jù)粘貼到網(wǎng)站根目錄中的一個(gè)文檔中，再把文檔地址提交到百度站長工具--網(wǎng)頁抓取--死鏈提交--添加新數(shù)據(jù)--填寫死鏈文件地址。

3、在 robots 中屏蔽抓取若大量的錯(cuò)誤 URL 存在一定的規(guī)律，可以在 robots 文件中寫一個(gè)規(guī)則禁止蜘蛛程序抓取此類鏈接，但前提一定要照顧好正常頁面，避免屏蔽規(guī)則誤傷正常頁面，比如你的網(wǎng)站全部是靜態(tài) URL，那么如果錯(cuò)誤鏈接中含有?的話，規(guī)則寫成 Disallow:/?，如果錯(cuò)誤鏈接中有/id...html 的話，規(guī)則寫成 Disallow:/... 。

robots 文件添加完規(guī)則后，一定要去百度站長的 robots 工具進(jìn)行校驗(yàn)，將指定的錯(cuò)誤頁面放進(jìn)去，看看是否封禁成功，再把正常的頁面放進(jìn)去看看是否被誤封。

網(wǎng)站死鏈解決

大量死鏈對搜索引擎來講，有什么影響?

百度站長工具中有一個(gè)抓取異常，那么這個(gè)工具里面的異常數(shù)據(jù)是如何產(chǎn)生的呢?

出現(xiàn)了上述情況，我們該如何去解決

相關(guān)注意事項(xiàng)：

百度站長工具中有一個(gè)抓取異常，那么這個(gè)工具里面的異常數(shù)據(jù)是如何產(chǎn)生的呢?

出現(xiàn)了上述情況，我們該如何去解決