網站改版帶來的404抓取錯誤解決實踐

網站制作中一項重要的工作就是改版，每次改版肯定是往好的方面進行，因為每個階段的定位不同，我們要網站所表現(xiàn)的企業(yè)形象也不同，而且一個好看大氣的網站絕對能夠在潛在客戶心里提升我們公司的地位。但是多數(shù)的改版對于我們網站的SEO都會造成一定的影響，這里就需要我們對網站的情況掌握的非常熟悉之后，然后進行有效地控制，減少改版造成的404頁面過多情況。

1、利用日志分析工具找到404錯誤抓取頁面

日志分析工具利用最常用的光年日志分析工具就可以了，首先利用FTP下載好最近幾天的網站LOG日志，當然，想更多的分析，那么多下載一段時間的LOG日志也可以，利用日志分析工具新建任務分析各個階段的百度蜘蛛抓取情況，這里主要考慮百度抓取情況，因為建立這個分析工作的前提是快照停滯，收錄為 1。這里建議大家分為三個時間段來分析：

a、分析最近一天的LOG日志，可以是今天的，但是最好是昨天的，因為昨天的會比較全，今天的你即使是晚上來分析也會有一部分時間沒有統(tǒng)計到。

B、分析改版之后的LOG日志，因為這涉及到百度蜘蛛對于網站改版的一些判斷，例如我們可以分析百度蜘蛛什么時候開始判斷網站已經改版，或者什么時候已經放棄對于舊站URL的抓取等等。

C、改版前后抓取量的對比，分析改版對于百度蜘蛛的抓取量影響多大。

至于日志分析工作后面的分析工作都是一鍵式的，具體的分析思路有了之后，我們對照著進行分析，就會找到很多平時我們沒有注意到的問題，例如下面出來改版造成的404頁面，還有不少的頁面也是404錯誤，我并沒有意識到，例如下面的wp-login.php頁面就是一個最典型的例子：404錯誤抓取頁面

2、利用百度站長工具中的死鏈提交工具進行死鏈提交

百度站長平臺LEE團隊說：404狀態(tài)碼代表‘NotFound’，spider更新時會認為該頁面已失效，此時呢將在索引庫中刪除，短期內spider再次發(fā)現(xiàn)該url不再會抓取。當然，百度的說法只能作參考，因為分析網站日志發(fā)現(xiàn)，2個多星期百度蜘蛛還是來抓取這些錯誤頁面，當然，百度對于404錯誤頁面的指導性操作，還是非常有針對性的。百度站長平臺對404頁面的看法特別是死鏈提交工具中提交死鏈sitemap，這一條大家可以根據(jù)自身的情況進行死鏈提交，我這邊提交后暫時還沒有大的效果，因為大家都知道百度的效果展現(xiàn)周期一般都比較長。

3、利用robots.txt和nofollow標簽引導蜘蛛抓取

404錯誤頁面一個大的壞處就是給蜘蛛帶來一些錯誤的抓取，浪費了蜘蛛抓取資源，舉個例子，首先我們要達成這樣的一個共識：任何一個網站的蜘蛛抓取訪問資源都是有限的，小網站自然要少很多，而大網站就要多很多，要想蜘蛛抓取率更高，抓取的更合理，那么一些錯誤的鏈接造成的404錯誤量就要盡可能的減少。

當前文章：網站改版帶來的404抓取錯誤解決實踐
文章起源：http://www.kartarina.com/news10/132860.html

網站建設、網絡推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網站制作，網絡營銷seo公司；服務項目有網站改版等

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)