網站日志可以記錄最近24小時，網站的訪問情況，包括搜索引擎的訪問。作為一個專業的SEO人員，分析網站日志查看不同搜索引擎是如何爬行網站，然后通過分析結果對網站進行優化，是非常必要的一個過程。不同搜索引擎爬行網站的規律不同，經統計成都網站建設網站日志得知，百度蜘蛛爬行網站是最頻繁的，但是爬行深度是最淺的，相對于其他搜索引擎，搜狗和360搜索引擎蜘蛛訪問頻率較低，而且比較集中。

一、百度搜索引擎蜘蛛訪問頻率高、深度低、比較喜歡爬行tag相關頁面

百度搜索引擎蜘蛛訪問網站的頻率非常的高，機會一天當中都要訪問幾十次，但是每次爬行的深度很低，從下圖網站日志中的截圖可以看出，百度蜘蛛訪問網站的時候會直接爬行“/search/search.php?key=”或者“/blog/?tag=”以及“/blog/?feed=rss2&tag=”這三個URL鏈接，從百度蜘蛛爬行的這三個URL中分析，可以看出這三種鏈接都是類似于tag的這種標簽，也可以看作成網站的一個綜合搜索功能，從搜索某些關鍵字來查看網站是否存在更新。不過百度蜘蛛也會直接爬行網站的首頁或者某些特定的內頁，所爬行的這些內頁也沒有規律可循，只是看到蜘蛛確實爬過這個頁面。如圖2所示：

百度搜索引擎蜘蛛爬行日志圖一

百度搜索引擎蜘蛛爬行日志圖2

百度搜索引擎蜘蛛爬行日志圖3

二、谷歌搜索引擎蜘蛛訪問頻率高、深度高、爬行頁面較多

谷歌搜索引擎蜘蛛訪問頻率應該是最高的，這點應該和我們網站在谷歌中的權重---PR值有關，在《詳細了解成都網站建設權重的真實含義》介紹過關于網站權重的知識，通過分析網站日志，可以看到谷歌蜘蛛在一天當中頻繁的訪問網站頁面，并且訪問網站URL很多，包括百度蜘蛛爬行的那些URL外，還有其他的一些直接性的頁面，如下圖所示。從這里可以看出谷歌在爬行網站方面確實比百度要好的多，但是畢竟谷歌不是主流的搜索引擎所以我們只是直到谷歌蜘蛛來過就好了，不用太在意它的爬行深度和頻率是怎樣的。

三、360搜索引擎蜘蛛爬行頻率中、深度中、爬行頁面集中

360搜索引擎蜘蛛在一天當中訪問網站是有規律可循，在網站日志中可以看出360搜索引擎在爬行網站的過程是非常集中的，而在其他的任何時段都不會來訪問網站，來的話也是直接爬行特定的幾個頁面，比如第一次爬行的是“/wangzhanjianshe/”這個目錄，那么接下來所有蜘蛛都會隨著這個目錄爬行下去，然而在爬行了幾次發現沒有新的內容之后，就會離開網站，等第二天再次爬行。

四、搜狗搜索引擎蜘蛛爬行頻率中、深度中、比較喜歡類似blog之類的頁面

通過查看網站日志得知，搜狗搜索引擎蜘蛛只爬行了/blog/目錄下的頁面，而且爬行頻率如同360蜘蛛一樣，都屬于集中型的，在一天中的固定時刻訪問，而且只是訪問一次。這可以看出搜狗蜘蛛很喜歡網站中的blog。我們網站在搜狗中，搜索“成都網站建設”第一個就是我們的，也許是和我們網站中存在blog有關吧。當然在其他搜索引擎中排名也很好，這是一種猜測，也許和網站內容也有很大關系的。

寫到最后：

不同搜索引擎，爬行頁面的頻率、深度、時間都是不同的，我們可以根據分析網站日志得知自己網站對于不同蜘蛛的喜歡程度，然后根據不同的蜘蛛制定不同的優化方案。爭取將成都網站建設公司的關鍵字在任何搜索引擎上都有一個好的排名。對于其他的搜索引擎來說，基本可以忽略不計，因為據目前各大主流搜索引擎的排名來看，基本質量比較高的網站排名都差不多。

分享文章：成都網站日志說明成都網站建設不同搜索引擎如何爬行網站的
分享網址：http://www.kartarina.com/news5/246705.html

成都網站建設公司_創新互聯，為您提供營銷型網站建設、搜索引擎優化、網站收錄、企業網站制作、微信公眾號、靜態網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯