做網站日志分析，可以幫助我們從客觀數(shù)據出發(fā)去了解網站的情況，準確地定位搜索引擎蜘蛛爬行的頁面以及時間長短，從而有針對性的對我們的網站進行調整。

一、查看狀態(tài)碼信息（附：網站制作過程中見到的http狀態(tài)碼是什么）

狀態(tài)碼分為兩種，一種是蜘蛛狀態(tài)碼，另一種是用戶狀態(tài)碼，通過蜘蛛狀態(tài)碼可以準確的查看到網站是否存在抓取問題。例如：404代表的是錯誤頁，301、302代表的是重定向，還有一些：504、500、等狀態(tài)碼，值得說的是：除去200狀態(tài)碼，出現(xiàn)其他的狀態(tài)碼都是應當值得注意的，當然，如果只是個別幾條則無需理會。但是如果數(shù)量一旦偏多，網站則100%出現(xiàn)問題了。

二、查看目錄抓取概況

目錄抓取，可以清晰的查看到光顧網站的蜘蛛爬行過哪些目錄。要知道有些目錄是沒有價值的，如一些圖標目錄、下載目錄、留言目錄等，還有后臺目錄、數(shù)據庫，如果任由蜘蛛爬行，也是一種安全隱患。另外一方面，搜索引擎對于不同的站點都有著抓取配額，無用目錄，更不要占用這樣的配額，以免減少有效配額的抓取量。

三、查看頁面抓取概況

頁面抓取可以準確的查看到蜘蛛爬行的每一個頁面，這也是對于LOG日志分析上非常重要的一個環(huán)節(jié)。如：多重URL鏈接的抓取?垃圾頁面的抓取?都是可以在其中展現(xiàn)出來的。甚至：某個頁面抓取頻率越高，通常代表這個頁面更有價值。

如果你想優(yōu)化的頁面，抓取頻率偏低，那么就要為其增加適當?shù)钠毓舛龋瑏磉_成你想要的結果。

四、如何分析應對？

1.如果想要更多有效的著陸頁被蜘蛛更多的抓取，那么請進行結構內鏈的完善。

2.不希望蜘蛛抓取那些沒有優(yōu)化意義的頁面上，那么robots.txt上來進行封閉。

3.“蜘蛛陷阱”無止盡的循環(huán)，浪費抓取配額，通過頁面抓取，都可以直觀看到。

4.曝光力度夠了，蜘蛛一樣不抓取，只能說頁面價值太低，需要進一步優(yōu)化。

5.我們希望每個頁面的下載時間足夠快，可以在有效的時間內抓取更多的頁面。

6.不是所有的蜘蛛都是真的蜘蛛，要學會查看蜘蛛是否為“采集”和“模擬”。

7.分析每天的蜘蛛，可以查看上升或者下降的趨勢。如果有明顯的變化，網站很可能會出事。

8.降低或者封禁不會帶來流量的蜘蛛，以減少服務器壓力，對大型網站很重要。

西安網站推廣公司認為，網站日志分析也是中小企業(yè)網絡建設方案的其中一項重要內容，也是我們必須掌握的一種基本的技能，可以對我們出現(xiàn)問題的網站進行簡單的診斷，及時處理問題。