網(wǎng)站日志具體分析方法

1、一次偶然的機(jī)會(huì)，聽了龍哥的錄音，發(fā)現(xiàn)講的非常棒，而這些又是免費(fèi)的錄音，后知估計(jì)下載的人不會(huì)太多，所以這就是“免費(fèi)的就是最貴的”，很多人可能覺得免 費(fèi)培訓(xùn)錄音就跟其他泛泛的培訓(xùn)似的。其實(shí)錯(cuò)了，這個(gè)讓我把龍哥講課的錄音都下載了，這段時(shí)間在學(xué)習(xí)，今天就和大家分享下日志分析。記住，數(shù)據(jù)分析的目的是 進(jìn)行調(diào)整策略和進(jìn)一步提高，而不是為了分析而分析！    在分析日志的時(shí)候需要用到的工具：光年日志分析工具、web log explorer、MSSQL。還有一點(diǎn)，做好數(shù)據(jù)的分析excel是必備的，最近在看阿莫推薦的一本書，寫的挺好的你早該這么玩excel，推薦大家看看，基礎(chǔ)的應(yīng)用還是要會(huì)

2、的。    我們應(yīng)該從哪幾個(gè)維度來進(jìn)行數(shù)據(jù)的整理分析呢？我們從基礎(chǔ)信息、目錄抓取、時(shí)間段抓取、IP抓取、狀態(tài)碼幾點(diǎn)分布給大家講解。   第一、基礎(chǔ)信息     我們從日志中能夠獲取哪里基礎(chǔ)信息呢？總抓取量、停留時(shí)間(h)及訪問次數(shù)這三個(gè)基礎(chǔ)信息，可以從光年日志分析工具中統(tǒng)計(jì)出來。然后，通過這三個(gè)基礎(chǔ)信 息算出:平均每次抓取頁數(shù)、單頁抓取停留時(shí)間。然后用我們的MSSQL提取蜘蛛唯一抓取量，根據(jù)以上的數(shù)據(jù)算出爬蟲重復(fù)抓取率。   平均每次抓取頁數(shù)=總抓取量/訪問次數(shù)    單頁抓

3、取停留時(shí)間=停留時(shí)間*3600/總抓取量    爬蟲重復(fù)抓取率=100%唯一抓取量/總抓取量   而以上這些數(shù)據(jù)，我們需要統(tǒng)計(jì)出一段時(shí)間的數(shù)據(jù)，看這個(gè)時(shí)間的整體趨勢(shì)是怎么樣的，這樣才能夠發(fā)現(xiàn)問題，才能夠調(diào)整網(wǎng)站的整體策略。下面就以一站點(diǎn)上個(gè)月的日志基礎(chǔ)信息為例。    2012-8-2 21:49:47 上傳下載附件 (40.25 KB)     這個(gè)基礎(chǔ)表是上個(gè)月的日志的基本信息，我們需要看它的整體趨勢(shì)來調(diào)整，哪些地方需要加強(qiáng)。    2012-8-2 21:49:58 上傳下載附件 (26.

4、32 KB)     從這個(gè)整體走勢(shì)來看出，爬蟲的抓取總量整體是在下降的，這個(gè)就需要我們進(jìn)行一些相應(yīng)的調(diào)整。    2012-8-2 21:50:28 上傳下載附件 (27.15 KB)     整體來看，網(wǎng)站重復(fù)抓取率是有點(diǎn)上升的，這個(gè)就需要一些細(xì)節(jié)，多一些為抓取的入口和使用一些robots及nofollow技巧。    2012-8-2 21:50:44 上傳下載附件 (30.33 KB)     爬蟲單頁的停留的時(shí)間，國平老師曾經(jīng)寫過那篇網(wǎng)頁加載速度是怎么影響seo流量的文章，大家應(yīng)該看過

5、吧。提高網(wǎng)頁加載速度，減少爬蟲單頁停留時(shí)間，可以為 爬蟲的總抓取做出貢獻(xiàn)，進(jìn)而增加網(wǎng)站收錄，從而提高網(wǎng)站整體流量。在16號(hào)至20號(hào)左右服務(wù)器出現(xiàn)一些問題，之后進(jìn)行調(diào)整后，速度明顯變快，單頁停留時(shí)間 也相應(yīng)的下來了。   而對(duì)此進(jìn)行相應(yīng)調(diào)整如下：   從本月整理來看，爬蟲的抓取量是下降的，重復(fù)抓取率是上升的。綜合分析，需要從站內(nèi)鏈接和站外的鏈接進(jìn)行調(diào)整。站內(nèi)的鏈接盡量的帶錨文本，如果不能帶的 話，可以推薦其他頁面的超鏈接，讓蜘蛛盡可能的深層次的抓取。站外鏈接的話，需要多方面的發(fā)布。目前平臺(tái)太少了，如果深圳新聞網(wǎng)、商國互聯(lián)等站點(diǎn)出現(xiàn)一絲 差錯(cuò)的話，我們站點(diǎn)將

6、受到嚴(yán)重影響。站外平臺(tái)要廣，發(fā)布的鏈接要多樣話，不能直發(fā)首頁的，欄目及文章頁面需要加大力度。目前，來講站外平臺(tái)太少，將近 10w的外部鏈接，集中在幾個(gè)平臺(tái)上。   第二、目錄抓取   用MSSQL提取出爬蟲抓取的目錄，分析每日目錄抓取量。可以很清晰的看到每個(gè)目錄的抓取情況，另外可以對(duì)比之前的優(yōu)化策略，優(yōu)化是否合理，重點(diǎn)的欄目優(yōu)化是不是預(yù)期的效果。如圖，        2012-8-2 21:51:02 上傳下載附件 (35.37 KB)       綠色：主做欄目 

7、  黃色：抓取較差   粉色：抓取很差  深藍(lán)色：需要禁止欄目       2012-8-2 21:51:30 上傳下載附件 (198.59 KB)     可以看到整體的趨勢(shì)并沒有太大變化，只有兩個(gè)欄目的抓取是有較大變動(dòng)的。    通過上面兩個(gè)圖，進(jìn)行相應(yīng)調(diào)整如下：   通過圖表中科院產(chǎn)出，整體抓取較少。主做欄目中，抓取較少的為：xxx、xxx、xxx。對(duì)于總體來說，需要加大整個(gè)網(wǎng)站的導(dǎo)入口，需要外鏈配合，站內(nèi) 需要加強(qiáng)內(nèi)部鏈接的構(gòu)建。對(duì)于，爬

8、取較弱欄目進(jìn)行加強(qiáng)處理。同時(shí)，深藍(lán)色的欄目寫入robots中，將其屏蔽，并將網(wǎng)站中導(dǎo)入到這些欄目是URL進(jìn)行 nofollow避免權(quán)重只進(jìn)不出。    第三、時(shí)間段抓取     通過excel中的數(shù)組函數(shù)，提取每日的時(shí)間段的爬蟲抓取量，重在分析每日的抓取情況，找到相應(yīng)的抓取量較為密集的時(shí)間段，可以針對(duì)性的進(jìn)行更新內(nèi)容。同時(shí)，還可以看出，抓取不正常情況。    2012-8-2 21:52:17 上傳下載附件 (43.53 KB)     圖中一些表粉色的，是抓取不正常的時(shí)間點(diǎn)，可以看出服務(wù)器并不是特別的穩(wěn)定。而且，

9、如果想知道特殊情況的話，可以從下圖中一眼看出，某日哪個(gè)時(shí)間點(diǎn)出問題了，而且同樣是總抓取是下降的趨勢(shì)。      2012-8-2 21:52:38 上傳下載附件 (231.41 KB)    通過時(shí)間段抓取，我們進(jìn)行相應(yīng)的調(diào)整：     通過圖中的表色，可以看出服務(wù)器并不是特別的穩(wěn)定，我們需要加強(qiáng)服務(wù)器的穩(wěn)定性。另外，17、18、19三天，連續(xù)被人攻擊、掛鏈等，但是爬蟲抓取正常，這說明這些對(duì)網(wǎng)站已經(jīng)造成了一定影響！    第四，IP段的抓取    通過MS

10、SQL提取日志中的爬蟲的IP，通過excel進(jìn)行統(tǒng)計(jì)，每日每個(gè)IP的抓取量，同樣我們需要看整體，如果IP段沒有明顯的變化的話，網(wǎng)站升降權(quán)是沒有多大問題的。因?yàn)樵诰W(wǎng)站升權(quán)或者降權(quán)的時(shí)候，爬蟲的IP段會(huì)更換的。    2012-8-2 21:52:54 上傳下載附件 (33.58 KB)     第五，狀態(tài)碼的統(tǒng)計(jì)    在這個(gè)之前你需要了解下，HTTP狀態(tài)碼返回值代表是什么。       2012-8-2 21:53:30 上傳下載附件 (50.27 KB)     圖中，可以看出304狀態(tài)碼比較多。如果一個(gè)網(wǎng)站被搜索引擎抓取的次數(shù)以及頻率越多那么他是越有利于排名的，但是如果你的網(wǎng)站出現(xiàn)太多的304，那么一定會(huì)降低搜索引擎的抓取頻率以及次數(shù)，從而讓自己的網(wǎng)站排名比別人落一步。調(diào)整：服務(wù)器可以清除下緩存。    還有最后一張