網(wǎng)站訪問(wèn)量統(tǒng)計(jì)分析工具-分布式站點(diǎn)監(jiān)控與管理系統(tǒng)的研究與ppt課件

1、網(wǎng)站訪問(wèn)量統(tǒng)計(jì)分析工具安裝與部署查新征 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 2004.8.25 北京科學(xué)數(shù)據(jù)庫(kù)技術(shù)培訓(xùn).提綱WEBLOG的背景與目的WEBLOG的根本術(shù)語(yǔ)WEBLOG的構(gòu)造與處置流程WEBLOG的功能WEBLOG的安裝部署演示.背景與目的訪問(wèn)量的多少是衡量SDB站點(diǎn)建立好壞的一個(gè)重要目的我們關(guān)懷的訪問(wèn)量目的包括 Requests,Pageviews和Visitors其他目的還有：訪問(wèn)代理類型報(bào)告，錯(cuò)誤或失效訪問(wèn)統(tǒng)計(jì)報(bào)告等WEB效力器的訪問(wèn)日志文件提供了有關(guān)訪問(wèn)量目的的數(shù)據(jù)目的：客觀、全面、真實(shí)反映SDB網(wǎng)站的訪問(wèn)情況.根本術(shù)語(yǔ)訪問(wèn)日志文件：是由web效力器產(chǎn)生的,記錄用戶訪問(wèn)該效力器

2、相關(guān)信息的文件。WEB日志文件記錄了來(lái)訪者的ip地址、訪問(wèn)時(shí)間、訪問(wèn)方法、訪問(wèn)文件的大小和地址等。但這些數(shù)據(jù)是零散的。APACHE日志:61.43.225 - - 10/May/2001:23:59:54 +0800 GET /a.htm /1.1 200 4083 IIS的日志：08:34:06 159.226.3.206 GET /test/count/image/0.gif 304.根本術(shù)語(yǔ)文件懇求數(shù)(Requests):為了獲得效力器上的一個(gè)資源可以是文本、圖像或任何可以被包含在頁(yè)面內(nèi)的元素，閱讀器和它銜接的效力器之間進(jìn)展的一次單一銜接。頁(yè)面閱讀數(shù)(page view): 一次頁(yè)面閱覽

3、就是一次頁(yè)面的下載，訪問(wèn)者勝利地閱覽到頁(yè)面應(yīng)該在他的閱讀器上完好地看到該頁(yè)面。訪問(wèn)人數(shù)visitor：參考CNNIC用戶會(huì)話數(shù)的定義，具有同一IP地址的訪問(wèn)者在20分鐘內(nèi)與網(wǎng)站有交互活動(dòng)那么被以為是同一次進(jìn)入網(wǎng)站，不記錄新的用戶訪問(wèn)數(shù)；欄目/頻道：指網(wǎng)站的某一特定目錄，通常目錄層次不超越2級(jí)。欄目/頻道可由用戶配置信息文件或數(shù)據(jù)庫(kù)指定。 .系統(tǒng)構(gòu)造.處置流程歸一處置，入庫(kù)預(yù)處置統(tǒng)計(jì)分析統(tǒng)計(jì)結(jié)果，入庫(kù)數(shù)據(jù)庫(kù)日志文件屏蔽日志文件多樣性屏蔽日志格式多樣性.系統(tǒng)功能.安裝預(yù)備 安裝前的預(yù)備：J2sdk的安裝 JAVA環(huán)境MYSQL的安裝數(shù)據(jù)庫(kù)環(huán)境SDB運(yùn)用效力器的安裝WEB運(yùn)用環(huán)境.安裝預(yù)備按天分割W

4、EB效力器訪問(wèn)日志文件APACHE(LINUX)需求按日對(duì)文件進(jìn)展切割。將日志切割運(yùn)轉(zhuǎn)腳本安裝包附帶參與到cron中，設(shè)為每日0點(diǎn)30分運(yùn)轉(zhuǎn)。也可以運(yùn)用其他的方式獲得每日日志文件IIS(WINDOWS)IIS效力器默許按天產(chǎn)生日志文件，普通存放在“C:/WINNT/System32/logfile/站點(diǎn)名目錄下.安裝部署安裝WEBLOGWindows: 執(zhí)行Setup.exe，安裝到WEB運(yùn)用目錄下。Linux: 將安裝包解壓到WEB運(yùn)用目錄下。系統(tǒng)的組成：系統(tǒng)包括三個(gè)模塊：WEB化配置模塊 ：weblog/logconfig統(tǒng)計(jì)分析模塊 ：weblog/loganalyse日志查看模塊： w

5、eblog/logreport 部署：默許情況下第一次登陸weblog系統(tǒng)要先進(jìn)展系統(tǒng)的配置，主要包括如下幾個(gè)方面： .安裝部署設(shè)置存放日志統(tǒng)計(jì)結(jié)果的MYSQL數(shù)據(jù)庫(kù)的屬性在此之前請(qǐng)先安裝數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)機(jī)器的ip地址數(shù)據(jù)庫(kù)名用戶名用戶密碼 .安裝部署設(shè)置待統(tǒng)計(jì)的站點(diǎn)列表待統(tǒng)計(jì)的站點(diǎn)列表(站點(diǎn)之間以 “, 分隔)設(shè)置每個(gè)待統(tǒng)計(jì)站點(diǎn)的參數(shù)頻道欄目或數(shù)據(jù)庫(kù)配置文件途徑站點(diǎn)日志文件途徑(目錄名) 日志文件的格式設(shè)置頻道欄目或數(shù)據(jù)庫(kù)配置途徑名或特征名 頻道欄目稱號(hào)中間以空格格開(kāi),每一行一條記錄。例如：“/history 歷史館 .日志文件格式APACHE61.43.225 - - 10/May/2001:

6、23:59:54 +0800 GET /a.htm /1.1 200 4083 訪問(wèn)IP 訪問(wèn)時(shí)間 “懇求方式 訪問(wèn)資源 協(xié)議 形狀碼 傳送字節(jié)數(shù)對(duì)應(yīng)日志格式：%a - - %T %m %U %H %s %b 其中時(shí)間格式為%d/%Mb/%y:%h:%m:%s IIS2004-08-01 08:34:06 159.226.3.206 GET /test/count/image/0.gif 304訪問(wèn)日期 訪問(wèn)時(shí)間 訪問(wèn)IP 懇求方式 訪問(wèn)資源 形狀碼對(duì)應(yīng)日志格式為：%d %t %a %m %U %s#%d 日期#%Mb 月英文縮寫(xiě)#%M 月數(shù)字#%y 年#%h 小時(shí)#%m 分鐘#%s 秒%a

7、訪問(wèn)者IP %b 發(fā)送字節(jié)數(shù)%B 接納字節(jié)數(shù)%c 訪問(wèn)者客戶代理%d 訪問(wèn)日期, example: 2001-5-27 or 5/27/2001%t 訪問(wèn)時(shí)間, example: 12:23:34 %T 訪問(wèn)時(shí)間，其格式由后面的TIMEFORMAT指定%p 處置時(shí)間%l 訪問(wèn)者名%m 懇求方式%U 所懇求的資源url)%q 懇求的字符串%H 懇求運(yùn)用的協(xié)議%s 懇求形狀碼.運(yùn)轉(zhuǎn)配置自動(dòng)運(yùn)轉(zhuǎn)Windows: 將日志統(tǒng)計(jì)分析模塊參與到WINDOWS的“義務(wù)方案中以便后臺(tái)定期自動(dòng)運(yùn)轉(zhuǎn)選擇程序/附件/系統(tǒng)工具/義務(wù)方案，翻開(kāi)義務(wù)方案窗口 添加義務(wù)方案。按照導(dǎo)游步驟添加各項(xiàng)內(nèi)容在“運(yùn)轉(zhuǎn)的程序步驟中，按閱讀，選擇 weblog.bat$/weblog/loganalyse/weblog.bat 選擇“每天執(zhí)行該義務(wù) 起始時(shí)間選擇每天的“1:00 輸入本機(jī)超級(jí)用戶的用戶名和密碼 按確定完成。義務(wù)窗口中將添加該項(xiàng)內(nèi)容 右鍵選擇該義務(wù)，可以修正該義務(wù)的屬性 Linux在cron中添加運(yùn)轉(zhuǎn)