淺析ＷＥＢ日志數(shù)據(jù)挖掘技術(shù)

淺析ＷＥＢ日志數(shù)據(jù)挖掘技術(shù)

摘要：互聯(lián)網(wǎng)發(fā)展到今天已經(jīng)成為了人們生活中不可缺少的一部分了，而互聯(lián)網(wǎng)從某種意義上講也可以看作是一個(gè)龐大的數(shù)據(jù)庫(kù)，并且涉及到各個(gè)領(lǐng)域。那么在這個(gè)龐大的數(shù)據(jù)庫(kù)中，教據(jù)挖掘技術(shù)有什么用武之地呢?本文通過(guò)時(shí)互聯(lián)網(wǎng)上數(shù)據(jù)挖掘的簡(jiǎn)單論述，說(shuō)明現(xiàn)在互聯(lián)網(wǎng)上數(shù)據(jù)挖掘的一些趨勢(shì)和相關(guān)技術(shù)，并且著重分析一下其中一種互聯(lián)網(wǎng)上數(shù)據(jù)挖掘的應(yīng)用方向相關(guān)的技術(shù)一一Web使用記錄的挖掘，

關(guān)鍵詞：web數(shù)據(jù)挖掘；Web日志；數(shù)據(jù)預(yù)處理

一、引言

目前?；ヂ?lián)網(wǎng)已經(jīng)和我們的生活密不可分，它可以說(shuō)是一個(gè)巨大的、分布廣泛和全球性的信息服務(wù)中心。它涉及新聞、廣告、消息信息、金融信息、教育、政府、電子商務(wù)和許多其他信息服務(wù)。根據(jù)有關(guān)機(jī)構(gòu)統(tǒng)計(jì)，目前互聯(lián)網(wǎng)的數(shù)據(jù)以幾百兆字節(jié)來(lái)計(jì)算，而且增長(zhǎng)速度很快，如果將這個(gè)龐大的數(shù)據(jù)庫(kù)用一般的統(tǒng)計(jì)分析來(lái)處理的話，顯然是有心無(wú)力的。自從數(shù)據(jù)挖掘技術(shù)成功地應(yīng)用于傳統(tǒng)數(shù)據(jù)庫(kù)領(lǐng)域之后，人們對(duì)于數(shù)據(jù)挖掘在像互聯(lián)網(wǎng)數(shù)據(jù)這樣的一些特殊數(shù)據(jù)源的應(yīng)用也寄予了厚望，并且做了許多相應(yīng)的研究和發(fā)展了相應(yīng)的技術(shù)。將數(shù)據(jù)挖掘技術(shù)應(yīng)用到互聯(lián)網(wǎng)數(shù)據(jù)上，理論上可行，但是由于互聯(lián)網(wǎng)自身的特點(diǎn)，也使它面臨一些需要克服的技術(shù)難點(diǎn)。

可以說(shuō)，在互聯(lián)網(wǎng)上應(yīng)用數(shù)據(jù)挖掘技術(shù)的前途是光明的，但道路也是曲折的。目前互聯(lián)網(wǎng)上的數(shù)據(jù)挖掘技術(shù)主要根據(jù)挖掘的方向一般分為三類(lèi)：Web內(nèi)容挖掘，Web結(jié)構(gòu)挖掘和Web使用記錄的挖掘。而結(jié)構(gòu)本來(lái)就蘊(yùn)藏在內(nèi)容中，是內(nèi)容的骨，因此有些分類(lèi)方法又分為Web內(nèi)容挖掘和Web使用記錄挖掘。這里按照后一種分類(lèi)方法來(lái)看一下目前的相關(guān)技術(shù)和應(yīng)用。

二、技術(shù)

(一)Web日志

目前市面上比較流行的Web服務(wù)器，例如IIs通常都保存了對(duì)Web頁(yè)面的每一次訪問(wèn)的日志項(xiàng)。它忠實(shí)地記錄了訪闖該Web服務(wù)器的數(shù)據(jù)流的信息。日志文件記錄些什么內(nèi)容還可以根據(jù)客戶(hù)的不同需要。來(lái)調(diào)整記錄些什么信息。

(=)數(shù)據(jù)挖掘的必要性

通常Web服務(wù)器每天都會(huì)新開(kāi)一個(gè)日志文件，在流量比較大的網(wǎng)站，這些Web文件的大小往往達(dá)到幾百兆甚至更多，因此要能有效地分析和處理這些日志文件，用數(shù)據(jù)挖掘技術(shù)是最好不過(guò)了。對(duì)于簡(jiǎn)單的網(wǎng)站結(jié)構(gòu)，可能分析處理一個(gè)Web的日志文件就可以了，但是通常對(duì)于一些比較大的門(mén)戶(hù)網(wǎng)站來(lái)說(shuō)，一個(gè)門(mén)戶(hù)網(wǎng)站往往是好幾十個(gè)甚至上百個(gè)web服務(wù)器組成一個(gè)集群來(lái)對(duì)外服務(wù)的，在分析這些網(wǎng)站的日志文件時(shí)候，就需要采取分布式的W