Web數(shù)據(jù)挖掘的研究現(xiàn)狀及發(fā)展

1、WetM據(jù)挖掘的研究現(xiàn)狀及發(fā)展1. Web挖掘概述隨著以數(shù)據(jù)庫、數(shù)據(jù)倉庫等數(shù)據(jù)倉儲技術(shù)為基礎(chǔ)的信息系統(tǒng)在各行各業(yè)的應(yīng)用，使海量數(shù)據(jù)不斷產(chǎn)生。隨之而來的問題是如此多的數(shù)據(jù)讓人難以消化，無法從表面上看出他們所蘊(yùn)涵的有用信息，更不用說有效地指導(dǎo)進(jìn)一步的工作。如何從大量的數(shù)據(jù)中找到真正有用的信息成為人們關(guān)注的焦點(diǎn)，數(shù)據(jù)挖掘技術(shù)也正是伴隨著這種需求從研究走向應(yīng)用。近年來，隨著Internet/Web 技術(shù)的快速普及和迅猛發(fā)展，使各種信息可以以非常低的成本在網(wǎng) 絡(luò)上獲得，由于Internet/WWW在全球互連互通，可以從中取得的數(shù)據(jù)量難以計(jì)算，而且 Internet/WWW的發(fā)展趨勢繼續(xù)看好，特別是電子商

2、務(wù)的蓬勃發(fā)展為網(wǎng)絡(luò)應(yīng)用提供了強(qiáng)大支持， 如何在WWW:個(gè)全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)有用信息無疑將成為數(shù)據(jù)挖掘研究的熱點(diǎn)。Web挖掘指使用數(shù)據(jù)挖掘技術(shù)在可小承據(jù)中發(fā)現(xiàn)潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個(gè)研究領(lǐng)域，包括數(shù)據(jù)庫技術(shù)、信息獲取技術(shù)、統(tǒng)計(jì)學(xué)、人工智能中的機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等。2. Web挖掘流程與傳統(tǒng)數(shù)據(jù)和數(shù)據(jù)倉庫相比，Web上的信息是非結(jié)構(gòu)化或半結(jié)構(gòu)化的、動態(tài)的、并且是容易造成混淆的，所以很難直接以Web網(wǎng)頁上的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，而必須經(jīng)過必要的數(shù)據(jù)處理。典型Web挖掘的處理流程如下 3：1 .查找資源：任務(wù)是從目標(biāo) Web文檔中得到數(shù)據(jù)，值得注意的是有時(shí)信息資源不僅限于在

3、線Web文檔，還包括電子郵件、電子文檔、新聞組，或者網(wǎng)站的日志數(shù)據(jù)甚至是通過Web形成的交易數(shù)據(jù)庫中的數(shù)據(jù)。2. 信息選擇和預(yù)處理：任務(wù)是從取得的Web資源中剔除無用信息和將信息進(jìn)行必要的整理。例如從Web文檔中自動去除廣告連接、去除多余格式標(biāo)記、自動識別段落或者字段并將數(shù)據(jù)組織成規(guī)整的邏輯形式甚至是關(guān)系表。3. 模式發(fā)現(xiàn)：自動進(jìn)行模式發(fā)現(xiàn)?？梢栽谕粋€(gè)站點(diǎn)內(nèi)部或在多個(gè)站點(diǎn)之間進(jìn)行。4. 模式分析：驗(yàn)證、解釋上一步驟產(chǎn)生的模式?？梢允菣C(jī)器自動完成，也可以是與分析人員進(jìn) 行交互來完成。Web挖掘作為一個(gè)完整的技術(shù)體系，在進(jìn)行挖掘之前的信息獲得IR (Information Retrieval )

4、和信息抽取IE(Information Extraction)相當(dāng)重要。信息獲得(IR)的目的在于找到相關(guān)Web文檔，它只是把文檔中的數(shù)據(jù)看成未經(jīng)排序的詞組的集合，而信息抽取(IE)的目的在于從文檔中找到需要的數(shù)據(jù)項(xiàng)目，它對文檔的結(jié)構(gòu)合表達(dá)的含義感興趣，它得一個(gè)重要任務(wù)就是對數(shù)據(jù)進(jìn)行組織整理并適當(dāng)建立索引。信息獲得(IR)和信息抽取(IE)技術(shù)的研究已近有很長時(shí)間，隨著Web技術(shù)的發(fā)展，基于 Web技術(shù)的IR、IE得到了更多的重視。由于Web數(shù)據(jù)量非常大，而且可能動態(tài)變化，用原來手工方式進(jìn)行信息收集早已經(jīng)力不從心，目前的研究方向是用自動化、半自動化的方法在Web上進(jìn)行IR和IE。在 We啊境下

5、既要處理非結(jié)構(gòu)化文檔，又要處理半結(jié)構(gòu)化的數(shù)據(jù)，最近幾年在這兩方 面都有相應(yīng)的研究成果和具體應(yīng)用，特別是在大型搜索引擎中得到了很好的應(yīng)用。3. Web挖掘分類及各自的研究現(xiàn)狀及發(fā)展 根據(jù)對Web數(shù)據(jù)的感興趣程度不同，Web挖掘一般可以分為三類：Web內(nèi)容挖掘(Web Contentmining )、 Web 結(jié)構(gòu)挖掘( Web structure mining )、 Web 用法挖掘(Web usage Mining )3. 1、Web內(nèi)容挖掘： 指從Web內(nèi)容/數(shù)據(jù)/文檔中發(fā)現(xiàn)有用信息，Web上的信息五花八門，傳統(tǒng)的 Internet由各種類型的服務(wù)和數(shù)據(jù)源組成，包括WWW FTP、Telne

6、t等，現(xiàn)在有更多的數(shù)據(jù)和端口可以使用，比如政府信息服務(wù)、數(shù)字圖書館、電子商務(wù)數(shù)據(jù)，以及其他各種通過Web可以訪問的數(shù)據(jù)庫。Web內(nèi)容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數(shù)據(jù)。其中針對無結(jié)構(gòu)化 文本進(jìn)行的Web挖掘被歸類到基于文本的知識發(fā)現(xiàn)(KDT)領(lǐng)域，也稱文本數(shù)據(jù)挖掘或文本挖掘，是Web挖掘中比較重要的技術(shù)領(lǐng)域，也引起了許多研究者的關(guān)注。最近在Web多媒體數(shù)據(jù)挖掘方面的研究成為另一個(gè)熱點(diǎn)。 Web內(nèi)容挖掘一般從兩個(gè)不同的觀點(diǎn)來進(jìn)行研究。從資源查找( IR)的觀點(diǎn)來看，Web內(nèi)容挖掘的任務(wù)是從用戶的角度出發(fā)，怎樣提高信息質(zhì)量和幫助用戶過濾信息。而從DB的角度講Web內(nèi)容

7、挖掘的任務(wù)主要是試圖對Web上的數(shù)據(jù)進(jìn)行集成、建模，以支持對Web數(shù)據(jù)的復(fù)雜查詢。3. 1 . 1從資源查找(Information Retrival )的觀點(diǎn)挖掘非結(jié)構(gòu)化文檔：非結(jié)構(gòu)化文檔主要指 Web上的自由文本，包括小說、新聞等。在這方面的研究相對比較多一些， 大部分研究都是建立在詞匯袋(bag of words )或稱向量表示法(vector representation )的基礎(chǔ)上，這種方法將單個(gè)的詞匯看成文檔集合中的屬性，只從統(tǒng)計(jì)的角度將詞匯孤立地看待而忽略該詞匯出現(xiàn)的位置和上下文環(huán)境。屬性可以是布爾型，根據(jù)詞匯是否在文檔中出現(xiàn)而定，也可以有頻度，即該詞匯在文檔中的出現(xiàn)頻率。這種方

8、法可以擴(kuò)展為選擇終結(jié)符、標(biāo)點(diǎn)符號、不常用詞匯的屬性作為考察集合。詞匯袋方法的一個(gè)弊端是自由文本中的數(shù)據(jù)豐富，詞匯量非常大，處理起來很困難，為解決這個(gè)問題人們做了相應(yīng)的研究，采取了不同技術(shù)，如信息增益，交叉炳、 差異比等，其目的都是為了減少屬性。另外，一個(gè)比較有意義的方法是潛在語義索引(LatentSemantic Indexing ),它通過分析不同文檔中相同主題的共享詞匯，找到他們共同的根，用這 個(gè)公共的根代替所有詞匯，以此來減少維空間。例如：“informing ”、a information ”、“informer ”、 “informed ”可以用他們的根 inform ”來表示，這樣

9、可以減少屬性集合的規(guī)模。其他的屬性表示法還有詞匯在文檔中的出現(xiàn)位置、層次關(guān)系、使用短語、使用術(shù)語、命名實(shí)體等，目前還沒有研究表明一種表示法明顯優(yōu)于另一種。用資源查找(Information Retrival )的觀點(diǎn)挖掘半結(jié)構(gòu)化文檔：與非結(jié)構(gòu)化數(shù)據(jù)相比，Web上的半結(jié)構(gòu)化文檔挖掘指在加入了HTML超連接等附加結(jié)構(gòu)的信息上進(jìn)行挖掘，其應(yīng)用包括超連接文本的分類、聚類、發(fā)現(xiàn)文檔之間的關(guān)系、提出半結(jié)構(gòu)化文檔中的模式和規(guī)則等。3. 1 . 2從數(shù)據(jù)庫(Database)的觀點(diǎn)挖掘非結(jié)構(gòu)化文檔： 數(shù)據(jù)庫技術(shù)應(yīng)用于 Web挖掘主要是為了解決 Web言息的管理和查詢問題。這些問題可以分為三類： Web信息的建

10、模和查詢；信息抽取與集成；Web站點(diǎn)建構(gòu)和重構(gòu)。從數(shù)據(jù)庫的觀點(diǎn)進(jìn)行 Web內(nèi)容挖掘主要是試圖建立 Web站點(diǎn)的數(shù)據(jù)模型并加以集成，以支持復(fù)雜 查詢，而不止是簡單的基于關(guān)鍵詞的搜索。這要通過找到 Web文檔的模式、建立Web數(shù)據(jù)倉庫或Web知識庫或虛擬數(shù)據(jù)庫來實(shí)現(xiàn)。相關(guān)研究主要是基于半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行的。數(shù)據(jù)庫觀點(diǎn)主要利用 OEM(Object Exchange Model)模型將半結(jié)構(gòu)化數(shù)據(jù)表示成標(biāo)識圖。OEM43的每個(gè)對象都有對象標(biāo)識( OID)和值，值可以是原子類型，如整型、字符串型、gif、html等，也可以是一個(gè)復(fù)合類型，以對象引用集合的形式表示。由于Web數(shù)據(jù)量非常龐大， 從應(yīng)用的角度

11、考慮，很多研究只處理辦結(jié)構(gòu)化數(shù)據(jù)的一個(gè)常用自集。一些有意義的應(yīng)用是建立多層數(shù)據(jù)庫(MLDB，每一層是它下面層次的概化，這樣就可以進(jìn)行一些特殊的查詢和信息處理。對于在半結(jié)構(gòu)化數(shù)據(jù)上的查詢語言研究也得到了人們的重視并做了專題研究。 由于在數(shù)據(jù)庫觀點(diǎn)下數(shù)據(jù)的表示方法比較特殊，其中包含了關(guān)系層次和圖形化的數(shù)據(jù)，所以大部分建立在扁平數(shù)據(jù)集合之上的數(shù)據(jù)挖掘方法不能直接使用，目前已經(jīng)有人針對多層數(shù)據(jù)庫挖掘算法進(jìn)行研究。 3. 2、Web結(jié)構(gòu)挖掘： Web結(jié)構(gòu)挖掘的對象是 Web本身的超連接，即對 Web文檔的結(jié)構(gòu)進(jìn)行挖掘。對于給定的Web文檔集合，應(yīng)該能夠通過算法發(fā)現(xiàn)他們之間連接情況的有用信息，文檔之間的超

12、連接反映了文檔之間的包含、引用或者從屬關(guān)系，引用文檔對被引用文檔的說明往往更客觀、更概括、更準(zhǔn)確。Web結(jié)構(gòu)挖掘在一定程度上得益于社會網(wǎng)絡(luò)和引用分析的研究。把網(wǎng)頁之間的關(guān)系分為 incoming連接和outgoing連接，運(yùn)用引用分析方法找到同一網(wǎng)站內(nèi)部以及不同網(wǎng)站之間的連接關(guān)系。在 Web結(jié)構(gòu)挖掘領(lǐng)域最著名的算法是HITS算法和PageRank算法。他們的共同點(diǎn)是使用一定方法計(jì)算Web頁面之間超連接的質(zhì)量，從而得到頁面的權(quán)重。著名的Clever和Google搜索引擎就采用了該類算法。 此外，Web結(jié)構(gòu)挖掘另一個(gè)嘗試是在Web數(shù)據(jù)倉庫環(huán)境下的挖掘，包括通過檢查同一臺服務(wù)器上的本地連接衡量 We

13、b結(jié)構(gòu)挖掘Web站點(diǎn)的完全性，在不同的Web數(shù)據(jù)倉庫中檢查副本以幫助定位 鏡像站點(diǎn)，通過發(fā)現(xiàn)針對某一特定領(lǐng)域超連接的層次屬性去探索信息流動如何影響Web站點(diǎn)的設(shè)計(jì)。3. 3、Web用法挖掘(Web usage Mining ):即Web使用記錄挖掘，在新興的電子商務(wù)領(lǐng)域有重要意義，它通過挖掘相關(guān)的 Web日志記錄，來發(fā)現(xiàn)用戶訪問 Web頁面的模式，通過分析日志記錄中的規(guī)律，可以識別用戶的忠實(shí)度、喜好、滿意度，可以發(fā)現(xiàn)潛在用戶，增強(qiáng)站點(diǎn)的服務(wù)競爭力。Web使用記錄數(shù)據(jù)除了服務(wù)器的日志記錄外還包括代理服務(wù)器日志、瀏覽器端日志、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、鼠標(biāo)點(diǎn)

14、擊流等一切用戶與站點(diǎn)之間可能的交互記錄?？梢奧eb使用記錄的數(shù)據(jù)量是非常巨大的，而且數(shù)據(jù)類型也相當(dāng)豐富。根據(jù)對數(shù)據(jù)源的不同處理方法，Web用法挖掘可以分為兩類，一類是將Web使用記錄的數(shù)據(jù)轉(zhuǎn)換并傳遞進(jìn)傳統(tǒng)的關(guān)系表里，再使用數(shù)據(jù)挖掘算法對關(guān)系表中的數(shù)據(jù)進(jìn)行常規(guī)挖掘；另一類是將Web使用記錄的數(shù)據(jù)直接預(yù)處理再進(jìn)行挖掘。Web用法挖掘中的一個(gè)有趣的問題是在多個(gè)用戶使用同一個(gè)代理服務(wù)器的環(huán)境下如何標(biāo)識某個(gè)用戶，如何識別屬于該用戶的會話和使用記錄，這個(gè)問題看起來不大，但卻在很大程度上影響著挖掘質(zhì)量，所以有人專門在這方面進(jìn)行了研究。通常來講，經(jīng)典的數(shù)據(jù)挖掘算法都可以直接用到Web用法挖掘上來，但為了提高挖

15、掘質(zhì)量，研究人員在擴(kuò)展算法上進(jìn)行了努力，包括復(fù)合關(guān)聯(lián)規(guī)則算法、 改進(jìn)的序列發(fā)現(xiàn)算法等。 在4中，根據(jù)數(shù)據(jù)來源、數(shù)據(jù)類型、數(shù)據(jù)集合中的用戶數(shù)量、數(shù)據(jù)集合中的服務(wù)器數(shù)量等將Web用法挖掘分為五類： 個(gè)性挖掘：針對單個(gè)用戶的使用記錄對該用戶進(jìn)行建模，結(jié)合該用戶基本信息分析他的使用習(xí)慣、個(gè)人喜好，目的是在電子商務(wù)環(huán)境下為該用戶提供與眾不同的個(gè)性化服務(wù)。 系統(tǒng)改進(jìn)：Web服務(wù)(數(shù)據(jù)庫、網(wǎng)絡(luò)等)的性能和其他服務(wù)質(zhì)量是衡量用戶滿意度的關(guān)鍵指標(biāo)， Web用法挖掘可以通過用戶的擁塞記錄發(fā)現(xiàn)站點(diǎn)的性能瓶頸，以提示站點(diǎn)管理者改進(jìn) Web緩存策略、網(wǎng)絡(luò)傳輸策略、流量負(fù)載平衡機(jī)制和數(shù)據(jù)的分布策略。此外，可以通過分析網(wǎng)絡(luò)

16、的非法入侵?jǐn)?shù)據(jù)找到系統(tǒng)弱點(diǎn)，提高站點(diǎn)安全性，這在電子商務(wù)環(huán)境下尤為重要。 站點(diǎn)修改：站點(diǎn)的結(jié)構(gòu)和內(nèi)容是吸引用戶的關(guān)鍵。Web用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點(diǎn)設(shè)計(jì)者提供改進(jìn)的依，比如頁面連接情況應(yīng)如何組織、那些頁面應(yīng)能夠直接訪問等。智能商務(wù)：用戶怎樣使用Web站點(diǎn)的信息無疑是電子商務(wù)銷售商關(guān)心的重點(diǎn)，用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個(gè)步驟，Web用法挖掘可以通過分析用戶點(diǎn)擊流等Web日志信息挖掘用戶行為的動機(jī)，以幫助銷售商合理安排銷售策略。 Web特征描述：這類研究跟關(guān)注這樣通過用戶對站點(diǎn)的訪問情況統(tǒng)計(jì)各個(gè)用戶在頁面上的交互 情況，對用戶訪問情況進(jìn)行特征描述。4.

17、 結(jié)束語盡管Web挖掘的形式和研究方向?qū)映霾桓F，但我認(rèn)為隨著電子商務(wù)的興起和迅猛發(fā)展，未來Web挖掘的一個(gè)重要應(yīng)用方向?qū)⑹请娮由虅?wù)系統(tǒng)。而與電子商務(wù)關(guān)系最為密切的是用法挖掘(UsageMining ),也就是說在這個(gè)領(lǐng)域?qū)掷m(xù)得到更多的重視。另外，在搜索引擎的研究方面，結(jié)構(gòu) 挖掘的研究已經(jīng)相對成熟，基于文本的內(nèi)容挖掘也已經(jīng)有許多研究，下一步將會有更多的研究者把多媒體挖掘最為研究方向。參考又獻(xiàn)：1 Jiawei Han , Micheline Kamber. DataMining: Concept and Techniques. Morgan Kaufmann Publishers,Inc.2

18、001.2 3 R. Kosla and H. Blockeel, “Web mining research a survey, " SIG KDD Explorations ,vol. 2, pp. 115, July 2000.4 J. Srivastava, R. Cooley, M. Deshpande and P. Tan, Web usage mining:discovery andapplications of usage patterns from web data.SIGKDDExplorations , 1(2):1223, 2000.5 .S.K.Madria,S.S.Bhowmick,W.K.Ng,and E.P.Lim.Research issues in web data mining.InProceedings of Data Warehousing and Knowledge Discovery,First International Conference,DaWa