商務(wù)智能課件：7_Web_mining

1、Web挖掘基礎(chǔ)提綱Web挖掘的概念Web內(nèi)容挖掘Web結(jié)構(gòu)挖掘Web日志挖掘知識WWWWeb 挖掘的挑戰(zhàn)Web數(shù)據(jù)量太龐大：Server Level Collection、Client Level Collection和 Proxy Level CollectionWeb數(shù)據(jù)的復(fù)雜性高于傳統(tǒng)的文本文檔Web是一個動態(tài)性極強的信息源Web面對的是一個廣泛的用戶群體Web上的信息只有很小的一部分是相關(guān)的或有用的Web挖掘與IRWeb上的IR是Web挖掘的一個方面，僅是對信息有序化。Web挖掘是智能化的IR，IR出現(xiàn)早，技術(shù)成熟。Web挖掘概念Web挖掘是從大量Web文檔的集合C中發(fā)現(xiàn)隱含的、有用的

2、模式P的過程：CP 。Web挖掘主要處理文本、圖形和圖像等半結(jié)構(gòu)、非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)分布在Web文檔、Web服務(wù)器的日志、用戶cookies等 。Web挖掘分類 Web挖掘類項目Web內(nèi)容挖掘Web結(jié)構(gòu)挖掘Web日志挖掘處理數(shù)據(jù)類型IR方法：無結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)Web結(jié)構(gòu)數(shù)據(jù)用戶訪問Web數(shù)據(jù)主要數(shù)據(jù)自由化文本、HTML標記的超文本W(wǎng)eb文檔內(nèi)及文檔間的超鏈Serverlog,Proxy serverlog,Client log表示方法詞集、段落、概念、IR的三種經(jīng)典模型圖關(guān)系表、圖處理方法統(tǒng)計、機器學(xué)習(xí)、自然語言理解機器學(xué)習(xí)、專有算法統(tǒng)計、機器學(xué)習(xí)、關(guān)聯(lián)規(guī)則主要應(yīng)用分類、聚類、模式發(fā)

3、現(xiàn)頁面權(quán)重分類聚類模式發(fā)現(xiàn)Web站點重建，商業(yè)決策Web內(nèi)容挖掘 基于網(wǎng)頁內(nèi)容或其描述中抽取知識的過程。Web內(nèi)容挖掘主要包括文本挖掘和多媒體挖掘兩類，其挖掘?qū)ο蟀ㄎ谋?、圖像、音頻、視頻和其他各種類型的數(shù)據(jù)。日志的預(yù)處理IP AddressTime/DateMethod/URIReferrerAgent15:30:01/2-Jan-01GET Index.htm/link.htmMozilla/4.0(IE5.0W98)15:30:01/2-Jan-01GET 1.htm/index.htmMozilla/4.0(IE5.0W98)15:30:01/2-Jan-01GET A.htm/ind

4、ex.htmMozilla/4.0(IE5.0W98)15:37:09/2-Jan-01GET E.htm/C.htmMozilla/4.0(IE5.0W98)15:33:04/2-Jan-01GET Index.htm/res.phpMozilla/4.0(IE4.0NT)15:33:04/2-Jan-01GET 1.htm/index.htmMozilla/4.0(IE4.0NT)15:33:04/2-Jan-01GET A.htm/index.htmMozilla/4.0(IE4.0NT)15:35:11/2-Jan-01GET B.htm/A.htmMozilla/4.0(IE4.0N

5、T)15:35:11/2-Jan-01GET C.htm/A.htmMozilla/4.0(IE5.0W98)Web文本挖掘 Web文本挖掘針對包括Web頁面內(nèi)容、頁面結(jié)構(gòu)和用戶訪問信息等在內(nèi)的各種Web數(shù)據(jù)，應(yīng)用數(shù)據(jù)挖掘方法發(fā)現(xiàn)有用的知識幫助人們從大量Web文檔集中發(fā)現(xiàn)隱藏的模式。Web文本挖掘的方法 文本概括：從文本（集）中抽取關(guān)鍵信息，用簡潔的形式總結(jié)文本（集）的主題內(nèi)容。例如搜索引擎在向用戶返回查詢結(jié)果時，通常需要給出文本摘要。文本分類 ：把一些被標記的文本作為訓(xùn)練集，找到文本屬性和文本類別之間的關(guān)系模型，然后利用這種關(guān)系模型判斷新文本的類別。召回率和精度。 文本聚類：根據(jù)文本的不同特

6、征劃分為不同的類。從大量文檔中發(fā)現(xiàn)一對詞語出現(xiàn)模式的關(guān)聯(lián)分析以及特定數(shù)據(jù)在未來的情況預(yù)測。 Web文本挖掘的應(yīng)用 搜索引擎領(lǐng)域：利用Web文本挖掘可以更合理地組織搜索結(jié)果：按照頁面之間的相似程度分為若干簇。自然語言理解領(lǐng)域：結(jié)合自然語言處理技術(shù)和Web文本挖掘技術(shù)。文本挖掘在垃圾郵件過濾中的應(yīng)用TF-IDF（1）TF-IDF（term frequencyinverse document frequency）是一種用于信息檢索與文本挖掘的常用加權(quán)技術(shù)，用以評估一字詞對于一個文件集的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)增加，但同時會隨著它在語料庫中出現(xiàn)的頻率成反比下降。如果

7、某個詞或短語在一篇文章中出現(xiàn)的頻率TF高，并且在其他文章中很少出現(xiàn)，則認為此詞或者短語具有很好的類別區(qū)分能力，適合用來分類。，如果一個詞條在一個類的文檔中頻繁出現(xiàn)，則說明該詞條能夠很好代表這個類的文本的特征，這樣的詞條應(yīng)該給它們賦予較高的權(quán)重，并選來作為該類文本的特征詞以區(qū)別與其它類文檔。TF-IDF（2）Web多媒體挖掘 Web多媒體挖掘是從大量多媒體數(shù)據(jù)中通過綜合分析視聽特性和語義，發(fā)現(xiàn)隱含的、有價值的和可理解的模式，得出事件的趨向和關(guān)聯(lián)，為用戶提供決策支持。 多媒體挖掘包括圖像挖掘、視頻挖掘和音頻挖掘等類別。多媒體挖掘系統(tǒng)的結(jié)構(gòu)多媒體挖掘的典型應(yīng)用 視頻挖掘：從電影、監(jiān)控錄像等視頻數(shù)據(jù)中

8、提取視頻場景內(nèi)容和其中運動對象的特征及其時空位置變化，并在此基礎(chǔ)上發(fā)現(xiàn)場景的內(nèi)容特征，運動對象的行為模式和事件模式等。在線診療系統(tǒng)：對新產(chǎn)生的醫(yī)學(xué)圖像進行分類，從而對病人進行疾病的診斷。Web結(jié)構(gòu)挖掘 有用的知識不僅存在于Web頁面間的鏈接結(jié)構(gòu)和Web頁面內(nèi)部結(jié)構(gòu)，而且也存在于URL中的目錄路徑結(jié)構(gòu)（頁面之間的目錄結(jié)構(gòu)關(guān)系）。Web結(jié)構(gòu)挖掘是指挖掘Web鏈接結(jié)構(gòu)模式，即通過分析頁面鏈接的數(shù)量和對象，從而建立Web的鏈接結(jié)構(gòu)模式。Web結(jié)構(gòu)挖掘主要方法PageRank算法HITS算法WebLogIndexSESpiderSpamFreshnessQuality results20M querie

9、s/dayBrowser800M pages?24x7SESEPageRank算法PRi ：the PageRank value of page iPRj : the PageRank value of page jkj ：number of the pages j refer tod：a parameter ranging 0,1.Web結(jié)構(gòu)挖掘的應(yīng)用 信息檢索 社區(qū)識別 網(wǎng)站優(yōu)化 Web日志挖掘 Web日志挖掘是從用戶訪問日志（包括搜索引擎日志等）中獲取有價值的信息，即通過分析Web日志數(shù)據(jù)，發(fā)現(xiàn)訪問者存取Web頁面的模式。理解用戶的行為，改進站點結(jié)構(gòu)，發(fā)現(xiàn)潛在用戶，為用戶提供個性化的服務(wù)

10、，增強網(wǎng)站的競爭力。 Web日志挖掘的應(yīng)用 獲取用戶訪問模式信息，理解用戶的意圖和行為分析用戶的存取模式，為用戶提供個性化的服務(wù)確定網(wǎng)站的潛在客戶群，合理制訂網(wǎng)絡(luò)廣告策略等改進Web站點的結(jié)構(gòu)，使網(wǎng)站點隨時間、用戶需求的變化而不斷調(diào)整對日志數(shù)據(jù)進行多種統(tǒng)計，包括頻繁訪問頁、單位時間訪問頻度、訪問量的時間分布等利用關(guān)聯(lián)規(guī)則確定相關(guān)Web查詢（查詢修正）隱私保護數(shù)據(jù)挖掘數(shù)據(jù)挖掘可能會違反用戶的隱私在原始數(shù)據(jù)庫中，類似于標識符、姓名、地址和喜好等數(shù)據(jù)作為用戶的隱私應(yīng)該被保護。對用戶的敏感的原始數(shù)據(jù)進行變換，以便數(shù)據(jù)的使用者不能對用戶的原始數(shù)據(jù)進行查看，以此保護用戶的私有數(shù)據(jù)。病人原始病歷編號姓名性別年齡是否發(fā)熱呼吸困難淋巴細胞數(shù)(109/L)1張三男40是是1.22李四男25否是0.63王五女29是是0.8轉(zhuǎn)換后的病歷信息0086504692021245979200711648800153471795024892906000165286910000000012026762574400000