數(shù)據(jù)挖掘系統(tǒng)

1、第一部分數(shù)據(jù)挖掘的基礎(chǔ)知識一、數(shù)據(jù)、信息、知識與智慧人類的各項活動都是基于人類的智慧和知識，即對外部世界的觀察和了解，做出正確的判斷和決策以及采取正確的行動，而數(shù)據(jù)僅僅是人們用各種工具和手段觀察外部世界所得到的原始材料，它本身沒有任何意義。從數(shù)據(jù)到知識再到智慧，需要經(jīng)過分析加工處理精煉的過程。(1) 數(shù)據(jù)是原材料，它只是描述發(fā)生了什么事，并不能構(gòu)成決策或行動的可靠基礎(chǔ)。(2) 通過對數(shù)據(jù)進行分析找出其中的關(guān)系，賦予數(shù)據(jù)以某種意義和關(guān)聯(lián)，這就形成所謂信息。信息雖然給出了數(shù)據(jù)中一些有一定意義的東西，但它往往和人們需要完成的任務(wù)沒有直接的聯(lián)系，也還不能作為判斷、決策和行動的依據(jù)。(3) 對信息進行再

2、加工，即進行更深入的歸納分析，方能獲得更有用的信息，即知識。而所謂知識，可定義為“信息塊中的一組邏輯聯(lián)系，其關(guān)系是通過上下文或過程的貼近度發(fā)現(xiàn)的“。從信息中理解其模式，即形成知識。在大量知識積累基礎(chǔ)上，總結(jié)出原理和法則，就形成所謂智慧。二、數(shù)據(jù)挖掘的定義與流程OLAP(OnLineAnalyticalprocessing)是一種進行實時分析和產(chǎn)生相應(yīng)報表的在線分析工具，允許用戶以交互方式瀏覽數(shù)據(jù)倉庫(datawarehousing,它是為了便于分析針對特定主題(subject-oriented)的集成化的、時變的(time-variant)即提供存貯510年或更長時間的數(shù)據(jù)，這些數(shù)據(jù)一旦存入就

3、不再發(fā)生變化)內(nèi)容，并對其中數(shù)據(jù)進行多維分析，且能及時地從變化和不太完整的數(shù)據(jù)中提取出與企業(yè)經(jīng)營活動密切相關(guān)的信息。OLAP是數(shù)據(jù)分析手段的一大進步，以往的分析工具所能得到的報告結(jié)果只能回答“什么"(what),而OLAP的分析結(jié)果能回答“為什么"(why)。但OLAP分析過程是建立在對用戶深藏在數(shù)據(jù)中的某種知識有預(yù)感的和假設(shè)的前提下，由用戶指導(dǎo)的信息分析與知識發(fā)現(xiàn)過程。對于數(shù)據(jù)倉庫中埋藏的豐富的、不為用戶所知的有用信息和知識，就需要有基于計算機與信息技術(shù)的智能化自動工具，來幫助挖掘隱藏在數(shù)據(jù)中的各類知識。這類工具不應(yīng)基于用戶假設(shè)，而應(yīng)能自身生成多種假設(shè)；再用數(shù)據(jù)倉庫(或大

4、型數(shù)據(jù)庫)中的數(shù)據(jù)進行檢驗或驗證；然后返回用戶最有價值的檢驗結(jié)果。此外這類工具還應(yīng)能適應(yīng)現(xiàn)實世界中數(shù)據(jù)的多種特性(即量大、含噪音、不完整、動態(tài)、稀疏性、異質(zhì)、非線性等)。數(shù)據(jù)挖掘，又稱為數(shù)據(jù)庫中知識發(fā)現(xiàn)(KnowledgeDiscoveryfromDatabase，簡稱KDD),它是一個從大量數(shù)據(jù)中抽取挖掘出未知的，有價值的模式或規(guī)律等知識的復(fù)雜過程。數(shù)據(jù)挖掘的全過程包括：數(shù)據(jù)清洗(dataclearning),其作用就是清除數(shù)據(jù)噪音和與挖掘主題明顯無關(guān)的數(shù)據(jù)；數(shù)據(jù)集成(dataintegration),其作用就是將來自多數(shù)據(jù)源中的相關(guān)數(shù)據(jù)組合到一起；數(shù)據(jù)轉(zhuǎn)換(datatransformati

5、on),其作用就是將數(shù)據(jù)轉(zhuǎn)換為易于數(shù)據(jù)挖掘的數(shù)據(jù)存儲形式；數(shù)據(jù)挖掘(datamining),它是知識挖掘的一個基本步驟，其作用就是利用智能方法挖掘數(shù)據(jù)模式或規(guī)律知識；模式評估(patternevaluation),其作用就是根據(jù)一定評估標(biāo)準(zhǔn)(interestingmeasures)從挖掘結(jié)果篩選出有意義的模式知識；知識表示(knowledgepresentation)其作用就是利用可視化和知識表達技術(shù)，向用戶展示所挖掘出的相關(guān)知識。三、數(shù)據(jù)挖掘與其它計算機工具的區(qū)別KDD和機器學(xué)習(xí)都是從數(shù)據(jù)中提取知識，那么兩者有什么區(qū)別呢？KDD是從現(xiàn)實世界中存在的一些具體數(shù)據(jù)中提取知識，這些數(shù)據(jù)在KDD出現(xiàn)

6、之前早已存在；而機器學(xué)習(xí)所使用的數(shù)據(jù)是專門為機器學(xué)習(xí)而特別準(zhǔn)備的數(shù)據(jù)，這些數(shù)據(jù)在現(xiàn)實世界中也許毫無意義。由于KDD使用的數(shù)據(jù)來自實際的數(shù)據(jù)庫，而且所要處理的數(shù)據(jù)量可能很大，因此KDD中的學(xué)習(xí)算法的效率和可擴充性就顯得尤為重要；此外，KDD所處理的數(shù)據(jù)由于來自現(xiàn)實世界，數(shù)據(jù)的完整性、一致性和正確性都很難保證，如何將這些數(shù)據(jù)加工成學(xué)習(xí)算法可以接收的數(shù)據(jù)？也是數(shù)據(jù)挖掘研究與開發(fā)時需要進行深入研究的問題；再者，KDD可以利用目前數(shù)據(jù)庫所取得的研究成果來加快學(xué)習(xí)過程，提高學(xué)習(xí)效率。最后一點就是，由于KDD處理的數(shù)據(jù)來自于實際的數(shù)據(jù)庫，而與這些數(shù)據(jù)庫有關(guān)的還有其他一些背景知識，這些背景知識的合理運用也會提

7、高學(xué)習(xí)算法的效率。KDD與數(shù)據(jù)庫報表工具有什么區(qū)別？數(shù)據(jù)庫報表制作工具是將數(shù)據(jù)庫中的某些數(shù)據(jù)抽取出來，經(jīng)過一些數(shù)學(xué)運算，最終以特定的格式呈現(xiàn)給用戶，而KDD則是對數(shù)據(jù)背后隱藏的特征和趨勢進行分析，最終給出關(guān)于數(shù)據(jù)的總體特征和發(fā)展趨勢。報表工具也許能夠給出上學(xué)期考試未通過及成績優(yōu)秀的學(xué)生的有關(guān)情況。但它不能找出那些考試未通過及成績優(yōu)秀的學(xué)生在哪些方面有些什么不同的特征，而數(shù)據(jù)挖掘通過對相關(guān)數(shù)據(jù)的分析，以發(fā)現(xiàn)影響學(xué)生成績的各種因素，就可以給出兩者之間的差別。數(shù)據(jù)挖掘與OLAP有何區(qū)另呢？OLAP是由用戶驅(qū)動的，一般是由分析人員預(yù)先設(shè)定一些假設(shè)，然后使用OLAP工具去幫助驗證這些假設(shè)，它提供了可使分

8、析人員很方便地進行數(shù)據(jù)分析的手段；而數(shù)據(jù)挖掘則是通過對數(shù)據(jù)的分析來自動產(chǎn)生一些假設(shè)，人們可以在這些假設(shè)的基礎(chǔ)上更有效地進行決策。四、數(shù)據(jù)挖掘功能及知識類型概念描述：定性與對比一個概念常常是對一個包含大量數(shù)據(jù)的數(shù)據(jù)集合總體情況的概述。如對一個商店所售電腦基本情況的概述總結(jié)就會獲得所售電腦基本情況的一個整體概念(如：基本上為PIII以上的兼容機)。對含有大量數(shù)據(jù)的數(shù)據(jù)集合進行概述性(summarized)的總結(jié)并獲得簡明(concise)、準(zhǔn)確(precise)的描述，這種描述就稱為概念描述(conceptdescription)o獲得概念描述的方法主要有以下兩種：(1)利用更為廣義的屬性，對所分

9、析數(shù)據(jù)進行概要總結(jié)(datacharacterization)；其中被分析的數(shù)據(jù)就稱為目標(biāo)數(shù)據(jù)集(targetclass);(2)對兩類所分析的數(shù)據(jù)特點進行對比并對對比結(jié)果給出概要性總結(jié)(datadiscrimination);而其中兩類被分析的數(shù)據(jù)集分別被稱為目標(biāo)數(shù)據(jù)集和對比數(shù)據(jù)集(contrastingclass)。數(shù)據(jù)概要總結(jié)(datacharacterization)就是利用數(shù)據(jù)描述屬性中更廣義的(屬性)內(nèi)容對其進行歸納描述。其中被分析的數(shù)據(jù)，常常可以通過簡單的數(shù)據(jù)庫查詢來獲得。如：對我校的講師情況進行概要總結(jié)(給出概念描述)。數(shù)據(jù)概要總結(jié)通常都用更廣義的關(guān)系表(generalizat

10、ionrelations)或特征描述規(guī)貝U(characteristicrules)來力口以輸出表示。在數(shù)據(jù)集對比概要總結(jié)中所使用的挖掘方法與單一數(shù)據(jù)集概要總結(jié)所使用的方法基本相同；其結(jié)果輸出形式也很類似，只是對比概要總結(jié)加入了對比描述因子以幫助區(qū)分目標(biāo)數(shù)據(jù)集與對比數(shù)據(jù)集的對比情況。對比數(shù)據(jù)概要總結(jié)的輸出結(jié)果也常常采用表格形式或?qū)Ρ纫?guī)則形式(discriminaterules)來加以描述；關(guān)聯(lián)分析關(guān)聯(lián)分析（associationanalysis）就是從給定的數(shù)據(jù)集發(fā)現(xiàn)頻繁出現(xiàn)的項集模式知識（又稱為關(guān)聯(lián)規(guī)則，associationrules）。關(guān)聯(lián)分析廣泛用于市場營銷、事務(wù)分析等應(yīng)用領(lǐng)域。通常關(guān)

11、聯(lián)規(guī)則具有：X=Y形式，即“A八4八LAAmTB1AB2ALABn"；其中A（i%1,K,m）和Bj（j1,K,n）均為屬性值（屬性=值）形式。關(guān)聯(lián)規(guī)則X=Y表示“數(shù)據(jù)庫中的滿足X中條件的記錄（tuples）也一定滿足Y中的條件”。分類與預(yù)測分類（classification）就是找出一組能夠描述數(shù)據(jù)集合典型特征的模型（或函數(shù)），以便能夠分類識別未知數(shù)據(jù)的歸屬或類別（class）,即將未知事例映射到某種離散類別之一。分類模型（或函數(shù)）可以通過分類挖掘算法從一組訓(xùn)練樣本數(shù)據(jù)（其類別歸屬已知）中學(xué)習(xí)獲得。分類挖掘所獲的分類模型可以采用多種形式加以描述輸出。其中主要的表示方法有：分類規(guī)則（

12、IF-THEN）、決策樹（decisiontrees）、數(shù)學(xué)公式（mathematicalformulae）和神經(jīng)網(wǎng)絡(luò)。分類通常用于預(yù)測未知數(shù)據(jù)實例的歸屬類別（有限離散值），如一個銀行客戶的信用等級是屬于A級、B級還是C級。但在一些情況下，需要預(yù)測某數(shù)值屬性的值（連續(xù)數(shù)值），這樣的分類就被稱為預(yù)測（predication）。盡管預(yù)測既包括連續(xù)數(shù)值的預(yù)測，也包括有限離散值的分類；但一般還是使用預(yù)測（predication）來表示對連續(xù)數(shù)值的預(yù)測；而使用分類來表示對有限離散值的預(yù)測。聚類分析聚類分析（clusteringanalysis）與分類預(yù)測方法明顯不同之處在于，后者所學(xué)習(xí)獲取分類預(yù)測模型所

13、使用的數(shù)據(jù)是已知類別歸屬（class-labeleddata）,屬于有教師監(jiān)督學(xué)習(xí)方法；而聚類分析（無論是在學(xué)習(xí)還是在歸類預(yù)測時）所分析處理的數(shù)據(jù)均是無（事先確定）類別歸屬，類別歸屬標(biāo)志在聚類分析處理的數(shù)據(jù)集中是不存在的。究其原因很簡單，它們原來就不存在，因此聚類分析屬于無教師監(jiān)督學(xué)習(xí)方法。聚類分析中，首先需要根據(jù)“各聚集（clusters）內(nèi)部數(shù)據(jù)對象間的相似度最大化；而各聚集（clusters）對象間相似度最小化”的基本聚類分析原則，以及度量數(shù)據(jù)對象之間相似度的計算公式，將聚類分析的數(shù)據(jù)對象劃分為若干組（groups）。因此一個組中數(shù)據(jù)對象間的相似度要比不同組數(shù)據(jù)對象間的相似度要大。每一個

14、聚類分析所獲得的組就可以視為是一個同類別歸屬的數(shù)據(jù)對象集合，更進一步從這些同類別數(shù)據(jù)集，又可以通過分類學(xué)習(xí)獲得相應(yīng)的分類預(yù)測模型（規(guī)則）。此外通過反復(fù)不斷地對所獲得的聚類組進行聚類分析，還可獲得初始數(shù)據(jù)集合的一個層次結(jié)構(gòu)模型。異類分析一個數(shù)據(jù)庫中的數(shù)據(jù)一般不可能都符合分類預(yù)測或聚類分析所獲得的模型。那些不符合大多數(shù)數(shù)據(jù)對象所構(gòu)成的規(guī)律（模型）的數(shù)據(jù)對象就被稱為異類（outlier）。之前許多數(shù)據(jù)挖掘方法都在正式進行數(shù)據(jù)挖掘之前就將這些異類作為噪聲或意外而將其排除在數(shù)據(jù)挖掘的分析處理范圍之內(nèi)。但在一些應(yīng)用場合，如各種商業(yè)欺詐行為的自動檢測，小概率發(fā)生的事件（數(shù)據(jù)）往往比經(jīng)常發(fā)生的事件（數(shù)據(jù)）更有

15、挖掘價值。對異類數(shù)據(jù)的分析處理通常就稱為異類挖掘。數(shù)據(jù)中的異類可以利用數(shù)理統(tǒng)計方法分析獲得，即利用已知數(shù)據(jù)所獲得的概率統(tǒng)計分布模型，或利用相似度計算所獲得的相似數(shù)據(jù)對象分布，分析確認異類數(shù)據(jù)。而偏離檢測就是從數(shù)據(jù)已有或期望值中找出某些關(guān)鍵測度顯著的變化。演化分析數(shù)據(jù)演化分析（evolutionanalysis）就是對隨時間變化的數(shù)據(jù)對象的變化規(guī)律和趨勢進行建模描述。這一建模手段包括：概念描述、對比概念描述、關(guān)聯(lián)分析、分類分析、時間相關(guān)數(shù)據(jù)（time-related）分析（這其中又包括：時序數(shù)據(jù)分析、序列或周期模式匹配，以及基于相似性的數(shù)據(jù)分析）五、數(shù)據(jù)挖掘結(jié)果的評估問題一：一個模式有價值的因素

16、是什么？答：（1）易于用戶理解；（2）對新數(shù)據(jù)或測試數(shù)據(jù)能夠確定有效程度；（3）具有潛在價值；（4）新奇的。一個有價值的模式就是知識。此外還有一些評價模式價值的客觀標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)是基于所挖掘出模式的結(jié)構(gòu)或統(tǒng)計特征。例如對于關(guān)聯(lián)規(guī)則的一個客觀評價標(biāo)準(zhǔn)就是支持率（support）,它表示滿足相應(yīng)關(guān)聯(lián)規(guī)則的事務(wù)記錄占總記錄數(shù)的比率；盡管客觀評價方法能夠幫助識別一些有意義的模式知識，但也仍然需要結(jié)合一些主觀評價措施方可有效反映用戶的需求和興趣。例如商場主觀對描述常在商場購買商品顧客的特征模型很感興趣；而對商場雇員的表現(xiàn)特征模型卻興趣不大。再者許多根據(jù)客觀評價標(biāo)準(zhǔn)是有價值的模式知識卻只是普通的常識知識（

17、實際無價值）。主觀價值評估標(biāo)準(zhǔn)是建立在用戶對數(shù)據(jù)的信念基礎(chǔ)上，這些評估標(biāo)準(zhǔn)基于所發(fā)現(xiàn)模式是否是意外的或與用戶信念相左，或能夠提供決策支持而確定的。而意料之中模式是有價值的則是指它能夠幫助確認用戶想要認可的一個假設(shè)。問題二：一個數(shù)據(jù)挖掘算法能否產(chǎn)生所有有價值的模式（知識）？即指數(shù)據(jù)挖掘算法的完全性。答：期望數(shù)據(jù)挖掘算法能夠產(chǎn)生所有可能模式是不現(xiàn)實的。實際上一個（模式）搜索方法可以利用有趣性評價標(biāo)準(zhǔn)來幫助縮小模式的搜索范圍。因此通常只需要保證挖掘算法的完全性就可以了。關(guān)聯(lián)規(guī)則的挖掘算法就是這樣的一個例子。問題三：一個數(shù)據(jù)挖掘算法能否只產(chǎn)生有價值的模式（知識）？這也是數(shù)據(jù)挖掘算法的一個最優(yōu)化問題。一

18、般當(dāng)然希望數(shù)據(jù)挖掘算法僅挖掘有價值的模式（知識），但這是一個較為棘手的最優(yōu)化高效搜索問題，至今尚沒有好的解決方法。評估所挖掘模式的趣味性（interestingness）標(biāo)準(zhǔn)對于有效挖掘出具有應(yīng)用價值數(shù)據(jù)挖掘的模式知識是十分重要的。這些標(biāo)準(zhǔn)可以直接幫助指導(dǎo)挖掘算法獲取有實際應(yīng)用價值的模式知識，以及有效摒棄無意義的模式。更為重要的是這些模式評估標(biāo)準(zhǔn)將積極指導(dǎo)整個知識發(fā)現(xiàn)過程，通過及時消除無前途的搜索路徑，提高挖掘的有效性。六、數(shù)據(jù)挖掘系統(tǒng)分類根據(jù)所挖掘的數(shù)據(jù)庫進行分類：如果按數(shù)據(jù)模型進行分類，就會有關(guān)系類型、事務(wù)類型、面向?qū)ο箢愋?、對象關(guān)系類型和數(shù)據(jù)倉庫類型等數(shù)據(jù)挖掘系統(tǒng)。如果按照所處理數(shù)據(jù)類型進行劃分，就會有空間數(shù)據(jù)類型、時序數(shù)據(jù)類型、文本類型和多媒體類型等數(shù)據(jù)挖掘系統(tǒng)，或互聯(lián)網(wǎng)挖掘系統(tǒng)。其他的系統(tǒng)類型還包括：異構(gòu)數(shù)據(jù)挖掘系統(tǒng)和歷史數(shù)據(jù)挖掘系統(tǒng)。根據(jù)所挖掘的知識進行分類：可