數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)-試題答案.doc

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)答案一、簡(jiǎn)答1.為什么需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理？數(shù)據(jù)預(yù)處理主要包括哪些工作（需要對(duì)數(shù)據(jù)進(jìn)行哪些方面預(yù)處理）? （1）現(xiàn)實(shí)世界的數(shù)據(jù)是雜亂的，數(shù)據(jù)多了什么問(wèn)題會(huì)出現(xiàn)。數(shù)據(jù)庫(kù)極易受到噪音數(shù)據(jù)(包含錯(cuò)誤或孤立點(diǎn)）、遺漏數(shù)據(jù)（有些感興趣的屬性缺少屬性值或僅包含聚集數(shù)據(jù)）和不一致數(shù)據(jù)（在編碼或者命名上存在差異）的侵?jǐn)_，因?yàn)閿?shù)據(jù)庫(kù)太大，常常多達(dá)幾G或更多。進(jìn)行數(shù)據(jù)預(yù)處理，提高數(shù)據(jù)質(zhì)量，從而提高挖掘結(jié)果質(zhì)量。 （2）數(shù)據(jù)預(yù)處理主要包括：數(shù)據(jù)清理：去除數(shù)據(jù)中的噪音、糾正不一致；數(shù)據(jù)集成：將數(shù)據(jù)由多個(gè)源合并成一致的數(shù)據(jù)存儲(chǔ)，如數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)方；數(shù)據(jù)交換：規(guī)范化或聚集可以改進(jìn)涉及距離度量的挖掘算法精度和有效性；數(shù)據(jù)歸約：通過(guò)聚集、刪除冗余特征或聚類等方法來(lái)壓縮數(shù)據(jù)。數(shù)據(jù)離散化：屬于數(shù)據(jù)歸約的一部分，通過(guò)概念分層和數(shù)據(jù)的離散化來(lái)規(guī)約數(shù)據(jù)，對(duì)數(shù)字型數(shù)據(jù)特別重要。2. 什么叫有監(jiān)督學(xué)習(xí)？什么叫無(wú)監(jiān)督學(xué)習(xí)？ 監(jiān)督學(xué)習(xí)（Supervised learning） 是通過(guò)發(fā)現(xiàn)數(shù)據(jù)屬性和類別屬性之間的關(guān)聯(lián)模式，并通過(guò)利用這些模式來(lái)預(yù)測(cè)未知數(shù)據(jù)實(shí)例的類別屬性。監(jiān)督學(xué)習(xí)又稱為分類Classification或歸納學(xué)習(xí)Inductive Learning。 無(wú)監(jiān)督學(xué)習(xí)（Unsupervised learning）即聚類技術(shù)。在一些應(yīng)用中，數(shù)據(jù)的類別屬性是缺失的，用戶希望通過(guò)瀏覽數(shù)據(jù)來(lái)發(fā)現(xiàn)其的某些內(nèi)在結(jié)構(gòu)。聚類就是發(fā)現(xiàn)這種內(nèi)在結(jié)構(gòu)的技術(shù)。3.什么是數(shù)據(jù)倉(cāng)庫(kù)的星形模式？它與雪花模式有何不同？ 雪花模式與星形模式不同在于：雪花模式的維表可能是規(guī)范化形式，以便減少冗余。這種表易于維護(hù)，并節(jié)省存儲(chǔ)空間，因?yàn)楫?dāng)維結(jié)構(gòu)作為列包含在內(nèi)時(shí)，大維表可能非常大。然而，與巨大的事實(shí)表相比，這種空間的節(jié)省可以忽略。此外，由于執(zhí)行查詢更多的連接操作，雪花結(jié)構(gòu)可能降低瀏覽的性能。這樣系統(tǒng)的性能可能受影響。因此，在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中，雪花模式不如星形模式流行。二、寫出偽代碼 三答：（1）所有頻繁項(xiàng)集為：E,K,O K,M K,Y(2) 關(guān)聯(lián)規(guī)則:O-E,K1.0E,O - K1.0K,O - E1.0M - K1.0Y - K 1.0答：a) 決策樹(shù)表示一種樹(shù)型結(jié)構(gòu)，它由它的分來(lái)對(duì)該類型對(duì)象依靠屬性進(jìn)行分類。每個(gè)決策樹(shù)可以依靠對(duì)源數(shù)據(jù)庫(kù)的分割進(jìn)行數(shù)據(jù)測(cè)試。這個(gè)過(guò)程以遞歸的方式對(duì)樹(shù)進(jìn)行修剪。當(dāng)不能再分割時(shí)，遞歸完成。因此決策樹(shù)不會(huì)無(wú)限循環(huán)。b) 0c) sized) Children,SIN,classpublicclassBayesClassifierprivateTrainingDataManagertdm;/訓(xùn)練集管理器privateStringtrainnigDataPath;/訓(xùn)練集路徑privatestaticdoublezoomFactor=10.0f;/*默認(rèn)的構(gòu)造器，初始化訓(xùn)練集*/publicBayesClassifier()tdm=newTrainingDataManager();/*計(jì)算給定的文本屬性向量X在給定的分類Cj中的類條件概率*ClassConditionalProbability連乘值*paramX給定的文本屬性向量*paramCj給定的類別*return分類條件概率連乘值，即*/floatcalcProd(StringX,StringCj)floatret=1.0F;/類條件概率連乘for(inti=0;iX.length;i+)StringXi=Xi;ret*=ClassConditionalProbability.calculatePxc(Xi,Cj)*zoomFactor;/再乘以先驗(yàn)概率ret*=PriorProbability.calculatePc(Cj);returnret;/*去掉停用詞*paramtext給定的文本*return去停用詞后結(jié)果*/publicStringDropStopWords(StringoldWords)Vectorv1=newVector();for(inti=0;ioldWords.length;+i)if(StopWordsHandler.IsStopWord(oldWordsi)=false)/不是停用詞v1.add(oldWordsi);StringnewWords=newStringv1.size();v1.toArray(newWords);returnnewWords;/*對(duì)給定的文本進(jìn)行分類*paramtext給定的文本*return分類結(jié)果*/SuppressWarnings(unchecked)publicStringclassify(Stringtext)Stringterms=null;terms=ChineseSpliter.split(text,).split();/中文分詞處理(分詞后結(jié)果可能還包含有停用詞）terms=DropStopWords(terms);/去掉停用詞，以免影響分類StringClasses=tdm.getTraningClassifications();/分類floatprobility=0.0F;Listcrs=newArrayList();/分類結(jié)果for(inti=0;iClasses.length;i+)StringCi=Classesi;/第i個(gè)分類probility=calcProd(terms,Ci);/計(jì)算給定的文本屬性向量terms在給定的分類Ci中的分類條件概率/保存分類結(jié)果ClassifyResultcr=newClassifyResult();cr.classification=Ci;/分類bility=probility;/關(guān)鍵字在分類的條件概率System.out.println(Inprocess.);System.out.println(Ci+：+probility);crs.add(cr);/對(duì)最后概率結(jié)果進(jìn)行排序java.util.Collections.sort(crs,newComparator()publicintcompare(finalObjecto1,finalObjecto2)finalClassifyResultm1=(ClassifyResult)o1;finalClassifyResultm2=(ClassifyResult)o2;finaldoubleret=bility;if(ret0)return1;elsereturn-1;);/返回概率最大的分類returncrs.get(0).classification;（1）最臨近分類是基于要求的或懶散的學(xué)習(xí)法。因?yàn)樗娣潘杏?xùn)練樣本，并且直至新的樣本需要分類時(shí)才建立分類。begin 初始化 n x n距離矩陣D，初始化混淆矩陣C，設(shè)置t=0 , TotAcc = 0 , NumIterations為要迭代次數(shù)。計(jì)算所有輸入樣本和存儲(chǔ)在D矩陣中的距離。For t=1 to NumIterations doSet c = 0 , Ntotal=0將輸入樣本劃分為k個(gè)同等大小的分組For fold=1 to k do指定第fold個(gè)樣本進(jìn)行測(cè)試，并且使用原來(lái)訓(xùn)練樣本。設(shè)置Ntest為要測(cè)試樣本數(shù)量。Set Ntotal = Ntotal+NtestF