教材配套教學(xué)-統(tǒng)計(jì)技術(shù)課件

第7章統(tǒng)計(jì)技術(shù)之二貝葉斯分析聚類技術(shù)數(shù)據(jù)挖掘中的統(tǒng)計(jì)技術(shù)與機(jī)器學(xué)習(xí)技術(shù)第7章統(tǒng)計(jì)技術(shù)之二貝葉斯分析7.2貝葉斯分析（BayesianAnalysis）

一種參數(shù)估計(jì)方法。將關(guān)于未知參數(shù)的先驗(yàn)信息與樣本信息相結(jié)合，根據(jù)貝葉斯公式，得出后驗(yàn)信息，然后根據(jù)后驗(yàn)信息去推斷未知參數(shù)。在決策支持、風(fēng)險(xiǎn)評估、模式識別等方面都得到了很廣泛的應(yīng)用，被用來建立分類模型，就是著名的貝葉斯分類器（式7.13）貝葉斯分類器（BayesClassifier）一種簡單、功能強(qiáng)大的有指導(dǎo)分類技術(shù)。假定所有輸入屬性的重要性相等，且彼此是獨(dú)立的。16十月2023第2頁，共41頁（式7.13）7.2貝葉斯分析（BayesianAnalysis）一7.2貝葉斯分析其中——H為要檢驗(yàn)的假設(shè)，E為與假設(shè)相關(guān)的數(shù)據(jù)樣本。從分類的角度考察——假設(shè)H就是因變量，代表著預(yù)測類；數(shù)據(jù)樣本E是輸入實(shí)例屬性值的集合；P（E|H）是給定輸入實(shí)例屬性值E時(shí)，假設(shè)H為真的條件概率；P（H）為先驗(yàn)概率（prioriprobability），表示在任何輸入屬性值E出現(xiàn)之前假設(shè)的概率。條件概率和先驗(yàn)概率可以通過訓(xùn)練數(shù)據(jù)計(jì)算出來。16十月2023第3頁，共41頁7.2貝葉斯分析其中——07十月2023第3頁，共41【例7.4】基于信用卡賬單促銷數(shù)據(jù)集（表7.4），應(yīng)用貝葉斯分類器，判斷一個新實(shí)例的性別Sex。該實(shí)例的輸入屬性值為MagazinePromotion=Yes，WatchPromotion=Yes，LifeInsurancePromotion=No以及

CreditCardInsurance=No。【例7.4】基于信用卡賬單促銷數(shù)據(jù)集（表7.4），應(yīng)用貝葉斯表7.4用于貝葉斯分類器的數(shù)據(jù)集16十月2023第5頁，共41頁表7.4 用于貝葉斯分類器的數(shù)據(jù)集MagazinePromotionWatchPromotionLifeInsurancePromotionCreditCardInsuranceSexYesNoNoNoMaleYesYesYesYesFemaleNoNoNoNoMaleYesYesYesYesMaleYesNoYesNoFemaleNoNoNoNoFemaleYesYesYesYesMaleNoNoNoNoMaleYesNoNoNoMaleYesYesYesNoFemale表7.4用于貝葉斯分類器的數(shù)據(jù)集07十月2023第1、使用貝葉斯定理解決例7.4問題（1）找出先驗(yàn)信息。將Sex作為輸出屬性。表7.5依據(jù)表7.4，計(jì)算類實(shí)例個數(shù)與實(shí)例總數(shù)之比，得出每個輸入屬性的輸出屬性值的分布。（2）確定要檢驗(yàn)的假設(shè)。要檢驗(yàn)的假設(shè)H有兩個：客戶Sex為Male；客戶Sex為Female。要判斷新客戶的性別Sex，比較兩個概率值

和

的大小，概率值大的，其假設(shè)H成立。（3）計(jì)算

和

兩個概率值。計(jì)算貝葉斯公式（式7.13）中的條件概率P（E|H）、先驗(yàn)概率P（H）和P（E），即計(jì)算P(E|Sex=Male)

、P(E|Sex=female)、P(sex=male)、P(Sex=Female)和

Sex=Male及

Sex=Female的樣本數(shù)據(jù)出現(xiàn)的概率P（E）。可認(rèn)為樣本集中男女出現(xiàn)比例相同，則兩個P（E）值相等。16十月2023第6頁，共41頁1、使用貝葉斯定理解決例7.4問題（1）找出先驗(yàn)信息。071、使用貝葉斯定理解決例7.4問題

MagazinePromotionWatchPromotionLifeInsurancePromotionCreditCardInsuranceSexMaleFemaleMaleFemaleMaleFemaleMaleFemaleYes43222321No21424143概率：yes/total4/63/42/62/42/63/42/61/4概率：no/total2/61/44/62/44/61/44/63/416十月2023第7頁，共41頁表7.5 屬性sex的計(jì)數(shù)和概率計(jì)算P(E|Sex=Male)

和P(Sex=Male)——P(E|Sex=Male)=(4/6)（2/6）（4/6）（4/6）=8/81——P（Sex=Male）=6/10=3/5計(jì)算P(E|Sex=Female)和P(Sex=Female)——P(E|Sex=Female)=(3/4)（2/4）（1/4）（3/4）=9/128——P(Sex=Female)=4/10=2/51、使用貝葉斯定理解決例7.4問題

MagazineWatc1、使用貝葉斯定理解決例7.4問題（4）根據(jù)貝葉斯公式計(jì)算兩個P（H|E），即P(Sex=Male|E)和P(Sex=Female|E)，比較兩個概率值，概率值較大的假設(shè)H成立。

16十月2023第8頁，共41頁結(jié)論在P(E)值相同的情況下，因?yàn)?.0593>0.0281，則新實(shí)例的Sex最可能為Male。1、使用貝葉斯定理解決例7.4問題（4）根據(jù)貝葉斯公式計(jì)算兩2、使用Weka貝葉斯分類器解決例7.4問題（1）準(zhǔn)備數(shù)據(jù)；（2）加載訓(xùn)練數(shù)據(jù)，選擇bayes分類器下的NaiveBayes（樸素貝葉斯）；（3）設(shè)置檢驗(yàn)集為Suppliestestset。（4）執(zhí)行訓(xùn)練，并預(yù)測新實(shí)例，輸出結(jié)果（圖7.14）。16十月2023第9頁，共41頁圖7.14NaiveBayes分類器預(yù)測未知實(shí)例的輸出結(jié)果2、使用Weka貝葉斯分類器解決例7.4問題（1）準(zhǔn)備數(shù)據(jù)；3、貝葉斯分類器存在的問題（1）概率為0問題若某屬性值為0個，則會造成計(jì)算條件概率為0。如例7.4中，假設(shè)CreditCardInsurance為No的女性人數(shù)為0，則p(CreditCardInsurance=No|Sex=Female)=0/4=0，使得P(E|Sex=Female)=0，則計(jì)算p（Sex=Female|E）時(shí)會造成計(jì)算錯誤。解決辦法——為每個要計(jì)算的比率的分子和分母添加一個小常數(shù)k。其中——K——0到1之間的值（通常為1）。P——屬性可能值總數(shù)的等分。如果屬性有兩個可能值，則p為0.5。重新計(jì)算條件概率P（E|Sex=Female）。k=1，P=0.5，Sex=Female：式7.1416十月2023第10頁，共41頁3、貝葉斯分類器存在的問題（1）概率為0問題其中——重新計(jì)算3、貝葉斯分類器存在的問題（2）缺失數(shù)據(jù)問題當(dāng)要預(yù)測的未知實(shí)例的某個輸入屬性值缺失時(shí)——如例7.4中的新實(shí)例缺失了WatchPromotion屬性值，即MagazinePromotion=Yes，WatchPromotion=Unknown，LifeInsurancePromotion=No，CreditCardInsurance=No判斷該客戶的性別sex值，只需在計(jì)算p(E|Sex=Male)和P(E|Sex=Female)兩個條件概率時(shí)，都簡單地忽略此屬性出現(xiàn)的條件概率值即可，即將此屬性概率值當(dāng)作1.0盡管這樣做導(dǎo)致兩個條件概率的值增大了，但因?yàn)槭峭瑫r(shí)受到相同影響，從而不會影響最終判斷。16十月2023第11頁，共41頁3、貝葉斯分類器存在的問題（2）缺失數(shù)據(jù)問題07十月207.3聚類技術(shù)7.3聚類技術(shù)7.3聚類技術(shù)基于劃分的聚類方法第2章K-means算法基于分層的聚類方法凝聚聚類COBWEB基于模型的聚類方法EM算法16十月2023第13頁，共41頁7.3聚類技術(shù)基于劃分的聚類方法07十月2023第137.3.1分層聚類（Hierarchicalclustering）應(yīng)用最為廣泛是劃分聚類（partition

clustering）和分層聚類兩大類。劃分聚類——對一個具有n個實(shí)例的數(shù)據(jù)集,初始構(gòu)造k個簇(k<n),然后通過反復(fù)迭代調(diào)整k個簇的成員,最終直到每個簇的成員穩(wěn)定為止。k-means算法——一種被普遍使用的劃分聚類方法分層聚類——按照對數(shù)據(jù)實(shí)例集合進(jìn)行層次分解，根據(jù)分層分解采用的策略不同，分層聚類法又可以分為凝聚聚類（agglomerativeclustering）和分裂聚類（divisiveclustering）。16十月2023第14頁，共41頁7.3.1分層聚類（Hierarchicalcluster7.3.1分層聚類（Hierarchicalclustering）凝聚分層聚類——采用自底向上策略。首先將每個對象作為一個簇，根據(jù)某種相似度度量方法對這些簇進(jìn)行合并，直到所有實(shí)例都被分別聚類到某一個簇中，或滿足某個終止條件時(shí)為止。絕大多數(shù)分層聚類算法屬于凝聚聚類方法，這些算法的區(qū)別一般是在簇之間的相似度度量方法上不同。分裂分層聚類——采用自頂向下策略（與凝聚分層聚類相反的策略）。首先將所有的數(shù)據(jù)實(shí)例放在一個簇中，再根據(jù)某種相似度度量方法逐步將其細(xì)分為較小的簇,直到達(dá)到希望個數(shù)的簇，或每個數(shù)據(jù)實(shí)例自成一個簇，或兩個最接近簇之間的距離大于某個閾值。16十月2023第15頁，共41頁7.3.1分層聚類（Hierarchicalcluster1、凝聚聚類（AgglomerativeClustering）一種很受歡迎的無指導(dǎo)聚類技術(shù)。在開始時(shí)假定每個數(shù)據(jù)實(shí)例代表它自己的類。算法步驟——（1）開始時(shí)，將每個數(shù)據(jù)實(shí)例放在不同的分類中；（2）直到所有實(shí)例都成為某個簇的一部分；確定兩個最相似簇；將在①中選中的簇合并為一個簇。（3）選擇一個由步驟（2）迭代形成的簇作為最后結(jié)果。16十月2023第16頁，共41頁1、凝聚聚類（AgglomerativeClusterin【例7.5】對于信用卡賬單促銷數(shù)據(jù)集（表7.6），使用凝聚聚類技術(shù)，將實(shí)例聚類在合適的簇中?！纠?.5】對于信用卡賬單促銷數(shù)據(jù)集（表7.6），使用凝聚聚步驟表7.6信用卡賬單促銷數(shù)據(jù)集16十月2023第18頁，共41頁（1）第一次迭代，計(jì)算兩個實(shí)例之間的相似度值。通過式7.15計(jì)算的相似性值（圖7.15）

。式7.15圖7.15第一次迭代實(shí)例間相似性值步驟表7.6信用卡賬單促銷數(shù)據(jù)集07十月2023第18步驟（2）第一次迭代，合并兩個最相似的實(shí)例到一個簇中?？梢钥吹脚c、與兩對實(shí)例顯示出最高的相似值0.8，選擇其中一對進(jìn)行合并。則第一次迭代后，產(chǎn)生了三個單實(shí)例簇（）、（）、（）和一個雙實(shí)例簇（，）（3）第二迭代，計(jì)算兩個簇之間的相似度值。有多種方法。計(jì)算兩個簇中所有實(shí)例平均相似度得到簇之間的相似度（圖7.16）。如，簇（,）與簇（）的相似度值為7/15=0.47。圖7.16 第二次迭代簇間相似性16十月2023第19頁，共41頁步驟（2）第一次迭代，合并兩個最相似的實(shí)例到一個簇中。圖7.步驟（4）第二次迭代，合并與。產(chǎn)生兩個雙實(shí)例簇（，）、（和）和一個單實(shí)例簇（）。繼續(xù)簇的合并過程直到所有實(shí)例合并到一個簇中。（5）確定最后的簇。多種統(tǒng)計(jì)方法（1）使用合并簇時(shí)使用的相似度度量方法。（2）將每個簇內(nèi)的平均相似度與每個簇間的相似度進(jìn)行比較。。（3）結(jié)合前兩種技術(shù)，淘汰一些簇后，將每個保留下來的簇提交給規(guī)則生成器，檢查這些規(guī)則集，選擇其中定義最明確的簇作為最后的結(jié)果。16十月2023第20頁，共41頁說明輸入屬性值為實(shí)數(shù)時(shí)，常用簡單歐氏距離進(jìn)行實(shí)例之間、簇之間的相似性度量。凝聚聚類一般不獨(dú)立使用，經(jīng)常是作為其它聚類技術(shù)的預(yù)處理技術(shù)。比較著名的應(yīng)用是在K-means算法開始前，進(jìn)行凝聚聚類確定初始簇的個數(shù)步驟（4）第二次迭代，合并與。07【例7.6】對于CreditCardPromotion信用卡賬單促銷數(shù)據(jù)集，使用Weka進(jìn)行分層聚類，查看分層結(jié)果?！纠?.6】對于CreditCardPromotion信用實(shí)驗(yàn)結(jié)果16十月2023第22頁，共41頁圖7.18 分層聚類結(jié)果圖7.19 分層聚類樹實(shí)驗(yàn)結(jié)果07十月2023第22頁，共41頁圖7.18 分2、COBWEB分層聚類算法一種增量式分層聚類算法。使用分類樹對實(shí)例數(shù)據(jù)進(jìn)行分類，分類樹的構(gòu)造過程是一種概念分層的過程，這個過程稱為概念聚類。概念聚類（conceptualclustering）無指導(dǎo)聚類技術(shù)，結(jié)合增量學(xué)習(xí)（incrementallearning）構(gòu)造概念分層概念分層（concepthierarchy）一種樹結(jié)構(gòu)形式，根結(jié)點(diǎn)是概念最高層次，包含所有域?qū)嵗膮R總信息。除了葉結(jié)點(diǎn)，其他結(jié)點(diǎn)都被稱為樹的基層結(jié)點(diǎn)（basic-levelnodes），基層結(jié)點(diǎn)表達(dá)了人類對概念層次的劃分；使用評價(jià)函數(shù)來度量概念層次質(zhì)量。屬性值必須是分類類型的。16十月2023第23頁，共41頁2、COBWEB分層聚類算法一種增量式分層聚類算法。07十COBWEB標(biāo)準(zhǔn)概念聚類算法（1）建立一個類（簇），使用第一個實(shí)例作為它唯一的成員；（2）對于每個剩余實(shí)例，在每個樹層次（概念分層）上，用一個評價(jià)函數(shù)決定選擇以下兩個動作之一執(zhí)行：將新實(shí)例放到一個已存在的簇中；創(chuàng)建一個只具有這個新實(shí)例的新概念簇。評價(jià)函數(shù)（evaluation

function）一種對概念分類質(zhì)量的測量指標(biāo)；COBWEB算法使用的是一種啟發(fā)式評價(jià)方法——分類效用（CategoryUtility，CU）來指導(dǎo)分類。CU定義了聚類的好壞，值越小聚類較差，值越大聚類質(zhì)量越好。16十月2023第24頁，共41頁COBWEB標(biāo)準(zhǔn)概念聚類算法（1）建立一個類（簇），使用第一CU計(jì)算公式式7.16中包含三個概率（1）——表示在類的全體成員中，屬性

為的條件概率。（2）——表示在整個數(shù)據(jù)集中，屬性取值為的概率。（3）——表示每個類的概率。式7.1616十月2023第25頁，共41頁CU計(jì)算公式式7.16中包含三個概率式7.1607十月【例7.7】假設(shè)已經(jīng)將表7.7中實(shí)例聚類為兩個簇，分別為，，計(jì)算CU值。【例7.7】假設(shè)已經(jīng)將表7.7中實(shí)例聚類為兩個簇，分別為步驟16十月2023第27頁，共41頁表7.7計(jì)算CU使用的數(shù)據(jù)集Instance數(shù)值化前ColorShapeTypeID數(shù)值化后ColorShapeTypeIDRedCircleTrue001RedrectangleFalse020YellowdiamondTrue111BluediamondTrue211BluediamondFalse210假設(shè)聚類結(jié)果分為了兩個類，，分別為（,）和（，，）計(jì)算CU值步驟——（1）計(jì)算

——數(shù)據(jù)集共有5個實(shí)例，而和分別由2個實(shí)例和3個實(shí)例，則步驟07十月2023第27頁，共41頁表7.7計(jì)算CU步驟（2）計(jì)算這個二重求和被稱為無條件概率求和項(xiàng)（UnconditionalprobabilitySum）。計(jì)算數(shù)據(jù)集中每個屬性的每個取值的概率值，求平方和，結(jié)果如表7.8。表7.8CU方程中的無條件概率值和條件概率值計(jì)算結(jié)果屬性值整個數(shù)據(jù)集無條件概率值條件概率值Red(2/5)2=0.1600(2/2)2=1.0000(0/3)2=0.0000Yellow(1/5)2=0.0400(0/2)2=0.0000(1/3)2=0.1111Blue(2/5)2=0.1600(0/2)2=0.0000(2/3)2=0.4444Circle(1/5)2=0.0400(1/2)2=0.2500(0/3)2=0.0000diamond(3/5)2=0.3600(0/2)2=0.0000(3/3)2=1.0000rectangle(1/5)2=0.0400(1/2)2=0.2500(0/3)2=0.0000False:(2/5)2=0.1600(1/2)2=0.2500(1/3)2=0.1111True:(3/5)2=0.3600(1/2)2=0.2500(2/3)2=0.4444求和項(xiàng)UnconditionalprobabilitySum=1.3200Unconditionalprobabilitysum（k=1）=2.0000Unconditionalprobabilitysum（k=2）=2.111116十月2023第28頁，共41頁步驟（2）計(jì)算表7.8CU方程中的無條件概率值和條件概率值步驟（3）計(jì)算這個二重求和項(xiàng)被稱為條件概率求和項(xiàng)（conditionalprobabilitySum）。計(jì)算每個屬性值分別出現(xiàn)在和中的的條件概率，求其平方和，結(jié)果如表7.8。（4）計(jì)算CU。16十月2023第29頁，共41頁步驟（3）計(jì)算07十月2023第29頁，共41頁【例7.8】根據(jù)表7.7中的實(shí)例集，使用Weka進(jìn)行COBWEB聚類，建立概念分層樹?！纠?.8】根據(jù)表7.7中的實(shí)例集，使用Weka進(jìn)行COBW實(shí)驗(yàn)結(jié)果16十月2023第31頁，共41頁圖7.21COBWEB聚類結(jié)果圖7.22COBWEB聚類算法創(chuàng)建的概念分層樹實(shí)驗(yàn)結(jié)果07十月2023第31頁，共41頁圖7.21CCOBWEB算法的優(yōu)勢和局限性優(yōu)勢能夠自動調(diào)整類（簇）的個數(shù)，不會因?yàn)殡S機(jī)選擇分類個數(shù)的不合理性而造成聚類結(jié)果的不理想。局限性對實(shí)例順序敏感，需要引入兩種附加操作——合并和分解降低敏感性。假設(shè)每個屬性的概率分布是彼此獨(dú)立的，而實(shí)際這個假設(shè)不總是成立；類（簇）的概率分布的表示、更新和存儲的復(fù)雜程度，取決于每個屬性取值個數(shù)。當(dāng)屬性取值較多時(shí)，算法的時(shí)間和空間復(fù)雜度會很大。偏斜的實(shí)例數(shù)據(jù)會造成概念分層樹的高度不平衡，也會導(dǎo)致時(shí)間和空間復(fù)雜度的劇烈變化。16十月2023第32頁，共41頁COBWEB算法的優(yōu)勢和局限性優(yōu)勢07十月2023第327.3.2基于模型的聚類（Model-basedClustering）為每個分類（簇）假設(shè)一個模型，再去發(fā)現(xiàn)符合模型的數(shù)據(jù)實(shí)例，使得實(shí)例數(shù)據(jù)與某個模型達(dá)成最佳擬合。通過建立反映實(shí)例數(shù)據(jù)空間分布的密度函數(shù)來定義簇的特征，通過統(tǒng)計(jì)數(shù)字確定簇的個數(shù)、噪聲數(shù)據(jù)和孤立點(diǎn)，使得該聚類方法具有一定的健壯性，所以應(yīng)用非常廣泛。為每個簇假設(shè)一個數(shù)學(xué)上的參數(shù)分布模型，如高斯分布（Gaussiandistribution）或泊松分布（Poisson

distribution），整個數(shù)據(jù)集則成為一個這些分布的混合分布模型，每個分類的單個分布被稱為成分分布（componentdistribution）。因?yàn)槊總€成分分布都是數(shù)據(jù)分布的最佳擬合，則混合模型能夠很好地表達(dá)整個數(shù)據(jù)的分布。一個混合（mixture）是一組n元概率分布，其每個分布代表一個簇?；旌夏Ｐ蜑槊總€數(shù)據(jù)實(shí)例指定一個概率，假定這個實(shí)例是某個簇的成員，則它具有一組特定的屬性值。混合模型假定所有屬性是獨(dú)立自由變量。16十月2023第33頁，共41頁7.3.2基于模型的聚類（Model-basedClus7.3.2基于模型的聚類N(

1,

2)N(

2,

2)圖7.23高斯混合模型聚類示意圖16十月2023第34頁，共41頁使用最廣泛的是高斯混合模型——把分類（簇）看成以重心為中心的高斯分布（圖7.23），其中圓圈部分表示分布的主體，

為屬性均值，

為屬性標(biāo)準(zhǔn)差。7.3.2基于模型的聚類N(1,2)N(2,2)圖EM（expectation-maximization）EM算法一種采用有限高斯混合模型的統(tǒng)計(jì)技術(shù)；統(tǒng)計(jì)學(xué)中用于在依賴于無法觀測的隱性變量（LatentVariable）的概率模型中，對參數(shù)進(jìn)行最大似然估計(jì)。EM算法基本思想假設(shè)整個數(shù)據(jù)集服從高斯混合分布，待聚類的數(shù)據(jù)實(shí)例看成是分布的采樣點(diǎn)；通過采樣點(diǎn)利用極大似然估計(jì)方法估計(jì)高斯分布的參數(shù)；求出參數(shù)即得出了實(shí)例數(shù)據(jù)對分類的隸屬函數(shù)。與K-means算法相似，都是迭代地進(jìn)行參數(shù)估計(jì)直到得到一個期望的收斂值。16十月2023第35頁，共41頁EM（expectation-maximization）EMEM算法的一般過程假設(shè)——概率分布是正態(tài)的；分類（簇）個數(shù)為2；數(shù)據(jù)實(shí)例由單個實(shí)值屬性組成。任務(wù)——估計(jì)5個參數(shù)——2個簇均值

，2個標(biāo)準(zhǔn)差

，1個簇樣本概率P（另一個為

1-P）。一般過程——（1）估計(jì)5個參數(shù)的初始值；（2）直到滿足某個