數(shù)據(jù)分析與數(shù)據(jù)挖掘課件 【ch15】聚類(lèi)分析與離群點(diǎn)分析

第十五章聚類(lèi)分析與離群點(diǎn)分析數(shù)據(jù)分析與數(shù)據(jù)挖掘01聚類(lèi)問(wèn)題與聚類(lèi)類(lèi)型30%40%聚類(lèi)是指將數(shù)據(jù)對(duì)象分組成為多個(gè)類(lèi)或簇，其中同類(lèi)對(duì)象具有較高的相似性，不同類(lèi)對(duì)象具有較大的差異性。

聚類(lèi)的過(guò)程屬于無(wú)監(jiān)督學(xué)習(xí)(Unsupervisedlearning),數(shù)據(jù)樣本不需要預(yù)先標(biāo)記類(lèi)別，也沒(méi)有預(yù)先定義的各類(lèi)別列表，聚類(lèi)好壞的衡量準(zhǔn)則通常是：類(lèi)內(nèi)相似性高、類(lèi)間相似性低。聚類(lèi)問(wèn)題

聚類(lèi)是設(shè)法通過(guò)特征和聚類(lèi)模型來(lái)挖掘隱含在各樣本數(shù)據(jù)內(nèi)部的相似關(guān)系，并把相似的樣本數(shù)據(jù)聚集在一起。Bagging法聚類(lèi)方法總體可分為以下六種類(lèi)型：(1)基于劃分的方法。(2)基于層次的方法。(3)基于密度的方法。(4)基于網(wǎng)格的方法。(5)基于模型的方法。(6)核聚類(lèi)方法。02基于劃分的聚類(lèi)k-means聚類(lèi)k-均值(k-means)算法是一種常用的聚類(lèi)算法，它屬于一種劃分方法。k-means算法將n個(gè)數(shù)據(jù)對(duì)象劃分為k個(gè)聚類(lèi)，使得聚類(lèi)滿(mǎn)足同一類(lèi)中的對(duì)象相似度較高，不同聚類(lèi)中的對(duì)象相似度較小的原則。k-中心點(diǎn)(k-medoids)算法不選用簇中對(duì)象的平均值作為中心點(diǎn)，而是選用簇中的中心點(diǎn)對(duì)象作為參照點(diǎn)。中心點(diǎn)(Medoid)對(duì)象是數(shù)據(jù)集中的一個(gè)實(shí)際對(duì)象，而k-means中的類(lèi)中心對(duì)象是通過(guò)求簇中各對(duì)象均值而獲得的虛擬對(duì)象。k-medoids聚類(lèi)03層次聚類(lèi)20%30%40%50%層次聚類(lèi)(Hierarchicalclustering)的結(jié)果是分層次的，每層的聚類(lèi)個(gè)數(shù)不同，粒度大小不同。層次聚類(lèi)方法可分為兩種：凝聚型層次聚類(lèi)(自底向頂?shù)木垲?lèi))和分裂型層次聚類(lèi)(自頂向底的聚類(lèi))。簇間距離的計(jì)算凝聚型層次聚類(lèi)的主要過(guò)程如下。(1)將每個(gè)對(duì)象都視作一個(gè)簇，作為層次聚類(lèi)樹(shù)的最底層，準(zhǔn)備向高層逐步聚類(lèi)。(2)對(duì)所有待聚類(lèi)的簇計(jì)算任意兩個(gè)簇之間的距離。(3)合并具有最小距離的兩個(gè)簇。如果存在幾組具有相同距離的兩個(gè)簇，且簇之間不存在交叉，則可以同時(shí)合并。(4)如果全部對(duì)象合并為一個(gè)簇，或者滿(mǎn)足停止合并的條件(如限定最大合并次數(shù)、達(dá)到預(yù)設(shè)的最小簇?cái)?shù)),則停止凝聚，否則跳到步驟(2)。層次聚類(lèi)方法分裂型層次聚類(lèi)的主要過(guò)程如下。(1)將所有對(duì)象視作一個(gè)簇，視作層次聚類(lèi)樹(shù)的最頂層，準(zhǔn)備向底層逐步聚類(lèi)。(2)利用某種分裂點(diǎn)評(píng)價(jià)算法計(jì)算待劃分為兩個(gè)簇的候選分裂點(diǎn)，準(zhǔn)備進(jìn)行分裂。注意，如果簇中只有一個(gè)對(duì)象則不再分裂。(3)評(píng)價(jià)各候選分裂點(diǎn)，選擇最佳分裂點(diǎn)，分裂對(duì)應(yīng)的簇為兩個(gè)新簇。最佳分裂點(diǎn)的常用準(zhǔn)則是：可使得分裂后的簇間距離增加最大。(4)如果全部簇都僅有1個(gè)對(duì)象，或者滿(mǎn)足停止分裂的條件(如限定最大分裂次數(shù)),則停止分裂，否則跳到步驟(2)。層次聚類(lèi)方法04基于密度的聚類(lèi)DBSCAN(Density-BasedSpatialClusteringofApplicationwithNoise)是一種典型的基于密度的聚類(lèi)算法，它根據(jù)樣本分布的緊密程度(密度)進(jìn)行聚類(lèi)，能夠除去噪聲點(diǎn)，并且聚類(lèi)的結(jié)果是劃分為多個(gè)簇，簇的形狀是任意的，如圖15.4所示。DBSCAN聚類(lèi)OPTICS算法(OrderingPointtoIdentifytheClusterStructure)是DBSCAN的一種改進(jìn)算法，其降低了參數(shù)的敏感度。OPTICS聚類(lèi)05基于網(wǎng)格的聚類(lèi)與基于模型的聚類(lèi)CLIQUE聚類(lèi)CLIQUE(ClusteringInQuest)聚類(lèi)是一種基于網(wǎng)格的聚類(lèi)方法，用于發(fā)現(xiàn)子空間上的基于密度的簇。它把每個(gè)維劃分成不重疊的區(qū)間，從而將數(shù)據(jù)對(duì)象空間劃分成單元(子區(qū)域或單元格)。自組織神經(jīng)網(wǎng)絡(luò)聚類(lèi)原理自組織神經(jīng)網(wǎng)絡(luò)(SelfOrganizingMaps,SOM)聚類(lèi)，它自動(dòng)尋找樣本數(shù)據(jù)的內(nèi)在規(guī)律和本質(zhì)屬性，通過(guò)競(jìng)爭(zhēng)機(jī)制逐步抽取主要特征，實(shí)現(xiàn)聚類(lèi)過(guò)程。SOM是無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，一個(gè)神經(jīng)網(wǎng)絡(luò)接收外界輸入模式時(shí)，自動(dòng)地將其劃分到不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ接胁煌捻憫?yīng)特征。自組織神經(jīng)網(wǎng)絡(luò)聚類(lèi)原理SOM具有這樣幾個(gè)特點(diǎn)：①可以將高維空間的數(shù)據(jù)轉(zhuǎn)化到2維空間表示，并且其優(yōu)勢(shì)在于源空間的輸入數(shù)據(jù)彼此之間的相似性在2維離散空間得到很好保持，因此在高維空間數(shù)據(jù)之間的相似程度可以轉(zhuǎn)化為表示空間(Representationspace)的位置臨近程度，即可以保持拓?fù)溆行蛐?；②抗噪聲能力較強(qiáng)；③可視化效果較好；④可并行化處理。聚類(lèi)具有高維和與語(yǔ)義密切相關(guān)的特點(diǎn)。06離群點(diǎn)分析離群點(diǎn)(Outlier)是一個(gè)數(shù)據(jù)對(duì)象，它顯著不同于其他數(shù)據(jù)對(duì)象。離群點(diǎn)是指異常數(shù)據(jù)。離群點(diǎn)可能由客觀或主觀操作錯(cuò)誤所致。離群點(diǎn)檢測(cè)(Outlierdetection)是離群點(diǎn)分析的主要任務(wù)之一。離群點(diǎn)檢測(cè)又稱(chēng)離群點(diǎn)識(shí)別或離群點(diǎn)發(fā)現(xiàn)，即找出或識(shí)別哪些對(duì)象是離群點(diǎn)，通常屬于無(wú)監(jiān)督模型。離群點(diǎn)分析20%30%40%50%離群點(diǎn)檢測(cè)(OutlierDetection)是指在給定的數(shù)據(jù)集中尋找離群點(diǎn)對(duì)象，通常屬于無(wú)監(jiān)督模型。

數(shù)組的離群點(diǎn)檢測(cè)：對(duì)于給定的一組數(shù)據(jù)，通常是單個(gè)屬性數(shù)據(jù)。離群點(diǎn)檢測(cè)

回歸數(shù)據(jù)的離群點(diǎn)檢測(cè)：線(xiàn)性回歸可以計(jì)算對(duì)象真實(shí)值與回歸預(yù)測(cè)值間的殘差，并進(jìn)行異常數(shù)據(jù)檢驗(yàn)，得到離群點(diǎn)?；诰垲?lèi)方法的離群點(diǎn)檢測(cè)：聚類(lèi)算法將相似對(duì)象聚為一類(lèi)，不相似對(duì)象分散在多類(lèi)中。有些聚類(lèi)算法，如密度聚類(lèi)、網(wǎng)格聚類(lèi)有助于識(shí)別異常值。

基于距離的離群點(diǎn)檢測(cè)：如果一個(gè)對(duì)象到周邊點(diǎn)的密度低于某個(gè)預(yù)設(shè)閾值，則該對(duì)象為離群點(diǎn)。離群點(diǎn)檢測(cè)

單類(lèi)樣本學(xué)習(xí)模型的離群點(diǎn)檢測(cè)：目前已有多種學(xué)習(xí)模型，它們將離群點(diǎn)檢測(cè)問(wèn)題看作分類(lèi)問(wèn)題，如二分類(lèi)的“正常值、不是正常值”問(wèn)題。07本章小結(jié)本章小結(jié)聚類(lèi)是數(shù)據(jù)挖掘的一個(gè)重要類(lèi)型分析方法。目前的聚類(lèi)方法大致分