版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
第九章聚類算法
無監(jiān)督學(xué)習(xí)(UnsupervisedLearning)是指在樣本標(biāo)記信息未知的情況下,通過對樣本的學(xué)習(xí)來找到數(shù)據(jù)本身的內(nèi)在性質(zhì)和規(guī)律。無監(jiān)督學(xué)習(xí)可以用于數(shù)據(jù)分析或者監(jiān)督學(xué)習(xí)的前處理,主要包含聚類(Clustering)、降維(DimensionalityReduction)、概率估計(ProbabilityEstimation)等。
其中聚類應(yīng)用最為廣泛,其基本思想是將樣本中“相似”的樣本聚為相同的類或簇,“不相似”的樣本聚為不同的類。19.1聚類概述相似或者不相似的定義和標(biāo)準(zhǔn)不是固定的,而是根據(jù)數(shù)據(jù)本身的性質(zhì)決定。依據(jù)形狀聚類依據(jù)顏色聚類
依據(jù)不同的策略,可以設(shè)計不同的聚類算法,主要包括原型聚類、層次聚類以及密度聚類。29.1.1相似度1.樣本相似度
常用的有距離(Distance)(閔可夫斯基距離(MinkowskiDistance)、馬哈拉諾比斯距離(MahalanobisDistance))、相關(guān)系數(shù)(CorrelationCoefficient)、夾角余弦等。
聚類的核心概念是相似度,其度量方式有很多種,并直接影響聚類結(jié)果的好壞,具體哪一種更好取決于問題本身的特性。39.1.1相似度(1)閔可夫斯基距離(MinkowskiDistance)
49.1.1相似度
(2)馬哈拉諾比斯距離(MahalanobisDistance)59.1.1相似度
(3)相關(guān)系數(shù)(相關(guān)系數(shù)絕對值越接近1表示樣本越相似;越接近0表示樣本越不相似)
(4)夾角余弦(夾角余弦的數(shù)值越接近1表示樣本越相似;越接近0表示樣本越不相似)69.1.1相似度(5)VDM(ValueDifferenceMetric)距離
79.1.1相似度(6)加權(quán)距離(WeightedDistance)
89.1.1相似度2.類(或簇)的相似度或距離
99.1.2
性能度量
聚類算法的性能度量是一種“有效性指標(biāo)(ValidityIndex)”,評估類內(nèi)樣本的相似度,不同類別之間的相似度,用以評價聚類結(jié)果以及聚類算法的好壞。
109.1.2
性能度量
顯然,DBI指數(shù)越小越好,DI指數(shù)越大越好119.2
原型聚類
129.2
原型聚類
算法流程:139.2
原型聚類
149.3
密度聚類
假設(shè)聚類結(jié)構(gòu)可以通過樣本分布的緊密程度確定,以數(shù)據(jù)集在空間分布上的稠密程度為依據(jù)進(jìn)行聚類。
此類算法無需預(yù)先設(shè)定類別數(shù)量,因此適合于未知內(nèi)容的數(shù)據(jù)集,代表算法有DBSCAN、OPTICS、DENCLUE等(本節(jié)只討論DBSCAN)主要思想:
逐步檢查數(shù)據(jù)集中的每個樣本,如果其鄰域內(nèi)的樣本點總數(shù)小于某個閾值,那么定義該點為低密度點;反之,如果大于該閾值,則稱其為高密度點。如果一個高密度點在另外一個高密度點的鄰域內(nèi),就直接把這兩個高密度點劃分為一個類別;如果一個低密度點在一個高密度點的鄰域內(nèi),則將該低密度點加入距離它最近的高密度點的類別中;不在任何高密度點鄰域內(nèi)的低密度點,被劃入異常點類別,直到最終處理整個數(shù)據(jù)集。基本概念:159.3
密度聚類DBSCAN算法
其核心是找到樣本點的全部密集區(qū)域,并把這些密集區(qū)域當(dāng)作不同的類別。如下圖所示:
利用“鄰域”(Neighborhood)的半徑和最少點數(shù)(Minpoints,簡記為Minpts)兩個參數(shù)刻畫樣本分布的緊密程度。169.3
密度聚類將樣本點分為以下三類:
179.3
密度聚類非密度相連(Non-densityConnected):如果兩個點不屬于密度相連關(guān)系,則兩個點非密度相連。進(jìn)一步定義四種樣本點的關(guān)系:
189.3
密度聚類
任意選擇一個沒有類別的核心對象作為種子,然后找到所有這個核心對象能夠密度可達(dá)的樣本集合,即為一個類別。接著繼續(xù)選擇另一個沒有類別的核心對象去尋找密度可達(dá)的樣本集合,這樣就得到另一個聚類簇,這樣的得到都肯定是密度相連的,一直運行到所有核心對象都有類別為止。DBSCAN方法199.3
密度聚類
20
例:如下圖所示:
9.3
密度聚類
219.3
密度聚類
229.3
密度聚類
239.3
密度聚類
249.3
密度聚類
259.3
密度聚類(2)可以在聚類的同時發(fā)現(xiàn)異常點,對數(shù)據(jù)集中的異常點不敏感。主要優(yōu)點:主要缺點:(1)如果樣本集的密度不均勻、聚類間距差相差很大時,聚類質(zhì)量較差,這時DBSCAN聚類一般不適合。
269.4
層次聚類(假設(shè)類別之間存在層次結(jié)構(gòu),將樣本聚到層次化的類別中)聚合(Agglomerative)/自下而上(Bottom-up)聚類——本節(jié)重點分裂(Divisive)/自上而下(Top-down)聚類
每個樣本各分到一個類,之后將距離相近的兩類合并,建立一個新的類別,重復(fù)此操作直到滿足停止條件,得到層次化的類別。
將所有的樣本分到一個類,之后將已有類中相距最遠(yuǎn)的樣本分到兩個新的類,重復(fù)此操作直到滿足停止條件,得到層次化的類別。279.4
層次聚類Agglomerative聚類算法基本流程:
距離尺度:最短距離、最長距離、平均距離、Ward方差等對應(yīng)算法:“單鏈接(Single-linkage)”、“全鏈接(Complete-linkage)”、“單鏈接(Average-linkage)”
、“Ward鏈接(Ward-linkage)”等289.4
層次聚類例:單鏈接Agglomerative聚類算法步驟:
299.4
層次聚類
309.4
層次聚類圖解示例:Agglomerative聚類算法可在不同層次上對數(shù)據(jù)集進(jìn)行劃分,形成一個樹狀的聚類結(jié)構(gòu),可以指定類別數(shù)也可不指定。但Agglomerative聚類算法的時間和空間復(fù)雜度較高,不適合解決大型數(shù)據(jù)集聚類問題。319.5
本章小結(jié)
DBSCAN算法,不需要指定類別的數(shù)量,聚類的形狀可以是任意的,能找出數(shù)據(jù)中的噪音,對噪音不敏感,算法應(yīng)用參數(shù)少。但對于密度不均勻的樣本集、聚類間距差相差很大的樣本集,聚類質(zhì)量較差,一般不適合
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2023-2024學(xué)年廣西崇左市寧明一中、寧明實驗學(xué)校、寧明中學(xué)初中部九年級(上)段考數(shù)學(xué)試卷(10月份)
- 滬科版八年級數(shù)學(xué)上冊期中素養(yǎng)綜合測試課件
- 北師大版八年級生物上冊第5單元生物圈中的動物和微生物第17章生物圈中的動物第1節(jié)動物在生物圈中的作用課件
- 北京版九年級數(shù)學(xué)上冊《第十九章二次函數(shù)和反比例函數(shù)》單元測試卷(附答案)
- 【核心素養(yǎng)】部編版小學(xué)語文一年級上冊 漢語拼音9 y w-同步練習(xí)(含答案)
- 部編版四年級上冊語文期中綜合檢測
- 期中模擬檢測(1-4單元)(試題)-2024-2025學(xué)年四年級上冊數(shù)學(xué)蘇教版
- 近代漢語語法史研究綜述
- 青島版六年級科學(xué)下冊教案
- 槐鄉(xiāng)的孩子課件
- 水的液態(tài)、固態(tài)與氣態(tài):了解相變的過程
- 2024年減肥訓(xùn)練營投資計劃書
- 陜西師范大學(xué)學(xué)位英語試題
- 消防工程防排煙工程施工組織設(shè)計
- 福建省龍巖市一級校聯(lián)盟2023-2024學(xué)年高二上學(xué)期期中語文試題(解析版)
- 四川省情知識考試復(fù)習(xí)題庫(含答案)
- 河道保潔服務(wù)投標(biāo)方案
- 質(zhì)量管理體系品質(zhì)保證體系圖
- 金屬工藝學(xué)(山東理工大學(xué))智慧樹知到課后章節(jié)答案2023年下山東理工大學(xué)
- 新建鐵路站場勘察工程細(xì)則手冊
- 13J104《蒸壓加氣混凝土砌塊、板材構(gòu)造》
評論
0/150
提交評論