機器學(xué)習(xí)-聚類

1、機器學(xué)習(xí)聚類匯報人：楊光1. 1. 聚類任務(wù)聚類任務(wù)有一天老板給你一堆數(shù)據(jù)，然后他說，你給我分類（聚類）出來21. 1. 聚類任務(wù)聚類任務(wù)聚類算法是一種無監(jiān)督學(xué)習(xí)，我們區(qū)分監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的方法是看IN數(shù)據(jù)有無標(biāo)簽（Label）。31. 1. 聚類任務(wù)聚類任務(wù)4 在實際工作中，我們需要處理很多數(shù)據(jù)，標(biāo)簽獲取需要極大的人工工作量。1. 1.聚類任務(wù)聚類任務(wù)引言聚類算法會將數(shù)據(jù)集中的樣本劃分成為若干個通常不相交的子集，每一個子集我們稱之為“簇”。在聚類過程自動形成簇結(jié)構(gòu)后，我們會發(fā)現(xiàn)每個簇里會存在一些潛在的概念，比如“黃種人”、“白種人”，“女性”、“男性”，這些是我們事先未知的，這些概念也是

2、由使用者來把握和命名的。51. 1.聚類任務(wù)聚類任務(wù)引言62. 2.性能度量性能度量引言目標(biāo)：目標(biāo)：盡量使聚類結(jié)果的“簇內(nèi)相似度高” 且“簇間相似度低”兩類指標(biāo)：兩類指標(biāo)：7外部指標(biāo)：與某個“參考模型”比較內(nèi)部指標(biāo)：直接考察聚類結(jié)果（不利用參考模型）2. 2.性能度量性能度量引言外部指標(biāo)：外部指標(biāo)： 82. 2.性能度量性能度量引言92. 2.性能度量性能度量引言10內(nèi)部指標(biāo)：內(nèi)部指標(biāo)： 2. 2.性能度量性能度量引言113. 3.距離計算距離計算引言距離度量dist(.,.)需要滿足一些性質(zhì)：12非負(fù)性： dist( xi, xj)0同一性： dist( xi, xj)=0當(dāng)且僅當(dāng)xi=xj

3、對稱性： dist( xi, xj)= dist( xj, xi)直遞性： dist( xi, xj) dist( xi, xk)+dist( xk, xj)3. 3.距離計算距離計算引言閔可夫斯基距離：閔可夫斯基距離：當(dāng)給定樣本我們最常用的是“閔可夫斯基距離” p1時，“閔可夫斯基距離”公式滿足上述4個性質(zhì)。p=1時，“閔可夫斯基距離”即“曼哈頓距離”。p=2時，“閔可夫斯基距離”即“歐氏距離”。133. 3.距離計算距離計算引言有序?qū)傩裕?,2,3閔可夫斯基距離無序?qū)傩裕猴w機，火車，輪船 VDM143. 3.距離計算距離計算引言153. 3.距離計算距離計算引言164.4.原型聚類原型聚類

4、 k-meansk-means引言174.4.原型聚類原型聚類 k-meansk-means引言184.4.原型聚類原型聚類 k-meansk-means引言194.4.原型聚類原型聚類 k-meansk-means引言204.4.原型聚類原型聚類 LVQLVQ引言214.4.原型聚類原型聚類 LVQLVQ引言224.4.原型聚類原型聚類 LVQLVQ引言234.4.原型聚類原型聚類 LVQLVQ引言244.4.原型聚類原型聚類 LVQLVQ引言255. 5.密度聚類密度聚類引言265. 5.密度聚類密度聚類引言275. 5.密度聚類密度聚類引言285. 5.密度聚類密度聚類引言295. 5.密度聚類密度聚類引言305. 5.密度聚類密度聚類引言316. 6.層次聚類層次聚類引言32給定聚類簇Ci，Cj，可以通過下面的式子來計算距離：6. 6.層次聚類層次聚類引言336. 6.層次聚類層次聚類引言34以西瓜數(shù)據(jù)集4.0為例，令A(yù)GNES算法一直執(zhí)行到所有樣本出現(xiàn)在同一個簇中，即k=1，可以得到下面這個樹狀圖9.126. 6.層次聚