聚類分析簡(jiǎn)單例子

1、關(guān)于聚類分析簡(jiǎn)單例子第一張，PPT共三十八頁，創(chuàng)作于2022年6月二、類間距離與系統(tǒng)聚類法在進(jìn)行系統(tǒng)聚類之前，我們首先要定義類與類之間的距離，由類間距離定義的不同產(chǎn)生了不同的系統(tǒng)聚類法。常用的類間距離定義有8種之多，與之相應(yīng)的系統(tǒng)聚類法也有8種，分別為最短距離法、最長(zhǎng)距離法、中間距離法、重心法、類平均法、可變類平均法、可變法和離差平方和法。它們的歸類步驟基本上是一致的，主要差異是類間距離的計(jì)算方法不同。以下用dij表示樣品Xi與Xj之間距離，用Dij表示類Gi與Gj之間的距離。第二張，PPT共三十八頁，創(chuàng)作于2022年6月1. 最短距離法定義類Gi與Gj之間的距離為兩類最近樣品的距離，即為 (

2、5.11)設(shè)Gk類與合并成一個(gè)新類記為Gr，則任一類與的距離為 (5.12)第三張，PPT共三十八頁，創(chuàng)作于2022年6月最短距離法進(jìn)行聚類分析的步驟如下：（1）定義樣品之間距離，計(jì)算樣品的兩兩距離，得一距離 陣記為D（0） ，開始每個(gè)樣品自成一類，顯然這時(shí)Dij = dij。（2）找出距離最小元素，設(shè)為Dpq，則將Gp和Gq合并成一個(gè) 新類，記為Gr，即Gr = Gp，Gq。（3）按（5.12）計(jì)算新類與其它類的距離。 （4）重復(fù)（2）、（3）兩步，直到所有元素。并成一類為 止。如果某一步距離最小的元素不止一個(gè)，則對(duì)應(yīng)這些 最小元素的類可以同時(shí)合并。第四張，PPT共三十八頁，創(chuàng)作于2022年

3、6月【例5.1】設(shè)有六個(gè)樣品，每個(gè)只測(cè)量一個(gè)指標(biāo)，分別是1，2，5，7，9，10，試用最短距離法將它們分類。（1）樣品采用絕對(duì)值距離，計(jì)算樣品間的距離陣D（0） ，見表5.1表5.1 第五張，PPT共三十八頁，創(chuàng)作于2022年6月（2）D（0）中最小的元素是D12D561，于是將G1和G2合并成G7，G5和G6合并成G8，并利用（5.12）式計(jì)算新類與其它類的距離D（1） ，見表5.2表5.2 第六張，PPT共三十八頁，創(chuàng)作于2022年6月（3）在D（1）中最小值是D34D482，由于G4與G3合并，又與G8合并，因此G3、G4、G8合并成一個(gè)新類G9，其與其它類的距離D（2） ，見表5.3表

4、5.3 第七張，PPT共三十八頁，創(chuàng)作于2022年6月（4）最后將G7和G9合并成G10，這時(shí)所有的六個(gè)樣品聚為一類，其過程終止。上述聚類的可視化過程見圖5.1所示，橫坐標(biāo)的刻度表示并類的距離。這里我們應(yīng)該注意，聚類的個(gè)數(shù)要以實(shí)際情況所定，其詳細(xì)內(nèi)容將在后面討論。圖5.1 最短距離聚類法的過程第八張，PPT共三十八頁，創(chuàng)作于2022年6月第九張，PPT共三十八頁，創(chuàng)作于2022年6月再找距離最小兩類并類，直至所有的樣品全歸為一類為止?？梢钥闯鲎铋L(zhǎng)距離法與最短距離法只有兩點(diǎn)不同：一是類與類之間的距離定義不同；另一是計(jì)算新類與其它類的距離所用的公式不同。第十張，PPT共三十八頁，創(chuàng)作于2022年6

5、月3. 中間距離法最短、最長(zhǎng)距離定義表示都是極端情況，我們定義類間距離可以既不采用兩類之間最近的距離也不采用兩類之間最遠(yuǎn)的距離，而是采用介于兩者之間的距離，稱為中間距離法。中間距離將類Gp與Gq類合并為類Gr，則任意的類Gk和Gr的距離公式為 (14 0) (5.15)設(shè)DkrDkp，如果采用最短距離法，則Dkr = Dkp，如果采用最長(zhǎng)距離法，則Dkr = Dkq。如圖5.2所示，(5.15)式就是取它們（最長(zhǎng)距離與最短距離）的中間一點(diǎn)作為計(jì)算Dkr的根據(jù)。 第十一張，PPT共三十八頁，創(chuàng)作于2022年6月特別當(dāng) = 14，它表示取中間點(diǎn)算距離，公式為 (5.16) 圖5.2 中間距離法第十

6、二張，PPT共三十八頁，創(chuàng)作于2022年6月第十三張，PPT共三十八頁，創(chuàng)作于2022年6月 第十四張，PPT共三十八頁，創(chuàng)作于2022年6月第十五張，PPT共三十八頁，創(chuàng)作于2022年6月 第十六張，PPT共三十八頁，創(chuàng)作于2022年6月【例5.2】針對(duì)例5.1的數(shù)據(jù)，試用重心法將它們聚類。（1）樣品采用歐氏距離，計(jì)算樣品間的平方距離陣D2（0），見表5.4所示。 表5.4 第十七張，PPT共三十八頁，創(chuàng)作于2022年6月（2）D2（0）中最小的元素是D212D2561，于是將G1和G2合并成G7，G5和G6合并成G8，并利用（5.18）式計(jì)算新類與其它類的距離得到距離陣D2（1） ，見表5

7、.5： 其中，其它結(jié)果類似可以求得 第十八張，PPT共三十八頁，創(chuàng)作于2022年6月（3）在D2（1）中最小值是D2344，那么G3與G4合并一個(gè)新類G9，其與與其它類的距離D2（2） ，見表5.6： 表5.6 第十九張，PPT共三十八頁，創(chuàng)作于2022年6月（4）在中最小值是12.5，那么與合并一個(gè)新類，其與與其它類的距離，見表5.7：表5.7 第二十張，PPT共三十八頁，創(chuàng)作于2022年6月（5）最后將G7和G10合并成G11，這時(shí)所有的六個(gè)樣品聚為一類，其過程終止。上述重心法聚類的可視化過程見圖5.3所示，橫坐標(biāo)的刻度表示并類的距離。圖5.3 重心聚類法的過程第二十一張，PPT共三十八頁

8、，創(chuàng)作于2022年6月第二十二張，PPT共三十八頁，創(chuàng)作于2022年6月6. 可變類平均法由于類平均法中沒有反映出Gp和Gq之間的距離Dpq的影響，因此將類平均法進(jìn)一步推廣，如果將Gp和Gq合并為新類Gr，類Gk與新并類Gr的距離公式為： （5.22）其中是可變的且 1，稱這種系統(tǒng)聚類法為可變類平均法。第二十三張，PPT共三十八頁，創(chuàng)作于2022年6月第二十四張，PPT共三十八頁，創(chuàng)作于2022年6月8. 離差平方和法該方法是Ward提出來的，所以又稱為Ward法。該方法的基本思想來自于方差分析，如果分類正確，同類樣品的離差平方和應(yīng)當(dāng)較小，類與類的離差平方和較大。具體做法是先將n個(gè)樣品各自成一

9、類，然后每次縮小一類，每縮小一類，離差平方和就要增大，選擇使方差增加最小的兩類合并，直到所有的樣品歸為一類為止。設(shè)將n個(gè)樣品分成k類G1，G2，Gk，用Xit表示Gt中的第I個(gè)樣品，nt表示Gt中樣品的個(gè)數(shù)， 是Gt的重心，則Gt的樣品離差平方和為第二十五張，PPT共三十八頁，創(chuàng)作于2022年6月 第二十六張，PPT共三十八頁，創(chuàng)作于2022年6月 這種系統(tǒng)聚類法稱為離差平方和法或Ward方法。下面論證離差平方和法的距離遞推（5.26）式。 第二十七張，PPT共三十八頁，創(chuàng)作于2022年6月由于第二十八張，PPT共三十八頁，創(chuàng)作于2022年6月第二十九張，PPT共三十八頁，創(chuàng)作于2022年6月

10、 第三十張，PPT共三十八頁，創(chuàng)作于2022年6月第三十一張，PPT共三十八頁，創(chuàng)作于2022年6月三、類間距離的統(tǒng)一性上述八種系統(tǒng)聚類法的步驟完全一樣，只是距離的遞推公式不同。蘭斯（Lance）和威廉姆斯（Williams）于1967年給出了一個(gè)統(tǒng)一的公式。 (5.28)其中ap、aq、 、 是參數(shù)，不同的系統(tǒng)聚類法，它們?nèi)〔煌臄?shù)，詳見表5.8。這里應(yīng)該注意，不同的聚類方法結(jié)果不一定完全相同，一般只是大致相似。如果有很大的差異，則應(yīng)該仔細(xì)考查，找到問題所在；另外，可將聚類結(jié)果與實(shí)際問題對(duì)照，看哪一個(gè)結(jié)果更符合經(jīng)驗(yàn)。第三十二張，PPT共三十八頁，創(chuàng)作于2022年6月表5.8 系統(tǒng)聚類法參數(shù)表

11、第三十三張，PPT共三十八頁，創(chuàng)作于2022年6月【例5.3】假定我們對(duì)A、B、C、D四個(gè)樣品分別測(cè)量?jī)蓚€(gè)變量和得到結(jié)果見表5.9。試將以上的樣品聚成兩類。 表5.9 樣品測(cè)量結(jié)果動(dòng)態(tài)聚類法第三十四張，PPT共三十八頁，創(chuàng)作于2022年6月第一步：按要求取K=2，為了實(shí)施均值法聚類，我們將這些樣品隨意分成兩類，比如（A、B）和（C、D），然后計(jì)算這兩個(gè)聚類的中心坐標(biāo)，見表5.10所示。表5.10中的中心坐標(biāo)是通過原始數(shù)據(jù)計(jì)算得來的，比如（A、 B）類的， 等等。表5.10 中心坐標(biāo)第三十五張，PPT共三十八頁，創(chuàng)作于2022年6月第二步：計(jì)算某個(gè)樣品到各類中心的歐氏平方距離，然后將該樣品分配給最近的一類。對(duì)于樣品有變動(dòng)的類，重新計(jì)算它們的中心坐標(biāo)，為下一步聚類做準(zhǔn)備。先計(jì)算A到兩個(gè)類的平方距離：由于A到（A、B）的距離小于到（C、D）的距離，因此A不用重新分配。計(jì)