應(yīng)用多元統(tǒng)計(jì)分析聚類(lèi)分析

第一節(jié)引言“物以類(lèi)聚，人以群分”。對(duì)事物進(jìn)行分類(lèi)，是人們認(rèn)識(shí)事物的出發(fā)點(diǎn)，也是人們認(rèn)識(shí)世界的一種重要方法。因此，分類(lèi)學(xué)已成為人們認(rèn)識(shí)世界的一門(mén)基礎(chǔ)科學(xué)。在生物、經(jīng)濟(jì)、社會(huì)、人口等領(lǐng)域的研究中，存在著大量量化分類(lèi)研究。例如：在生物學(xué)中，為了研究生物的演變，生物學(xué)家需要根據(jù)各種生物不同的特征對(duì)生物進(jìn)行分類(lèi)。在經(jīng)濟(jì)研究中，為了研究不同地區(qū)城鎮(zhèn)居民生活中的收入和消費(fèi)情況，往往需要?jiǎng)澐植煌念?lèi)型去研究。在地質(zhì)學(xué)中，為了研究礦物勘探，需要根據(jù)各種礦石的化學(xué)和物理性質(zhì)和所含化學(xué)成分把它們歸于不同的礦石類(lèi)。在人口學(xué)研究中，需要構(gòu)造人口生育分類(lèi)模式、人口死亡分類(lèi)狀況，以此來(lái)研究人口的生育和死亡規(guī)律。第2頁(yè),共55頁(yè)，2024年2月25日，星期天但歷史上這些分類(lèi)方法多半是人們主要依靠經(jīng)驗(yàn)作定性分類(lèi)，致使許多分類(lèi)帶有主觀性和任意性，不能很好地揭示客觀事物內(nèi)在的本質(zhì)差別與聯(lián)系；特別是對(duì)于多因素、多指標(biāo)的分類(lèi)問(wèn)題，定性分類(lèi)的準(zhǔn)確性不好把握。為了克服定性分類(lèi)存在的不足，人們把數(shù)學(xué)方法引入分類(lèi)中，形成了數(shù)值分類(lèi)學(xué)。后來(lái)隨著多元統(tǒng)計(jì)分析的發(fā)展，從數(shù)值分類(lèi)學(xué)中逐漸分離出了聚類(lèi)分析方法。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，利用數(shù)學(xué)方法研究分類(lèi)不僅非常必要而且完全可能，因此近年來(lái)，聚類(lèi)分析的理論和應(yīng)用得到了迅速的發(fā)展。聚類(lèi)分析就是分析如何對(duì)樣品（或變量）進(jìn)行量化分類(lèi)的問(wèn)題。通常聚類(lèi)分析分為Q型聚類(lèi)和R型聚類(lèi)。Q型聚類(lèi)是對(duì)樣品進(jìn)行分類(lèi)處理，R型聚類(lèi)是對(duì)變量進(jìn)行分類(lèi)處理。第3頁(yè),共55頁(yè)，2024年2月25日，星期天第二節(jié)相似性的量度

一樣品相似性的度量

二變量相似性的度量

第4頁(yè),共55頁(yè)，2024年2月25日，星期天一、樣品相似性的度量在聚類(lèi)之前，要首先分析樣品間的相似性。Q型聚類(lèi)分析，常用距離來(lái)測(cè)度樣品之間的相似程度。每個(gè)樣品有p個(gè)指標(biāo)（變量）從不同方面描述其性質(zhì)，形成一個(gè)p維的向量。如果把n個(gè)樣品看成p維空間中的n個(gè)點(diǎn)，則兩個(gè)樣品間相似程度就可用p維空間中的兩點(diǎn)距離公式來(lái)度量。兩點(diǎn)距離公式可以從不同角度進(jìn)行定義，令dij

表示樣品Xi與Xj的距離，存在以下的距離公式：

1．明考夫斯基距離

(5.1)

明考夫斯基距離簡(jiǎn)稱(chēng)明氏距離，按的取值不同又可分成：第5頁(yè),共55頁(yè)，2024年2月25日，星期天第6頁(yè),共55頁(yè)，2024年2月25日，星期天歐氏距離是常用的距離，大家都比較熟悉，但是前面已經(jīng)提到，在解決多元數(shù)據(jù)的分析問(wèn)題時(shí)，歐氏距離就顯示出了它的不足之處。一是它沒(méi)有考慮到總體的變異對(duì)“距離”遠(yuǎn)近的影響，顯然一個(gè)變異程度大的總體可能與更多樣品近些，既使它們的歐氏距離不一定最近；另外，歐氏距離受變量的量綱影響，這對(duì)多元數(shù)據(jù)的處理是不利的。為了克服這方面的不足，可用“馬氏距離”的概念。第7頁(yè),共55頁(yè)，2024年2月25日，星期天 2．馬氏距離設(shè)Xi與Xj是來(lái)自均值向量為

，協(xié)方差為∑

=（＞0）的總體

G中的p維樣品，則兩個(gè)樣品間的馬氏距離為

(5.5)

馬氏距離又稱(chēng)為廣義歐氏距離。顯然，馬氏距離與上述各種距離的主要不同就是它考慮了觀測(cè)變量之間的相關(guān)性。如果各變量之間相互獨(dú)立，即觀測(cè)變量的協(xié)方差矩陣是對(duì)角矩陣，則馬氏距離就退化為用各個(gè)觀測(cè)指標(biāo)的標(biāo)準(zhǔn)差的倒數(shù)作為權(quán)數(shù)的加權(quán)歐氏距離。馬氏距離還考慮了觀測(cè)變量之間的變異性，不再受各指標(biāo)量綱的影響。將原始數(shù)據(jù)作線性變換后，馬氏距離不變。第8頁(yè),共55頁(yè)，2024年2月25日，星期天 3．蘭氏距離

(5.6)

它僅適用于一切Xij>0的情況，這個(gè)距離也可以克服各個(gè)指標(biāo)之間量綱的影響。這是一個(gè)自身標(biāo)準(zhǔn)化的量，由于它對(duì)大的奇異值不敏感，它特別適合于高度偏倚的數(shù)據(jù)。雖然這個(gè)距離有助于克服明氏距離的第一個(gè)缺點(diǎn)，但它也沒(méi)有考慮指標(biāo)之間的相關(guān)性。第9頁(yè),共55頁(yè)，2024年2月25日，星期天 4．距離選擇的原則一般說(shuō)來(lái)，同一批數(shù)據(jù)采用不同的距離公式，會(huì)得到不同的分類(lèi)結(jié)果。產(chǎn)生不同結(jié)果的原因，主要是由于不同的距離公式的側(cè)重點(diǎn)和實(shí)際意義都有不同。因此我們?cè)谶M(jìn)行聚類(lèi)分析時(shí)，應(yīng)注意距離公式的選擇。通常選擇距離公式應(yīng)注意遵循以下的基本原則：（1）要考慮所選擇的距離公式在實(shí)際應(yīng)用中有明確的意義。如歐氏距離就有非常明確的空間距離概念。馬氏距離有消除量綱影響的作用。（2）要綜合考慮對(duì)樣本觀測(cè)數(shù)據(jù)的預(yù)處理和將要采用的聚類(lèi)分析方法。如在進(jìn)行聚類(lèi)分析之前已經(jīng)對(duì)變量作了標(biāo)準(zhǔn)化處理，則通常就可采用歐氏距離。（3）要考慮研究對(duì)象的特點(diǎn)和計(jì)算量的大小。樣品間距離公式的選擇是一個(gè)比較復(fù)雜且?guī)в幸欢ㄖ饔^性的問(wèn)題，我們應(yīng)根據(jù)研究對(duì)象的特點(diǎn)不同做出具體分折。實(shí)際中，聚類(lèi)分析前不妨試探性地多選擇幾個(gè)距離公式分別進(jìn)行聚類(lèi)，然后對(duì)聚類(lèi)分析的結(jié)果進(jìn)行對(duì)比分析，以確定最合適的距離測(cè)度方法。第10頁(yè),共55頁(yè)，2024年2月25日，星期天二、變量相似性的度量

多元數(shù)據(jù)中的變量表現(xiàn)為向量形式，在幾何上可用多維空間中的一個(gè)有向線段表示。在對(duì)多元數(shù)據(jù)進(jìn)行分析時(shí)，相對(duì)于數(shù)據(jù)的大小，我們更多地對(duì)變量的變化趨勢(shì)或方向感興趣。因此，變量間的相似性，我們可以從它們的方向趨同性或“相關(guān)性”進(jìn)行考察，從而得到“夾角余弦法”和“相關(guān)系數(shù)”兩種度量方法。

1、夾角余弦 兩變量Xi與Xj看作p維空間的兩個(gè)向量，這兩個(gè)向量間的夾角余弦可用下式進(jìn)行計(jì)算

(5.7)

顯然，∣cos

ij∣

1。第11頁(yè),共55頁(yè)，2024年2月25日，星期天 2．相關(guān)系數(shù) 相關(guān)系數(shù)經(jīng)常用來(lái)度量變量間的相似性。變量Xi與Xj的相關(guān)系數(shù)定義為

(5.8)

顯然也有，∣rij∣

1。第12頁(yè),共55頁(yè)，2024年2月25日，星期天無(wú)論是夾角余弦還是相關(guān)系數(shù)，它們的絕對(duì)值都小于1，作為變量近似性的度量工具，我們把它們統(tǒng)記為cij。當(dāng)∣cij∣

=1時(shí)，說(shuō)明變量Xi與Xj完全相似；當(dāng)∣cij∣近似于1時(shí)，說(shuō) 明變量Xi與Xj非常密切；當(dāng)∣cij∣=0時(shí)，說(shuō)明變量Xi與Xj完 全不一樣；當(dāng)∣cij∣近似于0時(shí)，說(shuō)明變量Xi與Xj差別很大。 據(jù)此，我們把比較相似的變量聚為一類(lèi)，把不太相似的變量歸到不同的類(lèi)內(nèi)。在實(shí)際聚類(lèi)過(guò)程中，為了計(jì)算方便，我們把變量間相似性的度量公式作一個(gè)變換為

dij

=1∣cij∣(5.9)

或者

dij2

=1

cij2(5.10)

用表示變量間的距離遠(yuǎn)近，小則與先聚成一類(lèi)，這比較符合人們的一般思維習(xí)慣。第13頁(yè),共55頁(yè)，2024年2月25日，星期天第三節(jié)系統(tǒng)聚類(lèi)分析法

一系統(tǒng)聚類(lèi)的基本思想

二類(lèi)間距離與系統(tǒng)聚類(lèi)法

三類(lèi)間距離的統(tǒng)一性

第14頁(yè),共55頁(yè)，2024年2月25日，星期天一、系統(tǒng)聚類(lèi)的基本思想系統(tǒng)聚類(lèi)的基本思想是：距離相近的樣品（或變量）先聚成類(lèi)，距離相遠(yuǎn)的后聚成類(lèi)，過(guò)程一直進(jìn)行下去，每個(gè)樣品（或變量）總能聚到合適的類(lèi)中。系統(tǒng)聚類(lèi)過(guò)程是：假設(shè)總共有n個(gè)樣品（或變量），第一步將每個(gè)樣品（或變量）獨(dú)自聚成一類(lèi)，共有n類(lèi)；第二步根據(jù)所確定的樣品（或變量）“距離”公式，把距離較近的兩個(gè)樣品（或變量）聚合為一類(lèi)，其它的樣品（或變量）仍各自聚為一類(lèi)，共聚成n

1類(lèi)；第三步將“距離”最近的兩個(gè)類(lèi)進(jìn)一步聚成一類(lèi)，共聚成n

2類(lèi)；……，以上步驟一直進(jìn)行下去，最后將所有的樣品（或變量）全聚成一類(lèi)。為了直觀地反映以上的系統(tǒng)聚類(lèi)過(guò)程，可以把整個(gè)分類(lèi)系統(tǒng)畫(huà)成一張譜系圖。所以有時(shí)系統(tǒng)聚類(lèi)也稱(chēng)為譜系分析。除系統(tǒng)聚類(lèi)法外，還有有序聚類(lèi)法、動(dòng)態(tài)聚類(lèi)法、圖論聚類(lèi)法、模糊聚類(lèi)法等，限于篇幅，我們只介紹系統(tǒng)聚類(lèi)方法。第15頁(yè),共55頁(yè)，2024年2月25日，星期天二、類(lèi)間距離與系統(tǒng)聚類(lèi)法在進(jìn)行系統(tǒng)聚類(lèi)之前，我們首先要定義類(lèi)與類(lèi)之間的距離，由類(lèi)間距離定義的不同產(chǎn)生了不同的系統(tǒng)聚類(lèi)法。常用的類(lèi)間距離定義有8種之多，與之相應(yīng)的系統(tǒng)聚類(lèi)法也有8種，分別為最短距離法、最長(zhǎng)距離法、中間距離法、重心法、類(lèi)平均法、可變類(lèi)平均法、可變法和離差平方和法。它們的歸類(lèi)步驟基本上是一致的，主要差異是類(lèi)間距離的計(jì)算方法不同。以下用dij表示樣品Xi與Xj之間距離，用Dij表示類(lèi)Gi與Gj

之間的距離。第16頁(yè),共55頁(yè)，2024年2月25日，星期天 1.最短距離法 定義類(lèi)與之間的距離為兩類(lèi)最近樣品的距離，即為

(5.11)

設(shè)類(lèi)與合并成一個(gè)新類(lèi)記為，則任一類(lèi)與的距離為

(5.12)第17頁(yè),共55頁(yè)，2024年2月25日，星期天最短距離法進(jìn)行聚類(lèi)分析的步驟如下： （1）定義樣品之間距離，計(jì)算樣品的兩兩距離，得一距離陣記為D（0）

，開(kāi)始每個(gè)樣品自成一類(lèi)，顯然這時(shí)Dij

=

dij。 （2）找出距離最小元素，設(shè)為Dpq，則將Gp和Gq合并成一個(gè) 新類(lèi)，記為Gr，即Gr

=

｛Gp，Gq｝。 （3）按（5.12）計(jì)算新類(lèi)與其它類(lèi)的距離。（4）重復(fù)（2）、（3）兩步，直到所有元素。并成一類(lèi)為止。如果某一步距離最小的元素不止一個(gè)，則對(duì)應(yīng)這些最小元素的類(lèi)可以同時(shí)合并。第18頁(yè),共55頁(yè)，2024年2月25日，星期天【例5.1】設(shè)有六個(gè)樣品，每個(gè)只測(cè)量一個(gè)指標(biāo)，分別是1，2，5，7，9，10，試用最短距離法將它們分類(lèi)。 （1）樣品采用絕對(duì)值距離，計(jì)算樣品間的距離陣D（0），見(jiàn)表5.1表5.1第19頁(yè),共55頁(yè)，2024年2月25日，星期天

（2）D（0）中最小的元素是D12＝D56＝1，于是將G1和G2合 并成G7，G5和G6合并成G8，并利用（5.12）式計(jì)算新類(lèi)與其 它類(lèi)的距離D（1），見(jiàn)表5.2表5.2第20頁(yè),共55頁(yè)，2024年2月25日，星期天

（3）在D（1）中最小值是D34＝D48＝2，由于G4與G3合并， 又與G8合并，因此G3、G4、G8合并成一個(gè)新類(lèi)G9，其與其 它類(lèi)的距離D（2），見(jiàn)表5.3表5.3第21頁(yè),共55頁(yè)，2024年2月25日，星期天

（4）最后將G7和G9合并成G10，這時(shí)所有的六個(gè)樣品聚為一類(lèi)，其過(guò)程終止。 上述聚類(lèi)的可視化過(guò)程見(jiàn)圖5.1所示，橫坐標(biāo)的刻度表示并類(lèi)的距離。這里我們應(yīng)該注意，聚類(lèi)的個(gè)數(shù)要以實(shí)際情況所定，其詳細(xì)內(nèi)容將在后面討論。圖5.1最短距離聚類(lèi)法的過(guò)程第22頁(yè),共55頁(yè)，2024年2月25日，星期天第23頁(yè),共55頁(yè)，2024年2月25日，星期天再找距離最小兩類(lèi)并類(lèi)，直至所有的樣品全歸為一類(lèi)為止?？梢钥闯鲎铋L(zhǎng)距離法與最短距離法只有兩點(diǎn)不同：一是類(lèi)與類(lèi)之間的距離定義不同；另一是計(jì)算新類(lèi)與其它類(lèi)的距離所用的公式不同。第24頁(yè),共55頁(yè)，2024年2月25日，星期天 3.中間距離法 最短、最長(zhǎng)距離定義表示都是極端情況，我們定義類(lèi)間距離可以既不采用兩類(lèi)之間最近的距離也不采用兩類(lèi)之間最遠(yuǎn)的距離，而是采用介于兩者之間的距離，稱(chēng)為中間距離法。 中間距離將類(lèi)Gp與Gq類(lèi)合并為類(lèi)Gr，則任意的類(lèi)Gk和Gr的距離公式為

(1／4

0)(5.15)

設(shè)Dkq＞Dkp，如果采用最短距離法，則Dkr

=

Dkp，如果采用 最長(zhǎng)距離法，則Dkr

=

Dkq。如圖5.2所示，(5.15)式就是取它們（最長(zhǎng)距離與最短距離）的中間一點(diǎn)作為計(jì)算Dkr的根據(jù)。第25頁(yè),共55頁(yè)，2024年2月25日，星期天特別當(dāng)

=

1／4，它表示取中間點(diǎn)算距離，公式為

(5.16)

圖5.2中間距離法第26頁(yè),共55頁(yè)，2024年2月25日，星期天第27頁(yè),共55頁(yè)，2024年2月25日，星期天

第28頁(yè),共55頁(yè)，2024年2月25日，星期天第29頁(yè),共55頁(yè)，2024年2月25日，星期天

第30頁(yè),共55頁(yè)，2024年2月25日，星期天【例5.2】針對(duì)例5.1的數(shù)據(jù)，試用重心法將它們聚類(lèi)。（1）樣品采用歐氏距離，計(jì)算樣品間的平方距離陣D2（0），見(jiàn)表5.4所示。表5.4第31頁(yè),共55頁(yè)，2024年2月25日，星期天

（2）D2（0）中最小的元素是D212＝D256＝1，于是將G1和G2合 并成G7，G5和G6合并成G8，并利用（5.18）式計(jì)算新類(lèi)與 其它類(lèi)的距離得到距離陣D2（1），見(jiàn)表5.5： 其中， 其它結(jié)果類(lèi)似可以求得第32頁(yè),共55頁(yè)，2024年2月25日，星期天

（3）在D2（1）中最小值是D234＝4，那么G3與G4合并一個(gè)新類(lèi)G9，其與與其它類(lèi)的距離D2（2），見(jiàn)表5.6：表5.6第33頁(yè),共55頁(yè)，2024年2月25日，星期天

（4）在中最小值是＝12.5，那么與合并一個(gè)新類(lèi)，其與與 其它類(lèi)的距離，見(jiàn)表5.7：表5.7第34頁(yè),共55頁(yè)，2024年2月25日，星期天（5）最后將G7和G10合并成G11，這時(shí)所有的六個(gè)樣品聚為一類(lèi)，其過(guò)程終止。 上述重心法聚類(lèi)的可視化過(guò)程見(jiàn)圖5.3所示，橫坐標(biāo)的刻度表示并類(lèi)的距離。圖5.3重心聚類(lèi)法的過(guò)程第35頁(yè),共55頁(yè)，2024年2月25日，星期天第36頁(yè),共55頁(yè)，2024年2月25日，星期天 6.可變類(lèi)平均法 由于類(lèi)平均法中沒(méi)有反映出Gp和Gq之間的距離Dpq的影響， 因此將類(lèi)平均法進(jìn)一步推廣，如果將Gp和Gq合并為新類(lèi)Gr，類(lèi)Gk與新并類(lèi)Gr的距離公式為： （5.22） 其中

是可變的且

<1，稱(chēng)這種系統(tǒng)聚類(lèi)法為可變類(lèi)平均法。第37頁(yè),共55頁(yè)，2024年2月25日，星期天第38頁(yè),共55頁(yè)，2024年2月25日，星期天 8.離差平方和法 該方法是Ward提出來(lái)的，所以又稱(chēng)為Ward法。該方法的基本思想來(lái)自于方差分析，如果分類(lèi)正確，同類(lèi)樣品的離差平方和應(yīng)當(dāng)較小，類(lèi)與類(lèi)的離差平方和較大。具體做法是先將n個(gè)樣品各自成一類(lèi)，然后每次縮小一類(lèi)，每縮小一類(lèi)，離差平方和就要增大，選擇使方差增加最小的兩類(lèi)合并，直到所有的樣品歸為一類(lèi)為止。 設(shè)將n個(gè)樣品分成k類(lèi)G1，G2，…，Gk，用Xit表示Gt中的第I

個(gè)樣品，nt表示Gt中樣品的個(gè)數(shù)，是Gt的重心，則Gt的樣品離差平方和為第39頁(yè),共55頁(yè)，2024年2月25日，星期天

第40頁(yè),共55頁(yè)，2024年2月25日，星期天

這種系統(tǒng)聚類(lèi)法稱(chēng)為離差平方和法或Ward方法。下面論證離差平方和法的距離遞推（5.26）式。第41頁(yè),共55頁(yè)，2024年2月25日，星期天由于第42頁(yè),共55頁(yè)，2024年2月25日，星期天第43頁(yè),共55頁(yè)，2024年2月25日，星期天

第44頁(yè),共55頁(yè)，2024年2月25日，星期天第45頁(yè),共55頁(yè)，2024年2月25日，星期天三、類(lèi)間距離的統(tǒng)一性上述八種系統(tǒng)聚類(lèi)法的步驟完全一樣，只是距離的遞推公式不同。蘭斯（Lance）和威廉姆斯（Williams）于1967年給出了一個(gè)統(tǒng)一的公式。

(5.28)

其中ap、aq、

、

是參數(shù)，不同的系統(tǒng)聚類(lèi)法，它們?nèi)〔?同的數(shù)，詳見(jiàn)表5.8。這里應(yīng)該注意，不同的聚類(lèi)方法結(jié)果不一定完全相同，一般只是大致相似。如果有很大的差異，則應(yīng)該仔細(xì)考查，找到問(wèn)題所在；另外，可將聚類(lèi)結(jié)果與實(shí)際問(wèn)題對(duì)照，看哪一個(gè)結(jié)果更符合經(jīng)驗(yàn)。第46頁(yè),共55頁(yè)，2024年2月25日，星期天表5.8系統(tǒng)聚類(lèi)法參數(shù)表第47頁(yè),共55頁(yè)，2024年2月25日，星期天第四節(jié)K均值聚類(lèi)分析系統(tǒng)聚類(lèi)法需要計(jì)算出不同樣品或變量的距離，還要在聚類(lèi)的每一步都要計(jì)算“類(lèi)間距離”，相應(yīng)的計(jì)算量自然比較大；特別是當(dāng)樣本的容量很大時(shí)，需要占據(jù)非常大的計(jì)算機(jī)內(nèi)存空間，這給應(yīng)用帶來(lái)一定的困難。而K—均值法是一種快速聚類(lèi)法，采用該方法得到的結(jié)果比較簡(jiǎn)單易懂，對(duì)計(jì)算機(jī)的性能要求不高，因此應(yīng)用也比較廣泛。K均值法是麥奎因（MacQueen，1967）提出的，這種算法的基本思想是將每一個(gè)樣品分配給最近中心（均值）的類(lèi)中，具體的算法至少包括以下三個(gè)步驟：

1．將所有的樣品分成K個(gè)初始類(lèi)；

2．通過(guò)歐氏距離將某個(gè)樣品劃入離中心最近的類(lèi)中，并對(duì)獲得樣品與失去樣品的類(lèi)，重新計(jì)算中心坐標(biāo)；

3．重復(fù)步驟2，直到所有的樣品都不能再分配時(shí)為止。第48頁(yè),共55頁(yè)，2024年2月25日，星期天K均值法和系統(tǒng)聚類(lèi)法一樣，都是以距離的遠(yuǎn)近親疏為標(biāo)準(zhǔn)進(jìn)行聚類(lèi)的，但是兩者的不同之處也是明顯的：系統(tǒng)聚類(lèi)對(duì)不同的類(lèi)數(shù)產(chǎn)生一系列的聚類(lèi)結(jié)果，而K—均值法只能產(chǎn)生指定類(lèi)數(shù)的聚類(lèi)結(jié)果。具體類(lèi)數(shù)的確定，離不開(kāi)實(shí)踐經(jīng)驗(yàn)的積累；有時(shí)也可以借助系統(tǒng)聚類(lèi)法以一部分樣品為對(duì)象