第一章聚類分析newnew

第一章聚類分析1聚類分析是研究（樣本或指標(biāo)）分類問題的一種多元統(tǒng)計(jì)方法。類：指相似元素的集合。分類：經(jīng)驗(yàn)→數(shù)學(xué)工具（例如聚類分析）。聚類分析定義：根據(jù)一批樣品的許多觀測指標(biāo)，按照一定的數(shù)學(xué)公式具體地計(jì)算一些樣品或一些指標(biāo)的相似程度，把相似的樣品或指標(biāo)歸為一類。2應(yīng)用：

1、對區(qū)域進(jìn)行經(jīng)濟(jì)發(fā)展?fàn)顩r的分析，可建立GDP、投資額、進(jìn)出口總額等指標(biāo)的指標(biāo)體系，然后進(jìn)行聚類分析，可能會發(fā)現(xiàn)大多數(shù)東部省份為一類，中部省份為一類，西部省份為一類，然后對區(qū)域內(nèi)和區(qū)域間進(jìn)行進(jìn)一步分析。3

2、對企業(yè)的經(jīng)濟(jì)效益進(jìn)行評價(jià)時(shí)，建立了一個(gè)由多個(gè)指標(biāo)組成的指標(biāo)體系，由于信息的重疊，一些指標(biāo)之間存在很強(qiáng)的相關(guān)性，所以需要將相似的指標(biāo)聚為一類，從而達(dá)到簡化指標(biāo)體系的目的。4系統(tǒng)聚類分析直觀，易懂?？焖倬垲惪焖?，動(dòng)態(tài)。有序聚類保序(時(shí)間順序或大小順序)。5例對10位應(yīng)聘者做智能檢驗(yàn)。3項(xiàng)指標(biāo)X，Y和Z分別表示數(shù)學(xué)推理能力，空間想象能力和語言理解能力。其得分如下，選擇合適的統(tǒng)計(jì)方法對應(yīng)聘者進(jìn)行分類。應(yīng)聘者12345678910X28181121262016142422Y29232223292322232927Z28181622262222242424§1聚類分析678我們直觀地來看，這個(gè)分類是否合理？計(jì)算4號和6號得分的離差平方和：

(21-20)2+(23-23)2+(22-22)2=1

計(jì)算1號和2號得分的離差平方和：

(28-18)2+(29-23)2+(28-18)2=236

計(jì)算1號和3號得分的離差平方和為482，由此可見一般，分類可能是合理的，歐氏距離很大的應(yīng)聘者沒有被聚在一起。由此，我們的問題是如何來選擇樣品間相似的測度指標(biāo)，如何將有相似性的類連接起來？9

思考：樣本點(diǎn)之間按什么刻畫相似程度思考：小類與小類之間按什么來刻畫相似程度10一、變量測量尺度的類型為了將樣本進(jìn)行分類，就需要研究樣品之間的關(guān)系；而為了將變量（指標(biāo)）進(jìn)行分類，就需要研究變量之間的關(guān)系。但無論是樣品之間的關(guān)系，還是變量之間的關(guān)系，都是用變量來描述的，變量的類型不同，描述方法也就不同。通常，變量按照測量它們的尺度不同，可以分為三類。

(1)間隔尺度。指標(biāo)度量時(shí)用數(shù)量來表示，其數(shù)值由測量、計(jì)數(shù)、統(tǒng)計(jì)得到，如長度、重量、收入、支出等。一般來說，計(jì)數(shù)得到的數(shù)量是離散數(shù)量，測量得到的數(shù)量是連續(xù)數(shù)量。在間隔尺度中如果存在絕對零點(diǎn)，又稱比例尺度?！?距離和相似系數(shù)11

(2)順序尺度。指標(biāo)度量時(shí)沒有明確的數(shù)量表示，只有次序關(guān)系，或雖用數(shù)量表示，但相鄰兩數(shù)值之間的差距并不相等，它只表示一個(gè)有序狀態(tài)序列。如評價(jià)酒的味道，分成好、中、次三等，三等有次序關(guān)系，但沒有數(shù)量表示。

(3)名義尺度。指標(biāo)度量時(shí)既沒有數(shù)量表示也沒有次序關(guān)系，只有一些特性狀態(tài)，如眼睛的顏色，化學(xué)中催化劑的種類等。在名義尺度中只取兩種特性狀態(tài)的變量是很重要的，如電路的開和關(guān)，天氣的有雨和無雨，人口性別的男和女，醫(yī)療診斷中的“十”和“一”，市場交易中的買和賣等都是此類變量。12

二、數(shù)據(jù)的變換處理所謂數(shù)據(jù)變換，就是將原始數(shù)據(jù)矩陣中的每個(gè)元素，按照某種特定的運(yùn)算把它變成為一個(gè)新值，而且數(shù)值的變化不依賴于原始數(shù)據(jù)集合中其它數(shù)據(jù)的新值。

1、中心化變換中心化變換是一種坐標(biāo)軸平移處理方法，它是先求出每個(gè)變量的樣本平均值，再從原始數(shù)據(jù)中減去該變量的均值，就得到中心化變換后的數(shù)據(jù)。設(shè)原始觀測數(shù)據(jù)矩陣為：13中心化變換的結(jié)果是使每列數(shù)據(jù)之和均為0，即每個(gè)變量的均值為0，而且每列數(shù)據(jù)的平方和是該列變量樣本方差的(n—1)倍，任何不同兩列數(shù)據(jù)之交叉乘積是這兩列變量樣本協(xié)方差的(n—1)倍，所以這是一種很方便地計(jì)算方差與協(xié)方差的變換。14

2、極差規(guī)格化變換規(guī)格化變換是從數(shù)據(jù)矩陣的每一個(gè)變量中找出其最大值和最小值，這兩者之差稱為極差，然后從每個(gè)變量的每個(gè)原始數(shù)據(jù)中減去該變量中的最小值，再除以極差，就得到規(guī)格化數(shù)據(jù)。即有：15經(jīng)過規(guī)格化變換后，數(shù)據(jù)矩陣中每列即每個(gè)變量的最大數(shù)值為1，最小數(shù)值為0，其余數(shù)據(jù)取值均在0－1之間；并且變換后的數(shù)據(jù)都不再具有量綱，便于不同的變量之間的比較。

3、標(biāo)準(zhǔn)化變換標(biāo)準(zhǔn)化變換也是對變量的數(shù)值和量綱進(jìn)行類似于規(guī)格化變換的一種數(shù)據(jù)處理方法。首先對每個(gè)變量進(jìn)行中心化變換，然后用該變量的標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化。特點(diǎn)是在抽樣樣本改變時(shí)，它仍保持相對穩(wěn)定性。即：16

經(jīng)過標(biāo)準(zhǔn)化變換處理后，每個(gè)變量即數(shù)據(jù)矩陣中每列數(shù)據(jù)的平均值為0，方差為1，且也不再具有量綱，同樣也便于不同變量之間的比較。變換后，數(shù)據(jù)矩陣中任何兩列數(shù)據(jù)乘積之和是兩個(gè)變量相關(guān)系數(shù)的（n－1）倍，所以這是一種很方便地計(jì)算相關(guān)矩陣的變換。

4．對數(shù)變換對數(shù)變換是將各個(gè)原始數(shù)據(jù)取對數(shù)，將原始數(shù)據(jù)的對數(shù)值作為變換后的新值。特點(diǎn)是將具有指數(shù)特征的數(shù)據(jù)結(jié)構(gòu)化為線性特征的數(shù)據(jù)結(jié)構(gòu)。即：

17

三、樣品間親疏程度的測度

研究樣品或變量的親疏程度的數(shù)量指標(biāo)有兩種，一種叫相似系數(shù)，性質(zhì)越接近的變量或樣品，它們的相似系數(shù)越接近于1或一l，而彼此無關(guān)的變量或樣品它們的相似系數(shù)則越接近于0，相似的為一類，不相似的為不同類；另一種叫距離，它是將每一個(gè)樣品看作p維空間的一個(gè)點(diǎn)，并用某種度量測量點(diǎn)與點(diǎn)之間的距離，距離較近的歸為一類，距離較遠(yuǎn)的點(diǎn)應(yīng)屬于不同的類。18

變量之間的聚類即R型聚類分析，常用相似系數(shù)來測度變量之間的親疏程度。樣品之間的聚類即Q型聚類分析，常用距離來測度樣品之間的親疏程度。

注:變量聚類放到因子分析后面19

1、定義距離的準(zhǔn)則

定義距離要求滿足第i個(gè)和第j個(gè)樣品之間的距離如下四個(gè)條件（距離可以自己定義，只要滿足距離的條件）202、常用距離的算法設(shè)和是第i和j個(gè)樣品的觀測值，則二者之間的距離為：明氏距離特別，絕對值距離和歐氏距離都是其中之一種。(1)明氏距離測度21

明考夫斯基距離主要有以下兩個(gè)缺點(diǎn)：①明氏距離的值與各指標(biāo)的量綱有關(guān)，而各指標(biāo)計(jì)量單位的選擇有一定的人為性和隨意性，各變量計(jì)量單位的不同不僅使此距離的實(shí)際意義難以說清，而且，任何一個(gè)變量計(jì)量單位的改變都會使此距離的數(shù)值改變，從而使該距離的數(shù)值依賴于各變量計(jì)量單位的選擇。②明氏距離的定義沒有考慮各個(gè)變量之間的相關(guān)性和重要性。實(shí)際上，明考夫斯基距離是把各個(gè)變量都同等看待，將兩個(gè)樣品在各個(gè)變量上的離差簡單地進(jìn)行了綜合。22

(2)杰氏距離這是杰斐瑞和馬突斯塔(Jffreys&Matusita)所定義的一種距離，其計(jì)算公式為：23

(3)蘭氏距離這是蘭思和維廉姆斯(Lance&Williams)所給定的一種距離，其計(jì)算公式為：

這是一個(gè)自身標(biāo)準(zhǔn)化的量，由于它對大的奇異值不敏感，這樣使得它特別適合于高度偏倚的數(shù)據(jù)。雖然這個(gè)距離有助于克服明氏距離的第一個(gè)缺點(diǎn)（克服量綱的影響），但它也沒有考慮指標(biāo)之間的相關(guān)性。24

(4)馬氏距離這是印度著名統(tǒng)計(jì)學(xué)家馬哈拉諾比斯(P．C．Mahalanobis)所定義的一種距離，其計(jì)算公式為：

分別表示第i個(gè)樣品和第j樣品的p個(gè)指標(biāo)觀測值所組成的列向量，即樣本數(shù)據(jù)矩陣中第i個(gè)和第j個(gè)行向量的轉(zhuǎn)置，表示觀測變量之間的協(xié)方差矩陣。在實(shí)踐應(yīng)用中，若總體協(xié)方差矩陣未知，則可用樣本協(xié)方差矩陣作為估計(jì)代替計(jì)算。25馬氏距離又稱為廣義歐氏距離。顯然，馬氏距離與上述各種距離的主要不同就是馬氏距離考慮了觀測變量之間的相關(guān)性。如果假定各變量之間相互獨(dú)立，即觀測變量的協(xié)方差矩陣是對角矩陣，則馬氏距離就退化為用各個(gè)觀測指標(biāo)的標(biāo)準(zhǔn)差的倒數(shù)作為權(quán)數(shù)進(jìn)行加權(quán)的歐氏距離。因此，馬氏距離不僅考慮了觀測變量之間的相關(guān)性，而且也考慮到了各個(gè)觀測指標(biāo)取值的差異程度，因此，不受指標(biāo)量綱的影響。26為了對馬氏距離和歐氏距離進(jìn)行一下比較，以便更清楚地看清二者的區(qū)別和聯(lián)系，現(xiàn)考慮一個(gè)例子。例如，假設(shè)有一個(gè)二維正態(tài)總體，它的分布為：

27

3、相似系數(shù)的算法

相關(guān)系數(shù)通常所說的相關(guān)系數(shù)，一般指變量間的相關(guān)系數(shù)。作為刻畫樣品間的相似系數(shù)也可類似給出定義。設(shè)和是第和個(gè)樣品的觀測值，則二者之間的相關(guān)系數(shù)為:其中28

四、距離和相似系數(shù)選擇的原則

一般說來，同一批數(shù)據(jù)采用不同的親疏測度指標(biāo)，會得到不同的分類結(jié)果。產(chǎn)生不同結(jié)果的原因，主要是由于不同的親疏測度指標(biāo)所衡量的親疏程度的實(shí)際意義不同，也就是說，不同的親疏測度指標(biāo)代表了不同意義上的親疏程度。因此我們在進(jìn)行聚類分析時(shí)，應(yīng)注意親疏測度指標(biāo)的選擇。通常，選擇親疏測度指標(biāo)時(shí)，應(yīng)注意遵循的基本原則主要有：

29

(1)所選擇的親疏測度指標(biāo)在實(shí)際應(yīng)用中應(yīng)有明確的意義。如在經(jīng)濟(jì)變量分析中，常用相關(guān)系數(shù)表示經(jīng)濟(jì)變量之間的親疏程度。30

(2)親疏測度指標(biāo)的選擇要綜合考慮已對樣本觀測數(shù)據(jù)實(shí)施了的變換方法和將要采用的聚類分析方法。如在標(biāo)準(zhǔn)化變換之下，夾角余弦實(shí)際上就是相關(guān)系數(shù)；又如若在進(jìn)行聚類分析之前已經(jīng)對變量的相關(guān)性作了處理，則通常就可采用歐氏距離。此外，所選擇的親疏測度指標(biāo)，還須和所選用的聚類分析方法一致。如聚類方法若選用離差平方和法，則距離只能選用歐氏距離。31

(3)適當(dāng)?shù)乜紤]計(jì)算工作量的大小。如對大樣本的聚類問題，不適宜選擇斜交空間距離（本章沒涉及該距離定義），因采用該距離處理時(shí)，計(jì)算工作量太大。樣品間或變量間親疏測度指標(biāo)的選擇是一個(gè)比較復(fù)雜且?guī)е饔^性的問題，我們應(yīng)根據(jù)研究對象的特點(diǎn)作具體分折，以選擇出合適的親疏測度指標(biāo)。實(shí)踐中，在開始進(jìn)行聚類分析時(shí)，不妨試探性地多選擇幾個(gè)親疏測度指標(biāo)，分別進(jìn)行聚類，然后對聚類分析的結(jié)果進(jìn)行對比分析，以確定出合適的親疏測度指標(biāo)。

32…0…0┇┇┇┇…0

至此，我們已經(jīng)可以根據(jù)所選擇的距離構(gòu)成樣本點(diǎn)間的距離表,樣本點(diǎn)之間被連接起來。33五、類與類之間的度量

正如樣品之間的距離可以有不同的定義方法一樣，類與類之間的距離也有不同的定義。例如，可以定義類與類之間的距離為兩類之間最近樣品的距離；或定義為兩類之間最遠(yuǎn)樣品的距離；或定義為兩類重心之間的距離等等。類與類之間用不同的方法定義距離，就產(chǎn)生了不同的系統(tǒng)聚類法，本節(jié)主要介紹如下系統(tǒng)聚類法：最短距離法、最長距離法、中間距離法、中心法、類平均法、可變類平均法、可變法、離差平方和法。34

系統(tǒng)聚類分析盡管方法很多，但歸類的步驟基本是一樣的，所不同的僅是類與類之間的距離有不同的定義方法，從而得到不同的計(jì)算距離的公式。

35

1、最短距離（NearestNeighbor)x21?x12?x22?x11?3637??????

3、組間平均（Between-groupLinkage)38

4、組內(nèi)平均（Within-groupLinkage)x21?x12?x22?x11?39

5、重心法（Centroidclustering):均值點(diǎn)的距離??40

6、離差平方和離差平方和定義類與類之間的距離是依據(jù)方差分析的思想。如果分類正確，同類樣品的離差平方和應(yīng)當(dāng)較小，類與類的離差平方和應(yīng)當(dāng)較大。因此，離差平方和法定義類與類之間的距離為：41離差平方和定義類與類間距離的例子：2，41，56，542紅綠（2，4，6，5）的離差平方和為8.75，則紅綠間距離的平方為8.75－2.5＝6.25。黃綠（6，5，1，5）的離差平方和為14.75，則黃綠間距離的平方為14.75－8.5＝6.25黃紅（2，4，1，5）的離差平方和為10，則黃紅間距離的平方為10－10＝0。43§3系統(tǒng)聚類方法

1、定義樣品之間的距離，共有個(gè)。得一距離陣，記為D（0）表，該矩陣是一對稱陣表。開始每個(gè)樣品（即樣本點(diǎn)）自成為一類。一、系統(tǒng)聚類法的聚類步驟開始各樣本自成一類。44

3、利用遞推公式計(jì)算新類與其它類之間的距離。分別刪除D（0）表的第p，q行和第p，q列，并新增一行和一列，添上新類和舊類之間距離的結(jié)果，產(chǎn)生D（1）表。類與類之間距離的定義法不同，則新類與其它類之間距離的遞推公式也不同。45

4、在D（1）表再選擇最小的數(shù)，其對應(yīng)的兩類又構(gòu)成新類，再利用遞推公式計(jì)算新類與其它類之間的距離。分別刪除D（1）表的相應(yīng)的行和列，并新增一行和一列，添上新類和舊類之間距離的結(jié)果，產(chǎn)生D（2）表。類推直至所有的樣本點(diǎn)歸為一類為止。46二、常用的種類

1、最短距離法

設(shè)抽取五個(gè)樣品，每個(gè)樣品只有一個(gè)變量，它們是1，2，3.5，7，9。用最短距離法對5個(gè)樣品進(jìn)行分類。首先采用絕對距離計(jì)算距離矩陣：

0

10

2.51.50

653.50

875.52047然后和被聚為新類，得：

0

1.50

53.50

75.52048

最短距離法的遞推公式

假設(shè)第p類和第q類合并成第r類，第r類與其它各舊類的距離按最短距離法為：4903.505.5205003.5051各步聚類的結(jié)果：(1,2)(3)(4)(5)(1,2,3)(4)(5)(1,2,3)(4,5)(1,2,3,4,5)52

2、最長距離法用最長距離法對5個(gè)樣品進(jìn)行分類。首先采用絕對距離計(jì)算距離矩陣：

0

10

2.51.50

653.50

875.52053

然后和被聚為新類，得：

0

2.50

63.50

85.52054

最長距離法的遞推公式

假設(shè)第p類和第q類合并成第r類，第r類與其它各舊類的距離按最長距離法為：553、中間距離法中間距離56

0

10

6.252.250

362512.250

644930.2540用中間距離法對5個(gè)樣品進(jìn)行分類。首先采用絕對距離計(jì)算距離平方矩陣：

57中間距離法的遞推公式58

0

40

30.2512.250

56.2530.254059

類平均法定義兩類間距離的平方是兩類元素兩兩之間距離平方的平均數(shù)。

0

10

6.252.250

362512.250

644930.2540

4、類平均法60然后和被聚為新類，得：

0

4.250

30.2512.250

56.2530.2540類平均法的定義公式：61

假設(shè)第p類和第q類合并成第r類，第r類與其它各舊類的距離為：62p類、q類與L類的距離的加權(quán)平均數(shù)63

5、可變類平均法

類平均法的遞推公式中，沒有反映Gp類和Gq類的距離有多大，進(jìn)一步將其改進(jìn)，加入D2Pq，并給定系數(shù)<1，則類平均法的遞推公式改為：用此遞推公式進(jìn)行聚類就是可變類平均法。遞推公式由：p類和q類與L類的距離的加權(quán)平均數(shù)p類和q類的距離兩項(xiàng)的加權(quán)和構(gòu)成，β的大小根據(jù)哪項(xiàng)更重要而定。646、離差平方和法

如和為一類，則離差平方和

如和為一類，則離差平方和

和

被聚為新類，重心為

65

類似于方差分析的思想，如果類分得恰當(dāng)，同類內(nèi)的樣品之間的離差平方和應(yīng)較小，而類間的離差平方和應(yīng)當(dāng)較大。

離差平方和法的思路是，先讓n個(gè)樣品各自成一類，然后每次縮小一類，每縮小一類離差平方和就要增大，選擇類間距離最?。措x差平方和增量最?。┑膬深惡喜ⅲㄒ?yàn)榉诸愓_，同類內(nèi)的樣品之間的離差平方和應(yīng)較?。?，直到所有的樣品歸為一類為止。66其中是由Gp和Gq合并成的Gr類的類內(nèi)離差平方和。可以證明離差平方和的聚類遞推公式為67

7、可變法

如果讓中間距離法的遞推公式前兩項(xiàng)的系數(shù)也依賴于，則遞推公式為：

用上式作為遞推公式的系統(tǒng)聚類法稱為可變法。68

8、重心法

用重心法對5個(gè)樣品進(jìn)行分類。首先采用絕對距離計(jì)算距離平方矩陣：

0

10

6.252.250

362512.250

644930.254069分別為Gp和Gq的重心，類與類之間的距離定義為兩個(gè)類重心（類內(nèi)樣品平均值）間的距離。重心法，也稱為樣品的均值法。設(shè)Gp和Gq為兩個(gè)類70設(shè)某一步Gp和Gq的重心分別為和，類內(nèi)的樣品數(shù)分別為和，如果要把Gp和Gq合并為Gr類，則Gr類的樣品數(shù)，Gr類的重心為和的加權(quán)算術(shù)平均數(shù)：71重心法遞推公式假設(shè)第p類和第q類合并成第r類，第r類與其它各舊類的距離按重心法為：72例如G4和G6的距離為：73三、聚類方法的選擇和類個(gè)數(shù)的確定

一般情況下，用不同的方法聚類，其結(jié)果是不會完全一致的，到底哪種方法好呢？至今還沒有一個(gè)合適的標(biāo)準(zhǔn)。一般采用以下兩種處理方法，（1）根據(jù)分類本身的專業(yè)知識結(jié)合實(shí)際需要選擇分類方法，并確定分類個(gè)數(shù)。（2）同時(shí)用多種方法，把結(jié)果中的共性取出來。如果用多種方法的某些結(jié)果都一樣，則說明這樣的聚類確實(shí)反映了事物的本質(zhì)。而將有爭議的樣本暫放一邊或用其他方法如判別分析去歸類。

74

四、聚類結(jié)果的解釋和實(shí)證對聚類結(jié)果進(jìn)行解釋是希望對各個(gè)類的特征進(jìn)行準(zhǔn)確的描述，給每類起一個(gè)合適的名稱。這一步可以借助各種描述性統(tǒng)計(jì)量進(jìn)行分析，通常的做法是計(jì)算各類在各聚類變量上的均值，對均值進(jìn)行比較，還可以解釋各類產(chǎn)別的原因。

75

例某公司下屬30個(gè)企業(yè)，公司為了考核下屬企業(yè)的經(jīng)濟(jì)效益，設(shè)計(jì)了8個(gè)指標(biāo)。為了避免重復(fù)，需要對這8個(gè)指標(biāo)進(jìn)行篩選，建立一個(gè)恰當(dāng)?shù)慕?jīng)濟(jì)效益指標(biāo)體系。通過計(jì)算30個(gè)企業(yè)8個(gè)指標(biāo)的相關(guān)系數(shù)矩陣，數(shù)據(jù)是1-r2。得如下表:

x1x2

x3

x4x5

x6

x7

x8

x10

0.600

0.430.460

0.470.450.120

0.570.450.230.220

0.380.400.210.290.220

0.310.790.650.700.800.660

0.450.450.270.230.140.1