聚類分析-博文學(xué)院

聚類分析ClusterAnalysis1什么是聚類分析什么是聚類分析聚類分析也是一種分類技術(shù)。是研究“物以類聚”的一種方法。什么是聚類分析1、如對我國34個省市直轄市進(jìn)行分類。2、如對圖書館的書籍進(jìn)行分類。3、如視頻播放器對電影進(jìn)行分類。2距離和相似系數(shù)距離和相似系數(shù)

描述親疏程度有兩個途徑：

1、把每個樣品看成p維（變量的個數(shù)為p個）空間的一個點，在p維坐標(biāo)中，定義點與點之間的距離。

2、用某種相似系數(shù)來描述樣品之間的親疏程度。距離和相似系數(shù)根據(jù)分類的對象可將聚類分析分為：

（1）Q型（即樣品的聚類）

（2）R型（即變量或指標(biāo)的聚類)距離和相似系數(shù)Ⅰ、對樣本的分類（Q型）（利用距離來分類）距離和相似系數(shù)

樣本資料矩陣假使每個樣品有p個屬性，則每個樣品都可以看成p維空間中的一個點n個樣品就是p維空間中的n個點2/3/2023距離和相似系數(shù)第i樣品與第j樣品之間的距離記為dij距離和相似系數(shù)

樣本間的距離矩陣距離和相似系數(shù)怎樣定義樣本距離？1、明氏距離（Minkowski）2、歐氏距離（Euclidian）3、切比雪夫距離4、馬氏距離（Mahalanobis）5、蘭氏距離（Canberra）距離和相似系數(shù)1）、明氏距離當(dāng)p=1時，絕對值距離2/3/2023距離和相似系數(shù)2）、歐氏距離2/3/2023距離和相似系數(shù)3、切比雪夫距離距離和相似系數(shù)4、馬氏距離2/3/2023距離和相似系數(shù)5、蘭氏距離距離和相似系數(shù)Ⅱ、對指標(biāo)的分類（R型）（利用相似系數(shù)來分類）距離和相似系數(shù)怎樣定義指標(biāo)間的相似系數(shù)？1、夾角余弦2、相關(guān)系數(shù)距離和相似系數(shù)1）、夾角余弦距離和相似系數(shù)

指標(biāo)間的相似矩陣距離和相似系數(shù)2）、相關(guān)系數(shù)距離和相似系數(shù)

指標(biāo)間的相似矩陣3系統(tǒng)聚類法系統(tǒng)聚類法系統(tǒng)聚類法一般按以下步驟進(jìn)行：1、將n個樣品各作為一類；2、計算n個樣品兩兩之間的距離，構(gòu)成距離矩陣；3、合并距離最近的兩類為一新類；4、計算新類與當(dāng)前各類的距離。再合并、計算，直至只有一類為止；5、畫聚類圖，解釋系統(tǒng)聚類法類與類之間的距離1.最短距離法(singlelinkage)2.最長距離法(completelinkage)3.中間距離法(medianmethod)4.重心法(centroidmethod)5.類平均法(averagelinkage)6.可變類平均法(flexible-betamethod)7.可變法8.離差平方和法(Ward'sminimum-variancemethod)最短距離法系統(tǒng)聚類法x21?x12?x22?x11?類類間：兩類間兩兩樣品距離最短系統(tǒng)聚類法

遞推公式例、設(shè)抽取五個樣品，每個樣品只側(cè)一個指標(biāo)，他們是1，2，3.5，7，9，試用最短距離法對五個樣品進(jìn)行分類。（樣品間用絕對值距離）系統(tǒng)聚類法

D（0）

D(0)G1={X1}G2={X2}G3={X3}G4={X4}G5={X5}G1={X1}0G2={X2}10G3={X3}2.51.50G4={X4}653.50G5={X5}875.520系統(tǒng)聚類法

D（1）D(1)G6

G3

G4

G5G6={G1,G2}0G3={X3}1.50G4={X4}53.50G5={X5}75.520系統(tǒng)聚類法D（2）D(2)G7

G4

G5G7={G3,G6}0G4={X4}3.50G5={X5}5.520系統(tǒng)聚類法

D（3）D(3)G7

G8G70G8={G4,G5}3.50系統(tǒng)聚類法

聚類譜系圖系統(tǒng)聚類法

最短距離法聚類的步驟：1、定義樣品之間的距離，計算初始矩陣D（0）；2、找出D(0)中非對角線上的最小值，設(shè)為Dpq,將對應(yīng)的兩類Gp和Gq合并成一個新類，記為Gr

，即Gr=(Gp,Gq)3、計算新類與其它類之間的距離，得距離矩陣D(1)。4、用D(1)代替D(0)，重復(fù)2、3的過程得D(2)，如此下去直到所有樣品合并成一類為止。最長距離法系統(tǒng)聚類法x21?x12?x22?x11?類類間：兩類間兩兩樣品距離最長系統(tǒng)聚類法

遞推公式例、設(shè)抽取五個樣品，每個樣品只側(cè)一個指標(biāo)，他們是1，2，3.5，7，9，試用最短距離法對五個樣品進(jìn)行分類。（樣品間用絕對值距離）系統(tǒng)聚類法

D（0）

D(0)G1={X1}G2={X2}G3={X3}G4={X4}G5={X5}G1={X1}0G2={X2}10G3={X3}2.51.50G4={X4}653.50G5={X5}875.520系統(tǒng)聚類法

D（1）D(1)G6

G3

G4

G5

G6={G1,G2}0G3={X3}2.50G4={X4}63.50G5={X5}85.520系統(tǒng)聚類法D（2）D(2)G6

G7

G3G60G7={G4，G5}80G3={X3}2.55.50系統(tǒng)聚類法

D（3）D(3)G7

G8

G70G8={G3,G6}80系統(tǒng)聚類法

聚類譜系圖中間距離法系統(tǒng)聚類法系統(tǒng)聚類法

遞推公式

當(dāng)β=-1/4時，是三角形的中線例、設(shè)抽取五個樣品，每個樣品只側(cè)一個指標(biāo)，他們是1，2，3.5，7，9，試用最短距離法對五個樣品進(jìn)行分類。（樣品間用絕對值距離）系統(tǒng)聚類法

D（0）D2（0）G1

G2

G3

G4

G5G1={X1}0G2={X2}10G3={X3}6.252.250G4={X4}362512.250G5={X5}644930.2540系統(tǒng)聚類法

D（1）D2（1）

G6

G3

G4

G5G6={X1,X2}0G3={X3}40G4={X4}30.2512.250G5={X5}56.2530.2540系統(tǒng)聚類法D（2）D2（2）

G7

G4

G5G70G420.250G542.2540系統(tǒng)聚類法

D（3）D2（3）

G7

G8

G7={X1,X2,X3}0G8={X4,X5}30.250重心法系統(tǒng)聚類法類類間：兩類重心間的距離即為均值點間的距離??系統(tǒng)聚類法

遞推公式例、設(shè)抽取五個樣品，每個樣品只側(cè)一個指標(biāo)，他們是1，2，3.5，7，9，試用最短距離法對五個樣品進(jìn)行分類。（樣品間用絕對值距離）系統(tǒng)聚類法

D（0）D2（0）G1

G2

G3

G4

G5G1={X1}0G2={X2}10G3={X3}6.252.250G4={X4}362512.250G5={X5}644930.2540系統(tǒng)聚類法

D（1）D2（1）

G6

G3

G4

G5G6={X1,X2}0G3={X3}40G4={X4}30.2512.250G5={X5}56.2530.2540系統(tǒng)聚類法D（2）D

2（2）

G7

G4

G5G7={X1,X2X3}0G4={X4}23.360G5={X3}46.6940系統(tǒng)聚類法

D（3）D2（3）

G7

G8

G7={X1,X2,X3}0G8={X4,X5}34.030類平均法系統(tǒng)聚類法類類間：兩類間的距離即為兩類樣品兩兩之間的距離??????例、設(shè)抽取五個樣品，每個樣品只側(cè)一個指標(biāo)，他們是1，2，3.5，7，9，試用最短距離法對五個樣品進(jìn)行分類。（樣品間用絕對值距離）系統(tǒng)聚類法

D（0）D2（0）G1

G2

G3

G4

G5G1={X1}0G2={X2}10G3={X3}6.252.250G4={X4}362512.250G5={X5}644930.2540系統(tǒng)聚類法

D（1）D2（1）

G6

G3

G4

G5G6={X1,X2}0G3={X3}4.250G4={X4}30.2512.250G5={X5}56.2530.2540系統(tǒng)聚類法D（2）D

2（2）

G6

G7

G3G6={X1,X2}0G7={X4X5}43.50G3={X3}4.2521.250系統(tǒng)聚類法

D（3）D2（3）

G7

G8

G7={X4,X5}0G8={X1,X2,X3}36.080可變類平均法系統(tǒng)聚類法系統(tǒng)聚類法

遞推公式

類平均法的遞推公式中，沒有反映Gp類和Gq類的距離有多大，進(jìn)一步將其改進(jìn)，加入D2pq，并給定系數(shù)<1，則類平均法的遞推公式改為：一般取β=-1/4可變法系統(tǒng)聚類法系統(tǒng)聚類法遞推公式如果讓中間距離法遞推公式前兩項的系數(shù)也依賴于β，則遞推公式為：離差平方和法系統(tǒng)聚類法系統(tǒng)聚類法定義Gp類和Gq類的距離系統(tǒng)聚類法

D（0）D2（0）G1

G2

G3

G4

G5G1={X1}0G2={X2}0.50G3={X3}3.1251.1250G4={X4}1812.56.1250G5={X5}3224.515.12520系統(tǒng)聚類法

D（1）D2（1）

G6

G3

G4

G5G6={X1,X2}0G3={X3}2.6670G4={X4}20.1676.1250G5={X5}37.515.12520系統(tǒng)聚類法D（2）D

2（2）

G6

G7

G3G6={X1,X2}0G7={X4X5}42.250G3={X3}2.66713.50系統(tǒng)聚類法

D（3）D2（3）

G7

G8

G7={X4,X5}0G8={X1,X2,X3}40.83302/3/2023例1:為了更深入了解我國人口的文化程度狀況，現(xiàn)利用1990年全國人口普查數(shù)據(jù)對全國30個省、直轄市、自治區(qū)進(jìn)行聚類分析。分析選用了三個指標(biāo)：(1)大學(xué)以上文化程度人口占全部人口的比例（DXBZ）；(2)初中文化程度的人口占全部人口的比（CZBZ）；(3)文盲半文盲人口占全部人口的比例（WMBZ）、用來反映較高、中等、較低文化程度人口的狀況，原始數(shù)據(jù)如下表：系統(tǒng)聚類法1990年全國人口普查文化程度人口比例（%）2/3/2023地區(qū)序號DXBZCZBZWMBZ北京天津河北山西內(nèi)蒙遼寧吉林黑龍江上海江蘇