數(shù)學(xué)建模聚類分析

1、第二節(jié) 聚類分析 聚類分析（Cluster Analysis）是研究“物以類聚”的一種多元統(tǒng)計(jì)方法。國(guó)內(nèi)有人稱它為群分析、點(diǎn)群分析、簇群分析等。一、聚類分析的基本概念研究對(duì)樣品或指標(biāo)進(jìn)行分類的一種多元統(tǒng)計(jì)方法,是依據(jù)研究對(duì)象的個(gè)體的特征進(jìn)行分類的方法。聚類分析把分類對(duì)象按一定規(guī)則分成若干類，這些類非事先給定的，而是根據(jù)數(shù)據(jù)特征確定的。在同一類中這些對(duì)象在某種意義上趨向于彼此相似，而在不同類中趨向于不相似。職能是建立一種能按照樣品或變量的相似程度進(jìn)行分類的方法。 聚類分析的基本思想是認(rèn)為我們所研究的樣本或指標(biāo)（變量）之間存在著程度不同的相似性（親疏關(guān)系）。于是根據(jù)一批樣本的多個(gè)觀測(cè)指標(biāo)，具體找出

2、一些彼此之間相似程度較大的樣本（或指標(biāo)）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標(biāo)）又聚合為另一類，關(guān)系密切的聚合到一個(gè)小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一個(gè)大的分類單位，直到把所有樣本（或指標(biāo)）都聚合完畢，把不同的類型一一劃分出來，形成一個(gè)由小到大的分類系統(tǒng)。最后把整個(gè)分類系統(tǒng)畫成一張譜系圖，用它把所有樣本（或指標(biāo)）間的親疏關(guān)系表示出來。這種方法是最常用的、最基本的一種，稱為系統(tǒng)聚類分析。除此以外，還有動(dòng)態(tài)聚類法、圖論聚類法、模糊聚類法、有序聚類法等。聚類分析有兩種：一種是對(duì)樣本的分類，稱為Q型，另一種是對(duì)變量（指標(biāo)）的分類，稱為R型。R型聚類分析的主要作用： 不但可以了解個(gè)別變量

3、之間的親疏程度，而且可以了解各個(gè)變量組合之間的親疏程度。 根據(jù)變量的分類結(jié)果以及它們之間的關(guān)系，可以選擇主要變量進(jìn)行Q型聚類分析或回歸分析。（R2為選擇標(biāo)準(zhǔn)）Q型聚類分析的主要作用： 可以綜合利用多個(gè)變量的信息對(duì)樣本進(jìn)行分析。 分類結(jié)果直觀，聚類譜系圖清楚地表現(xiàn)數(shù)值分類結(jié)果。 聚類分析所得到的結(jié)果比傳統(tǒng)分類方法更細(xì)致、全面、合理。在課堂上主要討論Q型聚類分析, Q型聚類常用的統(tǒng)計(jì)量是距離.那么Q型系統(tǒng)聚類法則可以表述為： 把樣本看成n維空間的點(diǎn)，而把變量看成n維空間的坐標(biāo)軸，m個(gè)樣本開始時(shí)自成一類，然后規(guī)定各類之間的距離，將距離最小的一對(duì)并成一類，然后再計(jì)算距離，直到所有單位全部合并為止。二、

4、距離和相似系數(shù) 在進(jìn)行聚類分析時(shí)，樣本間的相似系數(shù)和距離有多種不同的定義，通常按特性來劃分。變量特征的測(cè)度尺度有三種類型： 間隔尺度（由連續(xù)的實(shí)值變量表示） 有序尺度（沒有明確的數(shù)量表示，只有次序關(guān)系，如產(chǎn)品等級(jí)） 名義尺度（具有某種特性，如性別）從一組復(fù)雜數(shù)據(jù)產(chǎn)生一個(gè)相當(dāng)簡(jiǎn)單的類結(jié)構(gòu)，必然要求進(jìn)行“相關(guān)性”或“相似性”的度量。在相似性度量的選擇中，常常包含許多主觀上的考慮，但最重要的考慮是指標(biāo)的性質(zhì)或觀測(cè)的尺度（名義、次序、間隔）以及相關(guān)知識(shí)。課堂上主要討論的指標(biāo)測(cè)量為間隔尺度的情況。距離每個(gè)樣本有p個(gè)指標(biāo)，因此每個(gè)樣本可以看成p維空間中的一個(gè)點(diǎn)，n個(gè)樣本就組成p維空間中的n個(gè)點(diǎn)，這時(shí)很自然

5、想到用距離來度量n個(gè)樣本間的接近程度。用 表示第i個(gè)樣本與第j個(gè)樣本之間的距離。一切距離應(yīng)滿足以下條件：常見的距離有：block distance 絕對(duì)值距離：euclidean distance 歐式距離squared euclidean distance 平方歐式距離chebychev distance 切比雪夫距離minkowski distance 明考斯基距離 （明氏距離）當(dāng)q=1,2時(shí)，為絕對(duì)值、歐式距離；若趨近無窮時(shí)，則為切比雪夫距離明氏距離在實(shí)際的運(yùn)用很多，但有一些缺點(diǎn)。例如觀測(cè)值的單位問題；指標(biāo)間的相關(guān)問題，因此改進(jìn)得到以下兩種距離：Lanberra 蘭氏距離Mahalano

6、bis 馬氏距離以上都是樣本間距離的定義。相似系數(shù)夾角余弦相關(guān)系數(shù)變量間的距離利用相似系數(shù)來定義距離利用樣本協(xié)差陣來定義距離把變量Xi的n次觀測(cè)值看成n維空間的點(diǎn),在n維空間中定義m個(gè)變量間的距離。 夾角余弦 兩變量的夾角余弦定義為： 相關(guān)系數(shù) 兩變量的相關(guān)系數(shù)定義為： 三、系統(tǒng)聚類法基本步驟1. 選擇樣本間距離的定義及類間距離的定義；2. 計(jì)算n個(gè)樣本兩兩之間的距離，得到距離矩陣 3. 構(gòu)造個(gè)類，每類只含有一個(gè)樣本；4. 合并符合類間距離定義要求的兩類為一個(gè)新類；5. 計(jì)算新類與當(dāng)前各類的距離。若類的個(gè)數(shù)為1，則轉(zhuǎn)到步驟6，否則回到步驟4;6.畫出聚類圖； 7.決定類的個(gè)數(shù)和類。系統(tǒng)聚類分析

7、的方法系統(tǒng)聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產(chǎn)生了不同的系統(tǒng)聚類分析方法。以下用dij表示樣品X(i)和X(j)之間的距離，當(dāng)樣品間的親疏關(guān)系采用相似系數(shù)Cij時(shí)，令 ；以下用D(p,q)表示類Gp和Gq之間的距離。1.最短距離法(SINgle method)2.最長(zhǎng)距離法(COMplete method)最長(zhǎng)距離最短距離ABCDEF例為了研究遼寧等5省1991年城鎮(zhèn)居民生活消費(fèi)情況的分布規(guī)律，根據(jù)調(diào)查資料做類型分類，用最短距離做類間分類。數(shù)據(jù)如下：x1x2x3x4x5x6x7x8遼寧17.9039.778.4912.9419.2711.052.0413

8、.29浙江27.6850.3711.3513.3019.2514.592.7514.87河南39.4227.938.208.1416.179.421.559.76甘肅49.1627.989.019.3215.999.101.8211.35青海510.0628.6410.5210.0516.188.391.9610.81將每一個(gè)省區(qū)視為一個(gè)樣本，先計(jì)算5個(gè)省區(qū)之間的歐式距離，用D0表示距離矩陣（對(duì)稱陣，故給出下三角陣）因此將合并為一類，為類6，替代了3、4兩類類6與剩余的1、2、5之間的距離分別為： d(3,4)1 d(3,4)2 d(3,4)5得到新矩陣合并類6和類5，得到新類7類7與剩余的1

9、、2之間的距離分別為： d(5,6)1 d(5,6)2 得到新矩陣合并類1和類2，得到新類8此時(shí)，我們有兩個(gè)不同的類：類7和類8。它們的最近距離d(7,8) 得到矩陣最后合并為一個(gè)大類。這就是按最短距離定義類間距離的系統(tǒng)聚類方法。最長(zhǎng)距離法類似！3.重心法(CENtroid method)4.類平均法(AVErage method)中間距離5.離差平方和法(WARD)基本思想來源于方差分析。它認(rèn)為：如果分類正確，同類間的類差平方和應(yīng)較小，類與類之間的離差平方和應(yīng)較大.具體做法是，先將n個(gè)樣本分成一類,然后每次縮小一類,每縮小一類離差平方和就要增大. 離差平方和法(WARD)系統(tǒng)聚類方法的統(tǒng)一

10、系統(tǒng)聚類法參數(shù)表 類的個(gè)數(shù)的確定由適當(dāng)?shù)拈撝荡_定；根據(jù)數(shù)據(jù)點(diǎn)的散布直觀地確定類的個(gè)數(shù)；根據(jù)統(tǒng)計(jì)量確定分類個(gè)數(shù)；類的個(gè)數(shù)的確定根據(jù)譜系圖確定分類個(gè)數(shù)的準(zhǔn)則：各類重心間的距離必須很大；類中保包含的元素不要太多；類的個(gè)數(shù)必須符合實(shí)際應(yīng)用；如果采用幾種不同的聚類方法處理，則在各種聚類圖中應(yīng)該發(fā)現(xiàn)相同的類。四、系統(tǒng)聚類的參數(shù)選擇聚類類別：統(tǒng)計(jì)圖：樹型譜系圖 冰柱譜系圖聚類方法1.Between-groups linkage 類間平均法 兩類距離為兩類元素兩兩之間平均平方距離2.Within-groups linkage 類內(nèi)平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearest neighbor 最短距離法 4. Furthest neighbor 最長(zhǎng)距離法5.Centroi