《多元統(tǒng)計(jì)分析》課程主成分分析和聚類分析法的教學(xué)難點(diǎn)

《多元統(tǒng)計(jì)分析》課程主成分分析和聚類分析法的教學(xué)難點(diǎn)

在師范教育中，許多困難時(shí)期的學(xué)生很難理解。如果對(duì)方法理解不透,只是套用一些公式,不懂得變通地應(yīng)用到實(shí)際問(wèn)題中,將會(huì)產(chǎn)生誤差,可能得出錯(cuò)誤的結(jié)論。如何把對(duì)多變量處理的方法結(jié)合在一起應(yīng)用,使學(xué)生能較好的掌握這些方法,本文試圖在這方面作一些探討。實(shí)際問(wèn)題中,研究多指標(biāo)(變量)問(wèn)題是經(jīng)常遇到的,然而在多數(shù)情況下,不同指標(biāo)之間往往具有一定的相關(guān)性。由于指標(biāo)較多再加上指標(biāo)之間有一定的相關(guān)性,勢(shì)必增加了分析問(wèn)題的復(fù)雜性。而解決這種情況的一個(gè)有效途徑就是采用主成分分析的方法。主成分分析就是設(shè)法將原來(lái)指標(biāo)重新組合成一組新的互相無(wú)關(guān)的幾個(gè)綜合指標(biāo)來(lái)代替原來(lái)指標(biāo),同時(shí)根據(jù)實(shí)際需要從中取幾個(gè)較少的綜合指標(biāo),盡可能多的反映原來(lái)指標(biāo)的信息。由于主成分分析方法能濃縮信息,簡(jiǎn)化指標(biāo)的結(jié)構(gòu),使分析問(wèn)題的過(guò)程簡(jiǎn)單、直觀、有效,所以廣泛應(yīng)用于各個(gè)領(lǐng)域。人們經(jīng)常利用主成分分析方法綜合評(píng)價(jià)企業(yè)或事業(yè)單位的經(jīng)濟(jì)效益、技術(shù)進(jìn)步狀況,并收到了良好的效果。本文把主成分分析和聚類分析結(jié)合在一起應(yīng)用,對(duì)解決實(shí)際問(wèn)題有一定的幫助。下面采用一個(gè)案例來(lái)分析改進(jìn)前后的效果差異。1率較高時(shí)的排序在主成分分析法中,當(dāng)?shù)谝恢鞒煞諪1的方差貢獻(xiàn)率較高(一般85%以上)時(shí),可以認(rèn)為該主成分所能反映的信息與原有p個(gè)變量提供的信息差不多,此時(shí)可以按第一主成分的得分進(jìn)行排序評(píng)估。1.1構(gòu)造主成分綜合得分在很多情況下,第一主成分F1的方差貢獻(xiàn)率不夠高,需要考慮多個(gè)主成分F1,F2……,Fr為了對(duì)樣品進(jìn)行排序,常用的方法是以各個(gè)主成分Fi的方差貢獻(xiàn)率αi為權(quán)數(shù),構(gòu)造主成分的“綜合得分”為:然后根據(jù)這個(gè)公式把樣本的主成分綜合得分計(jì)算出來(lái),并將其排序。這種綜合得分計(jì)算看起來(lái)非常合理,似乎可以提高信息含量,即增加方差的貢獻(xiàn)率,其實(shí)只是一種錯(cuò)覺(jué),通過(guò)計(jì)算H的方差可以發(fā)現(xiàn),有可能得出完全相反的結(jié)論。從這個(gè)推導(dǎo)過(guò)程我們發(fā)現(xiàn)綜合得分的方差比第一主成分F1的方差還小,這說(shuō)明綜合主成分得分所含信息量比第一主成分所含信息量還少。1.2聚類分析方法對(duì)于多指標(biāo)系統(tǒng)評(píng)估中的排序問(wèn)題,如果第一主成分F1的方差貢獻(xiàn)率不夠大,即第一主成分表達(dá)的原始數(shù)據(jù)信息不夠大,僅按第一主成分得分對(duì)樣品排序評(píng)價(jià)會(huì)有片面性。這時(shí)候可以將主成分分析與聚類分析兩種統(tǒng)計(jì)方法結(jié)合起來(lái),采用“主成分聚類分析法”。聚類分析是將樣品或變量按照它們性質(zhì)上的親疏程度進(jìn)行分類的一種方法,盡管聚類分析可以將多個(gè)指標(biāo)的數(shù)據(jù)進(jìn)行很好的分類,但并不能得到各優(yōu)劣程度的評(píng)價(jià)結(jié)果。主成分聚類的思想是首先做主成分分析,再取若干主成分對(duì)樣品進(jìn)行聚類分析,結(jié)合第一主成分得分排序?qū)悠愤M(jìn)行分類排名。由此得到一種新的綜合評(píng)價(jià)方法,具體做法如下:設(shè)按照累計(jì)貢獻(xiàn)率選定前r個(gè)主成分,并計(jì)算主成分得分:對(duì)所選定的新的數(shù)據(jù)矩陣(F1,F2,…,Fr)進(jìn)行系統(tǒng)聚類。然后計(jì)算各類中樣品的均值得分來(lái)確定類間的排序;最后根據(jù)類中樣品第一主成分得分,確定各類中樣品的排序,得到綜合評(píng)價(jià)。2主成分聚類分析湖北省黃岡市橫跨湖北東北部,地域遼闊,人口眾多,下轄10各縣市區(qū),南部縣市瀕臨長(zhǎng)江,交通便利,北部北區(qū)交通閉塞,基礎(chǔ)設(shè)施較落后,所以整個(gè)地區(qū)社會(huì)經(jīng)濟(jì)發(fā)展不平衡。我們現(xiàn)在用這個(gè)主成分聚類分析對(duì)其發(fā)展情況進(jìn)行分析。下面表1為湖北省黃岡市各縣市區(qū)2006年的經(jīng)濟(jì)社會(huì)發(fā)展的原始數(shù)據(jù)。先將原始數(shù)據(jù)標(biāo)準(zhǔn)化,然后用軟件SPSS進(jìn)行主成分分析,得到結(jié)果如表2。從上表中,我們發(fā)現(xiàn)選取前兩個(gè)主成分,方差的累計(jì)貢獻(xiàn)率就達(dá)到了88.373%。前兩個(gè)特征值對(duì)應(yīng)的特征向量如表3。通過(guò)Fi=a1iX1+a2iX2+…+apiXp,可以計(jì)算出樣本在前兩個(gè)主成分上的得分,并通過(guò)貢獻(xiàn)率加權(quán)求出“綜合得分”見(jiàn)表4。根據(jù)兩上主成分得分進(jìn)一步利用SPSS進(jìn)行聚類分析,得到結(jié)果如下:{浠水縣,蘄春縣,黃梅縣,麻城市};{紅安縣,羅田縣,團(tuán)風(fēng)縣,英山縣};{黃州區(qū),武穴市}。計(jì)算出各類中的樣本得分均值可以將三類進(jìn)行排序:第一類,{黃州區(qū),武穴市};第二類{浠水縣,蘄春縣,黃梅縣,麻城市};第三類{紅安縣,羅田縣,團(tuán)風(fēng)縣,英山縣}。我們發(fā)現(xiàn)第一類得分都較高,是黃岡發(fā)達(dá)地區(qū),這與實(shí)際情況也是相符的,黃州區(qū)是黃岡市行政機(jī)關(guān)所在地,經(jīng)濟(jì)發(fā)展比較活躍;武穴緊鄰長(zhǎng)江,交通便利,經(jīng)濟(jì)基礎(chǔ)較好。第二類浠水、蘄春、黃梅和麻城規(guī)模較大,都有一定的基礎(chǔ),是黃岡經(jīng)濟(jì)發(fā)展較好的地區(qū)。第三類紅安、羅田、團(tuán)風(fēng)和英山有些是革命老區(qū)、有些是立縣時(shí)間短,基礎(chǔ)非常薄弱,交通不便,是黃岡經(jīng)濟(jì)最落后的地方。再按各類中第一主成分得分排序,得到的排列順序是:武穴市,黃州區(qū),麻城市,浠水縣,黃梅縣,蘄春縣,紅安縣,羅田縣,英山縣,團(tuán)風(fēng)縣。這個(gè)排名和綜合得分排名(表4)相比,只有浠水縣和黃梅縣的排名不一致,正好反