多元統(tǒng)計(jì)分析課件(主成分分析)

第七章

主成分分析

第一節(jié)什么是主成分分析及基本思想

主成分分析（PrincipalComponentsAnalysis）也稱(chēng)主分量分析

是將多項(xiàng)指標(biāo)，化為少數(shù)幾個(gè)不相關(guān)的綜合指標(biāo)的一種統(tǒng)計(jì)方法。

在經(jīng)濟(jì)問(wèn)題研究中，為了全面、系統(tǒng)地分析問(wèn)題，我們必須考慮眾多對(duì)某經(jīng)濟(jì)過(guò)程有影響的因素，這些因素也叫指標(biāo)，在多元統(tǒng)計(jì)分析中也稱(chēng)為變量。每個(gè)指標(biāo)都在不同程度上反映了所研究問(wèn)題的某些信息。但是1、指標(biāo)之間彼此有一定的相關(guān)性，使得相應(yīng)的統(tǒng)計(jì)數(shù)據(jù)在一定程度上反映的信息有重疊。主成分分析可將相關(guān)的指標(biāo)化成一些不相關(guān)的指標(biāo)，避免了信息重疊帶來(lái)的虛假性。2、在用統(tǒng)計(jì)方法研究多變量問(wèn)題時(shí)，變量太多會(huì)增大計(jì)算量和增加分析問(wèn)題的復(fù)雜性，人們自然希望在進(jìn)行定量分析的過(guò)程中所涉及的變量要少，而得到的信息量又要多。主成分分析是解決這些問(wèn)題的理想工具。在綜合評(píng)價(jià)工業(yè)企業(yè)的經(jīng)濟(jì)效益中，考核指標(biāo)有：1每百元固定資產(chǎn)原值實(shí)現(xiàn)產(chǎn)值、2每百元固定資產(chǎn)原值實(shí)現(xiàn)利稅、3每百元資金實(shí)現(xiàn)利稅、4每百元工業(yè)總產(chǎn)值實(shí)現(xiàn)利稅、5每百元銷(xiāo)售收入實(shí)現(xiàn)利稅、6每噸標(biāo)準(zhǔn)煤實(shí)現(xiàn)工業(yè)產(chǎn)值、7每千瓦電力實(shí)現(xiàn)工業(yè)產(chǎn)值、8全員勞動(dòng)生產(chǎn)率、9每百元流動(dòng)資金實(shí)現(xiàn)的產(chǎn)值指標(biāo)間信息有重疊，指標(biāo)數(shù)量又多。經(jīng)過(guò)主成分分析計(jì)算，最后確定選擇了2個(gè)主成分作為綜合評(píng)價(jià)工業(yè)企業(yè)經(jīng)濟(jì)效益的依據(jù)，變量數(shù)由9個(gè)減少到2個(gè)，這兩個(gè)主成分代表的信息達(dá)91.6%，使所研究的問(wèn)題簡(jiǎn)化。所謂主成分就是原指標(biāo)的線(xiàn)性組合。主成分可以有很多個(gè)，反應(yīng)原指標(biāo)信息最多的稱(chēng)為第一主成分，其次是第二主成分，…等等。所謂反應(yīng)原指標(biāo)的信息多就是其方差大，方差越大，它反應(yīng)的信息就越多，因此選方差最大的作為第一主成分，…。

一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究。選擇17個(gè)反映國(guó)民收入與支出的變量因素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫(kù)存、股息、利息外貿(mào)平衡等等，他利用美國(guó)1929一1938年各年的數(shù)據(jù)。

在進(jìn)行主成分分析后，竟以97.4％的精度，用3個(gè)新變量取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這3個(gè)新變量分別命名為

總收入F1、總收入變化率F2

經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3

第二節(jié)主成分分析的

數(shù)學(xué)模型與幾何解釋X1X2

一、幾何解釋?zhuān)◣缀我饬x）：為了直觀(guān)，先在二維空間中討論主成分的幾何意義。設(shè)對(duì)每個(gè)樣品觀(guān)測(cè)兩個(gè)變量X1和X2的數(shù)據(jù)如下X1123456X2246810

12

樣品點(diǎn)完全在同一條直線(xiàn)上，這條直線(xiàn)的方程是:X2=2X1X1X2其散點(diǎn)圖如下θX1F2

X2F1

因?yàn)闃悠伏c(diǎn)都在F1軸上，F(xiàn)1方向有離散性，F(xiàn)2方向無(wú)離散性，也就無(wú)區(qū)別。可以用F1來(lái)描述這些樣品點(diǎn),，因此在新坐標(biāo)系中只需用F1一個(gè)變量就可以描述原來(lái)需用兩個(gè)變量X1和X2描述的樣品。那么F1包含了原來(lái)變量X1和X2的100%的信息。在實(shí)際問(wèn)題中，這樣的情況是很少見(jiàn)的。一般情況下，例如有n個(gè)樣品，每個(gè)樣品有兩個(gè)變量值X1和X2，則n個(gè)樣品的散點(diǎn)圖如帶狀.由圖可見(jiàn)這n個(gè)樣品點(diǎn)無(wú)論是沿著X1軸方向或X2軸方向都具有較大的離散性，其離散的程度可以分別用觀(guān)測(cè)變量X1的方差和X2的方差定量地表示。X1X1

θ

X2F2

F1

X1

同樣我們將X1軸和X2軸同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)θ角度，得到新坐標(biāo)軸F1和F2

。F1和F2是兩個(gè)新變量。根據(jù)解析幾何中的坐標(biāo)旋轉(zhuǎn)變換公式：新變量Fl和F2是原變量X1和X2的線(xiàn)性組合，用矩陣表示為：其中由線(xiàn)性代數(shù)我們知道:U是正交矩陣U的列向量都是單位向量且兩兩正交。U的列向量都是單位向量?jī)蓛烧徽f(shuō)明Fl與F2不相關(guān)。相關(guān)系數(shù)為零。旋轉(zhuǎn)變換的目的是為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問(wèn)題時(shí)，即使不考慮變量F2也無(wú)損大局。經(jīng)過(guò)上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮作用。

Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。二維平面上的樣品點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱(chēng)為原始變量x1和x2的綜合變量。由于n個(gè)樣品點(diǎn)在Fl軸上的方差最大，因而將二維空間的點(diǎn)的描述用Fl這個(gè)綜合變量來(lái)代替，所損失的信息最小，由此稱(chēng)Fl為第一主成分，F(xiàn)2為第二主成分。那么在經(jīng)濟(jì)問(wèn)題研究中我們可以只考慮F1方向上的信息，忽略F2方向上的信息，損失信息很少。這樣二維空間可以降為一維空間了。只取綜合變量F1，簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。二、數(shù)學(xué)模型：

假設(shè)我們所討論的實(shí)際問(wèn)題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為

X1，X2，…，Xp

主成分分析就是要把這p個(gè)指標(biāo)的問(wèn)題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線(xiàn)性組合的問(wèn)題

主成分分析通常的做法是，尋求原指標(biāo)的線(xiàn)性組合Fi。用矩陣表示

用矩陣表示

并且滿(mǎn)足：

(i=1,2,…P)*F=

其中aij由下列原則來(lái)確定：1、不相關(guān)性，F(xiàn)i與Fj不相關(guān)。即（a1i,a2i,…,api）與（a1j,a2j,…,apj）正交，也即ai與aj正交，2、方差極大條件，F(xiàn)l是Xl，X2，…,Xp的一切線(xiàn)性組合（系數(shù)滿(mǎn)足*式）中方差最大者；F2是與Fl不相關(guān)的Xl，X2，…，Xp的一切線(xiàn)性組合（系數(shù)滿(mǎn)足*式）中方差最大者；…；Fp是與Fl,F2,…,Fp-1都不相關(guān)的Xl，X2，…，Xp的一切線(xiàn)性組合（系數(shù)滿(mǎn)足*式）中方差最大者。

如此決定的綜合變量Fl,F2,…,Fp分別稱(chēng)為原變量的第一主成分，第二主成分，第P主成分。其中Fl在總方差中占的比重最大，其余F2,…,Fp的方差依次遞減。主成分分析通常的做法是，尋求原指標(biāo)的線(xiàn)性組合Fi。并且滿(mǎn)足：1(i=1,2,…P)*2不相關(guān)性，F(xiàn)i與Fj不相關(guān)。即ai與aj正交，3方差極大條件，第三節(jié)主成分的推導(dǎo)及性質(zhì)定理1若A是p階實(shí)對(duì)稱(chēng)陣，則一定可以找到正交陣U，使其中是A的特征根。

定理2、若上述矩陣A的特征根所對(duì)應(yīng)的單位特征向量為

則實(shí)對(duì)稱(chēng)陣屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有令1主成分的推導(dǎo)設(shè)F=為正交矩陣由協(xié)方差陣的性質(zhì)，有D(AX)=AD(X)Aˊ這里D(F)=D()=UˊD(X)U

或（1）又因?yàn)槭菍?shí)對(duì)稱(chēng)矩陣，則存在正交矩陣U使

（2）因此可知U可由實(shí)對(duì)稱(chēng)矩陣的單位特征向量構(gòu)成,即U可由|-λI|=0及（-λI)Y=0求出。這樣求出的F是否滿(mǎn)足條件？前兩條已滿(mǎn)足，因U是標(biāo)準(zhǔn)正交特征向量，下面看第三條是否滿(mǎn)足由（1）（2）可知而主對(duì)角線(xiàn)上的元素為Var(Fi)Var(Fi)=λi因?yàn)?/p>

所以在實(shí)際問(wèn)題中的協(xié)方差陣通常未知，需要通過(guò)樣本協(xié)方差陣來(lái)估計(jì)。設(shè)有n個(gè)樣品，每個(gè)樣品測(cè)得p個(gè)指標(biāo)，于是得到原始資料矩陣

是樣本協(xié)方差陣，作為總體協(xié)方差陣的無(wú)偏估計(jì),則由的單位特征向量構(gòu)成U，即由|-λI|=0求出λ然后代入（-λI)Y=0求出單位特征向量，構(gòu)成U主成分

(i=1,2,…P)F=是的特征根構(gòu)成的對(duì)角陣，ai是的特征根λi對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量在實(shí)際問(wèn)題中，利用主成分的目的是為了減少變量的個(gè)數(shù)，所以一般不用P個(gè)主成分，而是根據(jù)如下方法選取前K個(gè)主成分。定義為第i主成分Fi的方差貢獻(xiàn)率。這個(gè)值越大，說(shuō)明這個(gè)主成分Fi綜合原指標(biāo)信息的能力越強(qiáng)。定義（K≤P）為主成分Fl,F2,…,Fk的累積方差貢獻(xiàn)率。當(dāng)前K個(gè)主成分的累積方差貢獻(xiàn)率達(dá)到85%以上時(shí)，就取K個(gè)主成分。這樣K個(gè)主成分基本反映了原指標(biāo)的信息，指標(biāo)數(shù)目由P個(gè)減少到K個(gè)。這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降維。變量的標(biāo)準(zhǔn)化:由于主成分是根據(jù)變量的離散度也即方差的大小來(lái)確定主成分的，這樣當(dāng)不同指標(biāo)的量綱不同時(shí)，不同指標(biāo)的方差大小差別很大，主成分會(huì)受到影響，例如：X1表年收入，從萬(wàn)元到百萬(wàn)元變化，X2表凈收入與總資產(chǎn)之比，從0.01到0.60變化,那么X1的方差的絕對(duì)量將遠(yuǎn)遠(yuǎn)大于X2的方差,這樣主成分會(huì)過(guò)于照顧方差大的變量,為使主成分能均等地對(duì)待每一個(gè)原變量,應(yīng)將原變量作標(biāo)準(zhǔn)化處理.標(biāo)準(zhǔn)化公式:

(i=1,2,…P)這時(shí)有=因此求U時(shí)可用的特征向量。還可以證明=所以==2、主成分的性質(zhì)性質(zhì)1：F的協(xié)方差陣為對(duì)角陣性質(zhì)2：性質(zhì)3：(i=1,2,…P)對(duì)于標(biāo)準(zhǔn)化后的變量，則原始變量與主成分之間的相關(guān)系數(shù)主成分得分:

當(dāng)選取了n個(gè)主成分后，把樣本數(shù)據(jù)代入各主成分表達(dá)式可得樣本的主成分得分。若主成分是由原始數(shù)據(jù)協(xié)方差陣計(jì)算的，則計(jì)算主成分得分時(shí)，代原始數(shù)據(jù)。若主成分是由標(biāo)準(zhǔn)化數(shù)據(jù)計(jì)算，即由R計(jì)算，則計(jì)算主成分得分時(shí)，一定要代標(biāo)準(zhǔn)化數(shù)據(jù)，否則會(huì)出現(xiàn)錯(cuò)誤。主成分的綜合得分利用主成分Fl,F2,…,Fk作線(xiàn)性組合，并以每個(gè)主成分Fi的方差貢獻(xiàn)率作為權(quán)數(shù)構(gòu)造一個(gè)綜合函數(shù)：

F=根據(jù)計(jì)算出的F值大小進(jìn)行排序。第四節(jié)主成分的計(jì)算步驟及實(shí)例主成分的計(jì)算步驟：原始數(shù)據(jù)矩陣1、原始數(shù)據(jù)標(biāo)準(zhǔn)化2、計(jì)算樣本協(xié)差陣或相關(guān)系數(shù)矩陣R3、求R的非零特征根及對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量4、

求出主成分

(i=1,2,…P)

根據(jù)累計(jì)方差貢獻(xiàn)率大于等于80%，85%，90%等，確定選取主成分個(gè)數(shù)。

例

設(shè)的協(xié)方差矩陣為解得特征根為，，

第一個(gè)主成分的貢獻(xiàn)率為

5.83/（5.83+2.00+0.17）=72.875%，盡管第一個(gè)主成分的貢獻(xiàn)率并不小，但在本題中第一主成分不含第三個(gè)原始變量的信息，所以應(yīng)該取兩個(gè)主成分。Xi與F1的相關(guān)系數(shù)Xi與F2的相關(guān)系數(shù)xi10.92502-0.9980301

如果一個(gè)主成分僅僅對(duì)某一個(gè)原始變量有作用，則稱(chēng)為特殊成分。如果一個(gè)主成分所有的原始變量都起作用,稱(chēng)為公共成分。

例一應(yīng)收賬款是指企業(yè)因?qū)ν怃N(xiāo)售產(chǎn)品、材料、提供勞務(wù)及其它原因，應(yīng)向購(gòu)貨單位或接受勞務(wù)的單位收取的款項(xiàng)。出于擴(kuò)大銷(xiāo)售的競(jìng)爭(zhēng)需要，企業(yè)不得不以賒銷(xiāo)或其它優(yōu)惠的方式招攬顧客，由于銷(xiāo)售和收款的時(shí)間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷(xiāo)的效果的好壞，不僅依賴(lài)于企業(yè)的信用政策，還依賴(lài)于顧客的信用程度。由此，評(píng)價(jià)顧客的信用等級(jí)，了解顧客的綜合信用程度，對(duì)加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶(hù)的信用程度，采用西方銀行信用評(píng)估常用的5C方法，5C的目的是說(shuō)明顧客違約的可能性。

1、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過(guò)過(guò)去的付款記錄得到此項(xiàng)。

2、能力（用X2表示），指顧客的償還能力。即其流動(dòng)資產(chǎn)的數(shù)量和質(zhì)量以及流動(dòng)負(fù)載的比率。顧客的流動(dòng)資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時(shí)，還應(yīng)注意顧客流動(dòng)資產(chǎn)的質(zhì)量，看其是否會(huì)出現(xiàn)存貨過(guò)多過(guò)時(shí)質(zhì)量下降，影響其變現(xiàn)能力和支付能力。

3、資本（用X3表示），指顧客的財(cái)務(wù)勢(shì)力和財(cái)務(wù)狀況，表明顧客可能償還債務(wù)的背景。

4、附帶的擔(dān)保品（用X4表示），指借款人以容易出售的資產(chǎn)做抵押。

5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能控制或操縱的因素。

首先抽取了10家具有可比性的同類(lèi)企業(yè)作為樣本，又請(qǐng)8位專(zhuān)家分別給10個(gè)企業(yè)的5個(gè)指標(biāo)打分，然后分別計(jì)算企業(yè)5個(gè)指標(biāo)的平均值，如表。

76.581.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9；

第一主成份的貢獻(xiàn)率為84.6%，第一主成份

Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5

的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，是對(duì)所有指標(biāo)的一個(gè)綜合測(cè)度，可以作為綜合的信用等級(jí)指標(biāo)?？梢杂脕?lái)排序。計(jì)算各企業(yè)的得分，并按分值大小排序:

在正確評(píng)估了顧客的信用等級(jí)后，就能正確制定出對(duì)其的信用期、收帳政策等，這對(duì)于加強(qiáng)應(yīng)收帳款的管理大有幫助。序號(hào)12345678910得分3.1613.6-9.0135.925.1-10.3-4.36-33.8-6.41-13.8排序43712851069例

對(duì)全國(guó)30個(gè)省市自漢區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)作主成分分析，原始數(shù)據(jù)如下：

GDPX1居民消費(fèi)水平X2固定資產(chǎn)投資X3職工平均工資X4貨物周轉(zhuǎn)

量X5居民消費(fèi)價(jià)格指數(shù)X6商品零售價(jià)格指數(shù)X7工業(yè)總產(chǎn)

值X8北京天津河北山西內(nèi)蒙遼寧吉林黑龍江上海江蘇浙江安徽福建江西山東河南湖北湖南廣東廣西海南四川貴州云南西藏陜西甘肅青海寧夏新疆1394.89920.112849.521092.18832.882793.371129.22014.532462.575155.253524.792003.582160.521205.115002.343002.712391.422195.75381.721606.15364.173534630.071206.6855.981000.03553.35165.31169.75843.5725052720125812501387269718722334534319262249125423201182152710341527140826991314181412619421261111012081007144513551469519.01345.46704.87290.9250.23387.99320.45435.73996.481434.951006.39474553.97282.841229.55670.35571.68422.611639.83382.59198.35822.54150.8433417.87300.27114.8147.7661.98376.95814465014839472141344911443041459279594366194609585742115145434446854797825051055340464544755149738243965493575350795348373.9342.82033.3717.3781.71371.1497.4824.8207.41025.5754.4908.3609.3411.71196.61574.48491011.8656.5556232.1902.3301.1310.44.2500.950761.6121.8339117.3115.2115.2116.9117.5116.1115.2116.1118.7115.8116.6114.8115.2116.8117.6116.5120119114118.4113.5118.5121.4121.3117.3119119.8118117.1119.7112.6110.6115.8115.6116.8114114.2114.3113114.3113.5112.7114.4115.9114.2114.9116.6115.5111.6116.4111.3117117.2118.1114.9117116.5116.3115.3116.7843.43582.511234.85697.25419.391840.55762.471240.371642.952026.64916.59824.14433.67571.842207.691367.921220.72843.831396.35554.9764.331431.81324.72716.655.57600.98468.79105.8114.4428.76第一步

將原始數(shù)據(jù)標(biāo)準(zhǔn)化。第二步

建立指標(biāo)之間的相關(guān)數(shù)陣R如下：

X1X2X3X4X5X6X7X8X1X2X3X4X5X6X7X81.000.267.951.191.617-.274-.264.874.2671.000.426.718-.151-.234-.593.363.951.426.1000.400.431-.282-.359.792.191.718.4001.000-.356-.134-.539-.104.617-.151.431-.3561.000-.255.022.659-.274-.234-.282-.134-.2551.000.760-.126-.264-.593-.359-.539.022.7601.000-1.92.874.363.792.104.659-.126-.1921.000第三步

求R的特征值和特征向量。

從上表看，前3個(gè)特征值累計(jì)貢獻(xiàn)率已達(dá)89.564%，說(shuō)明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：主成分特征值方差貢獻(xiàn)率累計(jì)貢獻(xiàn)率123456783.7552.1951.214.403.213.1396.594E-021.462E-0246.94327.44315.1785.0332.6601.737.842.18346.94374.38689.56494.59697.25698.99399.817100.000從上表看，前3個(gè)特征值計(jì)累計(jì)貢獻(xiàn)率已達(dá)89.564%，說(shuō)明前