主成分分析法(高教書苑)

第5節(jié)主成分分析（PrincipalComponentsAnalysis,PCA）

第三章地理學(xué)中的經(jīng)典統(tǒng)計(jì)分析方法1高級(jí)教育主要內(nèi)容主成分分析概述主成分分析的基本原理主成分分析的計(jì)算步驟

主成分分析方法應(yīng)用實(shí)例主成分分析的SPSS實(shí)現(xiàn)過程主成分分析的應(yīng)用及需要注意的問題附：主成分分析與因子分析的區(qū)別2高級(jí)教育一、主成分分析概述3高級(jí)教育假定你是一個(gè)公司的財(cái)務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，這包括眾多的變量，比如固定資產(chǎn)、流動(dòng)資金、每一筆借貸的數(shù)額和期限、各種稅費(fèi)、工資支出、原料消耗、產(chǎn)值、利潤(rùn)、折舊、職工人數(shù)、職工的分工和教育程度等等。如果讓你向上級(jí)或有關(guān)方面介紹公司狀況，你能夠把這些指標(biāo)和數(shù)字都原封不動(dòng)地?cái)[出去嗎？

引子4高級(jí)教育當(dāng)然不能。匯報(bào)什么？發(fā)現(xiàn)在如此多的變量之中，有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)“代表”來對(duì)它們進(jìn)行描述。需要把這種有很多變量的數(shù)據(jù)進(jìn)行高度概括，用少數(shù)幾個(gè)指標(biāo)簡(jiǎn)單明了地把情況說清楚。5高級(jí)教育主成分分析（

PrincipalComponentsAnalysis）和因子分析（FactorAnalysis）就是把變量維數(shù)降低以便于描述、理解和分析的方法。主成分分析也稱為主分量分析，是一種通過降維來簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)的方法：如何把多個(gè)變量化為少數(shù)幾個(gè)綜合變量（綜合指標(biāo)），而這幾個(gè)綜合變量可以反映原來多個(gè)變量的大部分信息，所含的信息又互不重疊，即它們之間要相互獨(dú)立，互不相關(guān)。這些綜合變量就叫因子或主成分，它是不可觀測(cè)的，即它不是具體的變量（這與聚類分析不同），只是幾個(gè)指標(biāo)的綜合。在引入主成分分析之前，先看下面的例子。什么是主成分分析法？6高級(jí)教育成績(jī)數(shù)據(jù)53個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語的成績(jī)?nèi)缦卤恚ú糠郑?高級(jí)教育從本例可能提出的問題能不能把這個(gè)數(shù)據(jù)表中的6個(gè)變量用一兩個(gè)綜合變量來表示呢？這一兩個(gè)綜合變量包含有多少原來的信息呢？能不能利用找到的綜合變量來對(duì)學(xué)生排序呢？8高級(jí)教育事實(shí)上，以上的三個(gè)問題在地理學(xué)研究中，也會(huì)經(jīng)常遇到。它所涉及的問題可以推廣到對(duì)企業(yè)、對(duì)學(xué)校、對(duì)區(qū)域進(jìn)行分析、評(píng)價(jià)、排序和分類等。比如對(duì)n個(gè)區(qū)域進(jìn)行綜合評(píng)價(jià)，可選的描述區(qū)域特征的指標(biāo)很多，而這些指標(biāo)往往存在一定的相關(guān)性（既不完全獨(dú)立，又不完全相關(guān)），這就給研究帶來很大不便。若選指標(biāo)太多，會(huì)增加分析問題的難度與復(fù)雜性，選指標(biāo)太少，有可能會(huì)漏掉對(duì)區(qū)域影響較大的指標(biāo)，影響結(jié)果的可靠性。9高級(jí)教育這就需要我們?cè)谙嚓P(guān)分析的基礎(chǔ)上，采用主成分分析法找到幾個(gè)新的相互獨(dú)立的綜合指標(biāo)，達(dá)到既減少指標(biāo)數(shù)量、又能區(qū)分區(qū)域間差異的目的。10高級(jí)教育

二、主成分分析的基本原理11高級(jí)教育（一）主成分分析的幾何解釋

例中數(shù)據(jù)點(diǎn)是六維的；即每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。希望把6維空間用低維空間表示。先假定只有二維，即只有兩個(gè)變量，語文成績(jī)（x1）和數(shù)學(xué)成績(jī)（x2），分別由橫坐標(biāo)和縱坐標(biāo)所代表；每個(gè)學(xué)生都是二維坐標(biāo)系中的一個(gè)點(diǎn)。12高級(jí)教育空間的點(diǎn)如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣（這在二維正態(tài)的假定下是可能的）該橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上數(shù)據(jù)變化很少；在極端的情況，短軸如退化成一點(diǎn)，長(zhǎng)軸的方向可以完全解釋這些點(diǎn)的變化，由二維到一維的降維就自然完成了。13高級(jí)教育?????????????????????????????????????假定語文成績(jī)（X1）和數(shù)學(xué)成績(jī)（X2）的相關(guān)系數(shù)ρ=0.6。設(shè)X1

和X2

分別為標(biāo)準(zhǔn)化后的分?jǐn)?shù)，右圖為其散點(diǎn)圖。14高級(jí)教育那么隨機(jī)向量的方差—協(xié)方差矩陣為可以看出，在變量標(biāo)準(zhǔn)化的情況下的方差—協(xié)方差矩陣與其相關(guān)矩陣相等。由求矩陣特征值和特征向量的方法：令可以求出：15高級(jí)教育對(duì)應(yīng)的特征向量分別為：顯然，這兩個(gè)特征向量是相互正交的單位向量。而且它們與原來的坐標(biāo)軸X1

和X2

的夾角都分別等于45o。如果將坐標(biāo)軸X1

和X2

旋轉(zhuǎn)45o，那么點(diǎn)在新坐標(biāo)系中的坐標(biāo)（Y1,Y2）與原坐標(biāo)（X1,X2）有如下的關(guān)系：Y1和Y2均是X1

和X2的線性組合系數(shù)代表什么？16高級(jí)教育?????????????????????????????????????在新坐標(biāo)系中，可以發(fā)現(xiàn)：雖然散點(diǎn)圖的形狀沒有改變，但新的隨機(jī)變量Y1

和Y2

已經(jīng)不再相關(guān)。而且大部分點(diǎn)沿Y1

軸散開，在Y1軸方向的變異較大（即Y1的方差較大），相對(duì)來說，在Y2軸方向的變異較?。碮2

的方差較小）。17高級(jí)教育事實(shí)上，隨機(jī)變量Y1和Y2的方差分別為：可以看出，最大變動(dòng)方向是由特征向量所決定的，而特征值則刻畫了對(duì)應(yīng)的方差。這只是我們舉的一個(gè)例子，對(duì)于一般情況，數(shù)學(xué)上也能證明。18高級(jí)教育在上面的例子中Y1

和Y2

就是原變量X1和X2的第一主成分和第二主成分。實(shí)際上第一主成分Y1就基本上反映了X1

和X2

的主要信息，因?yàn)閳D中的各點(diǎn)在新坐標(biāo)系中的Y1

坐標(biāo)基本上就代表了這些點(diǎn)的分布情況，因此可以選Y1

為一個(gè)新的綜合變量。當(dāng)然如果再選Y2也作為綜合變量，那么Y1

和Y2

則反映了X1

和X2的全部信息。19高級(jí)教育從幾何上看，找主成分的問題就是找出p維空間中橢球體的主軸問題，就是要在x1~xp的相關(guān)矩陣中m個(gè)較大特征值所對(duì)應(yīng)的特征向量。究竟提取幾個(gè)主成分或因子，一般有兩種方法：特征值>1累計(jì)貢獻(xiàn)率>0.8那么如何提取主成分呢？

（二）主成分分析的基本思想

20高級(jí)教育假定有n個(gè)地理樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)n×p階的地理數(shù)據(jù)矩陣

（3.5.1）

綜合指標(biāo)如何選取呢？這些綜合指標(biāo)要想盡可能多地反映原指標(biāo)的信息，綜合指標(biāo)的表達(dá)式中要含有原指標(biāo)，那么我們通常是取原指標(biāo)的線性組合，適當(dāng)調(diào)整它們的系數(shù)，使綜合指標(biāo)間相互獨(dú)立且代表性好。21高級(jí)教育

定義：記x1，x2，…，xP為原變量指標(biāo)，z1，z2，…，zm（m≤p）為新變量指標(biāo)(3.5.2)

可以看出，新指標(biāo)對(duì)原指標(biāo)有多個(gè)線性組合，新指標(biāo)對(duì)哪個(gè)原指標(biāo)反映的多，哪個(gè)少，取決于它的系數(shù)。系數(shù)lij的確定原則：①

zi與zk（i≠k；i，k=1，2，…，m;j=1，2，…，p）相互無關(guān)；22高級(jí)教育

②

z1是x1，x2，…，xP的一切線性組合中方差最大者(最能解釋它們之間的變化），z2是與z1不相關(guān)的x1，x2，…，xP的所有線性組合中方差最大者;…;zm是與z1，z2，……，zm－1都不相關(guān)的x1，x2，…xP，的所有線性組合中方差最大者。

則新變量指標(biāo)z1，z2，…，zm分別稱為原變量指標(biāo)x1，x2，…，xP的第1，第2，…，第m主成分。

23高級(jí)教育

從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來變量xj（j=1，2，…，

p）在諸主成分zi（i=1，2，…，m）上的荷載

lij（

i=1，2，…，m；

j=1，2，…，p）。從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩陣（也就是x1，x2，…，xP的相關(guān)系數(shù)矩陣）m個(gè)較大的特征值所對(duì)應(yīng)的特征向量。

24高級(jí)教育三、主成分分析的計(jì)算步驟25高級(jí)教育（一）計(jì)算相關(guān)系數(shù)矩陣

rij（i，j=1，2，…，p）為原變量xi與xj標(biāo)準(zhǔn)化后的相關(guān)系數(shù)，rij=rji，其計(jì)算公式為（3.5.3）

（3.5.4）

26高級(jí)教育

（二）計(jì)算特征值與特征向量1、解特征方程，求出特征值，并使其按大小順序排列；

2、分別求出對(duì)應(yīng)于特征值的特征向量，要求=1，即，其中表示向量的第j個(gè)分量,也就是說為單位向量。27高級(jí)教育3、計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率貢獻(xiàn)率累計(jì)貢獻(xiàn)率

一般取累計(jì)貢獻(xiàn)率達(dá)85%~95%的特征值所對(duì)應(yīng)的第1、第2、…、第m（m≤p）個(gè)主成分。

28高級(jí)教育4、計(jì)算主成分載荷

在主成分之間不相關(guān)時(shí)，主成分載荷就是主成分zi與變量xj之間的相關(guān)系數(shù)（在數(shù)學(xué)上可以證明）

5、各主成分的得分

得到各主成分的載荷以后，可以按照（3.5.2）計(jì)算各主成分的得分

（3.5.5）

29高級(jí)教育（3.5.6）

每個(gè)地區(qū)的綜合評(píng)價(jià)值為：對(duì)各個(gè)主成分進(jìn)行加權(quán)求和。權(quán)重為每個(gè)主成分方差的貢獻(xiàn)率。30高級(jí)教育四、主成分分析方法應(yīng)用實(shí)例31高級(jí)教育（一）下面，我們根據(jù)表3.5.1給出的數(shù)據(jù)，對(duì)某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)做主成分分析。

表3.5.1

某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù)

32高級(jí)教育33高級(jí)教育步驟如下：（1）將表3.5.1中的數(shù)據(jù)作標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理，然后將它們代入公式（3.5.4）計(jì)算相關(guān)系數(shù)矩陣（表3.5.2）。表3.5.2相關(guān)系數(shù)矩陣

34高級(jí)教育

（2）由相關(guān)系數(shù)矩陣計(jì)算特征值，以及各個(gè)主成分的貢獻(xiàn)率與累計(jì)貢獻(xiàn)率（表3.5.3）。由表3.5.3可知，第1，第2，第3主成分的累計(jì)貢獻(xiàn)率已高達(dá)86.596%（大于85%），故只需要求出第1、第2、第3主成分z1，z2，z3即可。

35高級(jí)教育表3.5.3特征值及主成分貢獻(xiàn)率

=4.661/8.998836高級(jí)教育

（3）對(duì)于特征值分別=4.6610、=2.0890、=1.0430，分別求出其特征向量e1，e2，e3，再用公式（3.5.5）計(jì)算各變量x1，x2，…，x9在主成分z1，z2，z3上的載荷（表3.5.4）。

37高級(jí)教育表3.5.4主成分載荷

上述計(jì)算過程,可以借助于SPSS或Matlab軟件系統(tǒng)實(shí)現(xiàn)。38高級(jí)教育

(1)從表3.5.4可以看出，第1主成分z1與x1，x5，x6，x7，x9呈現(xiàn)出較強(qiáng)的正相關(guān)，與x3呈現(xiàn)出較強(qiáng)的負(fù)相關(guān)，而這幾個(gè)變量則綜合反映了生態(tài)經(jīng)濟(jì)結(jié)構(gòu)狀況，因此可以認(rèn)為第1主成分z1是生態(tài)經(jīng)濟(jì)結(jié)構(gòu)的代表。

(2)第2主成分z2與x2，x4，x5呈現(xiàn)出較強(qiáng)的正相關(guān)，與x1呈現(xiàn)出較強(qiáng)的負(fù)相關(guān)，其中，除了x1為人口總數(shù)外，x2，x4，x5都反映了人均占有資源量的情況，因此可以認(rèn)為第2主成分z2代表了人均資源量。

分析：主成分載荷是主成分與變量之間的相關(guān)系數(shù)。39高級(jí)教育

顯然，用3個(gè)主成分z1、z2、z3代替原來9個(gè)變量（x1，x2，…，x9）描述農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)，可以使問題更進(jìn)一步簡(jiǎn)化、明了。

(3)第3主成分z3與x8呈現(xiàn)出的正相關(guān)程度最高，其次是x6，而與x7呈負(fù)相關(guān)，因此可以認(rèn)為第3主成分在一定程度上代表了農(nóng)業(yè)經(jīng)濟(jì)結(jié)構(gòu)。

(4)另外，表3.5.4中最后一列（占方差的百分?jǐn)?shù)），在一定程度上反映了3個(gè)主成分z1、z2、z3包含原變量（x1，x2，…，x9）的信息量多少。40高級(jí)教育接著還可以計(jì)算每個(gè)主成分的得分，組成一個(gè)新的數(shù)據(jù)集，作為進(jìn)一步應(yīng)用系統(tǒng)聚類分析方法進(jìn)行區(qū)劃、分類的新的出發(fā)點(diǎn)。也可以用來綜合評(píng)價(jià)。進(jìn)行區(qū)域差異分析41高級(jí)教育五、主成分分析的SPSS實(shí)現(xiàn)過程42高級(jí)教育以書上例子為例，將數(shù)據(jù)存為.sav文件，選Analyze－DataReduction－Factor進(jìn)入主對(duì)話框；把x1~x9選入Variables，然后點(diǎn)擊Descriptive擊Extraction，在Method選擇一個(gè)方法（如果是主成分分析，則選PrincipalComponents），下面的選項(xiàng)可以隨意，比如要畫碎石圖就選Screeplot，另外在Extract選項(xiàng)可以按照特征值的大小選主成分（或因子），也可以選定因子的數(shù)目；之后回到主對(duì)話框（用Continue）。然后點(diǎn)擊Rotation，再在該對(duì)話框中的Method選擇一個(gè)旋轉(zhuǎn)方法（如果是不作旋轉(zhuǎn)就選None，我們選Varimax,方差最大正交旋轉(zhuǎn)法），在Display選Rotatedsolution（以輸出和旋轉(zhuǎn)有關(guān)的結(jié)果）和Loadingplot（以輸出載荷圖）；之后回到主對(duì)話框（用Continue）。如果要計(jì)算因子得分就要點(diǎn)擊Scores，再選擇Saveasvariables（因子得分就會(huì)作為變量存在數(shù)據(jù)中的附加列上）和計(jì)算因子得分的方法（比如Regression）；之后回到主對(duì)話框（用Continue）。這時(shí)點(diǎn)OK即可。43高級(jí)教育44高級(jí)教育45高級(jí)教育46高級(jí)教育47高級(jí)教育48高級(jí)教育49高級(jí)教育結(jié)果解釋KMO值大于0.5，Bartlett’sTest的Sig.大于0.05表明可用因子分析50高級(jí)教育結(jié)果解釋說明提取的幾個(gè)因子包含每個(gè)原變量的程度公因子方差51高級(jí)教育結(jié)果解釋這里的InitialEigenvalues就是特征值（數(shù)據(jù)相關(guān)陣的特征值）。頭三個(gè)成分特征值累積占了總方差的86.596%。后面的特征值的貢獻(xiàn)越來越少。52高級(jí)教育特征值的貢獻(xiàn)還可以從SPSS的所謂碎石圖看出53高級(jí)教育怎么解釋這三個(gè)主成分。前面說過主成分是原始九個(gè)變量的線性組合。是怎么樣的組合呢？SPSS可以輸出下面的表。

這里每一列代表一個(gè)主成分作為原來變量線性組合的系數(shù)（比例）。比如第一主成分寫成九個(gè)原先變量的線性組合，系數(shù)（比例）為0.739,0.123,-0.964,0.042,0.813,0.819，0.933，0.197，0.964。54高級(jí)教育如用x1~x9分別表示原先的九個(gè)變量，而用y1,y2,y3,

表示新的主成分，那么，原先九個(gè)變量x1,x2,x3,x4,x5,x6與第一和第二第三主成分y1,y2，y3的關(guān)系為：y1=0.739x1+0.123x2-0.964x3+0.042x4+0.813x5+0.819x6+0.933x7+0.197x8+0.964x9

…………這些系數(shù)稱為主成分載荷（loading），它表示主成分和相應(yīng)的原先變量的相關(guān)系數(shù)。相關(guān)系數(shù)(絕對(duì)值）越大，主成分對(duì)該變量的代表性也越大?？梢钥吹贸?，第一主成分對(duì)各個(gè)變量解釋得都很充分。而最后的幾個(gè)主成分和原先的變量就不那么相關(guān)了。55高級(jí)教育X1=0.773y1-0.483y2+0.044y3……56高級(jí)教育計(jì)算因子得分可以根據(jù)前面的因子得分公式（因子得分系數(shù)和原始變量的標(biāo)準(zhǔn)化值的乘積之和），算出每個(gè)樣本的第一個(gè)因子、第二個(gè)因子和第三個(gè)主成分的大小，即算出每個(gè)樣本的因子得分f1，f2和f3。人們可以根據(jù)這三套因子得分對(duì)樣本分別排序。當(dāng)然得到因子得分只是SPSS軟件的一個(gè)選項(xiàng)（可將因子得分存為新變量、顯示因子得分系數(shù)矩陣）57高級(jí)教育58高級(jí)教育六、主成分分析的應(yīng)用

59高級(jí)教育

根據(jù)主成分分析的定義及性質(zhì)，我們已大體上能看出主成分分析的一些應(yīng)用。概括起來說，主成分分析主要有以下幾方面的應(yīng)用。

1．主成分分析能降低所研究的數(shù)據(jù)空間的維數(shù)。即用研究m維的Y空間代替p維的X空間(m＜p)，而低維的Y空間代替高維的x空間所損失的信息很少。即使只有一個(gè)主成分Yl(即m＝1)時(shí)，這個(gè)Yl仍是使用全部X變量(p個(gè))得到的。例如要計(jì)算Yl的均值也得使用全部x的均值。在所選的前m個(gè)主成分中，如果某個(gè)Xi的系數(shù)全部近似于零的話，就可以把這個(gè)Xi刪除，這也是一種刪除多余變量的方法。60高級(jí)教育

2．有時(shí)可通過因子負(fù)荷aij的結(jié)構(gòu)，弄清X變量間的某些關(guān)系。

3.

多維數(shù)據(jù)的一種圖形表示方法。我們知道當(dāng)維數(shù)大于3時(shí)便不能畫出幾何圖形，多元統(tǒng)計(jì)研究的問題大都多于3個(gè)變量。要把研究的問題用圖形表示出來是不可能的。然而，經(jīng)過主成分分析后，我們可以選取前兩個(gè)主成分或其中某兩個(gè)主成分，根據(jù)主成分的得分，畫出n個(gè)樣品在二維平面上的分布狀況，由圖形可直觀地看出各樣品在主分量中的地位。61高級(jí)教育

4．由主成分分析法構(gòu)造回歸模型。即把各主成分作為新自變量代替原來自變量x做回歸分析。

5．用主成分分析篩選回歸變量?；貧w變量的選擇有著重要的實(shí)際意義，為了使模型本身易于做結(jié)構(gòu)分析、控制和預(yù)報(bào)，好從原始變量所構(gòu)成的子集合中選擇最佳變量，構(gòu)成最佳變量集合，用主成分分析篩選變量，可以用較少的計(jì)算量來選擇變量，獲得選擇最佳變量子集合的效果。62高級(jí)教育附、主成分分析與因子分析的區(qū)別63高級(jí)教育因子分析主成分分析從原理上是尋找橢球的所有主軸。原先有幾個(gè)變量，就有幾個(gè)主成分。而因子分析是事先確定要找?guī)讉€(gè)成分，這里叫因子（factor）（比如兩個(gè)），那就找兩個(gè)。這使得在數(shù)學(xué)模型上，因子分析和主成分分析有不少區(qū)別。而且因子分析的計(jì)算也復(fù)雜得多。根據(jù)因子分析模型的特點(diǎn)，它還多一道工序：因子旋轉(zhuǎn)（factorrotation）；這個(gè)步驟可以使結(jié)果更好。64高級(jí)教育對(duì)于計(jì)算機(jī)，因子分析并不費(fèi)事。從輸出的結(jié)果來看，因子分析也有因子載荷（factorloading）的概念，代表了因子和原先變量的相關(guān)系數(shù)。但是在因子分析公式中的因子載荷位置和主成分分析不同。因子分析也給出了二維圖；其解釋和主成分分析的載荷圖類似。65高級(jí)教育主成分分析與因子分析的公式上的區(qū)別主成分分析因子分析(m<p)因子得分主成分載荷旋轉(zhuǎn)之后的因子載荷因子得分