主成分分析方法與因子分析方法的比較研究[精選]

1、主成分分析方法與因子分析方法的比較研究 葉可瑩（福建農(nóng)林大學(xué)東方學(xué)院 經(jīng)濟(jì)統(tǒng)計(jì)學(xué)專業(yè) 2018屆）摘要：主成分分析和因子分析是多元統(tǒng)計(jì)中較為關(guān)鍵和常用的兩種方法，二者皆是從變量的方差-協(xié)方差結(jié)構(gòu)著手，盡可能多的保存原始變量的信息。在此基礎(chǔ)上用少量的新變量解釋那些原始變量的統(tǒng)計(jì)分析方法。本篇論文對(duì)主成分分析與因子分析進(jìn)行研究討論。這個(gè)研究是基于理論和應(yīng)用兩個(gè)方面。在原理方面，對(duì)主成分方法進(jìn)行了相關(guān)的證明和推倒，對(duì)因子分析估算方法進(jìn)行了深入的研究。從一些方面比較了兩個(gè)方法的相同點(diǎn)和不同點(diǎn)，這些方面包括概念、基本思想數(shù)學(xué)模型和計(jì)算方法與過程等。關(guān)鍵詞：主成分分析；因子分析；應(yīng)用分析comparati

2、ve of principal component analysis method and factor analysis methodye ke-ying(fujian agriculture and forestry university oriental college of economics and statistics 2018)abstract:principal component analysis and factor analysis are two key and common methods in multivariate statistics. both of the

3、m are based on the variance-covariance structure of variables and preserve as much raw variable information as possible. on this basis, a small number of new variables are used to explain the statistical analysis methods of those original variables. this article studies the principal component analy

4、sis and factor analysis from two aspects of theory and application. the principle of component analysis is connect to mathematical induction and certification of properties. the factor loading matrix and factor variance estimation methods in factor analysis are further studied. the similarities and

5、differences of the two methods are compared from the aspects of concepts, basic theory, statistical view, mathematical matrix, and calculation course.key words: principal component analysis; factor analysis; application analysis引言現(xiàn)今社會(huì)，人們開始關(guān)注信息的全面性。為了更有效得利用信息，應(yīng)該對(duì)事物進(jìn)行客觀、全方面的綜合性的評(píng)價(jià)。在研究中，為了方便分析以找出規(guī)律，需要把

6、多個(gè)反映事物的指標(biāo)（指標(biāo)統(tǒng)稱為變量）進(jìn)行大量的觀察和測(cè)試。樣本大變量多會(huì)為研究帶來豐富的信息，但是由于這些變量彼此具有關(guān)聯(lián)，使得觀察出的信息出現(xiàn)重復(fù)，問題更加復(fù)雜，帶來不便，給結(jié)果的科學(xué)性帶來不利影響。主成分分析方法是把很多個(gè)指標(biāo)化為少量綜合指標(biāo)的一個(gè)統(tǒng)計(jì)方法。這種分析方法是從原始變量里篩選出幾個(gè)主要分量，讓它們能盡量保存原始信息。這些信息之間不相關(guān)。這個(gè)分析方法有數(shù)據(jù)的壓縮和解釋的目的。因子分析是經(jīng)過探究多數(shù)變量間系數(shù)矩陣的相互依存，篩選出綜合的隨機(jī)變量。這些不可測(cè)量的隨機(jī)變量統(tǒng)稱為因子。這種分析方法的目的為淘汰部分變量，用留下的變量去代替全部變量來解決問題。主成分分析法與因子分析法有很多關(guān)

7、聯(lián)，后者是前者的進(jìn)一步發(fā)展。由于兩種方法的類似，使用者經(jīng)常在應(yīng)用時(shí)把兩種方法混淆。以至于在使用統(tǒng)計(jì)軟件時(shí)，結(jié)果出現(xiàn)偏差。因此要正確恰當(dāng)?shù)卣J(rèn)識(shí)兩者的相同點(diǎn)與不同點(diǎn)，使之能夠得到最佳的運(yùn)用。1主成分分析的原理及其數(shù)學(xué)模型主成分分析是探究怎樣把多個(gè)指標(biāo)轉(zhuǎn)化為少量綜合性指標(biāo)的的統(tǒng)計(jì)方法之一。該分析法可以把問題從高維空間轉(zhuǎn)換成低維空間去解決，可以使得問題變得更加直觀和簡(jiǎn)便，并且這些少量的綜合指標(biāo)彼此相互不關(guān)聯(lián)，但是又可以表達(dá)出原始變量的大部分信息。主成分分析不僅能夠降低多個(gè)指標(biāo)數(shù)據(jù)的維度，而且還能夠簡(jiǎn)化變量系統(tǒng)的統(tǒng)計(jì)特征。該分析方法除了能夠提供大量的重要系統(tǒng)信息之外，同時(shí)可以把多變量數(shù)據(jù)系統(tǒng)簡(jiǎn)化成最佳狀

8、態(tài)。如：數(shù)據(jù)變異的最大方向，群點(diǎn)的散布范圍等。主成分分析是多元統(tǒng)計(jì)中較為關(guān)鍵和常用的一個(gè)方法，在很多領(lǐng)域起著重要作用，如在數(shù)據(jù)壓縮、綜合評(píng)價(jià)、模式識(shí)別等方面都得到了普遍應(yīng)用。主成分分析的基本思想 ：通過以這個(gè)正交變換，使得原始變量（分量相關(guān)的隨機(jī)變量）變換成新變量，各分量之間不相關(guān)。從代數(shù)角度，就是把原始變量的協(xié)方差矩陣轉(zhuǎn)化為對(duì)角矩陣。從幾何角度，就是把原始變量系統(tǒng)變成新的正交系統(tǒng)，使得此系統(tǒng)指向的正交方向是樣本點(diǎn)散布最開的一個(gè)方向，從而對(duì)該多維變量系統(tǒng)實(shí)施降維措施。一般做出數(shù)學(xué)的措施，是把之前的p個(gè)指標(biāo)線性組合為新的指標(biāo)。把第一個(gè)選擇的第線性組合（綜合指標(biāo)）標(biāo)為 。通常期待第一個(gè)線性指標(biāo)可以

9、包含更多的原有信息。則越大，說明包含的信息越多。因而在全部的線性組合中選擇的第一主成分的方差是最大的。由于方差最大的是第1主成分在所有線性組合里，用第1主成分的方差去表達(dá)信息是最典型的方法。如若第一主成分不能夠完全體現(xiàn)出p個(gè)指標(biāo)的信息，進(jìn)而再選擇第二個(gè)線性組合（主成分），依據(jù)該原則推出第三，第四，.，第p個(gè)主成分。主成分之間的方差是遞減的，他們之間相互不關(guān)聯(lián)。設(shè)有n個(gè)樣本，每個(gè)樣本由p個(gè)指標(biāo)來描述。得出原始數(shù)據(jù)矩陣：= （1.2.1）其中用數(shù)據(jù)矩陣x的p各向量作線性組合可得 (1.2.2)其中組合系數(shù)滿足 (1.2.3)（2.1.2）中的系數(shù)由下列原則確定 即與不相關(guān)。是的以上組合中方差最大的

10、，其次為即。 （1.2.4）新的綜合指標(biāo)的總方差保持不變，即 （1.2.5）綜合指標(biāo)按照順序?yàn)樵贾笜?biāo)的第1主成分，第2主成分，.，第p主成分。從公式（1.2.4）和（1.2.5）可以看出，用前面的一部分主成分，能夠體現(xiàn)出原始指標(biāo)所包含的絕大多數(shù)的信息量?？梢岳弥鞒煞窒嗷ゲ魂P(guān)聯(lián)的原理去分析問題。原指標(biāo)的主成分可以按以下步驟求得。根據(jù)式子（1.2.2）知道組合的系數(shù).設(shè) 的 協(xié) 方 差 矩 陣 為a。這些特 征 根 從 大 到 小 的順序是為。通過證明，原指標(biāo)的第i個(gè)主成分的組合系數(shù)正是a的第i個(gè)特征根對(duì)應(yīng)的標(biāo)準(zhǔn)化正交特征向量，具有因而前k個(gè)主成分的方差貢獻(xiàn)為 （1.2.6）2因子分析的原理及

11、其數(shù)學(xué)模型因子分析的首次提出是charles spearman 在1904年提出的，charles spearman花了他整個(gè)后半生去研究和發(fā)展該理論，讓該理論成為了現(xiàn)代統(tǒng)計(jì)學(xué)最重要的一個(gè)理論。主成分分析法與因子分析法有很多關(guān)聯(lián)，后者是前者的進(jìn)一步研究發(fā)展。因子分析是經(jīng)過探究多數(shù)變量間系數(shù)矩陣的相互依存，篩選出綜合的隨機(jī)變量。這些不可測(cè)量的隨機(jī)變量統(tǒng)稱為因子。這種分析方法的目的為淘汰部分變量，用留下的變量去代替全部變量來解決問題。按照變量的相關(guān)程度進(jìn)行分類，讓同一組類的相關(guān)程度較高，不同組類的相關(guān)程度低。因子分析的基礎(chǔ)思想是依據(jù)原變量之間的關(guān)聯(lián)程度，把最初的變量按照關(guān)聯(lián)程度分，讓不同一組間的變

12、量的相關(guān)程度較小，同一組內(nèi)的原變量相關(guān)程度較大。不同的分組代表各個(gè)不同的結(jié)構(gòu)，這些結(jié)構(gòu)統(tǒng)稱為公共因子。用不能觀測(cè)的綜合變量表示這些結(jié)構(gòu)。例如，對(duì)學(xué)生成績(jī)的綜合評(píng)價(jià)。為了體現(xiàn)變量不可以定量描述，需要提取一些能夠反映學(xué)生成績(jī)的各科成績(jī)，這些科目成績(jī)?yōu)樽兞浚哂幸欢ǖ穆?lián)系與依賴，通過這些變量能看到學(xué)生的綜合素質(zhì)。 因子分析不僅能夠運(yùn)用于變量還能夠運(yùn)用于樣品。第一，得到因子表達(dá)式第二，在因子表達(dá)式代入相應(yīng)數(shù)據(jù)算出因子得分；第三，依據(jù)因子得分標(biāo)出樣品的點(diǎn)或者變量的點(diǎn)，使得對(duì)他們的分組措施更加直觀。這種方法在研究它們之間的相關(guān)關(guān)系時(shí)，不僅可以用于變量之間，而且還能夠用于樣品。稱前者為 r 型因子分析，后者

13、為q 型因子分析。設(shè)有n個(gè)樣本，每個(gè)樣本由p個(gè)已經(jīng)標(biāo)準(zhǔn)化的指標(biāo)來描述。即每個(gè)指標(biāo)的樣本均值等于0，方差等于1。正交因子模型為 (2.2.1）其中是相互獨(dú)立的公共因子,且。它們是從標(biāo)準(zhǔn)化的可觀測(cè)評(píng)價(jià)指標(biāo)分解出來的含義需要依據(jù)具體情況啦解釋的不可觀測(cè)指標(biāo)。是各個(gè)指標(biāo)特有的因子，含義為指標(biāo)中公共因子不可以解釋的部分，與公共因子相互獨(dú)立，稱為特殊因子。是第 i 個(gè)指標(biāo)在第 j 個(gè)公共因子上的系數(shù)，稱為因子載荷。3主成分分析與因子分析的比較（1）基本思想大致相同 主成分分析與因子分析都能夠解除原變量之間的定性聯(lián)系。這兩個(gè)方法造出新的綜合指標(biāo)，不僅能夠下降原變量的維度，同時(shí)還能夠簡(jiǎn)略它們的結(jié)構(gòu)。（2）解決

14、問題的步驟相似 兩種方法都是通過相關(guān)系數(shù)陣或協(xié)方差矩陣的特征根和特征向量之 間的不相關(guān)的特性，將原始變量的相關(guān)性綜合成新的綜合指標(biāo)的不相關(guān)性。兩者的步驟相同，但是后者比前者多了因子旋轉(zhuǎn)、得分兩個(gè)步驟。（3）確定權(quán)數(shù)的角度(信息量角度)相同。 主成分分析的方差越大，權(quán)數(shù)越大，信息量越大，反之亦然。因子分析與主成分分析一樣。所以兩者都用方差大小體現(xiàn)信息量。（4）分析結(jié)果形式相似 兩種分析方法都把重點(diǎn)放在變量方差較大的，忽略了方差較小的。出現(xiàn)“大吃小”的現(xiàn)象。（1） 從概念上看 主成分分析是把多個(gè)數(shù)量的指標(biāo)轉(zhuǎn)化成少量互不相關(guān)的綜合指標(biāo)的一種統(tǒng)計(jì)方法。因子分析把關(guān)系復(fù)雜的變量（樣品）綜合轉(zhuǎn)化為少量的幾

15、個(gè)因子，體現(xiàn)原變量和因子之間的關(guān)系，還能依據(jù)因子的不同對(duì)變量進(jìn)行分類。后者是在前者基礎(chǔ)上更加深入研究。（2）從思想方面上看主成分分析是盡可能把原有的有一定程度相關(guān)性的那些指標(biāo)組成新的互不相關(guān)的綜合指標(biāo)替代原有指標(biāo)。因子分析根據(jù)研究變量的相關(guān)系數(shù)矩陣內(nèi)在框架，尋找一些不能觀測(cè)的隨機(jī)變量。這幾個(gè)隨機(jī)因子不僅能夠控制全部變量，還可以去刻畫它們。然后按照相關(guān)程度對(duì)變量進(jìn)行分組，讓同一組的變量相關(guān)程度高或者同一組的樣品相似程度高，但是不同組的相關(guān)程度或者相似程度低。（3）從數(shù)學(xué)模型上看 主成分分析實(shí)際上是一種變量的轉(zhuǎn)化。經(jīng)由變量的變換把重點(diǎn)放在變差比較大的主成分上，放棄那些主成分變差比較小的。然而因子分

16、析的重點(diǎn)是把注意力放在那些少量不可觀測(cè)的公共因子上，放棄那些特殊因子。 主成分分析是把主成分表示為原觀測(cè)變量的線性組合。 i=1,p， 實(shí)際是原始數(shù)據(jù)的結(jié)構(gòu)不發(fā)生改變，而空間坐標(biāo)變化因子分析的數(shù)學(xué)模型則是刻畫原始指標(biāo)的x協(xié)方差陣結(jié)構(gòu)。把原始的觀測(cè)變量分解成兩個(gè)部分，一部分是公共因子，一部分是特殊因子。 ， j=1,p原始變量的個(gè)數(shù)p與公共因子的個(gè)數(shù)m相等時(shí)，即m=p，則不可以考慮，因此因子分析只與一種變量變換對(duì)應(yīng)。然而在實(shí)際上公共因子個(gè)數(shù)都少于原變量個(gè)數(shù)，在經(jīng)濟(jì)角度上看，公共因子個(gè)數(shù)越少越好。主成分各個(gè)系數(shù)是正交的和唯一確定的。主成分和原變量的相關(guān)程度不能用系數(shù)的大小來表示，系數(shù)矩陣不能夠進(jìn)行

17、旋轉(zhuǎn)。但是因子模型的系數(shù)矩陣可以表示公共因子與原變量的相關(guān)程度，而且系數(shù)矩陣不是唯一的。（4）從計(jì)算過程看在主成分分析中，可以根據(jù)可觀測(cè)的原變量x求出具有可逆性的主成分f。代表x得協(xié)方差矩陣所對(duì)應(yīng)特征值的特征向量。而在因子分析中，載荷矩陣是不可逆的，只有根據(jù)可觀測(cè)的原變量估算出不可觀測(cè)的公共因子。反映了第i個(gè)變量在第j個(gè)公共因子上的負(fù)荷和相對(duì)重要性，也表示第i個(gè)變量和第j個(gè)公共因子的相關(guān)系數(shù)。代表第j個(gè)原始觀測(cè)變量的特殊因子，此時(shí)和的均值都等于零，方差都等于1.估算的公共因子得分=因子得分系數(shù)矩陣 標(biāo)準(zhǔn)化后的原觀測(cè)變量矩陣主成分分析排名通常根據(jù)第1主成分的得分，如果原始變量不能夠完全用第1主成

18、分代替，就要接著依次選擇第2個(gè)主成分、第3個(gè)等等。在主成分表達(dá)式中代入標(biāo)準(zhǔn)化的原始變量值，計(jì)算出主成分得分。在因子得分函數(shù)中代入標(biāo)準(zhǔn)化的原始變量值計(jì)算出因子得分。4 主成分分析與因子分析的應(yīng)用應(yīng)用spss軟件利用主成分綜合評(píng)價(jià)全國(guó)重點(diǎn)企業(yè)的經(jīng)濟(jì)效益。數(shù)據(jù)見下表：表4-1 各地企業(yè)經(jīng)濟(jì)指標(biāo)表 編號(hào)廠家固定資產(chǎn)利稅率資金利稅率銷售收入利稅率資金利潤(rùn)率固定資產(chǎn)產(chǎn)值率流動(dòng)資金周轉(zhuǎn)天數(shù)萬元產(chǎn)值能耗全員勞動(dòng)生產(chǎn)率1琉璃河32.7419.45527.822大連429.82820.5550.51693邯鄲28.5518.25533.924湘鄉(xiāng)505哈爾濱626合肥677永登628柳州25.48536.6636

19、39耀縣7110工源5911溫州376312撫順17.5361.286171.513峨嵋19.3827.327635.8514大同22.433.996515紹興3763資料來源：中國(guó)統(tǒng)計(jì)年鑒，2004年（1） 經(jīng)標(biāo)準(zhǔn)化后，數(shù)據(jù)如下表表2x1x2x3x4x5x6x7x8（2）將表2的數(shù)據(jù)導(dǎo)入spss軟件，得到分析結(jié)果表3 相關(guān)矩陣x1x2x3x4x5x6x7x8correlationx1.849.923.902.651.312.489.598x2.849.690.988.723.107.595.265x3.923.690.774.544.366.342.531x4.902.988.774.688

20、.121.596.329x5.651.723.544.688.399.442.359x6.312.107.366.121.399.343.480x7.489.595.342.596.442.343.226x8.598.265.531.329.359.480.226表4 總方差解釋componentinitial eigenvaluesextraction sums of squared loadingstotal% of variancecumulative %total% of variancecumulative %15860.76160.7595860.76160.75925915.87

21、176.6315915.87176.6313.84110.45987.0614.5266.32593.6575.3864.63898.3566.1163399.7287.021.25699.8388.001.024100.0006161%原始數(shù)據(jù)的信息。確認(rèn)前三個(gè)主成有有足夠資格代表原來的8個(gè)指標(biāo)來評(píng)價(jià)企業(yè)的經(jīng)濟(jì)效益。這三個(gè)主成分分別用來表示。（2） 得到因子載荷矩陣，即相關(guān)矩陣的前3個(gè)特征根的特征向量，輸出結(jié)果如表5所示：表5component123x1.95918-.238x2.898-.395.038x3-.863.081-.042x4.931-.349-.0.41x5.790.000.

22、179x6.426.769.351x7.653-.068.642x8.572.61512對(duì)表5-3的第n列的每個(gè)元素分別除以第n個(gè)特征根的平方根，就得到主成分分析的第n個(gè)主成分系數(shù)。結(jié)果如表6表6主成分1主成分2主成分3x10.434 067-0.016 487-0.261 167x20.407 766-0.351 1630.040 662x30.390 8110.072 2408-0.369 59x40.420 727-0.311 087-0.041 32x50.356 8340.000 23140.198 903x60.191 6310.686 4530.377 486x70.290 51

23、7-0.069 1510.701 934x80.258 7890.546 3096-0.341 87由上表可得3個(gè)主成分的線性組合如下：主成分的經(jīng)濟(jì)意義由各線性組合中權(quán)數(shù)較大的幾個(gè)指標(biāo)的綜合意義來確定。固定資產(chǎn)利稅率、資金利稅率、銷售收入利稅率、資金利潤(rùn)率這4個(gè)指標(biāo)的綜合反映是這個(gè)綜合因子。59%的把握去評(píng)價(jià)企業(yè)的經(jīng)濟(jì)效益，可以看出這個(gè)綜合因子代表了經(jīng)濟(jì)效益的盈利方面，表達(dá)了企業(yè)的盈利能力。因此可以確定這四個(gè)指標(biāo)是反映企業(yè)經(jīng)濟(jì)效益的主要指標(biāo)。主要是流動(dòng)資金周轉(zhuǎn)天數(shù)和全員勞動(dòng)生產(chǎn)率的綜合反映，代表企業(yè)的資金和人力資源的利用程度。61%的可靠性。（4）依據(jù)第一主成分得分對(duì)各企業(yè)經(jīng)濟(jì)效益做綜合評(píng)價(jià)。

24、將標(biāo)準(zhǔn)化后的原始數(shù)據(jù)代入的線性表達(dá)式，計(jì)算出各個(gè)樣品的第一主成分得分并排名。如表7所示表7名次琉璃河0.049 4487大連-1.066 5211邯鄲0.840 475湘鄉(xiāng)3.889 4612哈爾濱-0.752 1110合肥3.957 0571永登0.663 0816柳州1.611 0514耀縣-0.474 259工源-0.269 528溫州1.723 4233撫順-3.739 3715峨嵋-2.804 5814大同-1.569 4312紹興-2.058 2113從上表看出，合肥排第一，綜合效益最好。湘鄉(xiāng)的綜合效益為第二名；撫順的綜合效益最差。按照公司的主成分得分對(duì)運(yùn)營(yíng)情況進(jìn)行比較分析不算合理

25、準(zhǔn)確。因此需要進(jìn)行深入研究。（1）同樣用圖5-1的數(shù)據(jù)，對(duì)企業(yè)經(jīng)濟(jì)效益指標(biāo)體系的八項(xiàng)指標(biāo)建立因子分析模型。spss輸出結(jié)果。如表8所示：表8 總方差解釋componentinitial eigenvaluesextraction sums of squared loadingstotal% of variancecumulative %total% of variancecumulative %15860.76160.7595860.76160.75925915.87176.6315915.87176.6313.84110.45987.061.84110.45987.0614.5266.325

26、93.6575.3864.63898.3566.1163399.7287.021.25699.8388.001.024100.00061%，選取前3個(gè)公共因子建立因子載荷陣。（2）對(duì)因子載荷陣進(jìn)行方差最大化正交旋轉(zhuǎn)，得到結(jié)果如表9所示：表9 旋轉(zhuǎn)分量矩陣component123x1.914-.332.187x2.881-.053.421x3.839.397.029x4.921.000.372x5.593.268.483x6-.047.851.421x7.309-.115.848x8.398.795-.116由上表可得出企業(yè)經(jīng)濟(jì)效益指標(biāo)體系的因子分析模型：由上述模型可知，固定資產(chǎn)利稅率、資金利稅率、銷售收入利稅率、資金利潤(rùn)率等四項(xiàng)指標(biāo)決定了第一個(gè)主因子。這四項(xiàng)指標(biāo)在上的載荷都超過百分之85，表達(dá)了企業(yè)經(jīng)濟(jì)活動(dòng)獲得利潤(rùn)的能力。說明這四項(xiàng)指標(biāo)對(duì)企業(yè)提高經(jīng)濟(jì)效益起著重要作用。流動(dòng)資金周轉(zhuǎn)天數(shù)和全員勞動(dòng)生產(chǎn)率決定了第二個(gè)主因子，是代表企業(yè)經(jīng)營(yíng)效率的指標(biāo)。提高經(jīng)濟(jì)效益的主要途徑包括了企業(yè)提高管理水