第9章因子分析

1、第9章 因子分析與主成份分析因子分析與因子分析過(guò)程因子分析是將多個(gè)實(shí)測(cè)變量轉(zhuǎn)換為少數(shù)幾個(gè)不相關(guān)的綜合指標(biāo)的多元統(tǒng)計(jì)分析方法。線性綜合指標(biāo)往往是不能直接觀測(cè)到的，但它更能反映事物的本質(zhì)。因子分析概念 在各個(gè)領(lǐng)域的科學(xué)研究中往往需要對(duì)反映事物的多個(gè)變量進(jìn)行大量的觀測(cè)，收集大量數(shù)據(jù)以便進(jìn)行分析尋找規(guī)律。多變量大樣本無(wú)疑會(huì)為科學(xué)研究提供豐富的信息，但也在一定程度上增加了數(shù)據(jù)采集的工作量，更重要的是在大多數(shù)情況下，許多變量之間可能存在相關(guān)性而增加了問(wèn)題分析的復(fù)雜性。由于各變量之間存在一定的相關(guān)關(guān)系，因此有可能用較少的綜合指標(biāo)分別綜合存在于各變量中的各類信息，而綜合指標(biāo)之間彼此不相關(guān)，即各指標(biāo)代表的信息不

2、重疊。這樣就可以對(duì)綜合指標(biāo)根據(jù)專業(yè)知識(shí)和指標(biāo)所反映的獨(dú)特含義給予命名。這種分析方法成為因子分析，代表各類信息的綜合指標(biāo)就稱為因子或主成份。根據(jù)因子分析的目的我們知道，綜合指標(biāo)應(yīng)該比原始變量少，但包括的信息量應(yīng)該相對(duì)損失較少。原始變量：X1、X2、X3、X4Xm主成份：Z1、Z2、Z3、Z4Zn則各因子與原始變量之間的關(guān)系可以表示成：X1=b11Z1+b12Z2+b13Z3+b1nZn+1X2=b21Z1+b22Z2+b23Z3+b2nZn+2X3=b31Z1+b32Z2+b33Z3+b3nZn+3Xm=bm1Z1+bm2Z2+bm3Z3+bmnZn+n寫成矩陣形式為：X=BZ+E。其值X為原始

3、變量向量，B為公因子負(fù)荷系數(shù)矩陣，Z為公因子向量，E為殘差向量。公因子Z1、Z2、Z3Zn之間彼此不相關(guān)，稱為正交模型。因子分析的任務(wù)就是求出公因子負(fù)荷系數(shù)和殘差。如果殘差E的影響很小可以忽略不計(jì)，數(shù)學(xué)模型變?yōu)閄=BZ。如果Z中各分量之間彼此不相關(guān)，形成特殊形式的因子分析，稱為主成分分析。主成分分析的數(shù)學(xué)模型可以寫成：Z1=11X 1+12X2+13X 3+1mX mZ2=21X 1+22X2+23X 3+2mX mZ3=31X 1+32X2+33X 3+3mX mZn=n1X 1+n2X2+n3X 3+nmX m寫成矩陣形式為：Z=AX。Z為主成份向量，A為主成份變換矩陣，X為原始變量向量。

4、主成份分析的目的是把系數(shù)矩陣A求出。主成份Z1、Z2、Z3在總方差中所占比重依次遞減。從理論上講m=n即有多少原始變量就有多少主成份，但實(shí)際上，前面幾個(gè)主成份集中了大部分方差，因此取主成份數(shù)目遠(yuǎn)遠(yuǎn)小于原始變量的數(shù)目，但信息損失很小。因子分析的一個(gè)重要目的還在于對(duì)原始變量進(jìn)行分門別類的綜合評(píng)價(jià)。如果因子分析結(jié)果保證了因子之間的正交性（不相關(guān)）但對(duì)因子不易命名，還可以通過(guò)對(duì)因子模型的旋轉(zhuǎn)變換使公因子負(fù)荷系數(shù)向更大（向1）或更?。ㄏ?）方向變化，使得對(duì)公因子的命名和解釋變得更加容易。進(jìn)行正交變換可以保證變換后各因子仍正交，這是比較理想的情況。如果經(jīng)過(guò)正交變換后對(duì)公因子仍然不易解釋，也可以進(jìn)行斜交旋轉(zhuǎn)

5、?；蛟S可以得到比較容易解釋的結(jié)果。 因 子 分 析使用系統(tǒng)默認(rèn)值進(jìn)行因子分析1 建立數(shù)據(jù)文件現(xiàn)以對(duì)12個(gè)地區(qū)的5個(gè)經(jīng)濟(jì)指標(biāo)的調(diào)查數(shù)據(jù)進(jìn)行因子分析為例，本數(shù)據(jù)是美國(guó)洛衫磯標(biāo)準(zhǔn)大城市統(tǒng)計(jì)區(qū)中的12個(gè)人口調(diào)查區(qū)的五個(gè)經(jīng)濟(jì)學(xué)變量的數(shù)據(jù)。數(shù)據(jù)編號(hào)data15-01。定義變量及標(biāo)簽：no編號(hào)，pop總?cè)丝?，school中等學(xué)校平均校齡，employ總雇員數(shù)，services專業(yè)服務(wù)項(xiàng)目，house中等房?jī)r(jià)。2操作步驟：（1）AnalyzeData ReductionFactor（2）將pop、school、employ、services、house移入Variables框中3 結(jié)果及其說(shuō)明 表1公因子提取

6、前后的公因子方差表。 Initial 在提取因子（或成分，系統(tǒng)默認(rèn)的是主成分法）之前的各變量的公因子方差。原始變量的公因子方差均為1，五個(gè)變量的公因子方差之總和為5。 Extraction各變量的未旋轉(zhuǎn)的公因子方差。說(shuō)明各變量信息被提取的比例?？梢?，五個(gè)變量的信息都提取的比較充分。表2各成分的公因子方差表 Components各主成分的序號(hào)。 Initial Eigenvalues相關(guān)矩陣或協(xié)方差矩陣的特征值。這些值是用于確定哪些因子（或成分）應(yīng)保留。共有三項(xiàng)：Total各成分的特征值。第一主成分特征值為Total=2.873，第二主成分特征值為Total=1.797。本例只有前兩個(gè)因子的特征

7、值大于1。 of Variance各成分所解釋的方差占總方差的百分比。也就是各因子特征值占特征值總和的百分比。Cumulative 從上至下各因子方差占總方差百分比的累積百分比。前兩個(gè)因子的特征值之和占總方差的93.4。 Extraction Sums of Squared Loadings 因子提取結(jié)果。未旋轉(zhuǎn)的因子載荷的平方和。給出的是每個(gè)因子（或成分）的特征值、說(shuō)明的方差占總方差的百分比和累計(jì)百分比。從初始分析的統(tǒng)計(jì)量可以看出按照系統(tǒng)默認(rèn)值給出的分析原則，提取原則是特征值大于1。那么應(yīng)該取前兩個(gè)因子（就本次分析來(lái)說(shuō)應(yīng)該稱作主成分）。而前兩個(gè)因子已經(jīng)對(duì)大多數(shù)數(shù)據(jù)給出了充分的概括，可以看出前

8、兩個(gè)成分所解釋的方差占總方差的93.4。因此，最后結(jié)果是確定提取兩個(gè)主成分。表3因子矩陣。因?yàn)槟J(rèn)的提取公因子的方法是主成分法，因此可以稱之為成分矩陣。根據(jù)該表可以寫出兩個(gè)主成分表達(dá)式（使用變量名）： Component 1=0.581×pop0.767×school0.672×employ0.932×service0.791×houseComponent 2=0.806×pop0.545×school0.726×employ0.104×service0.558×house可以說(shuō)，用這兩個(gè)因子代

9、替五個(gè)原始變量，可以概括原始變量所包含信息的93.4。由以上輸出結(jié)果可以認(rèn)為對(duì)因子的提取結(jié)果是比較理想的。但是要想對(duì)兩個(gè)因子命名就感到比較困難，每個(gè)因子中各原始變量的系數(shù)沒(méi)有明顯的差別。因此為了對(duì)因子進(jìn)行命名，可以進(jìn)行旋轉(zhuǎn)，使系數(shù)向0和1兩極分化。這就要使用選擇項(xiàng)了。因子分析實(shí)例之一（仍然用數(shù)據(jù)編號(hào)data15-01）操作步驟：（1）AnalyzeData ReductionFactor（2）將pop、school、employ、services、house移入Variables框中（3）單擊Statistics按紐（4）單擊Extraction按紐（5）單擊Rotation按紐（6）單擊Sc

10、ores按紐（7）單擊Options按紐結(jié)果分析與結(jié)論表1為單變量描述統(tǒng)計(jì)量（自左至右）變量標(biāo)簽（顯示變量標(biāo)簽或變量名）。Mean各變量的均值。Std.Deviation各變量的標(biāo)準(zhǔn)差。Analysis計(jì)算這些統(tǒng)計(jì)量的觀測(cè)量數(shù)。表2為原始變量的相關(guān)分析結(jié)果相關(guān)矩陣與相關(guān)矩陣中各相關(guān)系數(shù)對(duì)應(yīng)的顯著性概率。其中的“”表明自身相關(guān)的相關(guān)系數(shù)為1，其不相關(guān)的顯著性概率自然為0，因此不再顯示。各主成分的特征值和各主成分所解釋的方差百分比同上例表1和表2；初始因子提取結(jié)果同上例表3。不再解釋。圖5表現(xiàn)各成分特征值的碎石圖分析碎石圖可以看出因子1與因子2，以及因子2與因子3之間的特征值之差值比較大。而因子3

11、、4、5之間的特征值差值均比較小?？梢猿醪降贸霰Ａ魞蓚€(gè)因子將能概括絕大部分信息。表6是初始捉取的因子（主成分）負(fù)荷矩陣。通過(guò)這個(gè)系數(shù)矩陣可以用各原始變量寫出因子表達(dá)式。各統(tǒng)計(jì)量含義見上例3的解釋。這兩個(gè)輸出表是相同的，排序有別。但對(duì)因子的命名尚感到困難。表 7是旋轉(zhuǎn)后因子（主成分）矩陣。表下方是有關(guān)因子提取與旋轉(zhuǎn)方法的說(shuō)明：使用主成分法提取因子，使用最大方差法Varimax方法旋轉(zhuǎn)，經(jīng)3次迭代收斂。表中給出了旋轉(zhuǎn)后的因子負(fù)荷矩陣，是按系數(shù)由大到小排列的?？梢钥闯鼋?jīng)過(guò)旋轉(zhuǎn)后負(fù)荷系數(shù)己經(jīng)明顯地向兩極分化了。第一個(gè)主成分Component 1 對(duì)中等房?jī)r(jià)House、中等校平均校齡school、專業(yè)服

12、務(wù)項(xiàng)目services有絕對(duì)值較大的負(fù)荷系數(shù)；第二個(gè)因子負(fù)荷系數(shù)絕對(duì)值較大的正好是五個(gè)原始變量中的另外兩個(gè)即總?cè)丝赑op和總雇員數(shù)Employ。根據(jù)這些變量的原始含義可以對(duì)兩個(gè)因子進(jìn)行命名。第一個(gè)因子主要概括了一般的社會(huì)福利情況的因子：中等房?jī)r(jià)、中等學(xué)校校齡和社會(huì)服務(wù)項(xiàng)目數(shù)可以命名為福利條件因子。第二個(gè)因子主要概括了人的情況，人口數(shù)和就業(yè)人數(shù)，可以稱為人口因子。表8為因子轉(zhuǎn)換矩陣。圖9為旋轉(zhuǎn)后的因子（成分）載荷圖，分別以第一主成分和第二主成分值為橫、縱坐標(biāo)，按表15-7（旋轉(zhuǎn)后因子矩陣）中數(shù)據(jù)作圖得到主成分圖。從圖中可以看出旋轉(zhuǎn)后各成分的變量更集中了。表10為有關(guān)因子得分的信息。因子得分系數(shù)矩

13、陣。根據(jù)因子得分系數(shù)和原始變量的標(biāo)準(zhǔn)化值可以計(jì)算每個(gè)觀測(cè)量的各因子的得分?jǐn)?shù)。并可以據(jù)此對(duì)觀測(cè)量進(jìn)行進(jìn)一步的分析（聚類分析）。旋轉(zhuǎn)后的因子（主成分）表達(dá)式可以寫成：式1facl_l=-0.039×employ+0.403×house-0.091×pop+0.392×school+0.229×services 式2fact2_l=0.465×employ-0.098×house+0.484×pop-0.096×school+0.138×services表11是估計(jì)回歸因子分?jǐn)?shù)的協(xié)方差矩陣，即因子（兩

14、個(gè)主成分）間的相關(guān)矩陣?？梢钥闯鲂D(zhuǎn)后Component 1與 Component 2是完全不相關(guān)的。這也是因?yàn)檎恍D(zhuǎn)（Varimax）后因子仍然正交。在數(shù)據(jù)編輯窗中的以新變量的形式保存的因子得分信息。數(shù)據(jù)文件中因子分?jǐn)?shù)變量的命名：FAC1_1是分析1的第一個(gè)回歸因子分?jǐn)?shù)，F(xiàn)AC2_1標(biāo)簽是分析1的第二個(gè)回歸因子分?jǐn)?shù)變量。有了觀測(cè)量的因子得分變量的值,我們可以進(jìn)一步對(duì)觀測(cè)量估計(jì)因子得分變量進(jìn)行聚類分析，進(jìn)一步對(duì)每個(gè)調(diào)查區(qū)進(jìn)行人口與福利方面的分類或分析。因子分析實(shí)例之二（仍然用數(shù)據(jù)編號(hào)data15-01）利用新變量對(duì)12個(gè)調(diào)查區(qū)進(jìn)行聚類分析的過(guò)程及結(jié)果：聚類要求聚為兩類、三類、四類。然后利用G

15、raph功能作散點(diǎn)圖，比較分為兩類和三類的結(jié)果。操作步驟：（1） AnalyzeClassifyHierarchical Cluster（2） 選擇Fac1_1、fac2_2作為分析變量（3） 選擇no作為標(biāo)識(shí)變量（4） 選擇觀測(cè)量聚類(cases)（5） Statistics:Range of solutions(From 2 throug 3 cluster)（6） Method:選擇系統(tǒng)默認(rèn)狀態(tài)（7） Plots:選擇Dangrogram；在Icicle指定 All cluster；選擇Vertical（8） Save: Range of solutions(From 2 throug

16、3 cluster)（9）GraphsSactterSimple將Fac1_1、fac2_2選入X軸與Y軸；選擇no作為標(biāo)識(shí)變量；分別選擇clu2_1、clu3_1、clu4_1作為標(biāo)出類別號(hào)變量（Set Markers by）部分結(jié)果解釋：（1）從圖1可以看出如果將調(diào)查區(qū)分為兩類，第2、3、7區(qū)類號(hào)為2的，是福利因素和人口因素均比較低的，其余調(diào)查區(qū)的這兩個(gè)因素水平比較高?？梢哉J(rèn)為經(jīng)濟(jì)狀況是相對(duì)來(lái)說(shuō)比較好的。（2）從圖2可以更細(xì)致地劃分和分析各調(diào)查區(qū)的經(jīng)濟(jì)水平。 類號(hào)為2的調(diào)查區(qū)有編號(hào)為2、3、7三個(gè)地區(qū)，在圖的左下角，是兩個(gè)因子得分均比較低的，可以認(rèn)為從五個(gè)經(jīng)濟(jì)指標(biāo)來(lái)看均較差的地區(qū)。 類號(hào)為3的調(diào)查區(qū)Facl_1比較低,即福利因子得分較低;而Fac2_1比較高即人口因子得分較高說(shuō)明總?cè)丝诙啵蜆I(yè)人數(shù)多。但反映福利的學(xué)校、服務(wù)項(xiàng)目、中等房?jī)r(jià)均比較低。這樣的地區(qū)有6