首師多元統(tǒng)計分析

1、第六章因子分析6.16.26.36.46.5引言正交因子模型參數(shù)估計因子旋轉(zhuǎn)因子得分6.1引言主成分分析成功需要：前(少數(shù))幾個主成分具有較高的累計貢獻率； (通常較易得到滿足)對主成分給出符合實際背景和意義的解釋 。(往往正是主成分分析的之處)因子分析也是一種降維方法。它比主成分更易得到解釋，故因子分析比主成分分析更容易成功。因子分析比主成分分析更為精細。主成分分析只涉及線性變換，不涉及模型，僅需二階矩存在。因子分析需建立模型，并定。于20世紀初，K.(Pearson)和C.(Spearman)等為定義和測定智力所作的努力，由心理測量學(xué)家培育發(fā)展了因子分析。目的是降維，試圖用少數(shù)幾個潛在的、

2、不可觀測的隨量來描述原始變量間的協(xié)方差關(guān)系。例6.1.1(Linden)根據(jù)他收集的來自139名運動員的比賽數(shù)據(jù)，對第二次以來十項全能比賽的得分作了因子分析研究。這十個全能項目:為 100米跑(x1)，跳遠(x2)，鉛球(x3)，跳高(x4)，400米跑(x5)，11米跨欄(x6)，鐵餅(x7)，撐桿跳高(x8)，標槍(x9)，1500米跑(x10)。經(jīng)標準化后作因子分 析：十項得分基本上可歸結(jié)于他們的短跑速度、爆發(fā)性臂力、爆發(fā)性腿力和耐力四個方面(因子）。十項得分與四個因子之間關(guān)系因子模型：xi=i+ ai1 fi1+ ai2fi2+ ai3fi3+ ai4f4+i, i=1,2,10其中f

3、1, f2, f3, f4表示四個因子，稱為公共因子(common factor)，aij稱為xi在因子fj上的載荷(loading)，i是xi的均值，i是xi不能被四個公共因子解釋的部分，稱之特殊因子 (specific factor)。例6.1.3對48名應(yīng)聘者進行面試，公司并給出他們在15個方面所得的分數(shù)，這15個方面是：x1：申請書的形式x2：外貌 x3：專業(yè)能力 x4： x5：自信心 x6：精明 x7：誠實 x8：推銷能力x9：經(jīng)驗x10：積極性 x11：抱負 x12：理解能力 x13：潛力 x14：交際能力 x15：適應(yīng)性通過因子分析，這15個方面可以歸結(jié)為應(yīng)聘者的外露能力、經(jīng)驗、

4、喜歡的程度、專業(yè)能力和外貌五個因子。6.2正交因子模型一、統(tǒng)計模型二、正交因子模型的性質(zhì)三、因子載荷矩陣的統(tǒng)計意義一、統(tǒng)計模型設(shè)有p維可觀測的隨機向量 x xp )，其均值為 (1, 2 , p )，協(xié)差陣為=(ij)。因子分析一般模型： 1fm 1 a11af1 a12f2 a1m x1x f f af a 222112222mm2 xp pf2 apm fm pap1 f1 ap 2用矩陣表示：x =+ Af + 為公共因子向量，理解f f式中m , ,為原始變量共同具有的公共。12量，p為特殊因子向量，是不可觀測的隨A aij : p m 稱為因子載荷矩陣。通常假定E f 0E 0V f

5、 IV D diag , ,2122p2 Cov f , E f 0該假定和模型正交因子模型。可看出，公共因子彼此不相關(guān)且具有方差，特殊因子也彼此不相關(guān)且和公共因子也不相關(guān)。二、正交因子模型性質(zhì)1.x的協(xié)差陣的分解2. 模型不受的影響3. 因子載荷是不惟一的1.x協(xié)差陣的分解V x V Af Cov Af, Af AV f A ACov f , Cov , f A V AV f A V 故得=AA+D如果x為各分量已標準化的隨機向量，則就是相關(guān)陣R= (ij) =AA+D。例6.2.1設(shè)x=(x1,x2,x3,x4)的協(xié)方差矩陣為11 2717425 1752520 9 1142 5 5 20

6、86則可分解為：=AA+D其中2A D ,1 出于降維需要，希望m要比p小得多，這樣的分解式通常只能近似成立，即有=AA+D近似程度越好，表明因子模型擬合得越佳。一般說，m選取得越小，近似效果就越差，因子模型擬合得越不理想，實踐中m也不應(yīng)選得過小。2.模型不受的影響將x的作變化，通常是作一變換x*=Cx，這里C=diag(c1,c2,cp),ci0,i=1,2,p，于是x*=C +CAf+C 令*=C ，A*=CA，*=C ，則有x*=*+A*f+*這個模型滿足假定：E f 0 0*E V f IV * D* Covf , C 0*Covf , ,), c , i 1, 2, pD* diag

7、(*2 1*2*2p*2i22其中2ii因此，變換后模型仍為正交因子模型。3. 因子載荷是不惟一設(shè)T為任一mm正交矩陣，令A(yù)*=AT，f*=Tf，則模型能表示為x=+A*f*+因為E(f*)=TE(f)=0 V(f*)=TV(f)T=TT=ICov(f*,)=E(f*)=TE(f)=0所以仍滿足模型條件。也可分解為=A*A*+D因此，因子載荷矩陣A不是惟一的，在實際應(yīng)用中常常利用這一點，通過因子的旋轉(zhuǎn)，使得新的因子有更好的實際意義。三、因子載荷矩陣統(tǒng)計意義1. A的元素aijmh22a2. A的行元素平方和iijj1 pi1g 22a3. A的列元素平方和jij1.A的元素aijxi=i+ai

8、1f1+ai2f2+aimfm+imf j aijCov x , faCoviji 1即aij是xi與fj之間的協(xié)方差。若x為各分量標準化的隨機向量，則xi與fj相關(guān)系數(shù)Covxi , f j x , f Covx , f aV x V fijijijij2. A的行元素平方和xi=i+ai1f1+ai2f2+aimfm+i a Vf V a Vf a Vf222Vxii11i 22immi , a2a2 a2i 1, 2, p2i1i 2imi令mi 1, 2, ph22a ,iijj1于是 2 h2 ,i 1, 2, p2xiii2x 的影響，可以看成是h反映了公共因子對ii公共因子f1,

9、f2,fm對xi的方差貢獻，稱為共性方差2(communality)是特殊因子 對x 的方差貢；而iii獻，稱為特殊方差(specific variance)。2xix=1，此時有當(dāng)為各分量標準化隨機向量， 1,i 1, 2, ph22ii3. A的列元素平方和ppppi1f V a Vf 22Vxa Vii11immii1i1i1p g 2 g 22i1mi1p其中g(shù) jj 1, 2, m22a ,iji1g 2f 對x ,x ,x 的影響，衡量f 重j反映了公共因子j12pj要性，視為公共因子fj對x1,x2,xp的總方差貢獻。6.3參數(shù)估計一、主成分法二、主因子法 三、極大似然法一、主成

10、分法設(shè)樣本協(xié)方差矩陣S特征值依次為 0，12p特征向量為 t , t , t相應(yīng)的正交。12p選取相對較小因子數(shù)m，并使得累計貢獻率pmiii1i1達到較高百分比，則S可近似如下分解：S t t t t t tttm1m1 m111 1m m mppp t t t t D A A D11 1m m m aA t ,t為pm矩陣，m其中1 1mmij，i=1,2,p。D diag ,22p s2ia2,1iiijj 1A這里和 D就是因子模型的一個主成分解對主成分解，當(dāng)因子數(shù)增加時，原來因子的估計載荷并不變，第j個因子fj對x的總方差貢獻仍為 。if*2xhi853762例6.3.1在例5.3.

11、2中，分別取m=1和m=2，用主成分法估計的因子載荷和共性方差列于表6.3.1。當(dāng)m=1和m=2時的主成分解表6.3.1m=1m=2因子載荷共性方差因子載荷共性方差變 量h2h2f1f1f2iix*：100米：200米：400米：800米：1500米：5000米：10000米：0.8170.8670.9150.9490.9590.9380.9440.8800.6680.7520.8380.9000.9200.8790.8910.7740.8170.8670.9150.9490.9590.9380.9440.8800.5310.4320.2330.012-0.131-0.292-0.287-0.

12、4110.9500.9390.8920.9000.9380.9650.9730.9431x*2x*3x*4x*5x*6x*7x*8所解釋的總方差的累計比例0.8280.8280.938主成分解的近似關(guān)系式 100米） 0.817 f 0.531 fx（*1121 200米） 0.867 f 0.432 fx（*2122400米） 0.915 f 0.233 f 0.012 fx（*3123800米） 0.949 fx（*4124 1500米） 0.959 f 0.131 fx（*5125 x（* 0.292 f 5000米） 0.938 f6126 0.287 f x（* 10000米） 0.

13、944 f7（*127 ） 0.880 f 0.411 f128主成分解的因子解釋與主成分的解釋完全相同。因子f1代表在徑賽項目上的總體實 力，可稱為強弱因子；因子f2反映了速度與耐力的對比。二、主因子法假定原始向量x的各分量已作標準化變換。如果隨機向量x滿足正交因子模型，則有R=AA+D其中R為x的相關(guān)矩陣，令R*=RD=AA則稱R*為x的約相關(guān)矩陣(reduced correlation matrix).2hR*中對角線元素是，而不是1R，非對角線元素和i中是完全一樣，R*非負定。22i設(shè)是特殊方差的合適初始估計，則i約相關(guān)矩陣的估計為 h2rr1121 ph2 rr R D R*2122

14、 p rh2rp1p 2p其中 R r , D diag , 1 21222p22i，hiji是 h2的初始估計。i又設(shè)R*前m個特征值依次為 0 ，*12mt* , t* , t*,則A的主相應(yīng)的正交因子解為A 特征向量為12m*t ,t ,t1122mm2i由此可重新估計特殊方差，的最終估計為i 1, 2, pm 1 h2 1 2i2a ,iijj1若希望求得擬合程度更好的解，則可采用迭代方2法，即利用上式中的 再作為特殊方差的初始估i計，重復(fù)上述步驟，直至解穩(wěn)定為止。特殊(或共性)方差常用初始估計方法是 R 1的第i個對角線元 1 rii，其中 rii2(1)取i素，此時共性方差估計為

15、h2 1 2，是xi和其他iip1個變量間樣本復(fù)相關(guān)系數(shù)的平方，常用初始估計。h2 1 h2 max r2i(2)取，此時。iijiji取 h2 1，得到的 A 是一個主成 02i(3)，此時i分解。例6.3.2在例5.3.2中，取m=2，為求得主因子解，選用xi與其他七個變量的復(fù)2相關(guān)系數(shù)平方作為 的初始估計值。計算得hih2h2h2h2 0.877, 0.927, 0.888, 0.955, 0.845, 0.967, 0.884 0.9051234h2h2h2h25678于是得約相關(guān)矩陣： 0.877 0.9230.8880.8510.8070.7750.6950.6970.596 0.

16、841 0.7560.8450.8700.8350.7790.7870.7050.8840.9180.8640.8690.806 R* 0.700 0.6190.9270.9280.9350.8660.9550.9750.932 0.6330.967 0.5200.9430.905 R* 的特征值為 6.530, 0.014, 0.779, 0.051, 0.006*1234 0.015, 0.036, 0.053*5678從 起特征值已接近于*0，故取m=2，相應(yīng)的計算結(jié)3果列于表6.3.2。f2hi2當(dāng)m=2時的主因子解表6.3.2因子載荷共性方差變量h2ffi12x*：100米：200米

17、0.8070.8580.8900.9390.9560.9380.9460.8740.4960.4120.2160.0240.1140.2820.2810.3780.8970.9060.8560.8810.9260.9600.9740.9071x*2x*：400米：800米：1500米：5000米：10000米：3x*4x*5x*6x*7x*80.8160.914所解釋的總方差的累計比例三、極大似然法設(shè)公共因子fNm(0,I)，特殊因子Np(0,D)，且相互獨立，則原始向量xNp(,)。由樣本 x1,x2,xn計算得到的似然函數(shù)是和的函數(shù) L(,)。由于=AA+D，故似然函數(shù)可表示為L(,A,D

18、)。記(,A,D)的極大似然估計為, A, D )，即有L( , A, D ) max L , A, D(可以證明， x ，而A和D滿足以下方程組： D 1 A=A (I AD 1 A )mD diag( A A)n 1 ( x x)其中ini1由于A的解不惟一，為了得到惟一解，可附加計算上的唯一條件：AD1A是對角矩陣A和D則方程組中的可用迭代方法解得。極大似然解，當(dāng)因子數(shù)增加時，原來因子的估計載荷及對x的貢獻將發(fā)生變化，這與主成分解及主因子解不同。例6.3.3在例5.3.2中，取m=2，極大似然法的計算結(jié)果列于表6.3.3。 的初始估計值與例6.3.2相同。f2hi2當(dāng)m=2時的極大似然解

19、表6.3.3因子載荷共性方差變量h2ffi12x*：100米：200米0.7310.7920.8550.9160.9580.9720.9810.9230.6200.5450.3430.1610.0260.1440.1430.2490.9190.9240.8490.8650.9180.9660.9820.9141x*2x*：400米：800米：1500米：5000米：10000米：3x*4x*5x*6x*7x*80.8010.917所解釋的總方差的累計比例6.4 因子旋轉(zhuǎn)常通過旋轉(zhuǎn)公共因子方法來減少因子解釋性。公共因子是否易于解釋，很大程度上取決于因子載荷矩陣A的元素結(jié)構(gòu)。如果載荷矩陣A的所有元

20、素都接近0或1，則模型的公共因子就易于解釋。反之，如果載荷矩陣A的元素多數(shù)居中，應(yīng)考慮進行因子旋轉(zhuǎn)，使得旋轉(zhuǎn)之后的載荷矩陣在每一列上元素的絕對值盡量地拉開大小距離。因子旋轉(zhuǎn)方法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)兩類。對公共因子作正交旋轉(zhuǎn)相當(dāng)于對載荷矩陣A作一正交變換，右乘正交矩陣T，使A*=AT 能有更鮮明的實際意義。旋轉(zhuǎn)后的公共因子向量為f*=Tf，幾何意義是在m上對原因子軸作一剛性旋轉(zhuǎn)。因子旋轉(zhuǎn)不改變共性方差，因為A*A*=ATTA=AA正交矩陣 T 的不同選取法了正交旋轉(zhuǎn)的各種不同方法，常用的方法是最大方差旋轉(zhuǎn)法(varimax)。例6.4.1在例6.3.1至例6.3.3中分別使用最大方差旋轉(zhuǎn)法，旋轉(zhuǎn)

21、后的因子載荷矩陣列于表6.4.1。f2hi2表6.4.1旋轉(zhuǎn)后的因子載荷估計主成分主因子極大似然變 量f *f *f *f *f *f *121212：100米：200米0.2740.3760.5430.7120.8130.9020.9350.8930.7730.6270.5250.3890.2870.3810.5410.6950.7990.8950.9030.8720.7510.6310.5370.3990.2880.3790.5410.6890.7970.8990.9140.8830.7460.6240.5320.397x*1x*2：400米：800米：1500米：5000米x*3x*4x

22、*5x*6x*：10000米0.9030.3970.9000.4050.9060.4027x*0.9360.2610.9090.2840.9140.281：8所解釋的總方差的累計比例0.5230.9380.5100.9140.5120.917三種方法的因子載荷估計經(jīng)因子旋轉(zhuǎn)之后給出了大致相同結(jié)果， 在因子 f *上的載荷依次增1*f*大，在因子上的載荷依次減小，可稱為耐力因f21子，稱 f *為（短跑）速度因子。2將（主成分解的）因子載荷配對( ai1, ai 2 )在圖6.4.1中用點表示，在點上標出相應(yīng)變量的序號。使用最大方差旋轉(zhuǎn)法后，因子按順時針方向旋轉(zhuǎn)了=40.6，點i在新坐標系下的坐

23、標為旋轉(zhuǎn)后的因子載荷配對( ai1, ai 2 )。容易看出旋轉(zhuǎn)后因子的意義。圖6.4.1主成分解的因子旋轉(zhuǎn)例6.4.2滬市604家上市公司2001年財務(wù)報表中有這樣十個主要財務(wù)指標(數(shù)據(jù)可從相)：關(guān)網(wǎng)頁上x1：主營業(yè)務(wù)收入(元)x2：主營業(yè)務(wù)利潤(元) x3：利潤總額(元) x4：凈利潤(元) x5：每股收益(元)x6：每股凈資產(chǎn)(元)x7：凈資產(chǎn)收益率(%) x8：總資產(chǎn)收益率(%) x9：資產(chǎn)總計(元) x10：股本上述十個指標的樣本相關(guān)矩陣列于表6.4.2。表6.4.2十個財務(wù)指標的樣本相關(guān)矩陣x1x2x3x4x5x6x7x8x9x10 x1 x2 x3 x4 x5 x6 x7 x8

24、x9x101.0000.7231.0000.4270.7431.0000.4070.6970.9821.0000.1710.3250.5390.5591.0000.1490.2280.2840.2740.5851.0000.0960.1770.3620.4020.7760.2181.0000.0660.2040.4550.5000.8490.2900.8331.0000.7480.7680.5740.5670.1250.1380.0670.0581.0000.6220.6190.4850.5000.002-0.0660.0330.0510.8611.000從相關(guān)矩陣出發(fā)，選擇主成分法，相關(guān)矩陣

25、的前三個特征值為 4.879, 2.574, 0.929123累計貢獻率為83.82%，取因子數(shù)m=3，相應(yīng)結(jié)果列于表6.4.3。表6.4.3m=3時的主成分解因子載荷共性方差變量h2fff123ix* ：主營業(yè)務(wù)收入0.6590.8350.8860.8880.6660.3910.5270.5810.7470.6360.4720.3460.0030.0370.6920.3670.6700.7030.5640.5960.1210.0970.0370.0820.1090.8140.3250.2600.0190.2190.6720.8260.7860.7960.9340.9510.8320.8990

26、.8770.8081x* ：主營業(yè)務(wù)利潤2x* ：利潤總額3*x：凈利潤4*x5 ：每股收益x*6 ：每股凈資產(chǎn)x*7 ：凈資產(chǎn)收益率x*：總資產(chǎn)收益率8x* ：資產(chǎn)總計9x*：股本10所解釋的總方0.4880.7450.838差的累計比例表6.4.4旋轉(zhuǎn)后的因子載荷估計因子載荷共性方差變量h2f *f *f *123ix* ：主營業(yè)務(wù)收入0.8090.8740.7060.6880.1150.0820.0220.0450.9360.869-0.0290.1710.5090.5520.8490.1990.9120.943-0.012-0.0130.1290.1820.1670.1350.4470

27、.9510.0040.0870.028-0.2280.6720.8260.7860.7960.9340.9510.8320.8990.8770.8081x* ：主營業(yè)務(wù)利潤2x* ：利潤總額3*x：凈利潤4*x5 ：每股收益x*6 ：每股凈資產(chǎn)x*7 ：凈資產(chǎn)收益率x*：總資產(chǎn)收益率8x* ：資產(chǎn)總計9x*：股本10所解釋的總方0.4040.7120.838差的累計比例6.5因子得分一、最小二乘法二、回歸法一、最小二乘法采用類似于回歸分析中最小二乘估計的想法將估計為f fmf AD1A1 AD1 x x，A和D在實際應(yīng)用中，用估計值分別代替上述公式中的，A和D ，將樣品xj的數(shù)據(jù)代入，到相應(yīng)的

28、因子得分 AD 1 A 1 AD 1 x x jfj二、回歸法在正交因子模型中，假設(shè) f 服從(m+p)元 x 正態(tài)分布，fm f 用回歸方法可將估計為f A 1 x x，A和實際應(yīng)用中，可用分別代替上式中的，A和 來得到因子得分。樣品xj的因子得分 AS 1 x x fjj例6.5.1在例6.4.2中，用回歸法得到的因子得分為f * A*R 1 x*其中 x*x*, xx 的標準化值，為piii=1,2,p，經(jīng)計算：f* 0.2170.032 0.1090.165 0.1000.876 0.138x* 0.054x*x*1345 0.246x*x*910f* 0.144x* 0.235x*x

29、*2345 0.016x*x*910f* 0.216x*x*345 0.255x*x*910f*表6.5.1按規(guī)模因子得分的排序1f*f*f*f*f*f*序號名稱序號名稱12312318.580-2.704-2.16827.446-2.089-1.861595-0.7010.2311.624東方航空藥業(yè)36.9241.513-0.044596-0.706-0.4302.085兗州煤碳潛江制藥46.175-1.251-2.804597-0.7090.1460.655馬鋼瀏陽花55.3410.835-2.220598-0.7131.625-1.313寧滬高速浪潮64.1012.5960.640599-0.7282.511-1.366廣州控股兆維科技74.0220.9543.160600PT農(nóng)商社-0.7510.5160.510青島海爾83.996-2.0271.907601-0.7760.5270.385長虹三佳模具93.873-0.964-1.598602-0.8171.175-1.407儀征化工雄震103.8341.293-0.666603-1.0232.715-1.685汽