數(shù)學(xué)建模因子分析

1、第十四講第十四講 因子分析因子分析n第一部分第一部分 主成分分析主成分分析n第二部分第二部分 因子分析因子分析主成分分析的基本原理主成分分析的基本原理 主成分的概念由主成分的概念由karl pearson在在1901年提出的。年提出的。他是考察多個(gè)變量間相關(guān)性一種多元統(tǒng)計(jì)方法他是考察多個(gè)變量間相關(guān)性一種多元統(tǒng)計(jì)方法 研究如何通過少數(shù)幾個(gè)主成分研究如何通過少數(shù)幾個(gè)主成分(principal component)來解釋多個(gè)變量間的內(nèi)部結(jié)構(gòu)。即從原來解釋多個(gè)變量間的內(nèi)部結(jié)構(gòu)。即從原始變量中導(dǎo)出少數(shù)幾個(gè)主分量，使它們盡可能多地始變量中導(dǎo)出少數(shù)幾個(gè)主分量，使它們盡可能多地保留原始變量的信息，且彼此間互不

2、相關(guān)。保留原始變量的信息，且彼此間互不相關(guān)。 主成分分析的目的：數(shù)據(jù)的壓縮；數(shù)據(jù)的解釋主成分分析的目的：數(shù)據(jù)的壓縮；數(shù)據(jù)的解釋l常被用來尋找判斷事物或現(xiàn)象的綜合指標(biāo)，并對綜合指常被用來尋找判斷事物或現(xiàn)象的綜合指標(biāo)，并對綜合指標(biāo)所包含的信息進(jìn)行適當(dāng)?shù)慕忉寴?biāo)所包含的信息進(jìn)行適當(dāng)?shù)慕忉屖裁词侵鞒煞址治?？什么是主成分分析?principal component analysis)n對這兩個(gè)相關(guān)變量所攜帶的信息對這兩個(gè)相關(guān)變量所攜帶的信息(在統(tǒng)計(jì)上信息往往是在統(tǒng)計(jì)上信息往往是指數(shù)據(jù)的變異指數(shù)據(jù)的變異)進(jìn)行濃縮處理進(jìn)行濃縮處理n假定只有兩個(gè)變量假定只有兩個(gè)變量x1和和x2，從散點(diǎn)圖可見兩個(gè)變量存，從散點(diǎn)

3、圖可見兩個(gè)變量存在相關(guān)關(guān)系，這意味著兩個(gè)變量提供的信息有重疊在相關(guān)關(guān)系，這意味著兩個(gè)變量提供的信息有重疊主成分分析的基本思想主成分分析的基本思想 ( (以兩個(gè)變量為例以兩個(gè)變量為例) )n如果把兩個(gè)變量用如果把兩個(gè)變量用一個(gè)變量來表示，一個(gè)變量來表示，同時(shí)這一個(gè)新的變同時(shí)這一個(gè)新的變量又盡可能包含原量又盡可能包含原來的兩個(gè)變量的信來的兩個(gè)變量的信息，這就是降維的息，這就是降維的過程過程主成分分析的數(shù)學(xué)模型主成分分析的數(shù)學(xué)模型n數(shù)學(xué)上的處理是將原始的數(shù)學(xué)上的處理是將原始的p個(gè)變量作線性組合，作為新的個(gè)變量作線性組合，作為新的變量變量n設(shè)設(shè)p個(gè)原始變量為個(gè)原始變量為 ，新的變量，新的變量(即主成分

4、即主成分)為為 ，主成分和原始變量之間的關(guān)系表示為，主成分和原始變量之間的關(guān)系表示為主成分分析的數(shù)學(xué)模型主成分分析的數(shù)學(xué)模型ppppppppppxaxaxayxaxaxayxaxaxay22112222121212121111主成分分析的數(shù)學(xué)模型aij為第為第i個(gè)主成分個(gè)主成分yi和原和原來的第來的第j個(gè)變量個(gè)變量xj之間的之間的線性相關(guān)系數(shù)，稱為載線性相關(guān)系數(shù)，稱為載荷荷(loading)。比如，。比如，a11表示第表示第1主成分和原主成分和原來的第來的第1個(gè)變量之間的個(gè)變量之間的相關(guān)系數(shù)，相關(guān)系數(shù)，a21表示第表示第2主成分和原來的第主成分和原來的第1個(gè)個(gè)變量之間的相關(guān)系數(shù)變量之間的相關(guān)系

5、數(shù)pxxx，21pyyy，.21n選擇幾個(gè)主成分？選擇幾個(gè)主成分？選擇標(biāo)準(zhǔn)是什么？選擇標(biāo)準(zhǔn)是什么？n被選的主成分所代表的主軸的長度之和占了主軸被選的主成分所代表的主軸的長度之和占了主軸總程度之和的大部分總程度之和的大部分n在統(tǒng)計(jì)上，主成分所代表的原始變量的信息用其在統(tǒng)計(jì)上，主成分所代表的原始變量的信息用其方差來表示。因此，所選擇的第一個(gè)主成分是所方差來表示。因此，所選擇的第一個(gè)主成分是所有主成分中的方差最大者，即有主成分中的方差最大者，即var(yi)最大最大n如果第一個(gè)主成分不足以代表原來的個(gè)變量，在如果第一個(gè)主成分不足以代表原來的個(gè)變量，在考慮選擇第二個(gè)主成分，依次類推考慮選擇第二個(gè)主成分

6、，依次類推n這些主成分互不相關(guān)，且方差遞減這些主成分互不相關(guān)，且方差遞減主成分的選擇主成分的選擇n究竟選擇幾個(gè)主成分才合適呢？究竟選擇幾個(gè)主成分才合適呢？n一般要求所選主成分的方差總和占全部方差的一般要求所選主成分的方差總和占全部方差的80%以上就可以了。當(dāng)然，這只是一個(gè)大體標(biāo)準(zhǔn)以上就可以了。當(dāng)然，這只是一個(gè)大體標(biāo)準(zhǔn)，具體選擇幾個(gè)要看實(shí)際情況，具體選擇幾個(gè)要看實(shí)際情況n如果原來的變量之間的相關(guān)程度高，降維的效果如果原來的變量之間的相關(guān)程度高，降維的效果就會好一些，所選的主成分就會少一些，如果原就會好一些，所選的主成分就會少一些，如果原來的變量之間本身就不怎么相關(guān)，降維的效果自來的變量之間本身就

7、不怎么相關(guān)，降維的效果自然就不好然就不好n不相關(guān)的變量就只能自己代表自己了不相關(guān)的變量就只能自己代表自己了主成分的選擇主成分的選擇主成分分析的步驟主成分分析的步驟n 對原來的對原來的p個(gè)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化，以消除變量個(gè)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化，以消除變量在水平和量綱上的影響在水平和量綱上的影響n 根據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣求出相關(guān)系數(shù)矩根據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣求出相關(guān)系數(shù)矩陣陣n 求出協(xié)方差矩陣的特征根和特征向量求出協(xié)方差矩陣的特征根和特征向量n 確定主成分，并對各主成分所包含的信息確定主成分，并對各主成分所包含的信息給予適當(dāng)?shù)慕忉尳o予適當(dāng)?shù)慕忉屩鞒煞址治龅牟襟E主成分分析的步驟根據(jù)我國根據(jù)我國31個(gè)省市自治區(qū)個(gè)省

8、市自治區(qū)2006年的年的6項(xiàng)主要項(xiàng)主要經(jīng)濟(jì)指標(biāo)數(shù)據(jù)，進(jìn)行主成分分析，找出主成經(jīng)濟(jì)指標(biāo)數(shù)據(jù)，進(jìn)行主成分分析，找出主成分并進(jìn)行適當(dāng)?shù)慕忉尫植⑦M(jìn)行適當(dāng)?shù)慕忉屩鞒煞址治鲋鞒煞址治?( (實(shí)例分析實(shí)例分析) )用用spssspss進(jìn)行主成分分析進(jìn)行主成分分析第第1步步 選擇【選擇【analyze】下拉菜單，并選擇【】下拉菜單，并選擇【data reduction-factor】，進(jìn)入主對話框】，進(jìn)入主對話框第第2步步 在主對話框中將所有原始變量選入【在主對話框中將所有原始變量選入【variables】第第3步步 點(diǎn)擊【點(diǎn)擊【descriptives】，在【】，在【correlation matrix】下

9、選擇【】下選擇【coefficirnts】，點(diǎn)擊【】，點(diǎn)擊【continue】回到主對話框回到主對話框第第4步步 點(diǎn)擊【點(diǎn)擊【extraction】，在【】，在【display】下選擇】下選擇【scree plot】，點(diǎn)擊【】，點(diǎn)擊【continue】回到主對話框】回到主對話框第第5步步 點(diǎn)擊【點(diǎn)擊【rotation】，在【】，在【display】下選擇】下選擇【loading plot】，點(diǎn)擊【】，點(diǎn)擊【continue】回到主對話框】回到主對話框 點(diǎn)擊【點(diǎn)擊【ok】單變量描述統(tǒng)計(jì)分析。單變量描述統(tǒng)計(jì)分析。輸出單變量的基本統(tǒng)輸出單變量的基本統(tǒng)計(jì)量，包括每個(gè)變量計(jì)量，包括每個(gè)變量的均值、標(biāo)準(zhǔn)差

10、及其的均值、標(biāo)準(zhǔn)差及其有效例數(shù)有效例數(shù)初始解。默認(rèn)選項(xiàng)。初始解。默認(rèn)選項(xiàng)。輸出因子分析的初始輸出因子分析的初始解，顯示初始公共因解，顯示初始公共因子方差、特征值及其子方差、特征值及其解釋變量的百分比。解釋變量的百分比。1、相關(guān)系數(shù)矩陣；、相關(guān)系數(shù)矩陣；2、顯著性水平；、顯著性水平；3、相關(guān)系數(shù)矩陣的行、相關(guān)系數(shù)矩陣的行列值；列值；4、相關(guān)系數(shù)矩陣的逆、相關(guān)系數(shù)矩陣的逆矩陣；矩陣；5、再生相關(guān)系數(shù)矩陣。、再生相關(guān)系數(shù)矩陣。輸出因子分析的估計(jì)量輸出因子分析的估計(jì)量相關(guān)系數(shù)矩陣，并顯示相關(guān)系數(shù)矩陣，并顯示參差值，即原始相關(guān)系參差值，即原始相關(guān)系數(shù)矩陣與再生相關(guān)系數(shù)數(shù)矩陣與再生相關(guān)系數(shù)矩陣之間的差值；

11、矩陣之間的差值；6、反映射相關(guān)系數(shù)矩、反映射相關(guān)系數(shù)矩陣。包括負(fù)片相關(guān)系數(shù)陣。包括負(fù)片相關(guān)系數(shù)矩陣。反映射相關(guān)系數(shù)矩陣。反映射相關(guān)系數(shù)矩陣的對角線可以顯示矩陣的對角線可以顯示變量的抽樣適度測試值變量的抽樣適度測試值kmo和球形和球形bartlett檢驗(yàn)。檢驗(yàn)。分析矩陣選項(xiàng)：分析矩陣選項(xiàng)：1、相關(guān)系數(shù)、相關(guān)系數(shù)矩陣。用于指矩陣。用于指定利用分析變定利用分析變量相關(guān)矩陣為量相關(guān)矩陣為提取因子的依提取因子的依據(jù)，當(dāng)參與分據(jù)，當(dāng)參與分析的變量測度析的變量測度單位不同時(shí)，單位不同時(shí)，選擇該選項(xiàng)選擇該選項(xiàng)分析矩陣選項(xiàng)：分析矩陣選項(xiàng)：2、協(xié)方差矩、協(xié)方差矩陣。指定利用陣。指定利用分析變量的協(xié)分析變量的協(xié)方差

12、矩陣為提方差矩陣為提取因子的依據(jù)。取因子的依據(jù)。選擇和因子提選擇和因子提取方法有關(guān)的取方法有關(guān)的輸出選項(xiàng)：輸出選項(xiàng)：1、非旋轉(zhuǎn)因、非旋轉(zhuǎn)因子解。要求顯子解。要求顯示未經(jīng)旋轉(zhuǎn)的示未經(jīng)旋轉(zhuǎn)的因子載荷、公因子載荷、公共因子方差和共因子方差和特征值；特征值；選擇和因子提選擇和因子提取方法有關(guān)的取方法有關(guān)的輸出選項(xiàng)：輸出選項(xiàng)：2、碎石圖。每、碎石圖。每個(gè)因子的方差個(gè)因子的方差圖，該圖利用圖，該圖利用特征值為兩個(gè)特征值為兩個(gè)坐標(biāo)軸。碎石坐標(biāo)軸。碎石圖可以決定保圖可以決定保留因子的數(shù)量留因子的數(shù)量提取因子的準(zhǔn)提取因子的準(zhǔn)則：則：1、特征值：該、特征值：該選項(xiàng)指定因子選項(xiàng)指定因子的特征值；的特征值；2、指定提

13、取公、指定提取公因子的數(shù)目。因子的數(shù)目。收斂的最大迭代次數(shù)收斂的最大迭代次數(shù)因子旋轉(zhuǎn)方式：因子旋轉(zhuǎn)方式：1、不進(jìn)行旋轉(zhuǎn)；、不進(jìn)行旋轉(zhuǎn)；2、方差最大正交旋轉(zhuǎn)、方差最大正交旋轉(zhuǎn)法；法；3、直接斜交旋轉(zhuǎn)方法；、直接斜交旋轉(zhuǎn)方法；4、四分位最大正交旋、四分位最大正交旋轉(zhuǎn)法；轉(zhuǎn)法；5、等量正交旋轉(zhuǎn)法；、等量正交旋轉(zhuǎn)法；6、斜交旋轉(zhuǎn)法、斜交旋轉(zhuǎn)法輸出與因子旋轉(zhuǎn)相關(guān)輸出與因子旋轉(zhuǎn)相關(guān)的信息：的信息：1、旋轉(zhuǎn)解；、旋轉(zhuǎn)解；2、因子載荷散點(diǎn)圖。、因子載荷散點(diǎn)圖。spssspss的輸出結(jié)果的輸出結(jié)果各變量之間的相關(guān)系數(shù)矩陣各變量之間的相關(guān)系數(shù)矩陣變量之間的存在較強(qiáng)的相關(guān)關(guān)系，適合作主成分分析變量之間的存在較強(qiáng)的相

14、關(guān)關(guān)系，適合作主成分分析 spssspss的輸出結(jié)果的輸出結(jié)果( (選擇主成分選擇主成分) )表表3 各主成分所解釋的原始變量的方差各主成分所解釋的原始變量的方差該表是選則主成分的主要依據(jù)該表是選則主成分的主要依據(jù)n“initial eigenvalues”(初始特征根初始特征根) l實(shí)際上就是本例中的實(shí)際上就是本例中的6個(gè)主軸的長度個(gè)主軸的長度l特征根反映了主成分對原始變量的影響程度，表示引入特征根反映了主成分對原始變量的影響程度，表示引入該主成分后可以解釋原始變量的信息該主成分后可以解釋原始變量的信息l特征根又叫特征根又叫方差方差，某個(gè)特征根占總特征根的比例稱，某個(gè)特征根占總特征根的比例稱

15、為主為主成分方差貢獻(xiàn)率成分方差貢獻(xiàn)率l設(shè)特征根為設(shè)特征根為 ，則第，則第i個(gè)主成分的方差貢獻(xiàn)率為個(gè)主成分的方差貢獻(xiàn)率為l比如，第一個(gè)主成分的特征根為比如，第一個(gè)主成分的特征根為3.963，占總特征根的的，占總特征根的的比例比例(方差貢獻(xiàn)率方差貢獻(xiàn)率)為為66.052%，這表示第一個(gè)主成分解釋，這表示第一個(gè)主成分解釋了原始了原始6個(gè)變量個(gè)變量66.052%的信息，可見第一個(gè)主成分對原的信息，可見第一個(gè)主成分對原來的來的6個(gè)變量解釋的已經(jīng)很充分了個(gè)變量解釋的已經(jīng)很充分了根據(jù)什么選擇主成分？根據(jù)什么選擇主成分？piii1n根據(jù)主成分貢獻(xiàn)率根據(jù)主成分貢獻(xiàn)率l一般來說，主成分的累計(jì)方差貢獻(xiàn)率達(dá)到一般來說

16、，主成分的累計(jì)方差貢獻(xiàn)率達(dá)到80%以上的前以上的前幾個(gè)主成分，都可以選作最后的主成分幾個(gè)主成分，都可以選作最后的主成分l比如表比如表3中前兩個(gè)主成分的累計(jì)方差貢獻(xiàn)率為中前兩個(gè)主成分的累計(jì)方差貢獻(xiàn)率為95.57%n根據(jù)特特征根的大小根據(jù)特特征根的大小l一般情況下，當(dāng)特征根小于一般情況下，當(dāng)特征根小于1時(shí)，就不再選作主成分了，時(shí)，就不再選作主成分了，因?yàn)樵撝鞒煞值慕忉屃Χ冗€不如直接用原始變量解的釋因?yàn)樵撝鞒煞值慕忉屃Χ冗€不如直接用原始變量解的釋力度大力度大l比如表比如表3中除前兩個(gè)外，其他主成分的特征根都小于中除前兩個(gè)外，其他主成分的特征根都小于1。所以所以spss只選擇了兩個(gè)主成分只選擇了兩個(gè)主

17、成分l就本例而言，兩個(gè)主成分就足以說明各地區(qū)的經(jīng)濟(jì)發(fā)展就本例而言，兩個(gè)主成分就足以說明各地區(qū)的經(jīng)濟(jì)發(fā)展?fàn)顩r了狀況了根據(jù)什么選擇主成分？根據(jù)什么選擇主成分？nspss還提供了一個(gè)更還提供了一個(gè)更為直觀的圖形工具來幫為直觀的圖形工具來幫助選擇主成分，即碎石助選擇主成分，即碎石圖圖(scree plot)n從碎石圖可以看到從碎石圖可以看到6個(gè)個(gè)主軸長度變化的趨勢主軸長度變化的趨勢n實(shí)踐中，通常結(jié)合具體實(shí)踐中，通常結(jié)合具體情況，選擇碎石圖中變情況，選擇碎石圖中變化趨勢出現(xiàn)拐點(diǎn)的前幾化趨勢出現(xiàn)拐點(diǎn)的前幾個(gè)主成分作為原先變量個(gè)主成分作為原先變量的代表，該例中選擇前的代表，該例中選擇前兩個(gè)主成分即可兩個(gè)主成

18、分即可根據(jù)什么選擇主成分？根據(jù)什么選擇主成分？ ( (scree plotscree plot) )拐點(diǎn)怎樣解釋主成分？怎樣解釋主成分？主成分的因子載荷矩陣主成分的因子載荷矩陣 l表表1中的每一列表示一個(gè)主成分作為原來變量線性組合的系數(shù)，也就是中的每一列表示一個(gè)主成分作為原來變量線性組合的系數(shù)，也就是主成分分析模型中的系數(shù)主成分分析模型中的系數(shù)aijl比如，第一主成分所在列的系數(shù)比如，第一主成分所在列的系數(shù)0.670表示第表示第1個(gè)主成分和原來的第一個(gè)個(gè)主成分和原來的第一個(gè)變量變量(人均人均gdp)之間的線性相關(guān)系數(shù)。這個(gè)系數(shù)越大，說明主成分對該之間的線性相關(guān)系數(shù)。這個(gè)系數(shù)越大，說明主成分對該

19、變量的代表性就越大變量的代表性就越大n根據(jù)主成分分析模型和因子載荷，可以得到根據(jù)主成分分析模型和因子載荷，可以得到兩個(gè)主成分與原來兩個(gè)主成分與原來6個(gè)變量之間的線性組合個(gè)變量之間的線性組合表達(dá)式如下表達(dá)式如下 怎樣解釋主成分？怎樣解釋主成分？( (主成分與原始變量的關(guān)系主成分與原始變量的關(guān)系) )65432126543211263. 0721. 0728. 0351. 0055. 0725. 0950. 0674. 0633. 0896. 0976. 0670. 0 xxxxxxyxxxxxxy注意：表達(dá)式中的不是原始變量，而是標(biāo)準(zhǔn)化變量n 載荷圖載荷圖(loading plot)直觀顯示直觀

20、顯示主成分對原始主成分對原始6變量的解釋情況變量的解釋情況n 圖中橫軸表示第一個(gè)主成分與原圖中橫軸表示第一個(gè)主成分與原始變量間的相關(guān)系數(shù)；縱軸表示始變量間的相關(guān)系數(shù)；縱軸表示第二個(gè)主成分與原始變量之間的第二個(gè)主成分與原始變量之間的相關(guān)系數(shù)相關(guān)系數(shù)n 每一個(gè)變量對應(yīng)的主成分載荷就每一個(gè)變量對應(yīng)的主成分載荷就對應(yīng)坐標(biāo)系中的一個(gè)點(diǎn)，比如，對應(yīng)坐標(biāo)系中的一個(gè)點(diǎn)，比如，人均人均gdp變量對應(yīng)的點(diǎn)是變量對應(yīng)的點(diǎn)是(0.670，0.725)n 第一個(gè)主成分很充分地解釋了原第一個(gè)主成分很充分地解釋了原始的始的6個(gè)變量個(gè)變量(與每個(gè)原始變量都與每個(gè)原始變量都有較強(qiáng)的正相關(guān)關(guān)系有較強(qiáng)的正相關(guān)關(guān)系)，第二個(gè)，第二個(gè)

21、主成分則較好地解釋了居民消費(fèi)主成分則較好地解釋了居民消費(fèi)水平、人均水平、人均gdp和年末總?cè)丝诤湍昴┛側(cè)丝谶@這3個(gè)變量個(gè)變量(與它們的相關(guān)關(guān)系較與它們的相關(guān)關(guān)系較高高)，而與其他變量的關(guān)系則較，而與其他變量的關(guān)系則較弱弱(相關(guān)系數(shù)的點(diǎn)靠近坐標(biāo)軸相關(guān)系數(shù)的點(diǎn)靠近坐標(biāo)軸)怎樣解釋主成分？怎樣解釋主成分？ (loading plot)(loading plot)相關(guān)系數(shù)的點(diǎn)越遠(yuǎn)離坐標(biāo)軸，主成分對原始變量的代表性就越大。這3個(gè)點(diǎn)遠(yuǎn)離主成分2的坐標(biāo)第二部分第二部分 因子分析因子分析因子分析的意義和數(shù)學(xué)模型因子分析的意義和數(shù)學(xué)模型因子分析的步驟因子分析的步驟因子分析的應(yīng)用因子分析的應(yīng)用因子分析的意義和數(shù)學(xué)

22、模型因子分析的意義和數(shù)學(xué)模型n由由charles spearman于于1904年首次提出的年首次提出的n與主成分分析類似，它們都是要找出少數(shù)幾個(gè)新的與主成分分析類似，它們都是要找出少數(shù)幾個(gè)新的變量來代替原始變量變量來代替原始變量n不同之處：主成分分析中的主成分個(gè)數(shù)與原始變量不同之處：主成分分析中的主成分個(gè)數(shù)與原始變量個(gè)數(shù)是一樣的，即有幾個(gè)變量就有幾個(gè)主成分，只個(gè)數(shù)是一樣的，即有幾個(gè)變量就有幾個(gè)主成分，只不過最后我們確定了少數(shù)幾個(gè)主成分而已。而因子不過最后我們確定了少數(shù)幾個(gè)主成分而已。而因子分析則需要事先確定要找?guī)讉€(gè)成分，也稱為因子分析則需要事先確定要找?guī)讉€(gè)成分，也稱為因子(factor)，然后

23、將原始變量綜合為少數(shù)的幾個(gè)因子，然后將原始變量綜合為少數(shù)的幾個(gè)因子，以再現(xiàn)原始變量與因子之間的關(guān)系，一般來說，因以再現(xiàn)原始變量與因子之間的關(guān)系，一般來說，因子的個(gè)數(shù)會遠(yuǎn)遠(yuǎn)少于原始變量的個(gè)數(shù)子的個(gè)數(shù)會遠(yuǎn)遠(yuǎn)少于原始變量的個(gè)數(shù)什么是因子分析？什么是因子分析？ (factor analysis)(factor analysis)n因子分析可以看作是主成分分析的推廣和擴(kuò)展，但因子分析可以看作是主成分分析的推廣和擴(kuò)展，但它對問題的研究更深入、更細(xì)致一些。實(shí)際上，主它對問題的研究更深入、更細(xì)致一些。實(shí)際上，主成分分析可以看作是因子分析的一個(gè)特例成分分析可以看作是因子分析的一個(gè)特例n簡言之，因子分析是通過對變

24、量之間關(guān)系的研究，簡言之，因子分析是通過對變量之間關(guān)系的研究，找出能綜合原始變量的少數(shù)幾個(gè)因子，使得少數(shù)因找出能綜合原始變量的少數(shù)幾個(gè)因子，使得少數(shù)因子能夠反映原始變量的絕大部分信息，然后根據(jù)相子能夠反映原始變量的絕大部分信息，然后根據(jù)相關(guān)性的大小將原始變量分組，使得組內(nèi)的變量之間關(guān)性的大小將原始變量分組，使得組內(nèi)的變量之間相關(guān)性較高，而不同組的變量之間相關(guān)性較低。因相關(guān)性較高，而不同組的變量之間相關(guān)性較低。因此，因子分析屬于多元統(tǒng)計(jì)中處理降維的一種統(tǒng)計(jì)此，因子分析屬于多元統(tǒng)計(jì)中處理降維的一種統(tǒng)計(jì)方法，其目的就是要減少變量的個(gè)數(shù)，用少數(shù)因子方法，其目的就是要減少變量的個(gè)數(shù)，用少數(shù)因子代表多個(gè)原

25、始變量代表多個(gè)原始變量什么是因子分析？什么是因子分析？ (factor analysis)(factor analysis)n因變量和因子個(gè)數(shù)的不一致，使得不僅在數(shù)學(xué)因變量和因子個(gè)數(shù)的不一致，使得不僅在數(shù)學(xué)模型上，而且在實(shí)際求解過程中，因子分析和模型上，而且在實(shí)際求解過程中，因子分析和主成分分析都有著一定的區(qū)別，計(jì)算上因子分主成分分析都有著一定的區(qū)別，計(jì)算上因子分析更為復(fù)雜析更為復(fù)雜n因子分析可能存在的一個(gè)優(yōu)點(diǎn)是：在對主成分因子分析可能存在的一個(gè)優(yōu)點(diǎn)是：在對主成分和原始變量之間的關(guān)系進(jìn)行描述時(shí)，如果主成和原始變量之間的關(guān)系進(jìn)行描述時(shí)，如果主成分的直觀意義比較模糊不易解釋，主成分分析分的直觀意義

26、比較模糊不易解釋，主成分分析沒有更好的改進(jìn)方法；因子分析則額外提供了沒有更好的改進(jìn)方法；因子分析則額外提供了“因子旋轉(zhuǎn)因子旋轉(zhuǎn)(factor rotation)”這樣一個(gè)步驟，可這樣一個(gè)步驟，可以使分析結(jié)果盡可能達(dá)到易于解釋且更為合理以使分析結(jié)果盡可能達(dá)到易于解釋且更為合理的目的的目的因子分析的數(shù)學(xué)模型因子分析的數(shù)學(xué)模型n原始的原始的p個(gè)變量表達(dá)為個(gè)變量表達(dá)為k個(gè)因子的線性組合變量個(gè)因子的線性組合變量n設(shè)設(shè)p個(gè)原始變量為個(gè)原始變量為 ，要尋找的，要尋找的k個(gè)因子個(gè)因子(kp)為為 ，主成分和原始變量之間的關(guān)系表示為，主成分和原始變量之間的關(guān)系表示為因子分析的數(shù)學(xué)模型因子分析的數(shù)學(xué)模型因子分析的

27、數(shù)學(xué)模型系數(shù)aij為第個(gè)i變量與第k個(gè)因子之間的線性相關(guān)系數(shù)，反映變量與因子之間的相關(guān) 程 度 ， 也 稱 為 載 荷(loading)。由于因子出現(xiàn)在每個(gè)原始變量與因子的線性組合中，因此也稱為公因子。為特殊因子，代表公因子以外的因素影響pkpkpppkkkkfafafaxfafafaxfafafax2211222221212112121111kfff，21pxxx，21n共同度量共同度量(communality)n因子的方差貢獻(xiàn)率因子的方差貢獻(xiàn)率 因子分析的數(shù)學(xué)模型因子分析的數(shù)學(xué)模型( (共同度量共同度量communalitycommunality和公因子的方差貢獻(xiàn)率和公因子的方差貢獻(xiàn)率 )

28、 )221(1 2)piijjhaik，221(1 2)kjijigajp，變量xi的信息能夠被k個(gè)公因子解釋的程度，用 k個(gè)公因子對第i個(gè)變量xi的方差貢獻(xiàn)率表示第j個(gè)公因子對變量xi的提供的方差總和，反映第j個(gè)公因子的相對重要程度因子分析的步驟因子分析的步驟n因子分析要求樣本的個(gè)數(shù)要足夠多因子分析要求樣本的個(gè)數(shù)要足夠多l(xiāng)一般要求樣本的個(gè)數(shù)至少是變量的一般要求樣本的個(gè)數(shù)至少是變量的5倍以上。同時(shí)，樣本倍以上。同時(shí)，樣本總數(shù)據(jù)量理論要求應(yīng)該在總數(shù)據(jù)量理論要求應(yīng)該在100以上以上n用于因子分析的變量必須是相關(guān)的用于因子分析的變量必須是相關(guān)的l如果原始變量都是獨(dú)立的，意味著每個(gè)變量的作用都是不如果

29、原始變量都是獨(dú)立的，意味著每個(gè)變量的作用都是不可替代的，則無法降維可替代的，則無法降維n檢驗(yàn)方法檢驗(yàn)方法l計(jì)算各變量之間的相關(guān)矩陣，觀察各相關(guān)系數(shù)。若相關(guān)矩計(jì)算各變量之間的相關(guān)矩陣，觀察各相關(guān)系數(shù)。若相關(guān)矩陣中的大部分相關(guān)系數(shù)小于陣中的大部分相關(guān)系數(shù)小于0.3，則不適合作因子分析，則不適合作因子分析l使用使用kaiser-meyer-olkin檢驗(yàn)檢驗(yàn)(簡稱簡稱kmo檢驗(yàn)檢驗(yàn))和和 bartlett球度檢驗(yàn)球度檢驗(yàn)(bartletts test of sphericity)來判斷來判斷(spss將兩種將兩種檢驗(yàn)統(tǒng)稱為檢驗(yàn)統(tǒng)稱為“kmo and bartletts test of spheric

30、ity”)因子分析的步驟因子分析的步驟( (數(shù)據(jù)檢驗(yàn)數(shù)據(jù)檢驗(yàn)) )nbartlett球度檢驗(yàn)球度檢驗(yàn)l以變量的相關(guān)系數(shù)矩陣為基礎(chǔ)，假設(shè)相關(guān)系數(shù)矩陣是單位以變量的相關(guān)系數(shù)矩陣為基礎(chǔ)，假設(shè)相關(guān)系數(shù)矩陣是單位陣陣(對角線元素不為對角線元素不為0，非對角線元素均為，非對角線元素均為0)。如果相關(guān)矩。如果相關(guān)矩陣是單位陣，則各變量是獨(dú)立的，無法進(jìn)行因子分析陣是單位陣，則各變量是獨(dú)立的，無法進(jìn)行因子分析nkmo檢驗(yàn)檢驗(yàn)l用于檢驗(yàn)變量間的偏相關(guān)性，用于檢驗(yàn)變量間的偏相關(guān)性，kmo統(tǒng)計(jì)量的取值在統(tǒng)計(jì)量的取值在01之間之間l如果統(tǒng)計(jì)量取值越接近如果統(tǒng)計(jì)量取值越接近1，變量間的偏相關(guān)性越強(qiáng)，因子，變量間的偏相關(guān)性

31、越強(qiáng)，因子分析的效果就越好分析的效果就越好lkmo統(tǒng)計(jì)量在統(tǒng)計(jì)量在0.7以上時(shí)，因子分析效果較好；以上時(shí)，因子分析效果較好；kmo統(tǒng)統(tǒng)計(jì)量在計(jì)量在0.5以下時(shí)，因子分析效果很差以下時(shí)，因子分析效果很差因子分析的步驟因子分析的步驟( (數(shù)據(jù)檢驗(yàn)數(shù)據(jù)檢驗(yàn)) )因子分析的步驟因子分析的步驟( (因子提取因子提取) )n因子數(shù)量的確定因子數(shù)量的確定l用公因子方差貢獻(xiàn)率提?。号c主成分分析類似，用公因子方差貢獻(xiàn)率提取：與主成分分析類似，一般累計(jì)方差貢獻(xiàn)率達(dá)到一般累計(jì)方差貢獻(xiàn)率達(dá)到80%以上的前幾個(gè)因子以上的前幾個(gè)因子可以作為最后的公因子可以作為最后的公因子l用特征根提?。阂话阋笠蜃訉?yīng)的特征根要大用特征

32、根提?。阂话阋笠蜃訉?yīng)的特征根要大于于1，因?yàn)樘卣鞲∮?，因?yàn)樘卣鞲∮?說明該共因子的解釋力度說明該共因子的解釋力度太弱，還不如使用原始變量的解釋力度大太弱，還不如使用原始變量的解釋力度大n實(shí)際應(yīng)用中，因子的提取要結(jié)合具體問題而實(shí)際應(yīng)用中，因子的提取要結(jié)合具體問題而定，在某種程度上，取決于研究者自身的知定，在某種程度上，取決于研究者自身的知識和經(jīng)驗(yàn)識和經(jīng)驗(yàn) 因子分析的步驟因子分析的步驟( (因子提取因子提取) )n 因子命名是因子分析重要一步因子命名是因子分析重要一步l一個(gè)因子包含了多個(gè)原始變量的信息，它究一個(gè)因子包含了多個(gè)原始變量的信息，它究竟反映了原始變量的哪些共同信息？竟反映了原始變

33、量的哪些共同信息？l因子分析得到的因子的含義是模糊的，需要因子分析得到的因子的含義是模糊的，需要重新命名，以便對研究的問題作出合理解釋重新命名，以便對研究的問題作出合理解釋l可通過考察觀察因子載荷矩陣并結(jié)合實(shí)際問可通過考察觀察因子載荷矩陣并結(jié)合實(shí)際問題完成題完成l命名已經(jīng)不是統(tǒng)計(jì)問題。它需要研究者自身命名已經(jīng)不是統(tǒng)計(jì)問題。它需要研究者自身的專業(yè)素質(zhì)和對實(shí)際問題背景的了解程度，的專業(yè)素質(zhì)和對實(shí)際問題背景的了解程度，這需要更多的實(shí)踐經(jīng)驗(yàn)這需要更多的實(shí)踐經(jīng)驗(yàn)因子分析的步驟因子分析的步驟( (因子命名因子命名) )n觀察因子載荷矩陣觀察因子載荷矩陣l如果因子載荷如果因子載荷aij的絕對值在第的絕對值在

34、第i行的多個(gè)列上都有較行的多個(gè)列上都有較大的取值大的取值(通常大于通常大于0.5)，表明原始變量與多個(gè)因子，表明原始變量與多個(gè)因子都有較大的相關(guān)關(guān)系，意味著原始變量都有較大的相關(guān)關(guān)系，意味著原始變量xi需要由多個(gè)需要由多個(gè)因子來共同解釋因子來共同解釋l如果因子載荷如果因子載荷aij的絕對值在第的絕對值在第j列的多個(gè)行上都有較列的多個(gè)行上都有較大的取值，則表因子大的取值，則表因子fi能共同解釋許多變量的信息，能共同解釋許多變量的信息，而對每個(gè)原始變量只能解釋其中的少部分信息，表而對每個(gè)原始變量只能解釋其中的少部分信息，表明因子不能有效代表任何一個(gè)原始變量，因子的含明因子不能有效代表任何一個(gè)原始變

35、量，因子的含義模糊不清，難以對因子給出一個(gè)合理的解釋義模糊不清，難以對因子給出一個(gè)合理的解釋l需要進(jìn)行因子旋轉(zhuǎn)，以便得到更加合理的解釋需要進(jìn)行因子旋轉(zhuǎn)，以便得到更加合理的解釋因子分析的步驟因子分析的步驟( (因子命名因子命名) )n因子旋轉(zhuǎn)因子旋轉(zhuǎn)(factor rotation)的目的是使因子的含的目的是使因子的含義更加清楚，以便于對因子的命名和解釋義更加清楚，以便于對因子的命名和解釋n旋轉(zhuǎn)的方法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)兩種旋轉(zhuǎn)的方法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)兩種l正交旋轉(zhuǎn)是指坐標(biāo)軸始終保持垂直正交旋轉(zhuǎn)是指坐標(biāo)軸始終保持垂直90度旋轉(zhuǎn)，這樣度旋轉(zhuǎn)，這樣新生成的因子仍可保持不相關(guān)新生成的因子仍可保持不相

36、關(guān)l斜交旋轉(zhuǎn)坐標(biāo)軸的夾角可以是任意的，因此新生成斜交旋轉(zhuǎn)坐標(biāo)軸的夾角可以是任意的，因此新生成的因子不能保證不相關(guān)。因此實(shí)際應(yīng)用中更多地使的因子不能保證不相關(guān)。因此實(shí)際應(yīng)用中更多地使用正交旋轉(zhuǎn)用正交旋轉(zhuǎn)lspss提供提供5種旋轉(zhuǎn)方法，其中最常用的是種旋轉(zhuǎn)方法，其中最常用的是varimax(方差最大正交旋轉(zhuǎn)方差最大正交旋轉(zhuǎn))法法因子分析的步驟(因子命名旋轉(zhuǎn))nvarimax(方差最大正交旋轉(zhuǎn)方差最大正交旋轉(zhuǎn))：最常用的旋轉(zhuǎn)方法。：最常用的旋轉(zhuǎn)方法。使各使各因子保持正交狀態(tài)，但盡量使各因子的方差達(dá)到最大，因子保持正交狀態(tài)，但盡量使各因子的方差達(dá)到最大，即相對的載荷平方和達(dá)到最大，從而方便對因子的解釋

37、即相對的載荷平方和達(dá)到最大，從而方便對因子的解釋nquartimax(四次方最大正交旋轉(zhuǎn)四次方最大正交旋轉(zhuǎn))：該方法傾向于減少和：該方法傾向于減少和每個(gè)變量有關(guān)的因子數(shù)，從而簡化對原變量的解釋每個(gè)變量有關(guān)的因子數(shù)，從而簡化對原變量的解釋nequamax(平方最大正交旋轉(zhuǎn)平方最大正交旋轉(zhuǎn))：該方法介于方差最大正：該方法介于方差最大正交旋轉(zhuǎn)和四次方最大正交旋轉(zhuǎn)之間交旋轉(zhuǎn)和四次方最大正交旋轉(zhuǎn)之間ndirect oblimin(斜交旋轉(zhuǎn)斜交旋轉(zhuǎn))：該方法需要事先指定一個(gè)因：該方法需要事先指定一個(gè)因子映像的自相關(guān)范圍子映像的自相關(guān)范圍npromax：該方法在方差最大正交旋轉(zhuǎn)的基礎(chǔ)上進(jìn)行斜交：該方法在方差

38、最大正交旋轉(zhuǎn)的基礎(chǔ)上進(jìn)行斜交旋轉(zhuǎn)旋轉(zhuǎn)因子分析的步驟因子分析的步驟( (因子命名因子命名旋轉(zhuǎn)旋轉(zhuǎn)) )n因子得分因子得分(factor score)是每個(gè)因子在每個(gè)樣本是每個(gè)因子在每個(gè)樣本上的具體取值，它由下列因子得分函數(shù)給出上的具體取值，它由下列因子得分函數(shù)給出因子分析的步驟因子分析的步驟( (計(jì)算因子得分計(jì)算因子得分) )因子得分函數(shù)因子得分是各變量的線性組合 pkpkkkppppxbxbxbfxbxbxbfxbxbxbf22112222121212121111因子分析的應(yīng)用根據(jù)我國31個(gè)省市自治區(qū)2006年的6項(xiàng)主要經(jīng)濟(jì)指標(biāo)數(shù)據(jù)，進(jìn)行因子分析，對因子進(jìn)行命名和解釋，并計(jì)算因子得分和排序因子

39、分析因子分析 ( (實(shí)例分析實(shí)例分析) )用用spss進(jìn)行因子分析進(jìn)行因子分析第第1步步 選擇【選擇【analyze】【data reduction-factor】主對話框。將所主對話框。將所 有原始變量選入【有原始變量選入【variables】第第2步步 點(diǎn)擊【點(diǎn)擊【descriptives】【correlation matrix】【kmo and bartletts test of sphericity】(其他選項(xiàng)根據(jù)需要其他選項(xiàng)根據(jù)需要) 【continue】 第第3步步 點(diǎn)擊【點(diǎn)擊【extraction】，在【】，在【method】框中選擇因子的提取方法】框中選擇因子的提取方法(本例本

40、例 使用隱含的使用隱含的principal components)；在【；在【extract】中輸入選擇因子】中輸入選擇因子 的最小特征根的最小特征根(隱含的是特征根大于隱含的是特征根大于1)；在【；在【display】下選擇】下選擇 【scree plot】 【continue】第第4步步 點(diǎn)擊【點(diǎn)擊【rotation】，在【】，在【method】框中選擇因子旋轉(zhuǎn)方法】框中選擇因子旋轉(zhuǎn)方法(隱含的不隱含的不 旋轉(zhuǎn)，本例選擇【旋轉(zhuǎn)，本例選擇【varimax】)；在【；在【display】下選擇【】下選擇【loading plot】 【continue】 第第5步步 點(diǎn)擊【點(diǎn)擊【scores】，

41、并選中【】，并選中【display factor score coefficient matrix】(spss隱含的估計(jì)因子得分系數(shù)的方法是隱含的估計(jì)因子得分系數(shù)的方法是regression) 【continue】 【ok】 數(shù)據(jù)的相關(guān)性檢驗(yàn)數(shù)據(jù)的相關(guān)性檢驗(yàn)因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )kmo檢驗(yàn)和檢驗(yàn)和bartlett球度檢驗(yàn)球度檢驗(yàn) bartlett球度檢驗(yàn)統(tǒng)計(jì)量為球度檢驗(yàn)統(tǒng)計(jì)量為277.025。檢驗(yàn)的。檢驗(yàn)的p值接近值接近0。表明表明6個(gè)變量之間有較強(qiáng)的相關(guān)關(guān)系。而個(gè)變量之間有較強(qiáng)的相關(guān)關(guān)系。而kmo統(tǒng)計(jì)量為統(tǒng)計(jì)量為0.695，接近，接近0.7。適合作因子分析。適合作因子

42、分析 共同度量共同度量 因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )變量共同度量變量共同度量所有變量的共同度量都在所有變量的共同度量都在80%以上，因此，提取出以上，因此，提取出的公因子對原始變量的解釋能力應(yīng)該是很強(qiáng)的的公因子對原始變量的解釋能力應(yīng)該是很強(qiáng)的 因子方差貢獻(xiàn)率因子方差貢獻(xiàn)率因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )各因子所解釋的原始變量的方差各因子所解釋的原始變量的方差 除最后除最后3列外，其余部分與主成分分析中的表相同。列外，其余部分與主成分分析中的表相同。 “rotation sums of squared loadings”部分是因子旋轉(zhuǎn)后對原始變量方差的解釋情況。旋

43、轉(zhuǎn)部分是因子旋轉(zhuǎn)后對原始變量方差的解釋情況。旋轉(zhuǎn)后的累計(jì)方差沒有改變，只是兩個(gè)因子所解釋的原始變量的方差發(fā)生了后的累計(jì)方差沒有改變，只是兩個(gè)因子所解釋的原始變量的方差發(fā)生了一些變化。一些變化。 因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )旋轉(zhuǎn)后的因子載荷矩陣旋轉(zhuǎn)后的因子載荷矩陣 第一個(gè)因子與年末總?cè)丝凇⒐潭ㄙY產(chǎn)投資、社會消費(fèi)品零售總額、財(cái)政收入這第一個(gè)因子與年末總?cè)丝?、固定資產(chǎn)投資、社會消費(fèi)品零售總額、財(cái)政收入這幾個(gè)載荷系數(shù)較大，主要解釋了這幾個(gè)變量。從實(shí)際意義上看，可以把因子幾個(gè)載荷系數(shù)較大，主要解釋了這幾個(gè)變量。從實(shí)際意義上看，可以把因子1姑且命名為姑且命名為“經(jīng)濟(jì)水平經(jīng)濟(jì)水平”因子。而

44、第二個(gè)因子與人均因子。而第二個(gè)因子與人均gdp、居民消水平這兩、居民消水平這兩個(gè)變量的載荷系數(shù)較大，主要解釋了這兩個(gè)變量，從實(shí)際意義看，可以將因子個(gè)變量的載荷系數(shù)較大，主要解釋了這兩個(gè)變量，從實(shí)際意義看，可以將因子2姑且命名為姑且命名為“消費(fèi)水平消費(fèi)水平”因子因子 (是否合理讀者自己評判是否合理讀者自己評判)因子分析因子分析( (實(shí)例分析實(shí)例分析) )因子分析的數(shù)學(xué)模型表達(dá)式中的xi已經(jīng)不是原始變量，而是標(biāo)準(zhǔn)化變量 216215214213212211349.0922.0980.0117.0213.0941.0247.0931.0622.0755.0981.0112.0ffxffxffxffx

45、ffxffx因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )旋 轉(zhuǎn) 后 的 因旋 轉(zhuǎn) 后 的 因子 載 荷 系 數(shù)子 載 荷 系 數(shù)更 加 接 近 于更 加 接 近 于1(如果旋轉(zhuǎn)如果旋轉(zhuǎn)后 的 因 子 載后 的 因 子 載荷系數(shù)向荷系數(shù)向01分化越明顯，分化越明顯，說 明 旋 轉(zhuǎn) 的說 明 旋 轉(zhuǎn) 的效果越好效果越好)，從 而 使 因 子從 而 使 因 子的 意 義 更 加的 意 義 更 加清楚了清楚了 因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )因子得分系數(shù)矩陣因子得分系數(shù)矩陣根據(jù)因子得分系數(shù)矩陣可將因子表示為變量的線性組合 n由因子得分系數(shù)矩陣，可以將公因子表示為各變量由因子得分系數(shù)矩陣

46、，可以將公因子表示為各變量的線性組合。得到的因子得分函數(shù)為的線性組合。得到的因子得分函數(shù)為因子分析因子分析 ( (實(shí)例分析實(shí)例分析) )上面表達(dá)式中的上面表達(dá)式中的xi標(biāo)準(zhǔn)化變量。根據(jù)這一表達(dá)式便可以計(jì)算每個(gè)標(biāo)準(zhǔn)化變量。根據(jù)這一表達(dá)式便可以計(jì)算每個(gè)地區(qū)對應(yīng)的第一個(gè)因子和第二個(gè)因子的取值，也稱為因子得分地區(qū)對應(yīng)的第一個(gè)因子和第二個(gè)因子的取值，也稱為因子得分(factor score)。有了因子得分，就可以對每個(gè)地區(qū)分別按照前面。有了因子得分，就可以對每個(gè)地區(qū)分別按照前面命名的命名的“經(jīng)濟(jì)水平經(jīng)濟(jì)水平”因子和因子和“消費(fèi)水平消費(fèi)水平”因子進(jìn)行評價(jià)和排序因子進(jìn)行評價(jià)和排序 65432126543211022. 0429. 0237. 0026. 0171. 0430. 0281. 0104. 0372. 0300. 0180. 0105. 0 xxxxxxfxxxxxx