因子分析分解課件

1、第六章 因子分析6.1 因子分析的基本思想6.2 因子載荷的求解6.3 因子分析的基本步驟6.4 因子分析的上機(jī)實(shí)現(xiàn)第1頁(yè)，共36頁(yè)。 因子分析（factor analysis）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子的一種多變量統(tǒng)計(jì)分析方法。相對(duì)于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點(diǎn)是原始變量的相關(guān)矩陣。因子分析的思想始于1904年Charles Spearman對(duì)學(xué)生考試成績(jī)的研究。近年來(lái)，隨著電子計(jì)算機(jī)的高速發(fā)展，人們將因子分析的理論成功地應(yīng)用于心理

2、學(xué)、醫(yī)學(xué)、氣象、地質(zhì)、經(jīng)濟(jì)學(xué)等各個(gè)領(lǐng)域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運(yùn)用因子分析方法分析實(shí)際問(wèn)題的主要步驟及因子分析的上機(jī)實(shí)現(xiàn)等內(nèi)容。 第2頁(yè)，共36頁(yè)。 1. 因子分析的基本思想 因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，而不同組的變量間的相關(guān)性則較低。每組變量代表一個(gè)基本結(jié)構(gòu)，并用一個(gè)不可觀測(cè)的綜合變量表示，這個(gè)基本結(jié)構(gòu)就稱為公共因子。 例如：如何反應(yīng)物價(jià)變動(dòng)的情況？ 對(duì)各種商品的價(jià)格做全面調(diào)查固然可以達(dá)到目的，但不可取。 實(shí)際上，某一類商品中其價(jià)格之間存在明顯的相關(guān)性，只要選擇幾種主要商品的價(jià)格或?qū)@幾

3、種商品的價(jià)格進(jìn)行綜合綜合商品的價(jià)格（因子），就足以反映某一類物價(jià)的變動(dòng)情況。只要抓住少數(shù)幾個(gè)主要因子（代表經(jīng)濟(jì)變量間的相互依賴的一種經(jīng)濟(jì)作用），就可以幫助我們對(duì)復(fù)雜的經(jīng)濟(jì)問(wèn)題進(jìn)行分析和解釋。6.1 因子分析的基本思想第3頁(yè)，共36頁(yè)。1、一個(gè)典型案例：1904年Spearman研究了33名學(xué)生在古典語(yǔ)(C)、法語(yǔ)(F)、英語(yǔ)(E)、數(shù)學(xué)(M)、判別(D)和音樂(lè)(Mu)這6門(mén)考試成績(jī)的相關(guān)性，得到如右的相關(guān)矩陣R： 2. 因子分析的基本理論及模型CFEMDMuC10.830.780.70.660.63F0.8310.670.670.650.57E0.780.6710.640.540.51M0.7

4、0.670.6410.450.51D0.660.650.540.4510.4Mu0.630.570.510.510.41數(shù)據(jù)Xi都是標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化指標(biāo)，E(Xi)=0，D(Xi)=1第4頁(yè)，共36頁(yè)。 他從中發(fā)現(xiàn)了一個(gè)有趣的規(guī)律：任意兩列的元素（不考慮對(duì)角元素）大致成比例。 則每一科的考試成績(jī)都遵從以下形式： 其中F是公共因子，對(duì)各科考試成績(jī)都有影響，均值為0，方差為1。ei是特殊因子，僅對(duì)某科有影響，且F與ei相互獨(dú)立。第5頁(yè)，共36頁(yè)。 在上述的假設(shè)條件下， 斯皮爾曼最初使用因子分析方法對(duì)學(xué)生的考試成績(jī)進(jìn)行研究時(shí)，發(fā)現(xiàn)學(xué)生的古典文學(xué)、法語(yǔ)、英語(yǔ)、數(shù)學(xué)、判別以及音樂(lè)測(cè)驗(yàn)成績(jī)相關(guān)，這些成績(jī)變

5、量的相關(guān)性表明存在一個(gè)潛在的“智力”因子。因子分析方法就是要確認(rèn)原始變量與潛在因子之間的這樣一種結(jié)構(gòu)是否存在。第6頁(yè)，共36頁(yè)。3. 一般因子分析模型 下面給出更為一般的因子分析模型：設(shè)有n個(gè)樣品，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)，這p個(gè)指標(biāo)之間有較強(qiáng)的相關(guān)性（只有相關(guān)性較強(qiáng)才能從原始變量中提取出“公共”因子）。 為了便于研究，并消除量綱及數(shù)量級(jí)不同造成的影響，將樣本觀察數(shù)據(jù)標(biāo)準(zhǔn)化，不失一般性，記：Xi，即E(Xi)=0，D(Xi)=1。F1,F2,.,Fm表示標(biāo)準(zhǔn)化的公共因子，即E(Fi)=0,D(Fi)=1。因子分析模型的條件：(1) 是可觀測(cè)的隨機(jī)向量。 是不可觀測(cè)的量。第7頁(yè)，共36頁(yè)。則模型稱為

6、因子模型，模型的矩陣形式為：式中為因子載荷矩陣。第8頁(yè)，共36頁(yè)。公因子F1公因子F2x1=代數(shù)10.8960.341x2=代數(shù)20.8020.496x3=幾何0.5160.855x4=三角0.8410.444x5=解析幾何0.8330.434因子分析案例該案例是對(duì)數(shù)學(xué)專業(yè)的五門(mén)專業(yè)課進(jìn)行相關(guān)性因子分析F1 體現(xiàn)邏輯思維和運(yùn)算能力，F(xiàn)2 體現(xiàn)空間思維和推理能力第9頁(yè)，共36頁(yè)。 (1)因子負(fù)荷量（或稱因子載荷）-是指因子結(jié)構(gòu)中原始變量與因子分析時(shí)抽取出的公共因子的相關(guān)程度。 即aij是i與j的協(xié)方差4.幾種統(tǒng)計(jì)量的統(tǒng)計(jì)意義 第10頁(yè)，共36頁(yè)。 注意： 在各公共因子不相關(guān)的前提下， （載荷矩陣

7、中第i行，第j列的元素）是隨機(jī)變量xi與公共因子Fj的相關(guān)系數(shù)，表示xi依賴于Fj的程度。反映了第i個(gè)原始變量在第j個(gè)公共因子上的相對(duì)重要性。因此 絕對(duì)值越大，則公共因子Fj與原有變量xi的關(guān)系越強(qiáng)。第11頁(yè)，共36頁(yè)。 (2)共同度-又稱共性方差或公因子方差（community或common variance）就是觀測(cè)變量的方差中由公因子決定的比例。當(dāng)因子正交時(shí)，等于每個(gè)公共因子之負(fù)荷量的平方總和（一行中所有因素負(fù)荷量的平方和）。變量 的共同度是因子載荷矩陣的第i行的元素的平方和。記為 從共同性的大小可以判斷這個(gè)原始實(shí)測(cè)變量與公共因子間之關(guān)系程度。特殊因子方差（剩余方差）-各變量的特殊因素影

8、響大小就是1減掉該變量共同度的值。第12頁(yè)，共36頁(yè)。統(tǒng)計(jì)意義：兩邊求方差 所有的公共因子和特殊因子對(duì)變量的貢獻(xiàn)為1。 反映了全部公共因子對(duì)變量Xi的影響，是全部公共因子對(duì)變量方差所做出的貢獻(xiàn)，或者說(shuō)Xi對(duì)公共因子的共同依賴程度，稱為公共因子對(duì)變量Xi的方差貢獻(xiàn)。 接近于1，表明該變量的原始信息幾乎都被選取的公共因子說(shuō)明了。 特殊因子的方差，反映了原有變量方差中無(wú)法被公共因子描述的比例。第13頁(yè)，共36頁(yè)。公因子F1公因子F2共同度hi特殊因子ix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.0

9、03x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118第一個(gè)觀測(cè)變量共同度：同時(shí)，它的剩余方差是：第14頁(yè)，共36頁(yè)。 （3）特征值-是第j個(gè)公共因子Fj對(duì)于X的每一分量Xi所提供的方差的總和。又稱第j個(gè)公共因子的方差貢獻(xiàn)。即每個(gè)變量與某一共同因子之因子負(fù)荷量的平方總和（因子載荷矩陣中某一公共因子列所有因子負(fù)荷量的平方和）。 如右案例中F1的特征值 ：第15頁(yè)，共36頁(yè)。如上案例中F1的貢獻(xiàn)率為3.113/5=62.26%（4）方差貢獻(xiàn)率 實(shí)際中更常用的指標(biāo)：方差貢獻(xiàn)率（指每個(gè)因子所解釋的方差占所有變量總方差的比例，即公共因子對(duì)實(shí)測(cè)變量的貢

10、獻(xiàn)）變量方差貢獻(xiàn)率=特征值，是衡量公共因子相對(duì)重要性的指標(biāo)，Gi越大，表明公共因子Fj對(duì)的貢獻(xiàn)越大，該因子的重要程度越高第16頁(yè)，共36頁(yè)。公因子F1公因子F2共同度hi特殊因子ix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差貢獻(xiàn)率（變異量）62.26%29.58%91.85%第17頁(yè)，共36頁(yè)。 聯(lián)系：（1）因子分析是主成分分析的推

11、廣，是主成分分析的逆問(wèn)題。（2）二者都是以降維為目的，都是從協(xié)方差矩陣或相關(guān)系數(shù)矩陣出發(fā)。 區(qū)別：（1）主成分分析模型是原始變量的線性組合，是將原始變量加以綜合、歸納，僅僅是變量變換；而因子分析是將原始變量加以分解，描述原始變量協(xié)方差矩陣結(jié)構(gòu)的模型；只有當(dāng)提取的公因子個(gè)數(shù)等于原始變量個(gè)數(shù)時(shí)，因子分析才對(duì)應(yīng)變量變換。（2）主成分分析，中每個(gè)主成分對(duì)應(yīng)的系數(shù)是唯一確定的；因子分析中每個(gè)因子的相應(yīng)系數(shù)即因子載荷不是唯一的。（3）因子分析中因子載荷的不唯一性有利于對(duì)公共因子進(jìn)行有效解釋；而主成分分析對(duì)提取的主成分的解釋能力有限。 目的不同！一個(gè)側(cè)重降維，一個(gè)側(cè)重解釋！ 5.主成分分析分析與因子分析的聯(lián)

12、系和差異第18頁(yè)，共36頁(yè)。6.2 因子載荷的求解1. 因子載荷矩陣求解的方法： （1）主成分分析法 （2）主軸因子法 （3）極大似然法 （4）最小二乘法 （5）a因子提取法 （6）映象分析法 在此主要介紹主成分分析法和主軸因子法。第19頁(yè)，共36頁(yè)。 一、 主成分分析法 假定從相關(guān)矩陣出發(fā)求解主成分，設(shè)有p個(gè)變量，則我們可以找出p個(gè)主成分。將所得的p個(gè)主成分按由大到小的順序排列，記為 ,則主成分與原始變量之間存在如下關(guān)系式：式中，rij是隨機(jī)向量X的相關(guān)矩陣的特征值所對(duì)應(yīng)的特征向量的分量，因?yàn)樘卣飨蛄勘舜苏?，從X到Y(jié)的轉(zhuǎn)換關(guān)系是可逆的，很容易得出由Y到X的轉(zhuǎn)換關(guān)系為：第20頁(yè)，共36頁(yè)。對(duì)

13、上面每一等式只保留前m個(gè)主要成分而把后面的部分用 代替，則上式變?yōu)椋荷鲜皆谛问缴弦呀?jīng)與因子模型相一致，且 之間相互獨(dú)立，為了把 轉(zhuǎn)化成合適的公共因子，現(xiàn)在要做的工作是把主成分 變?yōu)榉讲顬?的變量。則將 除以其標(biāo)準(zhǔn)差，則上式變?yōu)椋哼@與因子模型完全一致，這樣就得到了載荷矩陣A和一組初始公共因子。則載荷矩陣A的一個(gè)解為：共同度的估計(jì)為：第21頁(yè)，共36頁(yè)。 那么如何確定公因子的數(shù)目m呢？一般而言，這取決于問(wèn)題的研究者本人，對(duì)于同一問(wèn)題進(jìn)行因子分析時(shí)，不同的研究者可能會(huì)給出不同的公因子數(shù)；當(dāng)然，有時(shí)候由數(shù)據(jù)本身的特征可以很明確地確定出因子數(shù)目。當(dāng)用主成分法進(jìn)行因子分析時(shí)，也可以借鑒確定主成分個(gè)數(shù)的準(zhǔn)則

14、，如所選取的公因子的信息量的和達(dá)到總體信息量的一個(gè)合適比例為止。但對(duì)這些準(zhǔn)則不應(yīng)生搬硬套，應(yīng)按具體問(wèn)題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關(guān)陣的結(jié)構(gòu)，同時(shí)要有利于因子模型的解釋。第22頁(yè)，共36頁(yè)。二、主軸因子法 是對(duì)主成分方法的修正，假定我們首先對(duì)變量進(jìn)行標(biāo)準(zhǔn)化變換。則：式中，A為因子載荷矩陣； 為一對(duì)角陣，其對(duì)角元素為相應(yīng)特殊因子的方差。則稱 為調(diào)整相關(guān)矩陣，顯然R* 的主對(duì)角元素不再是1，而是共同度 。 分別求解R*的特征值與標(biāo)準(zhǔn)正交特征向量，進(jìn)而求出因子載荷矩陣A。假設(shè)R*有m個(gè)正的特征值。設(shè) 為R*的特征根， 為對(duì)應(yīng)的標(biāo)準(zhǔn)正交化特征向量。則因子載荷矩陣A的一個(gè)主軸

15、因子解為：第23頁(yè)，共36頁(yè)。2. 因子旋轉(zhuǎn) 由于因子載荷陣是不惟一的，由此引出了因子分析的第二根本步驟因子旋轉(zhuǎn)。建立因子分析模型的目的不僅在于要找到公共因子，更重要的是知道每一個(gè)公共因子的意義，以便對(duì)實(shí)際問(wèn)題進(jìn)行分析。然而我們得到的初始因子解中各主因子的典型代表量不是很突出，容易使因子的意義含糊不清，不便于對(duì)實(shí)際問(wèn)題進(jìn)行分析。出于該種考慮，可以對(duì)初始公共因子進(jìn)行線性組合，即進(jìn)行因子旋轉(zhuǎn)，以期找到意義更為明確，實(shí)際意義更明顯的公共因子。 經(jīng)過(guò)旋轉(zhuǎn)后，公共因子對(duì)Xi的貢獻(xiàn) 并不改變，但由于載荷矩陣發(fā)生變化，公共因子本身就可能發(fā)生很大的變化，每一個(gè)公共因子對(duì)原始變量的貢獻(xiàn) 不再與原來(lái)相同，從而經(jīng)過(guò)

16、適當(dāng)?shù)男D(zhuǎn)我們就可以得到比較滿意的公共因子。第24頁(yè)，共36頁(yè)。（1）正交旋轉(zhuǎn) 由初始載荷矩陣A右乘一正交矩陣得到。經(jīng)過(guò)正交旋轉(zhuǎn)得到的心的公共因子仍然保持彼此獨(dú)立的性質(zhì)。（2）斜交旋轉(zhuǎn) 放棄了因子之間彼此獨(dú)立這個(gè)限制，可以得到更為簡(jiǎn)潔的形式。 無(wú)論是正交旋轉(zhuǎn)還是斜交旋轉(zhuǎn)，都應(yīng)當(dāng)使新的因子載荷系數(shù)要么盡可能地接近于0，要么盡可能地遠(yuǎn)離0. 因子旋轉(zhuǎn)包括兩種：第25頁(yè)，共36頁(yè)。 3.因子得分 當(dāng)因子模型建立起來(lái)之后，我們往往需要反過(guò)來(lái)考察每一個(gè)樣品的性質(zhì)及樣品之間的相互關(guān)系。比如當(dāng)關(guān)于企業(yè)經(jīng)濟(jì)效益的因子模型建立起來(lái)之后，我們希望知道每一個(gè)企業(yè)經(jīng)濟(jì)效益的優(yōu)劣，或者把諸企業(yè)劃分歸類。這就需要進(jìn)行因子

17、分析的第三步驟的分析，即因子得分。顧名思義，因子得分就是公共因子F1,F2,.,Fm在每一個(gè)樣品點(diǎn)上的得分。具體方法如下： 用回歸的思想求出線性組合系數(shù)的估計(jì)值，即建立如下公共因子為因變量，原始變量為自變量的回歸方程： j=1,2，.，m 在最小二乘意義下，可以得到F的估計(jì)值 式中，A為因子載荷矩陣；R為原始變量的相關(guān)矩陣；X為原始變量向量。這樣，在得到一組樣本值后，就可以帶入上面的關(guān)系式求出公共因子的估計(jì)得分，從而用少數(shù)公共因子去描述原始變量的數(shù)據(jù)結(jié)構(gòu)，用公共因子得分去描述原始變量的取值。第26頁(yè)，共36頁(yè)。一、因子分析的步驟進(jìn)行因子分析應(yīng)包括如下幾步： 1.根據(jù)研究問(wèn)題選取原始變量； 2.

18、對(duì)原始變量進(jìn)行標(biāo)準(zhǔn)化并求其相關(guān)陣，分析變量之間的相關(guān)性； 3.求解初始公共因子及因子載荷矩陣； 4.因子旋轉(zhuǎn)； 5.因子得分； 6.根據(jù)因子得分值進(jìn)行進(jìn)一步分析。6.3 因子分析的基本步驟第27頁(yè)，共36頁(yè)。 二、因子分析的邏輯框圖第28頁(yè)，共36頁(yè)。例：對(duì)企業(yè)經(jīng)濟(jì)效益指標(biāo)體系的八項(xiàng)指標(biāo)建立因子分析模型6.4 因子分析的上機(jī)實(shí)現(xiàn)第29頁(yè)，共36頁(yè)。由spss輸出方差解釋表及碎石圖可看出，前三個(gè)特征值較大，其余五個(gè)特征值均較小。前三個(gè)公共因子對(duì)樣本方差的貢獻(xiàn)和為87.085%，于是我們選取3個(gè)公共因子。第30頁(yè)，共36頁(yè)。因子載荷的估計(jì)如右：第31頁(yè)，共36頁(yè)。 上表可得出企業(yè)經(jīng)濟(jì)效益指標(biāo)體系的因子分析模型（特殊因子忽略不計(jì)）：第32頁(yè)