因子分析課件

因子分析因子分析因子分析x2f1因子分析x1x2f1因子分析x1x2x3因子分析因子分析(FactorAnalysis)

因子分析起源于心理學(xué)，最初心理學(xué)家借助提取出來的公因子來代表不同的性格特征和行為取向。如今已廣泛應(yīng)用于各種學(xué)科。因子分析

因子分析的目的：分析變量間復(fù)雜的（相關(guān)）關(guān)系，探索多個具有相關(guān)性的實(shí)測指標(biāo)如何受少數(shù)幾個不能直接測量的、潛在的獨(dú)立因子支配。因子分析就是研究如何以最少的信息丟失把眾多的觀測變量濃縮為少數(shù)幾個共性因子，獲得更簡單的數(shù)據(jù)結(jié)構(gòu)。因子分析因子分析的用途：1.探索數(shù)據(jù)結(jié)構(gòu)，發(fā)現(xiàn)無法觀測的支配多個實(shí)測變量的潛在因素。2.減少變量個數(shù)（降維）：對多個實(shí)測變量進(jìn)行歸納和綜合。3.內(nèi)在結(jié)構(gòu)證實(shí)：對來源于其它理論的可能的內(nèi)在結(jié)構(gòu)進(jìn)行驗(yàn)證。4.解決回歸共線性問題。5.評價問卷的結(jié)構(gòu)效度因子分析一、如何判斷資料是否適合應(yīng)用因子分析1.必須是數(shù)值型變量，最好符合正態(tài)分布；2.樣本量與變量數(shù)的比例在5:1以上，樣本量越大越好；3.各變量間必須有相關(guān)性。判斷方法：（1）根據(jù)專業(yè)知識；（2）KMO統(tǒng)計(jì)量：0≤KMO≤1，KMO<0.5時不適合做因子分析；（3）Bartlett’s球形檢驗(yàn)：無效假設(shè)為各變量獨(dú)立，拒絕該假設(shè)則認(rèn)為變量間存在相關(guān)性，可做因子分析。因子分析巴特利球形檢驗(yàn)（BarlettTestofSphericity）。零假設(shè)：相關(guān)系數(shù)矩陣是一個單位陣。如果巴特利球形檢驗(yàn)的統(tǒng)計(jì)計(jì)量數(shù)值較大，且對應(yīng)的概率值小于顯著性水平，則拒絕零假設(shè)；反之，則不能拒絕零假設(shè)，認(rèn)為相關(guān)系數(shù)矩陣可能是一個單位陣，不適合做因子分析。注：單位陣：主對角線上的元素都是1，其余的元素都是零的n階方陣，叫做n階單位矩陣因子分析2.KMO(Kaiser-Meyer-Olkin)檢驗(yàn)。KMO統(tǒng)計(jì)量用于檢測變量間的偏相關(guān)性是否足夠小，是簡單相關(guān)量和偏相關(guān)量的一個相對指標(biāo)，由下式求得：KMO>0.9非常適合0.8<KMO<0.9適合0.7<KMO<0.8一般0.6<KMO<0.7不太適合KMO<0.5不適合10因子分析例1：測得某地19-22歲年齡的部分城市男生身體形態(tài)指標(biāo)：身高（x1，cm）、坐高（x2，cm）、體重（x3，kg）、胸圍（x4、cm）、肩寬（x5，cm）、骨盆寬（x6，cm）。試進(jìn)行因子分析。因子分析因子分析因子分析因子分析的初始解（包括原變量的公因子方差，與變量數(shù)目相同的因子，各因子的特征值及其所占總方差的百分比和累計(jì)百分比）相關(guān)系數(shù)矩陣相關(guān)系數(shù)矩陣單側(cè)檢驗(yàn)的概率值相關(guān)系數(shù)矩陣的行列式KMO和巴特利球型檢驗(yàn)相關(guān)系數(shù)矩陣的逆矩陣反映象協(xié)方差陣和相關(guān)陣再生相關(guān)陣（給出因子分析后的相關(guān)陣及其殘差，下三角為再生相關(guān)陣，上三角為殘差，即再生相關(guān)系數(shù)與原始相關(guān)系數(shù)之差）Descriptives按鈕14因子分析適合性分析：KMO統(tǒng)計(jì)量為0.577，可以做因子分析，但效果不是很好；Bartlett's球形檢驗(yàn)結(jié)果為χ2＝122.138，df＝15，P<0.001，可認(rèn)為各變量之間不獨(dú)立，可以做因子分析。因子分析相關(guān)系數(shù)矩陣與協(xié)方差矩陣

基于原始變量的模型使用協(xié)方差矩陣，如將原始變量標(biāo)準(zhǔn)化，則使用相關(guān)系數(shù)矩陣建模。根據(jù)經(jīng)驗(yàn)，超過90％的因子分析應(yīng)用相關(guān)陣，本課只針對相關(guān)陣建模進(jìn)行介紹，原因在于：可以減少混淆相關(guān)陣建模更常用、更好用。因子分析二、因子模型(基于相關(guān)系數(shù)）支配m個變量的共性因子可能不止一個，設(shè)有p個，記為f1，f2…fp，則有：因子分析因子模型的一般表達(dá)形式為：i=1，2，…m這里的Xi均為標(biāo)準(zhǔn)化變量，均數(shù)為0，方差為1因子分析在該模型中：（1）f1，f2，

…fp稱公因子。它們是各個觀測變量所共有的因子，解釋了變量之間的相關(guān)。（2）aij稱因子負(fù)荷系數(shù)。它是第i個變量在第j個公因子上的負(fù)荷。(i=1,2,…m;j=1,2…p)（3）ui稱為特殊因子，或唯一性因子。它是每個觀測變量所特有的因子，相當(dāng)于回歸分析中的殘差項(xiàng)，表示該變量不能被公因子解釋的部分。vi為第i個變量在特殊因子上的負(fù)荷。因子分析因子模型基于以下假設(shè)：

fi的均數(shù)為0，方差為1；

ui的均數(shù)為0，方差為v2；公因子與特殊因子之間相互獨(dú)立，即Cov（fi，uj）＝0；公因子之間相互獨(dú)立，即Cov（fi，fj）＝0

滿足以上假設(shè)的因子模型為正交因子模型；如果第4條不滿足，即公因子之間存在相關(guān)性，則為斜交模型（本課不討論）。因子分析1.因子負(fù)荷（系數(shù)）假設(shè)公因子之間彼此正交，即不相關(guān)，則可以證明因子負(fù)荷aij等于第i個變量和第j個因子之間的相關(guān)系數(shù)，即aij反映了因子和變量之間的相關(guān)程度，aij的絕對值越大，表示公因子fj與變量xi關(guān)系越密切。

-1≤aij≤1三、因子分析中的幾個概念因子分析2.共性方差(Communality)原變量由于已經(jīng)標(biāo)準(zhǔn)化，其方差為1。根據(jù)因子模型，原變量方差可分解為：記則有Hi2是由全部公因子對第i個原變量所提取的方差（比例），或者說原變量xi的方差中由公因子所決定的比例。Hi2稱作變量xi的共性方差。因子分析

變量的方差由兩部分組成，一部分由公因子決定，另一部分由特殊因子決定。共性方差表示了變量方差中能被公因子所解釋的部分，共性方差越大，變量能被因子解釋的程度越高。共性方差這個指標(biāo)以原觀測變量為中心，它的意義在于說明如果用公因子來替代原觀測變量后，原來每個變量的信息被保留的程度。因子分析特殊因子ui特殊方差vi2特殊因子系數(shù)因子分析3.因子的貢獻(xiàn)λ

每個公因子對數(shù)據(jù)的解釋能力，可以用該因子所解釋的總方差來衡量，稱該因子的貢獻(xiàn)。它等于和該因子有關(guān)的因子負(fù)荷的平方和。

λj=a1j2+a2j2+…+amj2

因子的貢獻(xiàn)λ為原變量相關(guān)系數(shù)矩陣的特征根。實(shí)際中更常用相對指標(biāo)，即每個因子所解釋的方差占所有變量總方差的比例。相對指標(biāo)衡量了公因子的相對重要性。所有公因子累積解釋的方差比例，可以用來作為因子分析結(jié)束的判斷指標(biāo)。因子分析f1f2...fp平方和x1a11a12…a1pH12x2a21a22…a2pH22………………xmam1am2…ampHm2平方和λ1λ2…λp總計(jì)*因子負(fù)荷系數(shù)、共性方差、特征根之間的關(guān)系因子分析*總計(jì)=λ1+λ2+…+λp=H12+H22+…+Hm2如果因子個數(shù)與原變量個數(shù)相同，即p＝m，則：*總計(jì)=λ1+λ2+…+λp

=H12+H22+…+Hm2

=mλ1

為第一因子的貢獻(xiàn)λ1/m為第一因子的貢獻(xiàn)率余類推。（λ1+λ2+..λp

）/m即為所提取的p個公因子總的貢獻(xiàn)率（即可解釋的方差百分比）因子分析因子分析實(shí)際上是對原變量的協(xié)方差結(jié)構(gòu)（此處為相關(guān)結(jié)構(gòu)）進(jìn)行分解，用矩陣可表示為：R*稱為約相關(guān)陣因子分析實(shí)測變量間的相關(guān)性可由負(fù)荷系數(shù)表達(dá)為：則：R*=AA’

R=R*+V因子分析四、因子模型的估計(jì)提取因子的方法有多種，SPSS提供了多種選擇。常用的有：1.主成分法（principalcomponent）2.最大似然法（maximumlikelihood）3.(迭代)主因子法（principalfactor）其中主成分法最為常用。因子分析（一）主成分法求解因子：1.計(jì)算相關(guān)系數(shù)矩陣2.解特征方程|R-λI|=0，求出相關(guān)陣R的特征根（eigenvalue）λi，且按從大到小順序排列：λ1≥λ2≥…≥λm

，3.求矩陣R關(guān)于λi的滿足正規(guī)條件的特征向量（eigenvector):

Li=（li1,li2,…,lip）4.計(jì)算負(fù)荷系數(shù)aij:因子分析（二）主因子法求解因子主因子方法是對主成分方法的修正，假如我們?nèi)匀徊捎孟嚓P(guān)陣，則：

R=AA’+VR*=AA’=R-VR*為約相關(guān)矩陣，R*對角線上的元素是Hi2,而不是1。主因子法與主成分法的區(qū)別在于用R*代替R求解特征值和特征向量，進(jìn)而求得負(fù)荷系數(shù)aij，不過此時由于Hi2

是未知的，用hi2

對Hi2

進(jìn)行估計(jì)。因子分析hi2

的計(jì)算：記R的逆陣為R-1，R-1的元素記為r(ij)，令

hi2=1-1/r(ii)，i=1,2,…mhi2

是Xi在另外m-1個變量上的多重回歸的決定系數(shù)。因子分析（三）迭代主因子法求解因子在前述主因子法中，根據(jù)主對角元素為hi2

的約相關(guān)陣計(jì)算得到因子解后，將得到的共性方差Hi2

替代hi2

作為約相關(guān)陣R*對角線上的元素,再次求解特征值和特征向量，得到又一個因子解。重復(fù)該步驟，直至最近兩次運(yùn)算結(jié)果的差值在容許的范圍內(nèi)，即停止運(yùn)算，得到最終的因子解。因子分析Heywood現(xiàn)象除主成分法之外，其它因子提取方法可能出現(xiàn)負(fù)的特征值，這樣在計(jì)算累積貢獻(xiàn)率時，會超過100%，還可能出現(xiàn)共性方差超過1（特殊方差小于0），這種現(xiàn)象稱為Heywood現(xiàn)象。Heywood現(xiàn)象對因子的解釋帶來了困難，同時也幫助我們確定因子個數(shù)時要將因子數(shù)控制在累積貢獻(xiàn)率100%以下。因子分析因子個數(shù)的確定1.特征根準(zhǔn)則：取特征根>1的主成分作為提取的因子。是SPSS軟件默認(rèn)的方法，也是實(shí)際中最常用的方法。2.累積方差比例原則：一般推薦公因子累積解釋的方差比例達(dá)到80％以上時，即可停止選擇公因子。3.利用碎石圖：將因子按特征根從大到小排列，畫出因子的特征根隨因子個數(shù)變化的散點(diǎn)圖，根據(jù)圖的形狀來判斷因子的個數(shù)。曲線開始變平的前一個點(diǎn)（拐點(diǎn)）認(rèn)為是提取的最大因子數(shù)。也就是根據(jù)特征根的變化速率來確定。有些情況下，分析人員可根據(jù)需要，直接確定因子個數(shù)。因子分析主成分法示例因子分析因子分析因子分析

本次因子分析因子提取方法選用主成分法，從相關(guān)陣出發(fā)計(jì)算，因子數(shù)目提取標(biāo)準(zhǔn)為特征根>1。最終提取的因子數(shù)為2，特征根分別為：λ1=3.172λ2=1.317這兩個因子的累積貢獻(xiàn)率＝（3.172+1.317）/6

＝0.748特征根、累積貢獻(xiàn)率和因子個數(shù)因子分析各變量xi的共性方差：H12=0.916H22=0.885H32=0.872H42=0.384H52=0.681H62=0.753共性方差：因子分析負(fù)荷系數(shù)aijH12=0.9302+(-0.224)2=0.916H22=0.9362+(-0.093)2=0.885H32=0.9102+(-0.208)2=0.872H42=0.6172+(-0.053)2=0.384H52=0.3362+0.7542=0.681H62=0.3302+0.8032=0.753λ1=a112+a212+a312+a412+a512+a612=0.9302+0.9362+0.9102+0.6172+0.3362+0.3302=3.172λ2=a122+a222+a322+a422+a522+a622=(-0.2242+(-0.093)2+(-0.208)2+(-0.053)2+0.7542+0.8032=1.317因子分析五、解釋因子

解釋因子主要是借助于因子負(fù)荷系數(shù)。首先找出在每個因子上的負(fù)荷系數(shù)絕對值較大的變量，根據(jù)這些變量的意義給因子一個合適的名稱，具有較高負(fù)荷的變量對因子名稱的影響更大。就本例來說，因子1對于原變量x1-x4的負(fù)荷系數(shù)較大，大致解釋為身體長度的指標(biāo)；因子2對于原變量x5、x6的符合系數(shù)較大，大致解釋為身體寬度的指標(biāo)。因子分析解釋因子主要依據(jù)負(fù)荷系數(shù)的絕對值大小：通常納入負(fù)荷系數(shù)絕對值大于0.3的變量；一般來說，包含三個以上負(fù)荷的因子可認(rèn)為是較好的因子，只包含一個或兩個負(fù)荷的因子要考慮是否提取過度。因子分析結(jié)合專業(yè)知識，可以對因子命名。錯誤的解讀:不同因子代表不同小組的人群正確的解讀:不同因子代表每一個體的不同特征。但可以根據(jù)因子得分（見后）對人群進(jìn)行分類，如因子1得分高因子2得分低的人群可分屬瘦長型，因子1得分低因子2得分高的人群可分屬短粗型。因子分析

然而，以上述方法獲得的因子中，通常有兩個特點(diǎn)：第一因子的特征根常常很大，并且在多個變量上的負(fù)荷系數(shù)比較大；多數(shù)原變量在兩個以上因子上有比較大的負(fù)荷。這就使得對因子意義的解釋比較困難。這時的因子稱為初始因子。因子分析

為解決此問題，可附加條件，如“簡單結(jié)構(gòu)原理”：要求每個公因子對應(yīng)的負(fù)荷系數(shù)的絕對值要么接近于0，要么接近于1。這樣就可以使得每個原變量只在一個公因子上有較大的負(fù)荷，而在其余公因子上的負(fù)荷比較小。最終一個公因子由一部分原變量所貢獻(xiàn)，而另一個公因子由另一部分原變量貢獻(xiàn)。實(shí)現(xiàn)這一目的的方法：因子旋轉(zhuǎn)因子分析滿足因子模型的負(fù)荷系數(shù)aij可以有無限多組：記負(fù)荷系數(shù)陣為A，C為任一個k階正交陣，令B=AC，則有：

BB’=AC*C’A’=AA’上式表明，B陣的元素也可作為負(fù)荷系數(shù)，而且C陣是任意的。必須附加某種條件，負(fù)荷系數(shù)才是確定的。因子分析

因子旋轉(zhuǎn)的目的是通過旋轉(zhuǎn)坐標(biāo)軸，重新分配各個因子所解釋的方差的比例，使因子結(jié)構(gòu)更簡單，更易于解釋。

正交旋轉(zhuǎn)法：方差最大法、四次方最大法、等量最大法…斜交旋轉(zhuǎn)法：…六、因子旋轉(zhuǎn)因子分析方差最大正交旋轉(zhuǎn)

方差最大正交旋轉(zhuǎn)的基本思想是公因子的相對負(fù)荷（aij/hi）的方差之和達(dá)到最大，且保持原公因子的正交性和共性方差不變。從幾何學(xué)的觀點(diǎn)來看，正交變換就是保持原坐標(biāo)軸相互垂直，對坐標(biāo)軸進(jìn)行旋轉(zhuǎn)。下面以兩個因子為例：因子分析（B陣即為旋轉(zhuǎn)后負(fù)荷陣）因子分析因子分析方差最大正交旋轉(zhuǎn)

方差最大正交旋轉(zhuǎn)是對負(fù)荷系數(shù)進(jìn)行正交變換，旋轉(zhuǎn)以后：不改變模型對數(shù)據(jù)的擬合程度（累積貢獻(xiàn)率不變）；不改變原公因子的正交性（相關(guān)系數(shù)仍為0）；不改變每個原變量的共性方差。發(fā)生改變的是：特征根改變；負(fù)荷系數(shù)改變；因子得分系數(shù)改變（見后）。因子分析方差最大正交旋轉(zhuǎn)

F1F1F2F221342134因子分析斜交旋轉(zhuǎn)斜交的原因：使因子的意義更明確缺點(diǎn)：公因子之間產(chǎn)生相關(guān)因子分析斜交旋轉(zhuǎn)因子分析因子分析

進(jìn)行方差最大正交旋轉(zhuǎn)以后，兩個公因子的特征根都有所改變，但兩個特征根之和、累積貢獻(xiàn)率不變。因子分析

旋轉(zhuǎn)以后，因子1在x5和x6上的負(fù)荷系數(shù)變得很??；相反，因子2在x5和x6上的負(fù)荷系數(shù)變得更大。因子分析因子分析七、因子得分（因子值）

得出因子分析的負(fù)荷系數(shù)后，可以對因子進(jìn)行解釋，賦予意義。如果要使用這些因子做其他的研究，比如把得到的因子作為自變量來做回歸分析、對樣本進(jìn)行分類等，就需要對因子進(jìn)行測度，給出因子對應(yīng)每個樣本上的值，這些值稱為因子得分(Factorscores)或因子值。因子分析模型：

xi=ai1f1+ai2f2+…+aipfp+viui因子得分計(jì)算公式：

fj=b1jX1+b2jX2+…+bmjXm因子分析因子得分計(jì)算公式：

fj=b1jX1+b2jX2+…+bmjXmbij:是第i個變量和第j個因子之間的因子得分系數(shù)。因子得分系數(shù)乘以對應(yīng)變量的標(biāo)準(zhǔn)化值就得到了因子值。上式中Xi為標(biāo)準(zhǔn)化值，換成原始變量則變?yōu)椋阂蜃臃治鲆蜃拥梅窒禂?shù)的估計(jì)Bartlett法回歸法回歸法：因子分析中公因子是虛構(gòu)變量，不是實(shí)測值，具體計(jì)算時是利用相關(guān)系數(shù)矩陣進(jìn)行的。因子分析回歸法

因子分析則有如下的方程組：因子分析j=1,2,…,p或表示為：RB=A，兩側(cè)乘相關(guān)系數(shù)R的逆，得

B=R-1*A因子分析因子分析

左圖為沒有進(jìn)行旋轉(zhuǎn)的因子得分系數(shù)，右圖為進(jìn)行方差最大正交旋