《主成分分析與》PPT課件.ppt

主成分分析與 因子分析,山西醫(yī)科大學(xué)衛(wèi)生統(tǒng)計(jì)教研室 劉桂芬 ,多變量大樣本分析中，變量間存在共線性，增加了分析的復(fù)雜性。若分別分析各個(gè)指標(biāo)，分析有可能是孤立的，而不是綜合的；盲目地減少指標(biāo)又有可能損失很多信息，得出錯(cuò)誤結(jié)論。欲采用較少指標(biāo)，反映原資料大部分信息，可采用主成分分析和因子分析。,主成分分析,概 念,主成分分析(principal component analysis)是將分散在一組變量上的信息,集中到某幾個(gè)綜合指標(biāo)(主成分)上的一種探索性統(tǒng)計(jì)分析方法。它利用降維的思想,將多個(gè)變量化為少數(shù)幾個(gè)互不相關(guān)的主成分,從而描述數(shù)據(jù)集的內(nèi)部結(jié)構(gòu)。,主成分的幾何意義,x1,x2,p1,p2,x1,對(duì)應(yīng)m個(gè)變量的q個(gè)主成分如下:,其中( )分別是變量相關(guān)陣的前q個(gè)特征根對(duì)應(yīng)的特征向量。 的方差分別是q個(gè)特征根12q。( )是第i個(gè)變量在各個(gè)主成分上的載荷。而實(shí)際上載荷往往是指 ，它是第i個(gè) 變量在各個(gè)標(biāo)準(zhǔn)化主成分上的載荷。據(jù)此可用最小二乘法解得標(biāo)準(zhǔn)主成分得分。標(biāo)準(zhǔn)化主成分的方差為1。,PCA 常用統(tǒng)計(jì)量： .特征根 i .各成分貢獻(xiàn)率 .前各成分累計(jì)貢獻(xiàn)率 .特征向量 各成分表達(dá)式中標(biāo)準(zhǔn)化原始變量的系數(shù)向量，就是各成分的特征向量。,因子分析,一、因子分析模型,設(shè)X=(x1, x2, ,xp)為可觀測(cè)的隨機(jī)變量，且有 f=(f1,f2,fm)為公共（共性）因子（common factor），簡稱因子（factor）,e=(e1,e2,ep)為特殊因子（specific factor） f和e均為不可直接觀測(cè)的隨機(jī)變量 =(1,2,p)為總體x的均值 A=(aij)p*m為因子負(fù)荷（載荷）（factor loading）矩陣,通常先對(duì)x作標(biāo)準(zhǔn)化處理，使其均值為零，方差為這樣就有 假定（）fi的均數(shù)為，方差為； （）ei的均數(shù)為，方差為i； （） fi與ei相互獨(dú)立 則稱x為具有m個(gè)公共因子的因子模型,如果再滿足（）fi與fj相互獨(dú)立（ij），則稱該因子模型為正交因子模型。 正交因子模型具有如下特性： x的方差可表示為 設(shè),（）hi2是m個(gè)公共因子對(duì)第i個(gè)變量的貢獻(xiàn)，稱為第i個(gè)共同度（communality）或共性方差，公因子方差（common variance） （）i稱為特殊方差（specific variance），是不能由公共因子解釋的部分,因子載荷（負(fù)荷）aij是隨機(jī)變量xi與公共因子fj的相關(guān)系數(shù)。 設(shè) 稱gj2為公共因子fj對(duì)x的“貢獻(xiàn)”，是衡量公共因子fj重要性的一個(gè)指標(biāo)。,二、因子分析的步驟,1.輸入原始數(shù)據(jù)xn*p，計(jì)算樣本均值和方 差，進(jìn)行標(biāo)準(zhǔn)化計(jì)算（處理）； 2.求樣本相關(guān)系數(shù)矩陣R=(rij)p*p； 3.求相關(guān)系數(shù)矩陣的特征根i (1,2,p0)和相應(yīng)的標(biāo)準(zhǔn)正交的特征向量li；,4.確定公共因子數(shù)； 5.計(jì)算公共因子的共性方差hi2; 6.對(duì)載荷矩陣進(jìn)行旋轉(zhuǎn)，以求能更好地解釋公共因子； 7.對(duì)公共因子作出專業(yè)性的解釋。,三、因子分析提取因子的方法,主成分法（principal component factor）,每一個(gè)公共因子的載荷系數(shù)之平方和等于對(duì)應(yīng)的特征根，即該公共因子的方差。,極大似然法（maximum likelihood factor） 假定原變量服從正態(tài)分布，公共因子和特殊因子也服從正態(tài)分布，構(gòu)造因子負(fù)荷和特殊方差的似然函數(shù)，求其極大，得到唯一解。,主因子法（principal factor） 設(shè)原變量的相關(guān)矩陣為R=(rij)，其逆矩陣為R-1=(rij)。各變量特征方差的初始值取為逆相關(guān)矩陣對(duì)角線元素的倒數(shù)，i=1/rii。則共同度的初始值為(hi) 。,以(hi)2代替相關(guān)矩陣中的對(duì)角線上的元素，得到約化相關(guān)矩陣R 。,R的前m個(gè)特征根及其對(duì)應(yīng)的單位化特征向量 就是主因子解。,迭代主因子法（iterated principal factor） 主因子的解很不穩(wěn)定。因此，常以估計(jì)的共同度為初始值，構(gòu)造新的約化矩陣，再計(jì)算其特征根及其特征向量，并由此再估計(jì)因子負(fù)荷及其各變量的共同度和特殊方差，再由此新估計(jì)的共同度為初始值繼續(xù)迭代，直到解穩(wěn)定為止。,因子載荷（負(fù)荷）aij是隨機(jī)變量xi與公共因子fj的相關(guān)系數(shù)。 設(shè) 稱gj2為公共因子fj對(duì)x的“貢獻(xiàn)”，是衡量公共因子fj重要性的一個(gè)指標(biāo)。,四、因子旋轉(zhuǎn),目的：使因子負(fù)荷兩極分化，要么接近于0，要么接近于1。 常用的旋轉(zhuǎn)方法：,（1）方差最大正交旋轉(zhuǎn)（varimax orthogonal rotation） 基本思想：使公共因子的相對(duì)負(fù)荷（lij/hi2）的方差之和最大，且保持原公共因子的正交性和公共方差總和不變。 可使每個(gè)因子上的具有最大載荷的變量數(shù)最小，因此可以簡化對(duì)因子的解釋。,（2）斜交旋轉(zhuǎn)（oblique rotation） 因子斜交旋轉(zhuǎn)后，各因子負(fù)荷發(fā)生了較大變化，出現(xiàn)了兩極分化。各因子間不再相互獨(dú)立，而彼此相關(guān)。各因子對(duì)各變量的貢獻(xiàn)的總和也發(fā)生了改變。 適用于大數(shù)據(jù)集的因子分析。,五、因子得分,Thomson法，即回歸法 回歸法得分是由Bayes思想導(dǎo)出的，得到的因子得分是有偏的，但計(jì)算結(jié)果誤差較小。,Bartlett法 Bartlett因子得分是極大似然估計(jì)，也是加權(quán)最小二乘回歸，得到的因子得分是無偏的，但計(jì)算結(jié)果誤差較大。 因子得分可用于模型診斷，也可用作進(jìn)一步分析的原始資料。,六、因子分析應(yīng)用的注意事項(xiàng),應(yīng)用