第七章-主成分分析

1、2021/3/261第七章第七章 主成分分析主成分分析1 1、主成分分析、主成分分析2 2、SPSSSPSS上機實現(xiàn)過程上機實現(xiàn)過程2021/3/262主成分分析主成分分析v每個人都會遇到有每個人都會遇到有很多變量很多變量的數(shù)據(jù)。的數(shù)據(jù)。v這些數(shù)據(jù)的共同特點是變量很多這些數(shù)據(jù)的共同特點是變量很多,在如此多的變量在如此多的變量之中之中,有很多是相關(guān)的。人們希望能夠找出它們的有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)少數(shù)“代表代表”來對它們進行描述。來對它們進行描述。v本章就介紹兩種把變量維數(shù)降低以便于描述、理解本章就介紹兩種把變量維數(shù)降低以便于描述、理解和分析的方法和分析的方法:主成分分析主成分

2、分析（principal component principal component analysisanalysis）和）和因子分析因子分析（factor analysisfactor analysis）。實）。實際上際上主成分分析可以說是因子分析的一個特例主成分分析可以說是因子分析的一個特例。2021/3/263u主成分分析（主成分分析（Principal Components Analysis ,PCA)也稱為主分量分析也稱為主分量分析,是一種通過降維是一種通過降維來簡化數(shù)據(jù)結(jié)構(gòu)的方法來簡化數(shù)據(jù)結(jié)構(gòu)的方法,即如何把多個變量（變量）轉(zhuǎn)即如何把多個變量（變量）轉(zhuǎn)化為少數(shù)幾個綜合變量（綜合變量

3、）化為少數(shù)幾個綜合變量（綜合變量）,而這幾個綜合變而這幾個綜合變量可以反映原來多個變量的大部分信息。量可以反映原來多個變量的大部分信息。什么是主成分分析什么是主成分分析主成分分析主成分分析2021/3/264u主成分分析就是設法將原來眾多具有一定相關(guān)性的主成分分析就是設法將原來眾多具有一定相關(guān)性的變量變量(如如p個變量個變量),重新組合成一組新的相互無關(guān)的綜重新組合成一組新的相互無關(guān)的綜合變量來代替原來變量。合變量來代替原來變量。怎么處理怎么處理?u通常數(shù)學上的處理就是將原來通常數(shù)學上的處理就是將原來p個變量作線性組合個變量作線性組合作為新的綜合變量。作為新的綜合變量。如何選擇如何選擇?u如果

4、將選取的第一個線性組合即第一個綜合變量記如果將選取的第一個線性組合即第一個綜合變量記為為F1,自然希望自然希望F1盡可能多的反映原來變量的信息。盡可能多的反映原來變量的信息。怎樣反映怎樣反映?基本思想基本思想2021/3/265u最經(jīng)典的方法就是用方差來表達最經(jīng)典的方法就是用方差來表達,即即var(F1)越大越大,表示表示F1包含的信息越多。因此在所有的線性組合中所包含的信息越多。因此在所有的線性組合中所選取的選取的F1應該是方差最大的應該是方差最大的,故稱之為第一主成分故稱之為第一主成分（principal component I）。）。u如果第一主成分不足以代表原來如果第一主成分不足以代表

5、原來p個變量的信息個變量的信息,再再考慮選取考慮選取F2即第二個線性組合。即第二個線性組合。F2稱為第二主成分稱為第二主成分（principal component II）。）。F1和和F2的關(guān)系的關(guān)系?基本思想基本思想2021/3/266u為了有效地反映原來信息為了有效地反映原來信息,F1已有的信息就不再出已有的信息就不再出現(xiàn)在現(xiàn)在F2中中,即即cov（F1,F2)0。依此類推。依此類推,可以獲可以獲得得p個主成分。因此個主成分。因此,這些主成分之間是互不相關(guān)的這些主成分之間是互不相關(guān)的,而且方差依次遞減。在實際中而且方差依次遞減。在實際中,挑選前幾個最大主成挑選前幾個最大主成分來表征。分來

6、表征。標準標準?u各主成分的累積方差貢獻率各主成分的累積方差貢獻率80%或或85%(根據(jù)根據(jù)實驗結(jié)果和要求可以自己調(diào)整實驗結(jié)果和要求可以自己調(diào)整)或特征根或特征根1?；舅枷牖舅枷?021/3/2672021/3/2682021/3/2692021/3/26102021/3/26112021/3/2612上上 機機 操操 作作 流流 程程2021/3/26132021/3/26142021/3/26152021/3/26162021/3/2617主成分分析的前提條件主成分分析的前提條件:原始變量之間有一定的相關(guān)原始變量之間有一定的相關(guān)性性檢驗方法檢驗方法（1）Kaiser-Meyer-Olk

7、in（KMO)檢驗檢驗:抽樣充足量的測度抽樣充足量的測度,檢驗變量之間的偏相關(guān)系數(shù)是否過小。檢驗變量之間的偏相關(guān)系數(shù)是否過小。（2）Bartletts 檢驗檢驗:該檢驗的原假設是相關(guān)矩陣為單位陣（不該檢驗的原假設是相關(guān)矩陣為單位陣（不相關(guān)）相關(guān)）,如果不能拒絕原假設如果不能拒絕原假設,則不適合進行主成分分析。則不適合進行主成分分析。綜合綜合變量變量（主（主成分）成分）之間之間互不互不相關(guān)相關(guān) 2021/3/26182021/3/26192021/3/2620計算主成分特征根及貢獻率和累積貢獻率計算主成分特征根及貢獻率和累積貢獻率 如果想選取如果想選取累積貢獻率累積貢獻率95%,則需要重則需要重

8、新選擇因子數(shù)新選擇因子數(shù)2021/3/26212021/3/2622確定主成分確定主成分 本操作是選擇以特征根大于本操作是選擇以特征根大于1為標準提取主成分為標準提取主成分,提取了提取了2個主成分。按照累積方差的觀個主成分。按照累積方差的觀點點,應該提取應該提取80%或或85%的值的值,本例題提取本例題提取2個主成分個主成分,其累積方差貢獻率為其累積方差貢獻率為94.99,應該提取應該提取2個應該提取前兩個主成分。個應該提取前兩個主成分。 2021/3/2623寫出主成分模型寫出主成分模型 2021/3/2624iiie前面的表給出的因子載荷矩陣前面的表給出的因子載荷矩陣,主成分系數(shù)應該為主成

9、分系數(shù)應該為特征向量特征向量,其換算方法為其換算方法為:用主成分載荷矩陣中的用主成分載荷矩陣中的數(shù)據(jù)除以主成分相對應的特征值開平方根便得到數(shù)據(jù)除以主成分相對應的特征值開平方根便得到兩個主成分中每個指標所對應的系數(shù)。兩個主成分中每個指標所對應的系數(shù)。2021/3/26252021/3/26262021/3/26272021/3/2628第一主成分的特征值第一主成分的特征值2021/3/26292021/3/2630第二主成分的特征值第二主成分的特征值2021/3/26312021/3/2632主成分模型為主成分模型為:F1主要表示主要表示X4、X5、X6、X7的信息（夏半年的信息）的信息（夏半年的信息）F1=0.337X1+0.34X2+0.347X3+0.22X4+0.102X5+0.084X6+0.156X7+0.322X8+0.344X9+0.34X10+0.328X11+0.337X12F1主要表示主要表示X1、X