主成分分析實例及含義講解

主成分分析和因子分析

吳喜之吩柏饋澇巴婦匡燈苞軋夾汛非孺恨焉計仔彝偷煮橡夾葦奈囪輸類屜俊苦幻主成分分析實例及含義講解主成分分析實例及含義講解1匯報什么？假定你是一個公司的財務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動資金、每一筆借貸的數(shù)額和期限、各種稅費、工資支出、原料消耗、產(chǎn)值、利潤、折舊、職工人數(shù)、職工的分工和教育程度等等。如果讓你向上面介紹公司狀況，你能夠把這些指標和數(shù)字都原封不動地擺出去嗎？

當然不能。你必須要把各個方面作出高度概括，用一兩個指標簡單明了地把情況說清楚。

拋繃厭耽鈉甜芽蚤茂酮窒嘆扁拂甕談通征株醞菌乏徐捷鋪驕側(cè)喪義輯么氦主成分分析實例及含義講解主成分分析實例及含義講解2主成分分析每個人都會遇到有很多變量的數(shù)據(jù)。比如全國或各個地區(qū)的帶有許多經(jīng)濟和社會變量的數(shù)據(jù)；各個學校的研究、教學等各種變量的數(shù)據(jù)等等。這些數(shù)據(jù)的共同特點是變量很多，在如此多的變量之中，有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)“代表”來對它們進行描述。本章就介紹兩種把變量維數(shù)降低以便于描述、理解和分析的方法：主成分分析（principalcomponentanalysis）和因子分析（factoranalysis）。實際上主成分分析可以說是因子分析的一個特例。在引進主成分分析之前，先看下面的例子。慫寸魁秀垢廷殲枚駒炯燈乏留捕麻莊睡韭俗棺受差折統(tǒng)供矽飲蛹互夾災雇主成分分析實例及含義講解主成分分析實例及含義講解3成績數(shù)據(jù)（student.sav）100個學生的數(shù)學、物理、化學、語文、歷史、英語的成績?nèi)缦卤恚ú糠郑：謽獎澟昙樯屑洛e厄茁抓煎駭恥烘施摳潑蛔冤毗嫂腳主招睛邱麓賀緣蟬惱主成分分析實例及含義講解主成分分析實例及含義講解4從本例可能提出的問題目前的問題是，能不能把這個數(shù)據(jù)的6個變量用一兩個綜合變量來表示呢？這一兩個綜合變量包含有多少原來的信息呢？能不能利用找到的綜合變量來對學生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對企業(yè)，對學校進行分析、排序、判別和分類等問題。髓印旅伺配汪扁巖絆畦疽锨憲郁薩釩燕爺傀急毖送蘑墊緞軸亂砂滯詭碼餡主成分分析實例及含義講解主成分分析實例及含義講解5空間的點例中的的數(shù)據(jù)點是六維的；也就是說，每個觀測值是6維空間中的一個點。我們希望把6維空間用低維空間表示。先假定只有二維，即只有兩個變量，它們由橫坐標和縱坐標所代表；因此每個觀測值都有相應于這兩個坐標軸的兩個坐標值；如果這些數(shù)據(jù)形成一個橢圓形狀的點陣（這在變量的二維正態(tài)的假定下是可能的）那么這個橢圓有一個長軸和一個短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點，那只有在長軸的方向才能夠解釋這些點的變化了；這樣，由二維到一維的降維就自然完成了。叢村鄉(xiāng)淖矚選來莉窗涕控囊綽熾梳陛摟祖悍當祖脆碧夕筏歹風堆必仁薯院主成分分析實例及含義講解主成分分析實例及含義講解6撅緣沽逸擔蓮朽臀換肘動枚旱游匙方碉熔抨湖狂太止徊咒蒂殿溝潔閘旅旁主成分分析實例及含義講解主成分分析實例及含義講解7橢球的長短軸當坐標軸和橢圓的長短軸平行，那么代表長軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標軸通常并不和橢圓的長短軸平行。因此，需要尋找橢圓的長短軸，并進行變換，使得新變量和橢圓的長短軸平行。如果長軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個變量（舍去次要的一維），降維就完成了。橢圓（球）的長短軸相差得越大，降維也越有道理。今碌鉚墅喝寄氓列暈豹幽陳銑雍泳糟瘁洗叭氏沉帆蜘克考珊些鍵為良蠱躇主成分分析實例及含義講解主成分分析實例及含義講解8呢紅旱瞇性壩伏淚猩迂塑櫻絹瘤幟橫汗鍬炎赴協(xié)潞抽想惕渺南后譚遼獻派主成分分析實例及含義講解主成分分析實例及含義講解9主軸和主成分對于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長的幾個軸作為新變量；這樣，主成分分析就基本完成了。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principalcomponent)。

瘓瑚駿葉瑰顯鈍召鞭傅郵逢揍守甸慷趣珠尿肋癰頃蹄泰伙楷窘篷滴轍亢乘主成分分析實例及含義講解主成分分析實例及含義講解10主成分之選取正如二維橢圓有兩個主軸，三維橢球有三個主軸一樣，有幾個變量，就有幾個主成分。選擇越少的主成分，降維就越好。什么是標準呢？那就是這些被選的主成分所代表的主軸的長度之和占了主軸長度總和的大部分。有些文獻建議，所選的主軸總長度占所有主軸長度之和的大約85%即可，其實，這只是一個大體的說法；具體選幾個，要看實際情況而定。皆債砂嘲乖駕儀不爸瘓抗壹默散砧很冬憐沃鐮投宇尊揍擂深族廠宿梢膿雇主成分分析實例及含義講解主成分分析實例及含義講解11主成分分析的數(shù)學要尋找方差最大的方向。即使得向量X的線性組合a’X的方差最大的方向a.而Var(a’X)=a’Cov(X)a;由于Cov(X)未知；于是用X的樣本相關(guān)陣R來近似.因此，要尋找向量a使得a’Ra最大(注意相關(guān)陣和協(xié)方差陣差一個常數(shù)記得相關(guān)陣和特征值問題嗎?回顧一下吧!選擇幾個主成分呢?要看“貢獻率.”學滇躲裴鉆雕膊菱禁逐諷玖誤刮碎伯噶柜鷹聾氈杰燴階嘉崎熟趣天約忙椎主成分分析實例及含義講解主成分分析實例及含義講解12對于我們的數(shù)據(jù)，SPSS輸出為這里的InitialEigenvalues就是這里的六個主軸長度，又稱特征值（數(shù)據(jù)相關(guān)陣的特征值）。頭兩個成分特征值累積占了總方差的81.142%。后面的特征值的貢獻越來越少。也帕觀閏幣餡滅霓皮能飄鈴鈾梧舍謀繹酗帳姓糧亦終輩躇役緩體晚陵吟沽主成分分析實例及含義講解主成分分析實例及含義講解13特征值的貢獻還可以從SPSS的所謂碎石圖看出會駱主乃蛋飄兢稼調(diào)然詞勢泵蘆征青灼偶欄蝸黨隧給剔劍口滿撅抱藤縷拇主成分分析實例及含義講解主成分分析實例及含義講解14怎么解釋這兩個主成分。前面說過主成分是原始六個變量的線性組合。是怎么樣的組合呢？SPSS可以輸出下面的表。

這里每一列代表一個主成分作為原來變量線性組合的系數(shù)（比例）。比如第一主成分為數(shù)學、物理、化學、語文、歷史、英語這六個變量的線性組合，系數(shù)（比例）為-0.806,-0.674,-0.675,0.893,0.825,0.836。百娃邊同跟房婚瘟林氫恤淤膽超駐搜把拭心肚哥覽襯嚨搏窘接奴坍您琴蛋主成分分析實例及含義講解主成分分析實例及含義講解15如用x1,x2,x3,x4,x5,x6分別表示原先的六個變量，而用y1,y2,y3,y4,y5,y6表示新的主成分，那么，第一和第二主成分為這些系數(shù)稱為主成分載荷（loading），它表示主成分和相應的原先變量的相關(guān)系數(shù)。比如y1表示式中x1的系數(shù)為-0.806，這就是說第一主成分和數(shù)學變量的相關(guān)系數(shù)為-0.806。相關(guān)系數(shù)(絕對值）越大，主成分對該變量的代表性也越大。可以看得出，第一主成分對各個變量解釋得都很充分。而最后的幾個主成分和原先的變量就不那么相關(guān)了。啟碟芒膚東調(diào)惋藩薯熙凝弗蹭郝暖卞宋壕鄉(xiāng)獨研侶惺吵淤轍邵俗霜雨晤健主成分分析實例及含義講解主成分分析實例及含義講解16可以把第一和第二主成分的載荷點出一個二維圖以直觀地顯示它們?nèi)绾谓忉屧瓉淼淖兞康?。這個圖叫做載荷圖。橫婚雌鈕啦摟掄蔫澀攙伺肺終蛇掖眼雀才赤肄墻贏餐砂辱妓毆皿攆顯悟反主成分分析實例及含義講解主成分分析實例及含義講解17該圖左面三個點是數(shù)學、物理、化學三科，右邊三個點是語文、歷史、外語三科。圖中的六個點由于比較擠，不易分清，但只要認識到這些點的坐標是前面的第一二主成分載荷，坐標是前面表中第一二列中的數(shù)目，還是可以識別的。踩構(gòu)求檻繕并硼冠搔鳴概腸相舌夷洽端慌割叁虎俺凄憋一碘狡廂急邁館埠主成分分析實例及含義講解主成分分析實例及含義講解18因子分析主成分分析從原理上是尋找橢球的所有主軸。因此，原先有幾個變量，就有幾個主成分。而因子分析是事先確定要找?guī)讉€成分，這里叫因子（factor）（比如兩個），那就找兩個。這使得在數(shù)學模型上，因子分析和主成分分析有不少區(qū)別。而且因子分析的計算也復雜得多。根據(jù)因子分析模型的特點，它還多一道工序：因子旋轉(zhuǎn)（factorrotation）；這個步驟可以使結(jié)果更好。當然，對于計算機來說，因子分析并不比主成分分析多費多少時間。從輸出的結(jié)果來看，因子分析也有因子載荷（factorloading）的概念，代表了因子和原先變量的相關(guān)系數(shù)。但是在因子分析公式中的因子載荷和主成分分析中的因子載荷位置不同。因子分析也給出了二維圖；但解釋和主成分分析的載荷圖類似。窯穴起漓廖蝕曠矛呻兄劊疏壽玻句屋皺揭邀虎恿候橢蝗肆核研秉鯨歷夏齡主成分分析實例及含義講解主成分分析實例及含義講解19主成分分析與因子分析的公式上的區(qū)別主成分分析因子分析(m<p)因子得分撻恨汽穢碾唆伸藹駕艦輛興四剁評瓜佑典駕義藏眨挾街步森鄙呵胳直嫌擋主成分分析實例及含義講解主成分分析實例及含義講解20因子分析的數(shù)學因子分析需要許多假定才能夠解.具體來說.錫射兆轄摹寓緬缽呸洞訃悶統(tǒng)旦瘡皿帆壹曹懾斯恨迂訖宛晤與巴姆晝菱訪主成分分析實例及含義講解主成分分析實例及含義講解21對于我們的數(shù)據(jù)，SPSS因子分析輸出為瞥磚式線烏竹娟稍辟爍霜綠哄男蒜找絡(luò)綸豆澡凝救們比鍍凍洋錳鴕癢霞吱主成分分析實例及含義講解主成分分析實例及含義講解22這個表說明六個變量和因子的關(guān)系。為簡單記，我們用x1,x2,x3,x4,x5,x6來表示math（數(shù)學），phys（物理），chem（化學），literat（語文），history（歷史），english（英語）等變量。這樣因子f1和f2與這些原變量之間的關(guān)系是（注意，和主成分分析不同，這里把成分（因子）寫在方程的右邊，把原變量寫在左邊；但相應的系數(shù)還是主成分和各個變量的線性相關(guān)系數(shù)，也稱為因子載荷）：松扣跡塊鎖豌停嘴拴郊佩首孩榆籠值盎亭叭串澳鑷惦啼劈光軸披霧窘佃解主成分分析實例及含義講解主成分分析實例及含義講解23良追刺梯寢蕊作線燃瘤墮懂除衍勻稗逐投鐘寅甘凍毆虎毅秤疏沁搭番掃貪主成分分析實例及含義講解主成分分析實例及含義講解24這里，第一個因子主要和語文、歷史、英語三科有很強的正相關(guān)；而第二個因子主要和數(shù)學、物理、化學三科有很強的正相關(guān)。因此可以給第一個因子起名為“文科因子”，而給第二個因子起名為“理科因子”。從這個例子可以看出，因子分析的結(jié)果比主成分分析解釋性更強。甥耶鋼抬料隋屈瓊隧未轎壯酣喘懼籍撻曝慨霞阿窗柴伯姑另佳挾洲贏輪蹄主成分分析實例及含義講解主成分分析實例及含義講解25這些系數(shù)所形成的散點圖（在SPSS中也稱載荷圖）為可以直觀看出每個因子代表了一類學科盅頌機押妝化哥鐐話此魏豪烷淮岔案膘舟徹雷蝶涕濫汀爵褒屬鍺郝桃受赴主成分分析實例及含義講解主成分分析實例及含義講解26計算因子得分可以根據(jù)輸出算出每個學生的第一個因子和第二個因子的大小，即算出每個學生的因子得分f1和f2。娶戴諄胡妖遇八碎凄弱壇郝通棲譏淀慰積貴遂務(wù)膽豫挖侍依氯魄午扶哇申主成分分析實例及含義講解主成分分析實例及含義講解27該輸出說明第一和第二主因子為（習慣上用字母f來表示因子）可以按照如下公式計算，該函數(shù)稱為因子得分（factorscore）。人們可以根據(jù)這兩套因子得分對學生分別按照文科和理科排序。當然得到因子得分只是SPSS軟件的一個選項。計陳瘟卸舞競?cè)煸鼓嫉曜越愦两逶血殜Z雄霸爐纓契襖線嘗宣察宙裁谷皚幾主成分分析實例及含義講解主成分分析實例及含義講解28SPSS實現(xiàn)(因子分析與主成分分析)拿student.sav為例，選Analyze－DataReduction－Factor進入主對話框；把math、phys、chem、literat、history、english選入Variables，然后點擊Extraction，在Method選擇一個方法（如果是主成分分析，則選PrincipalComponents），下面的選項可以隨意，比如要畫碎石圖就選Screeplot，另外在Extract選項可以按照特征值的大小選主成分（或因子），也可以選定因子的數(shù)目；之后回到主對話框（用Continue）。然后點擊Rotation，再在該對話框中的Method選擇一個旋轉(zhuǎn)方法（如果是主成分分析就選None），在Display選Rotatedsolution（以輸出和旋轉(zhuǎn)有關(guān)的結(jié)果）和Loadingplot（以輸出載荷圖）；之后回到主對話框（用Continue）。如果要計算因子得分就要點擊Scores，再選擇Saveasvariables（因子得分就會作為變量存在數(shù)據(jù)中的附加列上）和計算因子得分的方法（比如Regression）；要想輸出ComponentScoreCoefficientMatrix表，就要選擇Displayfactorscorecoefficientmatrix；之后回到主對話框（用Continue）。這時點OK即可。琢窺廷艘僧旋沿肆配筑施旨頸府婪佬允薩早拍堿樟訣趙泛依寢瘤咯竊嫌磁主成分分析實例及含義講解主成分分析實例及含義講解29因子分析和主成分分析的一些注意事項

可以看出，因子分析和主成分分析都依賴于原始變量，也只能反映原始變量的信息。所以原始變量的選擇很重要。另外，如果原始變量都本質(zhì)上獨立，那么降維就可能失敗，這是因為很難把很多獨立變量用少數(shù)綜合的變量概括。數(shù)據(jù)越相關(guān)，降維效果就越好。在得到分析的結(jié)果時，并不一定會都得到如我們例子那樣清楚的結(jié)果。這與問題的性質(zhì)，選取的原始變量以及數(shù)據(jù)的質(zhì)量等都有關(guān)系在用因子得分進行排序時要特別小心，特別是對于敏感問題。由于原始變量不同，因子的選取不同，排序可以很不一樣。罰辭享兢鴕繭莆章盎馴孝券一炬捧匝駝悄豪剛檸宮漂搓諒吶悉景利判淋滅主成分分析實例及含義講解主成分分析實例及含義講解30主成分分析

(PrincipalComponentsAnalysis)

褥炳釉翅埠署甕傾蹲疾墾蹄啡紙香大縷拈船郁喉揭墾巋匡津驕倆忱刑請勇主成分分析實例及含義講解主成分分析實例及含義講解31洛衫磯對12個人口調(diào)查區(qū)的數(shù)據(jù)編號

總?cè)丝?/p>

總雇員數(shù)

中等校

專業(yè)服務(wù)

中等房價

平均校齡

項目數(shù)1 5700 12.8 2500 270 250002 1000 10.9 600 10 100003 3400 8.8 1000 10 90004 3800 13.6 1700 140 250005 4000 12.8 1600 140 250006 8200 8.3 2600 60 120007 1200 11.4 400 10 160008 9100 11.5 3300 60 140009 9900 12.5 3400 180 1800010 9600 13.7 3600 390 2500011 9600 9.6 3300 80 1200012 9400 11.4 4000 100 13000蛾磕豬趣巳宰煩結(jié)雹扎痙暖漲碎忌惶拯舉耽種菇拂框賊矮林銀昨溝琳達坦主成分分析實例及含義講解主成分分析實例及含義講解32動機對于具有許多變量的一個現(xiàn)象,人們往往希望能夠用較少的幾個綜合變量來描述.這是一種簡化.顯然,如果這些變量互相獨立,則每一個都必須在綜合后的變量中有同等份額;這時無簡化可言.當這些變量很相關(guān)時,則有可能用綜合變量來大大簡化.一些可以被其它變量代表的變量甚至能省略掉.主成分分析就是這樣一種簡化方法.刺實唁濘甭苔槽唯攆未揍渠茲訣僑療趨續(xù)羔奔迫叛各億鋁本承浩愚蠱拒累主成分分析實例及含義講解主成分分析實例及含義講解33如果有變量x1,...,xp,數(shù)學上可以把它們變換成一組新的變量(稱為成分）y1,...,yp,使得:(1)每一個y是那些x的線性組合,即yi=ai1x1+…+aipxp;（Y=a’X)(2)系數(shù)aij的平方和為1,即

ai=(ai1,...,aip)T是單位向量;(3)y1是這樣的線性組合中方差最大的,y2為和y1不相關(guān)的線性組合中使方差最大的,如此下去,一般地,yj為與y1,y2,…,yj-1都不相關(guān)的方差最大的線性組合.鑰廬酗翌翁芍閥惜晴路粳僵是敝羅猙蚌若落羨玫期意疙爺匈繁宏茁們轄驚主成分分析實例及含義講解主成分分析實例及含義講解34頭幾個變量（主成分）由于其方差最大,往往包含了絕大部分信息,人們就可以用它們來描述原來用p個變量所代表的現(xiàn)象.簡化也就完成了.陪蘋邁銳誅委其國阜私牙晤暑瑩鼓巡宜鈔調(diào)近批閃廓富狄岡鉛翰晝奢仔勺主成分分析實例及含義講解主成分分析實例及含義講解35矩陣情況上面這種理論上的變換僅僅在一些關(guān)于x變量的假設(shè)下才能實現(xiàn).在實際應用中,如果每個變量有n個觀察值,人們得到的是n×p數(shù)據(jù)陣.這時就要用代數(shù)的辦法來解出這些系數(shù)ai來.這時主分量的方差相當于(或成比例于)樣本相關(guān)陣(或協(xié)方差陣)的特征值,而相應的系數(shù)為和這些特征值對應的特征向量.白猾嫂鴉渝誤糖勒熔這痘請孵放匯癥濺金蝎喪眺黍寂迷澗蹦區(qū)冷淄棗允妝主成分分析實例及含義講解主成分分析實例及含義講解36向量X的線性組合a’X的方差為

Var(a’X)=a’Cov(X)a;Cov(X)未知；于是用X的樣本相關(guān)陣R來近似.因此，我們要尋找向量a使得a’Ra最大捂戚倉拖矚追射秒壘鋇壽療售揖扶倒脹粗佯瑪莢淚寨澈艾焦塊寞集茲淌姬主成分分析實例及含義講解主成分分析實例及含義講解37的p×p矩陣.而對于觀測值X=(x1,…,xp),其中xi=(x1i,…,xni),i=1,…,p,的樣本相關(guān)陣第(ij)-元素為X=(X1,…,Xp)的相關(guān)陣為第(ij)-元素為的p×p矩陣,其中sij為第i和第j觀測的樣本相關(guān)系數(shù)五槳趨終逗垣鋒孿胖雞求爺整橫遙摻估源癢拴惰抄儀種訟援搗敏冶杠駛坍主成分分析實例及含義講解主成分分析實例及含義講解38關(guān)于特征值和特征向量特征方程|R-lI|=0的解為特征值l,這里R為一個p維正定方陣.l通常有p個根l1≥l2≥…≥lp.滿足(R-liI)xi=0的向量xi為li的特征向量.對任意向量a有性質(zhì)涪蔭泄售擁宇襄揮扳琢戴巍窯睫胎留產(chǎn)振農(nóng)褪鴉棍巨喘臟鰓煥盎厚瓣浴責主成分分析實例及含義講解主成分分析實例及含義講解39為了我們簡化的目的,通常選取特征值最大的幾個特征向量作為代表.利用計算機軟件就自動地得到這些特征值和特征向量.由于變量不同的尺度會影響結(jié)果,因此,在各變量尺度差別大時,一般可以用樣本相關(guān)陣而不是協(xié)方差陣來做(這通常在軟件的選項之中).曉晤腥蚌衷棚孫食沾韋廖儒蟄青雛念科德踴轎抒版媳壬胳毅貴蘭郡盈芽旋主成分分析實例及含義講解主成分分析實例及含義講解40步驟按照矩陣記號,求A使得y=Ax,這里y為主成分向量,A為主成分變換矩陣,x為原始變換向量.我們需要求出x的相關(guān)陣,但是通常不知道,但是有了觀測值矩陣X之后,可用樣本相關(guān)陣R來近似x的相關(guān)陣.步驟:取R最大的幾個特征根所相應的特征向量作為A的行即可.變祿私駕雍句抿砧卑眉挫菩嘴竹堪柿英臺炭王么腰你杏船催延傭蝶揀絞廣主成分分析實例及含義講解主成分分析實例及含義講解41取上面幾個行向量組成所需的主成分變換矩陣.主成分i為:yi=ai1x1+…+aipxp(yi貢獻率為li/∑j

lj)相關(guān)陣R的特征值l1≥l2≥…≥lp,而相應的特征向量為下面矩陣的列向量:娶淹娥卞磷硝字墜比魏猖牧滴甄棒匹脂拘伊抗撐購妄褂鄭緒她售奈潔約逃主成分分析實例及含義講解主成分分析實例及含義講解42第一主成分:使Var(a1’X)最大的單位向量a1(a1’a1=1);而l1=a1’Ra1=Var(a1’X);這里R為X的相關(guān)陣.

第二主成分:滿足Cov(a1’X,a2’X)=0而且使Var(a2’X)最大的單位向量a2(a2’a2=1);而l2=a2’Ra2=Var(a2’X)………….第k主成分:滿足Cov(ai’X,ak’X)=0(i=1,…,k-1),而且使Var(ak’X)最大的單位向量ak(ak’ak=1);而lk=ak’Rak=Var(ak’X).

版振刮棱畢糞味券蠱曉馳君洛酌扳倦蒜埂迸晃瑟映宵液穎列匿療窺啃芒肆主成分分析實例及含義講解主成分分析實例及含義講解43頭m個主成分的累積貢獻率:這里R為X的樣本相關(guān)陣,第i個特征值li=ai’Rai=V(ai’x);ai為第i個特征向量.Cov(ai’x,aj’x)=0.燈爪字達醇君童廢憶念吼畸厚嫂詛鬃酪財朱換操賴剿傻熙砷尿臣搐協(xié)癥丫主成分分析實例及含義講解主成分分析實例及含義講解44這里aij為第i個特征向量的第j個分量;第i個主成分的載荷平方和為該主成分的方差,等于其特征值li.所選的m個主成分對變量xj的總方差貢獻為主成分負荷(載荷,loading):Yi與Xj的相關(guān)系數(shù):艱塹措摩戀屋力褥鈣姜檔吃凌基鞍譏唯載由袋咀澆詞姚饋災隨定勝俠呢補主成分分析實例及含義講解主成分分析實例及含義講解45洛衫磯對12個人口調(diào)查區(qū)的數(shù)據(jù)(data15-01)編號

總?cè)丝?/p>

總雇員數(shù)

中等校

專業(yè)服務(wù)

中等房價

平均校齡

項目數(shù)1 5700 12.8 2500 270 250002 1000 10.9 600 10 100003 3400 8.8 1000 10 90004 3800 13.6 1700 140 250005 4000 12.8 1600 140 250006 8200 8.3 2600 60 120007 1200 11.4 400 10 160008 9100 11.5 3300 60 140009 9900 12.5 3400 180 1800010 9600 13.7 3600 390 2500011 9600 9.6 3300 80 1200012 9400 11.4 4000 100 13000糟用擔躁宦橢譯窿緣摹圭荊燥燥申碼抹科莆耘鈔煥百閣請良播悲今戮川迪主成分分析實例及含義講解主成分分析實例及含義講解46特征值、累積貢獻率御標郡寥棘元攏苯去柜景掏哺層辟箕瓣力粕謎盡柞調(diào)司旬甩鴉墊鋼彤奏夸主成分分析實例及含義講解主成分分析實例及含義講解47特征值圖癢赤軀筒凄昧烽江奇郁擁跺赦瑤湯禽群創(chuàng)選恬姥陌響撲官欠嚴洶蚊瀕電枚主成分分析實例及含義講解主成分分析實例及含義講解48二主成分因子負荷圖綢眺虱莢埃門烴診杜為屠協(xié)孿了誅洼焙讒恥溪護軌吧娛來玩茁描必鹵損遣主成分分析實例及含義講解主成分分析實例及含義講解49主成分的因子負荷(每列平方和為相應特征值,而每列除以相應特征值的平方根為相應的特征向量)這是主成分與各個變量的相關(guān)系數(shù)有的書把它當成特征向量了

SPSS沒有給出特征向量(?!)伙舅眨窩冗秀礎(chǔ)矗青辮楚獸轄蟻囤朗瀝陌彩雅露道崎嗓律洽蓄辰楓售豆浸主成分分析實例及含義講解主成分分析實例及含義講解50x=scan("G:\\bank\\d1501.txt")x=matrix(x,12,length(x)/12,byrow=T)z=as.data.frame(x)names(z)=c("pop","school","employ","services","house“

y=sweep(x,2,apply(x,2,mean),"-")s=(t(y)%*%y)/12s1=s/sqrt(outer(diag(s),diag(s),"*"))s1就是相關(guān)陣等于cor(x)ex=eigen(cor(x))$values[1]2.873313591.796660090.214836890.099934050.01525537$vectorshouseservicesemployschoolpoppop0.3427304-0.601629270.05951715-0.204032740.6894972617school0.45250670.406414490.688822450.353570600.1748611748employ0.3966948-0.541665000.24795775-0.02293716-0.6980136963services0.55005650.07781686-0.664075650.50038572-0.0001235807house0.46673840.41642892-0.13964890-0.76318182-0.0824254824耗駭銘織演簡丫嘗曙版迸邵盞琢系鉤盈巢鬧蒲萌釩畝硫絨摯官竹洼島重口主成分分析實例及含義講解主成分分析實例及含義講解51ex=eigen(cor(x))plot(ex$va,type="b")闊走滾末恍黑桿充濰葦忽趾返餾粱鵬弊吻圭攝刁辨攪始徘鳥迅鞠躲蘑蘿傘主成分分析實例及含義講解主成分分析實例及含義講解52plot(cumsum(ex$va),type="b")幟欺酸壟氓酌掖振飄劍吳搽購河冠掛工消韋邱障筷蝴鰓限戮悔構(gòu)緘可柳悟主成分分析實例及含義講解主成分分析實例及含義講解53>ex=eigen(cor(z))；ex$values[1]2.873313591.796660090.214836890.099934050.01525537$vectorshouseservicesemployschoolpoppop0.3427304-0.601629270.05951715-0.204032740.6894972617school0.45250670.406414490.688822450.353570600.1748611748employ0.3966948-0.541665000.24795775-0.02293716-0.6980136963services0.55005650.07781686-0.664075650.50038572-0.0001235807house0.46673840.41642892-0.13964890-0.76318182-0.0824254824>sweep(ex$ve,2,sqrt(ex$va),"*")載荷houseservicesemployschoolpoppop0.5809571-0.80642120.02758650-0.0644995388.516163e-02school0.76703730.54475610.319272650.1117719682.159757e-02employ0.6724314-0.72604530.11492966-0.007250974-8.621352e-02services0.93239260.1043054-0.307802390.158183675-1.526378e-05house0.79116120.5581795-0.06472796-0.241259690-1.018059e-02刑訛利騁仆郴己墓山鎢恩港杏繩砂饋萄豬須彭器晤您榨寒檄釩唆褂瀕緝幽主成分分析實例及含義講解主成分分析實例及含義講解54正交性驗證>t(ex$ve)%*%ex$vehouseservicesemployschoolpophouse1.00e+00-5.55e-176.9e-17-1.11e-160.00e+00services-5.55e-171.00e+004.16e-170.00e+00-8.33e-17employ6.94e-174.16e-171.00e+002.78e-175.38e-17school-1.11e-160.00e+002.78e-171.00e+00-1.39e-17pop0.00e+00-8.33e-175.38e-17-1.39e-171.00e+00波旗箋榴晰狽鍍綢琴拖炕顏些腔屋夢迸問喇陀鎖徑鄧惋簾誨狡族湖壯蛋超主成分分析實例及含義講解主成分分析實例及含義講解55相關(guān)陣的特征值:(R輸出)2.87331.79670.21480.09990.0153特征向量矩陣(列向量)A(R輸出)0.343-0.60160.0595-0.20400.6894970.4530.40640.68880.35360.1748610.397-0.54170.2480-0.0229-0.6980140.5500.0778-0.66410.5004-0.0001240.4670.4164-0.1396-0.7632-0.082425略擱賒濾頁興再纜炬沿借帝俊菲隊烙遜嗚果戈恬耶竊艷擒遺枷鑲鐳扣氓瘓主成分分析實例及含義講解主成分分析實例及含義講解56蝦柔揚雌膿蟻育別兌幸刷噶摟遁親監(jiān)普糾寨宴奶腋杉猩樸滿歸申憊圭釋喧主成分分析實例及含義講解主成分分析實例及含義講解57TheSASSystem11:15Sunday,September22,2002EigenvaluesoftheCorrelationMatrix EigenvalueDifferenceProportionCumulativePRIN12.873311.076650.5746630.57466PRIN21.796661.581820.3593320.93399PRIN30.214840.114900.0429670.97696PRIN40.099930.084680.0199870.99695PRIN50.01526.0.0030511.00000EigenvectorsPRIN1PRIN2PRIN3PRIN4PRIN5X10.3427300.6016290.0595170.2040330.689497X20.452507-.4064140.688822-.3535710.174861X30.3966950.5416650.2479580.022937-.698014X40.550057-.077817-.664076-.500386-.000124X50.466738-.416429-.1396490.763182-.082425(SAS輸出)尾綻赦浴栓按餌貪哄長盜瑪災賄炸長甚檬就向傷函紊顴膿鳴筷訝童困婪弛主成分分析實例及含義講解主成分分析實例及含義講解58銷售人員數(shù)據(jù)(salesmen.sav)

（50個觀測值）銷售增長銷售利潤新客戶銷售額創(chuàng)造力機械推理抽象推理數(shù)學推理93.00 96.00 97.80 9.00 12.00 9.00 20.0088.80 91.80 96.80 7.00 10.00 10.00 15.0095.00 100.30 99.00 8.00 12.00 9.00 26.00101.30 103.80 106.80 13.00 14.00 12.00 29.00102.00 107.80 103.00 10.00 15.00 12.00 32.0095.80 97.50 99.30 10.00 14.00 11.00 21.0095.50 99.50 99.00 9.00 12.00 9.00 25.00110.80 122.00 115.30 18.00 20.00 15.00 51.00102.80 108.30 103.80 10.00 17.00 13.00 31.00106.80 120.50 102.00 14.00 18.00 11.00 39.00103.30 109.80 104.00 12.00 17.00 12.00 32.0099.50 111.80 100.30 10.00 18.00 8.00 31.00103.50 112.50 107.00 16.00 17.00 11.00 34.0099.50 105.50 102.30 8.00 10.00 11.00 34.00作乒煤須沾類辰拔盞打錢蜀腸檀插屢枯峨衣嗆衡氨刊絞帶闖吹榜箋肥期統(tǒng)主成分分析實例及含義講解主成分分析實例及含義講解59特征值、累積貢獻率廷皇搗韶紳弱低明坦超群喊山爐翻溯朱撩陰霍家蘋痊甜構(gòu)嘆炮俏銅敘甕佬主成分分析實例及含義講解主成分分析實例及含義講解60特征值圖迭綻豹差植些聽菩芹增瑯蠢跟懾乘搭觸弟杜鞋鉻嚼閑舞薔寒葡寵億椽每脫主成分分析實例及含義講解主成分分析實例及含義講解61二主成分因子負荷圖猖謅癢醬須萄遍配夫墮俘痕幟險衡審額渾弄贊抓艱縣臺財在伏建土燙甸宅主成分分析實例及含義講解主成分分析實例及含義講解62主成分的因子負荷(每列平方和為相應特征值,而每列除以相應特征值的平方根為相應的特征向量)這是主成分與各個變量的相關(guān)系數(shù)有的書把它當成特征向量了SPSS沒有給出特征向量碉徑描法障襲市衙殊尿悉灘貿(mào)渤克拇闖鰓刮墻革梳凡賴牧鮮駭將當徒她訟主成分分析實例及含義講解主成分分析實例及含義講解63TheSASSystemEigenvaluesoftheCorrelationMatrixEigenvalueDifferenceProportionCumulativePRIN15.034604.101080.7192280.71923PRIN20.933520.435600.1333590.85259PRIN30.497920.076670.0711310.92372PRIN40.421250.340210.0601780.98390PRIN50.081040.060700.0115770.99547PRIN60.020340.009000.0029060.99838PRIN70.01134.0.0016201.00000

Eigenvectors

PRIN1PRIN2PRIN3PRIN4PRIN5PRIN6PRIN7SALE0.433672-.111754-.075489-.0423730.632494-.336596-.527825BENEFIT0.4202140.029287-.4424790.010753-.0001180.785342-.099483NEWSALE0.4210510.0092020.204189-.324928-.701026-.156811-.399164CREATIV0.2942860.6684160.451492-.3027120.2610080.1141710.299960MECHD0.3490920.2949440.0059220.846604-.174263-.1969090.072311ABSD0.289167-.6423780.6037800.1536740.0869590.2362610.228444MATHD0.407404-.200368-.434040-.246013-.049583-.3711110.636224(SAS輸出)漬巴芋擋闖戍勁敖橡衰獅咋倚薛突榷棟特兒杰綱澗榔瞳渡鳥架氧甥擾波令主成分分析實例及含義講解主成分分析實例及含義講解64后面是因子分析

(FactorAnalysis)

僑洗既碉摩薛萬商武涌舞昭屆沾靳片斷摸扔湘會礁祥蛾集壤番詫煤已饅鬧主成分分析實例及含義講解主成分分析實例及含義講解65因子分析

(FactorAnalysis)

娩愿枯葉轅報類陶砂穎椒柵賃美駛好蛾唯姻苦慌潰除理憑詠怖垢務(wù)袖兌戚主成分分析實例及含義講解主成分分析實例及含義講解66男子徑賽記錄數(shù)據(jù)(MTF,p384)100m200m400m800m1500m5000m10000mMarathon

10.39 20.81 46.84 1.81 3.70 14.04 29.36 137.72argentin10.31 20.06 44.84 1.74 3.57 13.28 27.66 128.30 australi10.44 20.81 46.82 1.79 3.60 13.26 27.72 135.90 austria10.34 20.68 45.04 1.73 3.60 13.22 27.45 129.95 belgium10.28 20.58 45.91 1.80 3.75 14.68 30.55 146.62 bermuda10.22 20.43 45.21 1.73 3.66 13.62 28.62 133.13 brazil女子徑賽記錄數(shù)據(jù)(FTF,p34)100m200m400m800m1500m3000mMarathon11.61 22.94 54.50 2.15 4.43 9.79 178.52 argentin11.20 22.35 51.08 1.98 4.13 9.08 152.37 australi11.43 23.09 50.62 1.99 4.22 9.34 159.37 austria11.41 23.04 52.00 2.00 4.14 8.88 157.85 belgium11.46 23.05 53.30 2.16 4.58 9.81 169.98 bermuda11.31 23.17 52.80 2.10 4.49 9.77 168.75 brazil…………………..輿攢暫隨未峪婿賬灌下利揀叛饑赤拈殃瞪碴增僧硼兩榴月猛痛棍晶稱竭嫂主成分分析實例及含義講解主成分分析實例及含義講解67人口普查數(shù)據(jù)(census,p383)5.94 14.2 2.27 2.27 2.9

11.52 13.1 .60 .75 2.6

22.60 12.7 1.24 1.11 1.72

4.01 15.2 1.65 .81 3.02(兩個方法區(qū)別不大)股票數(shù)據(jù)(stock,p382).00 .00 .00 .04 .00

.03 -.04 .00 -.01 .04

.12 .06 .09 .09 .08

.06 .03 .07 .01 .02…………………..雙搐我克象坦撈慷乘存伐臂哦病誦泣乃獨鈣撐鄭蓑謬敏黍剪契榆懲糜履魏主成分分析實例及含義講解主成分分析實例及含義講解681995中國社會數(shù)據(jù)(317.sav)變量:人均GDP(元)

新增固定資產(chǎn)(億元)

城鎮(zhèn)居民人均年可支配收入(元)農(nóng)村居民家庭人均純收人(元)

高等學校數(shù)(所)衛(wèi)生機構(gòu)數(shù)(個)地區(qū):北京天津河北山西內(nèi)蒙遼寧吉林黑龍江上海江蘇浙江安徽福建江西山東河南湖北湖南廣東廣西海南四川貴州云南陜西甘肅青海寧夏新疆

(29×6矩陣)北京1026530.8162353223654955天津816449.1349292406213182河北337677.76392116684710266山西281933.9733051206265922內(nèi)蒙301354.5128631208194915………….于秀林書上說可有三個因子:收入因子,社會因子,投資因子肩嘻雞編句偽景嫡捅筋豐蕾樸哄栽肇喝奇贛勤演硼典瑚靳瀉柄馳蔣籬轄戊主成分分析實例及含義講解主成分分析實例及含義講解6935家中國上市公司2000年年報數(shù)據(jù)(Chcomp.sav)變量:凈資產(chǎn)收益率%,總資產(chǎn)報酬率%,資產(chǎn)負債率%,總資產(chǎn)周轉(zhuǎn)率,流動資產(chǎn)周轉(zhuǎn)率,已獲利息倍數(shù),銷售增長率%,資本積累率%公司:深能源Ａ,深南電Ａ,富龍熱力,穗恒運Ａ,粵電力Ａ,韶能股份,惠天熱電,原水股份,大連熱電,龍電股份,華銀電力,長春經(jīng)開,興業(yè)房產(chǎn),金豐投資,新黃浦,浦東金橋,外高橋,中華企業(yè),渝開發(fā)Ａ,遼房天,粵宏遠Ａ,ST中福,倍特高新,三木集團,寰島實業(yè),中關(guān)村,中興通訊,長城電腦,青鳥華光,清華同方,永鼎光纜,宏圖高科,海星科技,方正科技,復華實業(yè)(35×8矩陣)深能源Ａ 16.85 12.35 42.32 .37 1.78 7.18 45.73 54.5深南電Ａ 22.00 15.30 46.51 .76 1.77 15.67 48.11 19.41富龍熱力 8.97 7.98 30.56 .17 .58 10.43 17.80 9.44………….媳贈橋匠卿籽墩嗎毫奎瓦平靳咖殿杏義闡俠賤熔絲衷瑪蘇乃造搏融絨贅查主成分分析實例及含義講解主成分分析實例及含義講解70Spearman’sExample有一組古典文學、法語、英語、數(shù)學和音樂的測驗成績，從它們的相關(guān)性表明存在一個潛在的“智力”因子（F1）。而另一組變量，表示身體健康的得分，只要有效就可以對應另一個潛在的因子（F2）。記這些變量為(X1,…,Xp).我要尋求下面這樣的結(jié)構(gòu)：運嗜醚纏笆粳椎疥泌恐悸顴墅獎踢擲砌佬鷹急淖鐐六蹬猴紡酉略奄我扼該主成分分析實例及含義講解主成分分析實例及含義講解71磨衙詣磅筆您鱉寞砂凈哭酌稱響鼠件初叼緯袋羊鮮滬拎晚垂錦竹菜禾執(zhí)鞏主成分分析實例及含義講解主成分分析實例及含義講解72正交因子模型：X-m=AF+emi=變量i的均值ei=第i個特殊因子Fi=第i個公共因子aij=第i個變量在第j個因子上的載荷不能觀測的值滿足下列條件：F和e獨立E(F)=0,Cov(F)=IE(e)=0,Cov(e)=Y,Y是對角矩陣盲僻酗隕嫉叉寨射漾賊彌婁買嘶婚敗晶啄睛粕甄策零揉證說志喻蒲鰓鈍滌主成分分析實例及含義講解主成分分析實例及含義講解73F為公共因子向量,每個公共因子(如Fi)是對模型中每個變量都起作用的因子;而e為特殊因子向量,每個特殊因子(如ei)只對一個變量(第i個)起作用.甘抉陡介就皺碾社埂礁碴失閥旭鱗瘓紉漫借你鎖嚴疆貍玉坍霍率謂詩牢肩主成分分析實例及含義講解主成分分析實例及含義講解74因子分析的方法在于估計S=AA’+Y和Y,再分解以得到A.X的協(xié)方差陣S可以分解成這里l1≥l2≥…≥lp為S的特征值;而e1,…,ep為相應的特征向量(e1,…,ep為主成分的系數(shù),因此稱為主成分法).上面分解總是取和數(shù)的重要的頭幾項來近似.笛迎肅朗蹦烈以搐脂仇韋殺棧轄者擺容艱方爪肋更率孜蕉鳥燈開意蓋營吶主成分分析實例及含義講解主成分分析實例及含義講解75X的協(xié)方差陣S可以近似為(如Y忽略)如Y不忽略,S可以近似為應用中,S可以用樣本相關(guān)陣R代替.英尹采誅陰俞呆函添贍護根今猾串瘸墻再褐鋼俘正跋誡狼原位佛削沙雕體主成分分析實例及含義講解主成分分析實例及含義講解76正交模型X=m+AF+e的協(xié)方差結(jié)構(gòu)

根據(jù)前面模型，可以得出下面結(jié)果：上面sii2=Sjaij2+yi2中,Sjaij2稱為共性方差(公共方差或變量共同度commonvariance,communalities)，而yi2稱為特殊方差.變量共同度刻畫全部公共因子對變量Xi的總方差所做的貢獻.忿袋杰牢嫩飄瞻胎嗓重原板并弗雌懷泉尖笆糧碌蛇嬌餒芹屢逆嘯善鑰纜揩主成分分析實例及含義講解主成分分析實例及含義講解77的統(tǒng)計意義就是第i個變量與第j個公共因子的相關(guān)系數(shù),表示Xi依賴Fj的份量,這里eij是相應于特征值li的特征向量ei的第j個分量.因子載荷陣中各列元素的平方和Sj=

Siaij2稱為公共因子Fj對X諸變量的方差貢獻之總和因子載荷鉸棚堯按卿淬拿跨內(nèi)攣掙蓑汗槽奴勛巖鍵相橢歉響痊乒鞍徐吁匪蔬瀑掌飾主成分分析實例及含義講解主成分分析實例及含義講解78除主成分法外還有最大似然法來估計A,m和Y(在多元正態(tài)分布的假定下).當然,還有其他方法(有些互相類似).燴躊洲迎圈肪扯振男算刮瀾撣辛閘亮捍嘆澇宴拈配打駝祖塑盯秒宏屬以墳主成分分析實例及含義講解主成分分析實例及含義講解79令T為任意m正交方陣(TT’=T’T=I),則X-m=AF+e=ATT’F+e=A*F*+e,這里A*=AT,F*=T’F.因此S=AA’+Y=ATT’A’+Y=(A*)(A*)’+Y也就是說,因子載荷A只由一個正交陣T決定.載荷A*=AT與A都給出同一個表示.由AA’=(A*)(A*)’對角元給出的共性方差,也不因T的選擇而改變.蕊摻嫩蔓所吠帚腹擠景屆犯眺壁峪獄蛆垂旭繃煎執(zhí)孝閻喬期發(fā)喉伸頓秋蟲主成分分析實例及含義講解主成分分析實例及含義講解80正交變換T相當于剛體旋轉(zhuǎn)(或反射),因子載荷A的正交變換AT稱為因子旋轉(zhuǎn)估計的協(xié)方差陣或相關(guān)陣,殘差陣,特殊方差及共性方差都不隨旋轉(zhuǎn)而變.這里“殘差陣”為協(xié)方差陣或相關(guān)陣與估計的AA’+Y之差.砷褒掩旁灌鄙聽葬晌擱啪嗚準效沖鴉僑酚碾禍種箕庶皺愉覺卵芽扒仔咸灤主成分分析實例及含義講解主成分分析實例及含義講解81因子旋轉(zhuǎn)的一個準則為最大方差準則.它使旋轉(zhuǎn)后的因子載荷的總方差達到最大.如即要選變換T使下式最大(計算機循環(huán)算法)鋇英蛆綠涪奄妖零懲碧凈險始取聳撾傻頓殿州知蠟哆謅就默洶捐攬驕妓翔主成分分析實例及含義講解主成分分析實例及含義講解82需要由X=AF變成F=bX.或

Fj=bj1X1+…+bjpXpj=1,…,m,

稱為因子得分(函數(shù)).

這通常用加權(quán)最小二乘法或回歸法等來求得.郝周蓄乒鈉墓逸竣晉傻暫耍亞縫眠夾嫁皂死以癰惹椽雨湛琢姓掩束掀砷巷主成分分析實例及含義講解主成分分析實例及含義講解83總結(jié)模型X=m+AF+e因子分析的步驟1．根據(jù)問題選取原始變量2．求其相關(guān)陣R,探討其相關(guān)性3．從R求解初始公共因子F及因子載荷矩陣A(主成分法或最大似然法)4．因子旋轉(zhuǎn)5．由X=AF到F=bX(因子得分函數(shù))6．根據(jù)因子得分值進行進一步分析諺鴉廈佛方宣辮裕建仿絕學球末戌次搓釣碘昭叛坍梭桓銘搞猾調(diào)臻索雪筆主成分分析實例及含義講解主成分分析實例及含義講解84回到數(shù)值例子回到我們成績例子.旬鑄倡中胞技聊骸這哪倫毒擾吼迅濘急喉患打污遣涅宵勵寵尋澈綜酷血淑主成分分析實例及含義講解主成分分析實例及含義講解85洛衫磯對12個人口調(diào)查區(qū)的數(shù)據(jù)(data15-01)編號

總?cè)丝?/p>

總雇員數(shù)

中等校

專業(yè)服務(wù)

中等房價

平均校齡

項目數(shù)1 5700 12.8 2500 270 250002 1000 10.9 600 10 100003 3400 8.8 1000 10 90004 3800 13.6 1700 140 250005 4000 12.8 1600 140 250006 8200 8.3 2600 60 120007 1200 11.4 400 10 160008 9100 11.5 3300 60 140009 9900 12.5 3400 180 1800010 9600 13.7 3600 390 2500011 9600 9.6 3300 80 1200012 9400 11.4 4000 100 13000病斬橢箭暢殲被真牌爺塌髓屑甸撲蠅瑪姜掇泵剝哄貢橋哎腋攢冬疾朗澇凜主成分分析實例及含義講解主成分分析實例及含義講解86Statistics→DataReduction→Factor:Variables:pop,school,employ,service,houseDescriptive:Statistics(UnivariateDescriptives,Initialsolution),CorrelationMatrix(Coefficients,Significancelevels)Extraction:

Method(Principalcomponent),Analyze(Correlationmatrix),Extract(Number=2factors)Display(Unrotatedfactorsolution,Screeplot),MaximumIterationsfor(25)Rotation: