多元統(tǒng)計(jì)分析主成分分析法演示

（優(yōu)選）多元統(tǒng)計(jì)分析主成分分析法目前一頁\總數(shù)五十八頁\編于十三點(diǎn)思考1反映地區(qū)社會(huì)經(jīng)濟(jì)發(fā)展的指標(biāo)體系

X1：國內(nèi)生產(chǎn)總值（GDP）X2：人均GDPX3：第三產(chǎn)業(yè)產(chǎn)值占GDP比重X4：人均出口額

X5：工業(yè)企業(yè)勞動(dòng)生產(chǎn)率X6：人均社會(huì)消費(fèi)品零售額

X7：每萬人擁有衛(wèi)生技術(shù)人員數(shù)X8：每萬人高等學(xué)校在校生數(shù)

X9：教育經(jīng)費(fèi)投入占GDP比重X10：人均貨運(yùn)總量

X11：人均郵電業(yè)務(wù)總量X12：每萬人電話機(jī)裝機(jī)數(shù)

X13：人均固定資產(chǎn)投資X14：人均實(shí)際利用外資

X15：地方財(cái)政收入占GDP比重X16：每萬人科研機(jī)構(gòu)數(shù)

X17：科研經(jīng)費(fèi)占GDP比重

分析全國31個(gè)地區(qū)的社會(huì)經(jīng)濟(jì)發(fā)展水平。目前二頁\總數(shù)五十八頁\編于十三點(diǎn)

為了對(duì)常用的100種食品的生產(chǎn)進(jìn)行經(jīng)營決策，需要就消費(fèi)者對(duì)食品的嗜好程度進(jìn)行調(diào)查。要求每個(gè)消費(fèi)者對(duì)食品進(jìn)行評(píng)價(jià)，按對(duì)食品的喜好程度評(píng)分，最受歡迎的給予最高分9分，最不受歡迎的給予最低分1分。思考2目前三頁\總數(shù)五十八頁\編于十三點(diǎn)

為了較好地滿足市場的需要，服裝生產(chǎn)廠要了解所生產(chǎn)的一種服裝究竟設(shè)計(jì)幾種型號(hào)合適？這些型號(hào)的服裝應(yīng)按怎樣的比例分配生產(chǎn)計(jì)劃才能達(dá)到較好的經(jīng)濟(jì)效益？

思考3——服裝的定型分類問題目前四頁\總數(shù)五十八頁\編于十三點(diǎn)大綱1.基本思想2.定義3.主成分的性質(zhì)、計(jì)算等4.案例5.主成分回歸目前五頁\總數(shù)五十八頁\編于十三點(diǎn)E.g.Hotelling(1939)用兩個(gè)主成分反映入學(xué)考試成績：

文科能力

數(shù)理能力預(yù)備知識(shí)：方差為零的變量不能區(qū)分總體中的個(gè)體成員；可以用一個(gè)變量的方差來度量其所傳遞的信息量。目前六頁\總數(shù)五十八頁\編于十三點(diǎn)主成分分析的基本概念

一個(gè)假設(shè)的例子：N=100均數(shù)101.6350.71方差109.6355.40標(biāo)準(zhǔn)差10.477.44

的均數(shù)=0

的均數(shù)=0目前七頁\總數(shù)五十八頁\編于十三點(diǎn)x2X1預(yù)備知識(shí)：向量

等方向都是同一個(gè)方向ab2a2b目前八頁\總數(shù)五十八頁\編于十三點(diǎn)(1)創(chuàng)建

使得

盡可能大，即尋找一個(gè)方向，使得所有點(diǎn)在此方向上的投影的方差盡可能大目前九頁\總數(shù)五十八頁\編于十三點(diǎn)（2）創(chuàng)建

使得

與

不相關(guān)

盡可能大。即尋找另一個(gè)方向垂直于所有點(diǎn)在

上的投影方差最大。目前十頁\總數(shù)五十八頁\編于十三點(diǎn)?????????????????????????????????????目前十一頁\總數(shù)五十八頁\編于十三點(diǎn)

例1985年中國人口普查資料：各省漢族青年（19-22歲）形態(tài)學(xué)指標(biāo)的平均值。

目前十二頁\總數(shù)五十八頁\編于十三點(diǎn)如何綜合多個(gè)隨機(jī)變量？

我們想要一個(gè)或幾個(gè)綜合變量，概括6個(gè)形態(tài)指標(biāo)的大部分信息.

注意：若某指標(biāo)在人群中方差較大，它就是一個(gè)好的指標(biāo)。目前十三頁\總數(shù)五十八頁\編于十三點(diǎn)尋找綜合變量

標(biāo)準(zhǔn)化(1)找第1個(gè)最佳的綜合變量

找適宜的系數(shù)

，使得與其他線性組合相比，有最大的方差

最大我們關(guān)心的是

之間的比值故限定目前十四頁\總數(shù)五十八頁\編于十三點(diǎn)(2)找第2個(gè)最佳的綜合變量

找適宜的

使得

最大

限定(3)找第3個(gè)最佳的綜合變量

最大

限定原有6個(gè)變量，最多可找到6個(gè)獨(dú)立的綜合變量目前十五頁\總數(shù)五十八頁\編于十三點(diǎn)主成分的一般定義

一般地,樣本均數(shù)樣本標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化(1)在所有線性組合中，限定使得

最大的便是第1主成分。目前十六頁\總數(shù)五十八頁\編于十三點(diǎn)(2)在所有線性組合

中，限定使得

最大的便是第2主成分.………………

類似地，我們可以定義第3，第4，直到第p個(gè)主成分。

目前十七頁\總數(shù)五十八頁\編于十三點(diǎn)主成分的性質(zhì)(1)主成分之間不相關(guān)Corr(Ci，Cj)=0(2)系數(shù)(ai1，ai2，…，aip)是單位向量ai12+ai22+…+aip2=1(3)方差遞降Var(C1)≥Var(C2)≥…≥Var(Cp)(4)主成分的方差之和等于原變量的方差之和信息總量不增不減Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p目前十八頁\總數(shù)五十八頁\編于十三點(diǎn)主成分的計(jì)算和解釋

(1)計(jì)算

的相關(guān)矩陣(2)計(jì)算R的特征根（特征值）即求解方程目前十九頁\總數(shù)五十八頁\編于十三點(diǎn)（3）計(jì)算特征向量

即求解方程

…得到目前二十頁\總數(shù)五十八頁\編于十三點(diǎn)

表1例1的相關(guān)矩陣

只有前幾個(gè)才是名副其實(shí)的“主成分”表2例1的相關(guān)矩陣的主成分

目前二十一頁\總數(shù)五十八頁\編于十三點(diǎn)表4例1的特征向量目前二十二頁\總數(shù)五十八頁\編于十三點(diǎn)主成分的個(gè)數(shù)

實(shí)踐中，（1）粗略地決定欲保留的方差百分比；

——僅保留前幾個(gè)主成分或（2）若某個(gè)主成分的方差大于1，就保留它

——因?yàn)樵兞康姆讲疃际?究竟保留幾個(gè)？

——取決于課題本身的需要目前二十三頁\總數(shù)五十八頁\編于十三點(diǎn)碎石圖目前二十四頁\總數(shù)五十八頁\編于十三點(diǎn)主成分與原變量的相關(guān)性

和

的關(guān)系：………………:主要反映身體的大??；

身高、坐高、體重、胸圍:反映寬度

肩寬和骨盆寬度總之，（1）主成分有助于綜合多個(gè)變量(2)主成分的意義有時(shí)不易解釋目前二十五頁\總數(shù)五十八頁\編于十三點(diǎn)例：抑郁癥問卷的綜合得分

表1標(biāo)準(zhǔn)CESD問卷的主成分（抑郁癥數(shù)據(jù)）

目前二十六頁\總數(shù)五十八頁\編于十三點(diǎn)C1:多數(shù)條目的加權(quán)和C2:反映懶散和精力狀況C3:有關(guān)“別人怎樣看待自己”的感覺目前二十七頁\總數(shù)五十八頁\編于十三點(diǎn)例2關(guān)于下顎6個(gè)前齒的結(jié)石

1.右犬齒2.右、側(cè)門牙3.右、中門牙4.左、側(cè)門牙5.左、中門牙6.左犬齒目前二十八頁\總數(shù)五十八頁\編于十三點(diǎn)PC1：加權(quán)和，總的結(jié)石狀況PC2：門牙與犬齒比較PC3：左右比較目前二十九頁\總數(shù)五十八頁\編于十三點(diǎn)主成分分析的應(yīng)用綜合評(píng)價(jià)市場研究定型分類問題目前三十頁\總數(shù)五十八頁\編于十三點(diǎn)反映地區(qū)社會(huì)經(jīng)濟(jì)發(fā)展的指標(biāo)體系

X1：國內(nèi)生產(chǎn)總值（GDP）X2：人均GDPX3：第三產(chǎn)業(yè)產(chǎn)值占GDP比重X4：人均出口額

X5：工業(yè)企業(yè)勞動(dòng)生產(chǎn)率X6：人均社會(huì)消費(fèi)品零售額

X7：每萬人擁有衛(wèi)生技術(shù)人員數(shù)X8：每萬人高等學(xué)校在校生數(shù)

X9：教育經(jīng)費(fèi)投入占GDP比重X10：人均貨運(yùn)總量

X11：人均郵電業(yè)務(wù)總量X12：每萬人電話機(jī)裝機(jī)數(shù)

X13：人均固定資產(chǎn)投資X14：人均實(shí)際利用外資

X15：地方財(cái)政收入占GDP比重X16：每萬人科研機(jī)構(gòu)數(shù)

X17：科研經(jīng)費(fèi)占GDP比重

對(duì)全國31個(gè)地區(qū)上述17項(xiàng)指標(biāo)的數(shù)據(jù)進(jìn)行主成分分析，應(yīng)用SAS軟件進(jìn)行處理。例1、主成分分析用于綜合評(píng)價(jià)目前三十一頁\總數(shù)五十八頁\編于十三點(diǎn)1、

求相關(guān)系數(shù)矩陣R2、

計(jì)算R的特征值主成分Y1Y2Y3Y4特征根貢獻(xiàn)率（%）累計(jì)貢獻(xiàn)率11.113465.3765.372.665615.6881.050.91265.3786.420.70524.1590.57目前三十二頁\總數(shù)五十八頁\編于十三點(diǎn)3、

求特征根所對(duì)應(yīng)的單位特征向量0.5132250.203116-0.1828580.1936180.2172900.113642-0.164527-0.114637-0.509240-0.0258320.0834710.1325920.1054020.199407-0.181330-0.261367-0.2957560.0384660.2760200.2436540.2634870.1805460.2908340.2598420.2805230.0942330.2159460.2920160.2882680.2820160.2590060.2167930.2599620.212293X1X2

X3X4X5X6X7X8X9X10X11X12X13X14X15X16X17Y2Y1特征向量目前三十三頁\總數(shù)五十八頁\編于十三點(diǎn)第一主成分名次地區(qū)Y1得分Y2得分123456789101112131415北京上海天津廣東遼寧福建浙江江蘇海南新疆吉林黑龍江山西寧夏云南11.725710.17765.12352.74221.13250.55860.27180.18170.0795-0.3075-0.4873-0.6307-0.7467-0.7791-0.8203-3.943962.435050.125513.349070.619421.902482.315762.53147-0.79528-1.07448-1.094130.61915-1.13709-1.92281-0.483134、主成分的表達(dá)式及其含義解釋5、計(jì)算主成分得分目前三十四頁\總數(shù)五十八頁\編于十三點(diǎn)第一主成分名次地區(qū)Y1得分Y2得分16171819202122232425262728293031陜西山東青海湖北內(nèi)蒙古河北甘肅重慶湖南西藏廣西四川江西河南安徽貴州-0.9116-1.0207-1.1131-1.1943-1.2295-1.4456-1.8358-1.8603-1.8806-1.9085-1.9098-2.1979-2.3049-2.3383-2.4358-2.6347-2.064812.32993-1.471450.66326-0.871811.25757-1.40987-0.364390.04577-2.04139-0.420780.331260.076600.869090.45974-0.83575目前三十五頁\總數(shù)五十八頁\編于十三點(diǎn)目前三十六頁\總數(shù)五十八頁\編于十三點(diǎn)

為了對(duì)常用的100種食品的生產(chǎn)進(jìn)行經(jīng)營決策，需要就消費(fèi)者對(duì)食品的嗜好程度進(jìn)行調(diào)查。對(duì)785名消費(fèi)者進(jìn)行調(diào)查，要求每個(gè)消費(fèi)者對(duì)100種食品進(jìn)行評(píng)價(jià)，按對(duì)食品的喜好程度評(píng)分，最受歡迎的給予最高分9分，最不受歡迎的給予最低分1分。例2市場研究中的應(yīng)用目前三十七頁\總數(shù)五十八頁\編于十三點(diǎn)將被調(diào)查者按性別與年齡分成10組假若你是該食品加工業(yè)決策部門的高級(jí)顧問，為了對(duì)食品生產(chǎn)作出合理決策，請(qǐng)你對(duì)調(diào)查資料進(jìn)行分析，為決策者提供建議。目前三十八頁\總數(shù)五十八頁\編于十三點(diǎn)

以組為單位，在每組中每個(gè)成員都對(duì)100種食品給予評(píng)分，然后計(jì)算每組成員對(duì)每種食品評(píng)分的平均值。食品組號(hào)12345678910123..1007.85.43.93.53.08.16.05.43.81.62.84.44.03.56.27.27.57.0.........3.12.83.33.02.53.93.53.02.82.59.03.01——5組表示男性，6——10組表示女性1——5，6——10年齡從小到大排序目前三十九頁\總數(shù)五十八頁\編于十三點(diǎn)特征向量y1y2y3X1X2X3X4X5X6X7X8X9X100.2860.3310.3230.2990.2610.3090.3440.3480.3460.3030.4430.235-0.172-0.364-0.5090.4090.2560.036-0.164-0.2670.1940.3360.4420.3750.123-0.034-0.171-0.290-0.322-0.522特征根方差貢獻(xiàn)率累計(jì)方差貢獻(xiàn)率6.82668.26%68.26%1.76917.69%85.95%0.757.5%93.45%目前四十頁\總數(shù)五十八頁\編于十三點(diǎn)y1反映了公共平均嗜好程度，y1得分越大，表示大眾越喜歡吃此食品。y2反映了年齡的作用。y2得分為正時(shí)，表示孩子喜歡吃;y2得分為負(fù)時(shí)，表示孩子不喜歡吃。y3反映性別的作用。y3得分為正時(shí)，表示男性喜歡吃;y3得分為負(fù)時(shí)，表示女性喜歡吃。主成分的含義目前四十一頁\總數(shù)五十八頁\編于十三點(diǎn)用得分來表示食品嗜好程度可有七成把握。在充分注意到人們普遍的嗜好程度基礎(chǔ)上，進(jìn)一步考慮到青少年和老年人的嗜好程度，對(duì)食品業(yè)的開發(fā)方針作出決策時(shí)，將有85%的把握。目前四十二頁\總數(shù)五十八頁\編于十三點(diǎn)

特別喜歡吃的

醋拌生魚片、冰激棱

一般喜歡

男性喜歡

女性喜歡孩子成人咖喱飯雞蛋燴飯、炸豬排炸肉餅、火腿面包酸湯、大頭魚

一般不喜歡孩子成人干咖喱、濃湯煮牛肉、生蛋餅干、帶餡面包醬面條、燒魚

特別不喜歡

菜粥、清湯目前四十三頁\總數(shù)五十八頁\編于十三點(diǎn)

為了較好地滿足市場的需要，服裝生產(chǎn)廠要了解所生產(chǎn)的一種服裝究竟設(shè)計(jì)幾種型號(hào)合適？這些型號(hào)的服裝應(yīng)按怎樣的比例分配生產(chǎn)計(jì)劃才能達(dá)到較好的經(jīng)濟(jì)效益？

例3服裝的定型分類問題目前四十四頁\總數(shù)五十八頁\編于十三點(diǎn)X1：身長X2：坐高X3：胸圍X4：頭高X5：褲長X6：下襠X7：手長X8：領(lǐng)圍X9：前胸X10：后背X11：肩厚X12：肩寬X13：袖長X14：肋圍X15：腰圍X16：腿肚

對(duì)128名成年男子按16項(xiàng)指標(biāo)進(jìn)行測量。目前四十五頁\總數(shù)五十八頁\編于十三點(diǎn)特征值貢獻(xiàn)率累計(jì)貢獻(xiàn)率7.032.611.630.840.770.640.580.460.360.310.240.220.170.140.070.0444%16%10%6%5%4%3%3%2%2%2%1%1%

1%0044%60%70%76%81%85%88%91%93%95%97%98%99%100%目前四十六頁\總數(shù)五十八頁\編于十三點(diǎn)特征向量y1y2y3X1身長X2坐高X3

胸圍X4頭高X5褲長X6下襠X7手長X8領(lǐng)圍X9前胸X10后背X11肩厚X12肩寬X13袖長X14肋圍X15腰圍X16腿肚0.340.270.230.340.330.290.290.190.090.150.100.240.320.180.270.160.200.14-0.330.180.200.270.19-0.370.07-0.17-0.35-0.020.11-0.37-0.27-0.360.01-0.060.140.030.03-0.030.02-0.150.63-0.53-0.20-0.31-0.020.250.140.24目前四十七頁\總數(shù)五十八頁\編于十三點(diǎn)y1是刻畫尺寸大小的因子。y2反映人的胖瘦情況，是一個(gè)體形因子。反映“長”的尺寸前面的系數(shù)為正;反映“圍”的尺寸前的系數(shù)為負(fù)。y3系數(shù)多數(shù)取值很小，接近于0。只有三個(gè)系數(shù)絕對(duì)值較大。

y3是反映特殊體形的因子，區(qū)分有無畸形。目前四十八頁\總數(shù)五十八頁\編于十三點(diǎn)

區(qū)分有幾種型號(hào)（分類）各種型號(hào)的生產(chǎn)量（比例）要解決的問題：目前四十九頁\總數(shù)五十八頁\編于十三點(diǎn)主成分回歸

數(shù)據(jù)分析過程中的一個(gè)工具

可應(yīng)用于下列分析的中間過程：多重回歸判別分析因子分析

聚類分析…目前五十頁\總數(shù)五十八頁\編于十三點(diǎn)回歸中的共線性

當(dāng)自變量高度相關(guān)時(shí)，