《主成分分析實驗》ppt課件

1、主成分分析principal component analysis 主成分的定義-綜合目的的尋求 w首先，將各變量規(guī)范化。 w 對規(guī)范化變換后的變量xi，按以下步驟尋求一個又一個綜合目的：w (1) 尋求綜合目的C1 ：w C1=a11x1+a12x2+ +a1pxp，且使 Var(C1)最大，那么稱C1為第一主成分；w 2尋求綜合目的C2 ：w C2=a21x1+a22x2+a2pxp， (a21，a22，a2p)垂直于(a11，a12，a1p)，且使Var(C2)最大。 w 按以上原那么繼續(xù)尋求綜合目的。主成分的性質(zhì)w主成分間互不相關(guān)：w Corr(Ci，Cj)=0 w組合系數(shù)(ai1，a

2、i2，aip)構(gòu)成的向量為單位向量：w各主成分的方差是依次遞減的：w Var(C1)Var(C2)Var(Cp) w總方差不增不減：w Var(C1)+Var(C2)+ +Var(Cp)w =Var(x1)+Var(x2)+ +Var(xp)w =pw 主成分是原變量的線性組合，是對原變量信息的一種改組，主成分不添加總信息量，也不減少總信息量。122221ipiiaaaw 計算X1，X2，Xp的相關(guān)矩陣R;w求矩陣R的全部特征值，由大到小依次記為1，2， i ，p;w求相應(yīng)于特征值i的特征向量(ai1,ai2,aip)。主成分分析的實踐計算步驟第i主成分的方差 PROC PRINCOMP過程過

3、程PROC PRINCOMP ； 1 OUT=SAS-data-setSAS數(shù)據(jù)集數(shù)據(jù)集 -規(guī)定一個包含原始數(shù)據(jù)以及主成分的輸出數(shù)據(jù)集。規(guī)定一個包含原始數(shù)據(jù)以及主成分的輸出數(shù)據(jù)集。 2OUTSTAT=SAS-data-setSAS數(shù)據(jù)集數(shù)據(jù)集 -生成一個包含均值，規(guī)范差，觀測個數(shù)，相關(guān)陣或協(xié)差陣，生成一個包含均值，規(guī)范差，觀測個數(shù)，相關(guān)陣或協(xié)差陣，特征值和特征向量的輸出特征值和特征向量的輸出SAS數(shù)據(jù)集。數(shù)據(jù)集。3N=number個數(shù)個數(shù) -規(guī)定被計算的主分量個數(shù)。的值必需是大于等于零的整數(shù)。規(guī)定被計算的主分量個數(shù)。的值必需是大于等于零的整數(shù)。 4PREFIX=name名字名字 -規(guī)定主分量名

4、字的前綴。缺省時的名字為規(guī)定主分量名字的前綴。缺省時的名字為PRIN1，PRIN2，PRINn。假設(shè)。假設(shè)PREFIX=C，那么主分量名字為，那么主分量名字為C1，C2，C3等。等。兩兩之間具有不同程度的相關(guān)性 data aa;input id x1 x2 x3 x4 x5 x6;cards;1 173.2893.62 60.10 86.72 38.97 27.512 172.0992.83 60.38 87.39 38.62 27.823 171.4692.78 59.74 85.59 38.83 27.464 170.0892.25 58.04 85.92 38.33 27.295 170

5、.6192.36 59.67 87.46 38.38 27.146 171.6992.85 59.44 87.45 38.19 27.107 171.4692.93 58.70 87.06 38.58 27.368 171.6093.28 59.75 88.03 38.68 27.229 171.6092.26 60.50 87.63 38.79 26.6310 171.1692.62 58.72 87.1138.19 27.1811 170.0492.17 56.95 88.08 38.24 27.6512 170.2791.94 56.00 84.52 37.16 26.8113 170.

6、6192.50 57.34 85.61 38.52 27.36 14 171.3992.44 58.92 85.37 38.83 26.4715 171.8392.79 56.85 85.35 38.58 27.0316 171.3692.53 58.39 87.09 38.23 27.0417 171.2492.61 57.69 83.98 39.04 27.0718 170.4992.03 57.56 87.18 38.54 27.5719 169.4391.67 57.22 83.87 38.41 26.6020 168.5791.40 55.96 83.02 38.74 26.9721

7、 170.4392.38 57.87 84.87 38.78 27.3722 169.8891.89 56.87 86.34 38.37 27.1923 167.9490.91 55.97 86.77 38.17 27.1624 168.8291.30 56.07 85.87 37.61 26.6725 168.0291.26 55.28 85.63 39.66 28.0726 167.8790.96 55.79 84.92 38.20 26.5327 168.1591.50 54.56 84.81 38.44 27.3828 168.9991.52 55.1186.23 38.30 27.1

8、4;proc princomp;var x1-x6;run;proc princomp out=bb prefix=C;var x1-x6;run;某小學(xué)10名男學(xué)生六個工程的智力丈量計分表 受試者常識算術(shù)了解填圖積木譯碼合計編 號X1X2X3X4X5X61141328142239130210141514343512231112191324391184 7 7 7 92023 735131224122638125619142216233713172016262138691908 91014 931461199 9 81513144610510 9 912102346109作業(yè)要求：計算相關(guān)矩陣

9、、特征值并寫出各主成分的表達(dá)式。例18-3 陳峰(1991)報告了主成分回歸的一個實例。有22例胎兒受精齡(Y,周)與胎兒外形丈量目的: 身長(X1,cm)，頭圍(X2,cm)，體重(X3,g)的數(shù)據(jù)如表25.5所示(引自中國衛(wèi)生統(tǒng)計,1991,8(1)。試求由X1，X2，X3推算Y的回歸方程。 data aa;input no x1 x2 x3 y;cards;1 13.09.250.013.02 18.713.2102.0 14.03 21.014.8150.0 15.04 19.013.3110.0 16.05 22.816.0200.0 17.06 26.018.2330.0 18.0

10、7 28.019.7450.0 19.08 31.422.5450.0 20.09 30.321.4550.0 21.01029.220.5640.0 22.01136.225.2800.0 23.01237.026.11090.024.01337.927.21140.025.01441.630.01500.026.01538.227.11180.027.01639.427.41320.028.01739.227.61400.029.01842.029.41600.030.01943.030.01600.031.02041.127.21400.033.02143.031.02050.035.0

11、2249.034.82500.036.0;線性回歸和線性相關(guān)分析proc reg;model y=x1-x3;run;proc corr ;var x1 x2 x3;run;主成分回歸分析proc princomp out=bb prefix=C;var x1-x3;run;proc reg ;model y=C1-C2;run;C1=a11x1+a12x2+a13x3 =0.58057x1+0.58107x2+0.57034x3C2=a21x1+a22x2+ a23x3 =-0.41852x1-0.38789x2+ 0.82121x39.71016833.0454911Xx6.8574982

12、3.2636422Xx690.3048936.909133Xx3210.00689X0.15366X0.09854X10.43671Y主成分回歸 這里C1，C2的累計奉獻(xiàn)達(dá)99.92，即我們利用了原資料的99.92的信息，在丟掉0.08的信息后，所得方程更符合實踐情況。如只取一個主成分與y作回歸，亦能得到合理的解釋。當(dāng)取全部主成分與y作回歸，所得方程與用原變量與y作回歸所得方程一樣。作業(yè)：2. 鄭俊池和王國立(1994)發(fā)表了一份30名嬰幼兒身高X1(cm)、體重X2(kg)、 體外表積Y(cm2)的資料，現(xiàn)僅轉(zhuǎn)錄其中15例男性嬰幼兒的資料如表25.14所示(摘自中國衛(wèi)生統(tǒng)計，1994，11(

13、3)。PROC PRINCOMPOUT=SAS-data-setSAS數(shù)據(jù)集數(shù)據(jù)集 規(guī)定一個包含原始數(shù)據(jù)以及主分量得分的輸規(guī)定一個包含原始數(shù)據(jù)以及主分量得分的輸出數(shù)據(jù)集。假設(shè)用戶想創(chuàng)建永久的出數(shù)據(jù)集。假設(shè)用戶想創(chuàng)建永久的SAS數(shù)據(jù)數(shù)據(jù)集，他必需規(guī)定兩級名字。集，他必需規(guī)定兩級名字。2 OUTSTAT=SAS-data-setSAS數(shù)據(jù)集生成數(shù)據(jù)集生成一個包含均值，規(guī)范差，觀測個數(shù)，相關(guān)陣一個包含均值，規(guī)范差，觀測個數(shù)，相關(guān)陣或協(xié)差陣，特征值和特征向量的輸出或協(xié)差陣，特征值和特征向量的輸出SAS數(shù)數(shù)據(jù)集據(jù)集 COVARIANCE/COVCOVARIANCE/COV要求從協(xié)差陣出發(fā)計算主分量要求從

14、協(xié)差陣出發(fā)計算主分量 N=numberN=number個數(shù)個數(shù)規(guī)定被計算的主分量個數(shù)規(guī)定被計算的主分量個數(shù) 5 PREFIX=name5 PREFIX=name名字名字規(guī)定主分量名字的前規(guī)定主分量名字的前綴。缺省時的名字為綴。缺省時的名字為PRIN1PRIN1，PRIN2PRIN2，PRINnPRINn。假設(shè)。假設(shè)規(guī)定規(guī)定PREFIX=ABCPREFIX=ABC，那么主分量名字為，那么主分量名字為ABC1ABC1，ABC2ABC2，ABC3ABC3等等。前綴的字符個數(shù)加上數(shù)字的位數(shù)不能超等等。前綴的字符個數(shù)加上數(shù)字的位數(shù)不能超越個。越個。 6 STANDARD/STD6 STANDARD/STD要求在要求在OUT=OUT=的數(shù)據(jù)集里把主分的數(shù)據(jù)集里把主分量得分規(guī)范化為單位方差。假設(shè)沒有規(guī)定此項選擇，量得分規(guī)范化為單位方差。假