高級(jí)統(tǒng)計(jì)_多元回歸

1、1多元回歸多元回歸21. 回歸模型的擬合度3簡(jiǎn)單回歸從散點(diǎn)圖開始有助我們對(duì)變量間的關(guān)系有從散點(diǎn)圖開始有助我們對(duì)變量間的關(guān)系有一個(gè)形象化的了解。一個(gè)形象化的了解。如何對(duì)變量間的關(guān)系進(jìn)行更準(zhǔn)確的描述？如何對(duì)變量間的關(guān)系進(jìn)行更準(zhǔn)確的描述？ 線性回歸線性回歸畫出回歸線畫出回歸線哪條直線是最優(yōu)擬合？哪條直線是最優(yōu)擬合？回歸線回歸線0 02 24 46 68 81 10 00 01 12 23 34 45 56 6M Me ea an n C Co om mm mo on na al li it ti ie es sM M e e a a n n A A l l i i g g n n a a b b l

2、 l e e D D i i f f f f e e r r e e n n c c e e s s擬合的程度怎樣？5殘差殘差0 02 24 46 68 810100 01 12 23 34 45 56 6Mean CommonalitiesMean CommonalitiesMean Alignable DifferencesMean Alignable Differences從點(diǎn)到線的離差可代表擬合的程度（殘差）（殘差）Residuals6作回歸線作回歸線使離差的平方和為最小 離差 = y 觀測(cè)值- y 預(yù)測(cè)值叫做 Least-squares regression回歸方程y = a + b

3、xIGRAPH /VIEWNAME=Scatterplot /X1 = VAR(salbegin) TYPE = SCALE /Y = VAR (salary) TYPE = SCALE /COORDINATE = VERTICAL /FITLINE METHOD = REGRESSION LINEAR LINE = TOTALy好的模型0 02 24 46 68 810100 02 24 46 68 81010Mean SimilarityMean SimilarityMean CommonalitiesMean Commonalities殘差很小R2=0.89一般的模型0 02 24 46

4、 68 810100 01 12 23 34 45 56 6Mean SimilarityMean SimilarityMean Alignable DifferencesMean Alignable DifferencesR2=0.35殘差較大差的模型0 02 24 46 68 810100 01 12 23 34 45 56 6Mean SimilarityMean SimilarityMean Nonalignable DifferencesMean Nonalignable DifferencesR2=0.002這里的直線基本不能描述數(shù)據(jù)102. 2. 多元回歸的方法（多元回歸的方法（

5、methodmethod）11多元回歸的方法（多元回歸的方法（methodmethod）方法間的區(qū)別在于如何處理相關(guān)的自變量方法間的區(qū)別在于如何處理相關(guān)的自變量重疊部分的方差，即用何原則確定變量進(jìn)重疊部分的方差，即用何原則確定變量進(jìn)入方程的次序入方程的次序標(biāo)準(zhǔn)回歸或同時(shí)回歸：標(biāo)準(zhǔn)回歸或同時(shí)回歸：Enter逐步回歸：逐步回歸：Stepwise層次回歸：層次回歸：hierarchical 12標(biāo)準(zhǔn)回歸標(biāo)準(zhǔn)回歸亦稱同時(shí)回歸（亦稱同時(shí)回歸（simultaneous） 重疊部分對(duì)重疊部分對(duì)R2有貢獻(xiàn)，但不分配到任何有貢獻(xiàn)，但不分配到任何一個(gè)自變量中一個(gè)自變量中與其他自變量重疊區(qū)域大的自變量的相與其他自變

6、量重疊區(qū)域大的自變量的相對(duì)重要性可能被忽視對(duì)重要性可能被忽視13逐步回歸：逐步回歸：StepwiseStepwise在分析的每一階段，與因變量有最大偏相關(guān)的在分析的每一階段，與因變量有最大偏相關(guān)的自變量被加在模型上。自變量被加在模型上。 變式變式ForwardBackwardremove擬合度最優(yōu)，用于探索性回歸擬合度最優(yōu)，用于探索性回歸最好最好 n 20 IV慎推廣，須交互驗(yàn)證慎推廣，須交互驗(yàn)證 14層次回歸：層次回歸：hierarchical hierarchical 研究者根據(jù)理論假設(shè)確定次序，定研究者根據(jù)理論假設(shè)確定次序，定義義block因果順序在前的，先進(jìn)入方程因果順序在前的，先進(jìn)入

7、方程欲考察的重要變量或者放在前，或欲考察的重要變量或者放在前，或放在最后放在最后應(yīng)選擇應(yīng)選擇 statistics R square change153. 3. 多元回歸的數(shù)據(jù)要求多元回歸的數(shù)據(jù)要求16多元回歸的數(shù)據(jù)要求多元回歸的數(shù)據(jù)要求 （1 1）因變量應(yīng)為等距因變量應(yīng)為等距/等比型變量。等比型變量。 在實(shí)際操作中，如果有足在實(shí)際操作中，如果有足夠的水平，順序型變量也可。如果因變量夠的水平，順序型變量也可。如果因變量 是命名型，則須是命名型，則須用判別分析或用判別分析或 logistic regression。 自變量應(yīng)為等距自變量應(yīng)為等距/等比型變量。在實(shí)際操作中，順序型變量等比型變量。在

8、實(shí)際操作中，順序型變量也可。命名型若為也可。命名型若為 2水平水平 (dichotomies) 可直接用?？芍苯佑谩Ｃ兔腿魹槎嗨?，若為多水平， 可先轉(zhuǎn)換為可先轉(zhuǎn)換為 dummy variables。因變量與自變量的關(guān)系應(yīng)為線性。如果變量間關(guān)系是曲線因變量與自變量的關(guān)系應(yīng)為線性。如果變量間關(guān)系是曲線的的, 但具單調(diào)性但具單調(diào)性 (遞增或遞減遞增或遞減), 可通過轉(zhuǎn)換達(dá)成線性?？赏ㄟ^轉(zhuǎn)換達(dá)成線性。 如果如果是是 U 型線型線,需特殊轉(zhuǎn)換處理。需特殊轉(zhuǎn)換處理。盡管自變量間彼此可以有相關(guān)盡管自變量間彼此可以有相關(guān), 其相關(guān)不可接近完全線性。其相關(guān)不可接近完全線性。否則稱為否則稱為 multi

9、collinearity。17多元回歸的數(shù)據(jù)要求多元回歸的數(shù)據(jù)要求 （2 2）被試數(shù)目與自變量數(shù)目的比率為被試數(shù)目與自變量數(shù)目的比率為10:1 (根據(jù)不同情況在根據(jù)不同情況在20:1至至5:1 的范圍中的范圍中);被試被試數(shù)目數(shù)目 100沒有沒有 非常值非常值 （Outliers）沒有沒有 Multicollinearity18多元回歸的統(tǒng)計(jì)前提多元回歸的統(tǒng)計(jì)前提3個(gè)前提：個(gè)前提：因變量殘差正態(tài)分布因變量殘差正態(tài)分布?xì)埐钆c殘差與 預(yù)測(cè)值呈線性關(guān)系預(yù)測(cè)值呈線性關(guān)系在因變量預(yù)測(cè)值的所有水平上，殘差的方在因變量預(yù)測(cè)值的所有水平上，殘差的方差相等差相等1.散點(diǎn)圖：縱軸為因變量的預(yù)測(cè)值散點(diǎn)圖：縱軸為因變

10、量的預(yù)測(cè)值（ZPRED），橫軸為殘差（），橫軸為殘差（ZRESID）殘差圖殘差圖告訴我們回歸線在不同變量水平的擬合程度0 02 24 46 68 81 10 0- -2 2- -1 10 01 12 23 3S Si im mi il la ar ri it ty yR R e e s s i i d d u u a a l l殘差圖提供的重要信息殘差的系統(tǒng)分布提示有未被解釋的系統(tǒng)性方差0自變量增大時(shí)，殘差增大。0變量間的關(guān)系不是線性的21Multicollinearity Statistics. Collinearity diagnostics任何兩個(gè)自變量間的相關(guān)在任何兩個(gè)自變量間的相關(guān)在 .70以上，以上， Collinearity 就會(huì)出現(xiàn)。就會(huì)出現(xiàn)。Tolerance 75% 很好很好 ; 50-75% 不錯(cuò)不錯(cuò); 25-50% 一般一般; 25% 不夠不夠 所有自變量總共與因變量有無顯著關(guān)聯(lián)所有自變量總共與因變量有無顯著關(guān)聯(lián)? - F 虛無假設(shè)是虛無假設(shè)是 所有自變量與因變量均無關(guān)聯(lián)。所有自變量與因變量均無關(guān)聯(lián)。. 當(dāng)其他自變量保持恒定時(shí)，每一自變量與因變量當(dāng)其他自變量保持恒定時(shí)，每一自變量與因變量有什么樣的關(guān)系有什么樣的關(guān)系? - B 回歸系數(shù)回歸系數(shù)。哪個(gè)