高級統(tǒng)計_多元回歸

1、1多元回歸多元回歸21. 回歸模型的擬合度3簡單回歸從散點圖開始有助我們對變量間的關(guān)系有從散點圖開始有助我們對變量間的關(guān)系有一個形象化的了解。一個形象化的了解。如何對變量間的關(guān)系進(jìn)行更準(zhǔn)確的描述？如何對變量間的關(guān)系進(jìn)行更準(zhǔn)確的描述？ 線性回歸線性回歸畫出回歸線畫出回歸線哪條直線是最優(yōu)擬合？哪條直線是最優(yōu)擬合？回歸線回歸線0 02 24 46 68 81 10 00 01 12 23 34 45 56 6M Me ea an n C Co om mm mo on na al li it ti ie es sM M e e a a n n A A l l i i g g n n a a b b l

2、 l e e D D i i f f f f e e r r e e n n c c e e s s擬合的程度怎樣？5殘差殘差0 02 24 46 68 810100 01 12 23 34 45 56 6Mean CommonalitiesMean CommonalitiesMean Alignable DifferencesMean Alignable Differences從點到線的離差可代表擬合的程度（殘差）（殘差）Residuals6作回歸線作回歸線使離差的平方和為最小 離差 = y 觀測值- y 預(yù)測值叫做 Least-squares regression回歸方程y = a + b

3、xIGRAPH /VIEWNAME=Scatterplot /X1 = VAR(salbegin) TYPE = SCALE /Y = VAR (salary) TYPE = SCALE /COORDINATE = VERTICAL /FITLINE METHOD = REGRESSION LINEAR LINE = TOTALy好的模型0 02 24 46 68 810100 02 24 46 68 81010Mean SimilarityMean SimilarityMean CommonalitiesMean Commonalities殘差很小R2=0.89一般的模型0 02 24 46

4、 68 810100 01 12 23 34 45 56 6Mean SimilarityMean SimilarityMean Alignable DifferencesMean Alignable DifferencesR2=0.35殘差較大差的模型0 02 24 46 68 810100 01 12 23 34 45 56 6Mean SimilarityMean SimilarityMean Nonalignable DifferencesMean Nonalignable DifferencesR2=0.002這里的直線基本不能描述數(shù)據(jù)102. 2. 多元回歸的方法（多元回歸的方法（

5、methodmethod）11多元回歸的方法（多元回歸的方法（methodmethod）方法間的區(qū)別在于如何處理相關(guān)的自變量方法間的區(qū)別在于如何處理相關(guān)的自變量重疊部分的方差，即用何原則確定變量進(jìn)重疊部分的方差，即用何原則確定變量進(jìn)入方程的次序入方程的次序標(biāo)準(zhǔn)回歸或同時回歸：標(biāo)準(zhǔn)回歸或同時回歸：Enter逐步回歸：逐步回歸：Stepwise層次回歸：層次回歸：hierarchical 12標(biāo)準(zhǔn)回歸標(biāo)準(zhǔn)回歸亦稱同時回歸（亦稱同時回歸（simultaneous） 重疊部分對重疊部分對R2有貢獻(xiàn)，但不分配到任何有貢獻(xiàn)，但不分配到任何一個自變量中一個自變量中與其他自變量重疊區(qū)域大的自變量的相與其他自變

6、量重疊區(qū)域大的自變量的相對重要性可能被忽視對重要性可能被忽視13逐步回歸：逐步回歸：StepwiseStepwise在分析的每一階段，與因變量有最大偏相關(guān)的在分析的每一階段，與因變量有最大偏相關(guān)的自變量被加在模型上。自變量被加在模型上。 變式變式ForwardBackwardremove擬合度最優(yōu)，用于探索性回歸擬合度最優(yōu)，用于探索性回歸最好最好 n 20 IV慎推廣，須交互驗證慎推廣，須交互驗證 14層次回歸：層次回歸：hierarchical hierarchical 研究者根據(jù)理論假設(shè)確定次序，定研究者根據(jù)理論假設(shè)確定次序，定義義block因果順序在前的，先進(jìn)入方程因果順序在前的，先進(jìn)入

7、方程欲考察的重要變量或者放在前，或欲考察的重要變量或者放在前，或放在最后放在最后應(yīng)選擇應(yīng)選擇 statistics R square change153. 3. 多元回歸的數(shù)據(jù)要求多元回歸的數(shù)據(jù)要求16多元回歸的數(shù)據(jù)要求多元回歸的數(shù)據(jù)要求 （1 1）因變量應(yīng)為等距因變量應(yīng)為等距/等比型變量。等比型變量。 在實際操作中，如果有足在實際操作中，如果有足夠的水平，順序型變量也可。如果因變量夠的水平，順序型變量也可。如果因變量 是命名型，則須是命名型，則須用判別分析或用判別分析或 logistic regression。 自變量應(yīng)為等距自變量應(yīng)為等距/等比型變量。在實際操作中，順序型變量等比型變量。在

8、實際操作中，順序型變量也可。命名型若為也可。命名型若為 2水平水平 (dichotomies) 可直接用?？芍苯佑谩Ｃ兔腿魹槎嗨?，若為多水平， 可先轉(zhuǎn)換為可先轉(zhuǎn)換為 dummy variables。因變量與自變量的關(guān)系應(yīng)為線性。如果變量間關(guān)系是曲線因變量與自變量的關(guān)系應(yīng)為線性。如果變量間關(guān)系是曲線的的, 但具單調(diào)性但具單調(diào)性 (遞增或遞減遞增或遞減), 可通過轉(zhuǎn)換達(dá)成線性?？赏ㄟ^轉(zhuǎn)換達(dá)成線性。 如果如果是是 U 型線型線,需特殊轉(zhuǎn)換處理。需特殊轉(zhuǎn)換處理。盡管自變量間彼此可以有相關(guān)盡管自變量間彼此可以有相關(guān), 其相關(guān)不可接近完全線性。其相關(guān)不可接近完全線性。否則稱為否則稱為 multi

9、collinearity。17多元回歸的數(shù)據(jù)要求多元回歸的數(shù)據(jù)要求 （2 2）被試數(shù)目與自變量數(shù)目的比率為被試數(shù)目與自變量數(shù)目的比率為10:1 (根據(jù)不同情況在根據(jù)不同情況在20:1至至5:1 的范圍中的范圍中);被試被試數(shù)目數(shù)目 100沒有沒有 非常值非常值 （Outliers）沒有沒有 Multicollinearity18多元回歸的統(tǒng)計前提多元回歸的統(tǒng)計前提3個前提：個前提：因變量殘差正態(tài)分布因變量殘差正態(tài)分布?xì)埐钆c殘差與 預(yù)測值呈線性關(guān)系預(yù)測值呈線性關(guān)系在因變量預(yù)測值的所有水平上，殘差的方在因變量預(yù)測值的所有水平上，殘差的方差相等差相等1.散點圖：縱軸為因變量的預(yù)測值散點圖：縱軸為因變

10、量的預(yù)測值（ZPRED），橫軸為殘差（），橫軸為殘差（ZRESID）殘差圖殘差圖告訴我們回歸線在不同變量水平的擬合程度0 02 24 46 68 81 10 0- -2 2- -1 10 01 12 23 3S Si im mi il la ar ri it ty yR R e e s s i i d d u u a a l l殘差圖提供的重要信息殘差的系統(tǒng)分布提示有未被解釋的系統(tǒng)性方差0自變量增大時，殘差增大。0變量間的關(guān)系不是線性的21Multicollinearity Statistics. Collinearity diagnostics任何兩個自變量間的相關(guān)在任何兩個自變量間的相關(guān)在 .70以上，以上， Collinearity 就會出現(xiàn)。就會出現(xiàn)。Tolerance 75% 很好很好 ; 50-75% 不錯不錯; 25-50% 一般一般; 25% 不夠不夠 所有自變量總共與因變量有無顯著關(guān)聯(lián)所有自變量總共與因變量有無顯著關(guān)聯(lián)? - F 虛無假設(shè)是虛無假設(shè)是 所有自變量與因變量均無關(guān)聯(lián)。所有自變量與因變量均無關(guān)聯(lián)。. 當(dāng)其他自變量保持恒定時，每一自變量與因變量當(dāng)其他自變量保持恒定時，每一自變量與因變量有什么樣的關(guān)系有什么樣的關(guān)系? - B 回歸系數(shù)回歸系數(shù)。哪個