多重回歸與自變量的篩選方法

多重回歸與自變量的篩選方法第一頁，共十四頁，編輯于2023年，星期五二、自變量篩選的標(biāo)準(zhǔn)與原則

1.殘差平方和、殘差均方準(zhǔn)則

當(dāng)殘差平方和（SSE）最小時，決定系數(shù)（R2）達(dá)到最大。

n為樣本含量，R2為包含m個自變量的回歸方程的決定系數(shù)。R2是隨著變量數(shù)的增加而增大，而不受變量數(shù)的影響，第二頁，共十四頁，編輯于2023年，星期五

2.CP統(tǒng)計量

n為樣本含量，p表示進(jìn)入模型的自變量個數(shù)，m表示所有自變量個數(shù)，表示從全部m個自變量的回歸模型中得到的殘差均方。

在模型變量個數(shù)減少的過程中第一次值接近p+1時，模型最佳。如果自變量中沒有包含對Y有主要作用的變量，則不宜用方法選擇自變量。

3.AIC準(zhǔn)則由Akaike在極大似然基礎(chǔ)上提出的，Akaike信息量準(zhǔn)則AIC=n㏑（ssp）-2（p+1）ssp表示選入模型p個變量的剩余平方和。AIC越小越好。第三頁，共十四頁，編輯于2023年，星期五模型中變量數(shù)調(diào)整R2Cp變量13.71X115.83X218.99X322.69X1X224.70X1X324.81X2X334.00X1X2X3第四頁，共十四頁，編輯于2023年，星期五

4.預(yù)測平方和準(zhǔn)則（press統(tǒng)計量，預(yù)測精度）

Press=∑di2di2=Yi-X‘IX‘i

表示剔除了所要預(yù)測的第i觀測值以后所剩余觀測值所做估計。5.逐步回歸（統(tǒng)計顯著性準(zhǔn)則）統(tǒng)計顯著性準(zhǔn)則：把有統(tǒng)計學(xué)意義的變量選入模型，得到的回歸模型不一定是最佳預(yù)測模型。三.逐步回歸分析（stepwiseregression）

1.概述簡單地對回歸系數(shù)作檢驗，比較復(fù)雜；用前述的幾個指標(biāo)是在所有子集回歸中選最優(yōu)回歸模型，而逐步回歸是每一步引入或剔除一個變量（其標(biāo)準(zhǔn)是F檢驗），直到引不進(jìn)又剔不出為止，建立一個包含所有對因變量有影響的自變量。不是最優(yōu)回歸

第五頁，共十四頁，編輯于2023年，星期五二、逐步回歸法方法：向前法（forward）、向后法（backward）、逐步法（stepwise）每一步只引入或剔除一個自變量準(zhǔn)則，是基于對偏回歸平方和的F檢驗第六頁，共十四頁，編輯于2023年，星期五（1）向前法(forward)，回歸方程中的自變量是一個個進(jìn)入的，最有統(tǒng)計學(xué)意義的變量最先進(jìn)入，依此類推。即只進(jìn)不出。

Y對每一個自變量作線性回歸，計算各自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗，有意義（P?。﹦t引入…。局限性：即后續(xù)變量的引入可能會使進(jìn)入方程的自變量變得不重要。（2）

向后法(backward)，先將全部自變量選入方程，然后逐步剔除無統(tǒng)計學(xué)意義的自變量。即只出不進(jìn)。偏回歸平方和最小的變量，作F檢驗及相應(yīng)的P值，決定它是否剔除（P大）。重復(fù)上述過程。第七頁，共十四頁，編輯于2023年，星期五剔除自變量的方法是在方程中選一個偏回歸平方和最小的變量，作F檢驗決定它是否剔除，若無統(tǒng)計學(xué)意義則將其剔除，然后對剩余的自變量建立新的回歸方程。重復(fù)這一過程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。（3）逐步法(stepwise)，逐步回歸法是在前述兩種方法的基礎(chǔ)上，進(jìn)行雙向篩選的一種方法。逐步的把有統(tǒng)計學(xué)意義的變量選入模型，也逐步剔除原先無統(tǒng)計學(xué)意義的變量。即有進(jìn)有出。該方法本質(zhì)上是前進(jìn)法。第八頁，共十四頁，編輯于2023年，星期五3.計算方法與步驟首先確定引入與剔除變量的F統(tǒng)計量標(biāo)準(zhǔn)，檢驗水準(zhǔn)a定為0.05~0.30，值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。注意：引入變量的檢驗水準(zhǔn)要小于或等于剔除變量的檢驗水準(zhǔn)。四.注意事項1.選擇恰當(dāng)?shù)腶和F值（選擇不同的a多做幾次，看哪個更合要求）。2.當(dāng)自變量之間有高度相關(guān)時，很難建立模型。3.可以考察變量之間的交互作用。4.有從專業(yè)上認(rèn)為必須引入第九頁，共十四頁，編輯于2023年，星期五五.回歸系數(shù)反常分析㈠回歸系數(shù)的反常現(xiàn)象

1.回歸系數(shù)的正負(fù)符號與客觀實際不一致。

2.專業(yè)認(rèn)為有統(tǒng)計學(xué)意義，但結(jié)果無統(tǒng)計學(xué)意義?；貧w系數(shù)正常，但標(biāo)準(zhǔn)誤很大，無統(tǒng)計學(xué)意義。

3.稍微改變a，引入的變量差別較大，回歸方程不穩(wěn)定。

4.重要變量進(jìn)不了模型。㈡主要原因

1.

自變量的多重共線性

2.設(shè)計時某些重要的變量沒有考慮進(jìn)來。

3.樣本量太小

4.變量的測量誤差大有異常值。

5.變量取值范圍太窄。第十頁，共十四頁，編輯于2023年，星期五六.SAS程序第十一頁，共十四頁，編輯于2023年，星期五DataA;Inputx1-x3y;Cards;….Procreg;Modely=x1-x3/selection=stepwise(forwardbackward)slesls;Run;第十二頁，共十四頁，編輯于2023年，星期五Procreg;Modely=x1-x3/cpadjrsq;Run;Procstepwise;Modely=x1-x3/stepwise(forwardbackward)slesls;Run;第十