多重回歸與自變量的篩選方法

多重回歸與自變量的篩選方法第1頁，共14頁，2023年，2月20日，星期四二、自變量篩選的標準與原則

1.殘差平方和、殘差均方準則

當殘差平方和（SSE）最小時，決定系數(shù)（R2）達到最大。

n為樣本含量，R2為包含m個自變量的回歸方程的決定系數(shù)。R2是隨著變量數(shù)的增加而增大，而不受變量數(shù)的影響，第2頁，共14頁，2023年，2月20日，星期四

2.CP統(tǒng)計量

n為樣本含量，p表示進入模型的自變量個數(shù)，m表示所有自變量個數(shù)，表示從全部m個自變量的回歸模型中得到的殘差均方。

在模型變量個數(shù)減少的過程中第一次值接近p+1時，模型最佳。如果自變量中沒有包含對Y有主要作用的變量，則不宜用方法選擇自變量。

3.AIC準則由Akaike在極大似然基礎上提出的，Akaike信息量準則AIC=n㏑（ssp）-2（p+1）ssp表示選入模型p個變量的剩余平方和。AIC越小越好。第3頁，共14頁，2023年，2月20日，星期四模型中變量數(shù)調(diào)整R2Cp變量13.71X115.83X218.99X322.69X1X224.70X1X324.81X2X334.00X1X2X3第4頁，共14頁，2023年，2月20日，星期四

4.預測平方和準則（press統(tǒng)計量，預測精度）

Press=∑di2di2=Yi-X‘IX‘i

表示剔除了所要預測的第i觀測值以后所剩余觀測值所做估計。5.逐步回歸（統(tǒng)計顯著性準則）統(tǒng)計顯著性準則：把有統(tǒng)計學意義的變量選入模型，得到的回歸模型不一定是最佳預測模型。三.逐步回歸分析（stepwiseregression）

1.概述簡單地對回歸系數(shù)作檢驗，比較復雜；用前述的幾個指標是在所有子集回歸中選最優(yōu)回歸模型，而逐步回歸是每一步引入或剔除一個變量（其標準是F檢驗），直到引不進又剔不出為止，建立一個包含所有對因變量有影響的自變量。不是最優(yōu)回歸

第5頁，共14頁，2023年，2月20日，星期四二、逐步回歸法方法：向前法（forward）、向后法（backward）、逐步法（stepwise）每一步只引入或剔除一個自變量準則，是基于對偏回歸平方和的F檢驗第6頁，共14頁，2023年，2月20日，星期四（1）向前法(forward)，回歸方程中的自變量是一個個進入的，最有統(tǒng)計學意義的變量最先進入，依此類推。即只進不出。

Y對每一個自變量作線性回歸，計算各自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗，有意義（P小）則引入…。局限性：即后續(xù)變量的引入可能會使進入方程的自變量變得不重要。（2）

向后法(backward)，先將全部自變量選入方程，然后逐步剔除無統(tǒng)計學意義的自變量。即只出不進。偏回歸平方和最小的變量，作F檢驗及相應的P值，決定它是否剔除（P大）。重復上述過程。第7頁，共14頁，2023年，2月20日，星期四剔除自變量的方法是在方程中選一個偏回歸平方和最小的變量，作F檢驗決定它是否剔除，若無統(tǒng)計學意義則將其剔除，然后對剩余的自變量建立新的回歸方程。重復這一過程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。（3）逐步法(stepwise)，逐步回歸法是在前述兩種方法的基礎上，進行雙向篩選的一種方法。逐步的把有統(tǒng)計學意義的變量選入模型，也逐步剔除原先無統(tǒng)計學意義的變量。即有進有出。該方法本質(zhì)上是前進法。第8頁，共14頁，2023年，2月20日，星期四3.計算方法與步驟首先確定引入與剔除變量的F統(tǒng)計量標準，檢驗水準a定為0.05~0.30，值越小表示選取自變量的標準越嚴。注意：引入變量的檢驗水準要小于或等于剔除變量的檢驗水準。四.注意事項1.選擇恰當?shù)腶和F值（選擇不同的a多做幾次，看哪個更合要求）。2.當自變量之間有高度相關時，很難建立模型。3.可以考察變量之間的交互作用。4.有從專業(yè)上認為必須引入第9頁，共14頁，2023年，2月20日，星期四五.回歸系數(shù)反常分析㈠回歸系數(shù)的反?，F(xiàn)象

1.回歸系數(shù)的正負符號與客觀實際不一致。

2.專業(yè)認為有統(tǒng)計學意義，但結果無統(tǒng)計學意義?；貧w系數(shù)正常，但標準誤很大，無統(tǒng)計學意義。

3.稍微改變a，引入的變量差別較大，回歸方程不穩(wěn)定。

4.重要變量進不了模型。㈡主要原因

1.

自變量的多重共線性

2.設計時某些重要的變量沒有考慮進來。

3.樣本量太小

4.變量的測量誤差大有異常值。

5.變量取值范圍太窄。第10頁，共14頁，2023年，2月20日，星期四六.SAS程序第11頁，共14頁，2023年，2月20日，星期四DataA;Inputx1-x3y;Cards;….Procreg;Modely=x1-x3/selection=stepwise(forwardbackward)slesls;Run;第12頁，共14頁，2023年，2月20日，星期四Procreg;Modely=x1-x3/cpadjrsq;Run;Procstepwise;Modely=x1-x3/stepwise(forwardbackward)slesls;Run;第13頁，共