多重回歸與自變量的篩選方法ppt課件

1、 第三章 逐漸回歸與自變量挑選方法一、問題的提出一、問題的提出1. 多元線性回歸需對系數(shù)作檢驗，無意義的變量需剔除，由多元線性回歸需對系數(shù)作檢驗，無意義的變量需剔除，由于變量間相關(guān)性，其他變量的顯著性發(fā)生改動于變量間相關(guān)性，其他變量的顯著性發(fā)生改動2.從運用和分析目的角度，精選自變量從運用和分析目的角度，精選自變量模型擬合要優(yōu)、模型擬合要優(yōu)、變量節(jié)省變量節(jié)省問題：如何選擇自變量進入模型？問題：如何選擇自變量進入模型？1. 分析目的；分析目的；2.建立模型的統(tǒng)計準(zhǔn)那么是什么？建立模型的統(tǒng)計準(zhǔn)那么是什么？3.結(jié)合專業(yè)結(jié)合專業(yè)和實踐問題思索和實踐問題思索 二、自變量挑選的規(guī)范與原那么二、自變量挑選的

2、規(guī)范與原那么 1.殘差平方和、殘差均方準(zhǔn)那么 當(dāng)殘差平方和SSE最小時，決議系數(shù)R2到達最大。 n為樣本含量， R2 為包含m個自變量的回歸方程的決議系數(shù)。 R2是隨著變量數(shù)的添加而增大，而 不受變量數(shù)的影響，2SS()YY殘21SSRSS 殘總S SM Snm1殘 差殘 差=2adjn11 (1-R )1nm 1MSRMS 殘總adjRadjRpmn2nm 1PSSCSS（ ）剩剩（ ）統(tǒng)計量=（p+1) 2. CP統(tǒng)計量 n為樣本含量，p表示進入模型的自變量個數(shù)，m表示一切自變量個數(shù)， 表示從全部m個自變量的回歸模型中得到的殘差均方。 在模型變量個數(shù)減少的過程中第一次 值接近p+1時，模型

3、最正確。假設(shè) 自變量中沒有包含對 Y有主要作用的變量，那么不宜用 方法選擇自變量。 3.AIC準(zhǔn)那么 由Akaike在極大似然根底上提出的，Akaike信息量準(zhǔn)那么 AIC=nssp-2p+1 ssp表示選入模型p個變量的剩余平方和。AIC越小越好。mSSnm1（）剩pCpC模型中變量數(shù)調(diào)整R2Cp變量 13.71X1 15.83X2 18.99X3 22.69X1 X2 24.70X1 X3 24.81X2 X3 34.00X1 X2 X3 4.預(yù)測平方和準(zhǔn)那么預(yù)測平方和準(zhǔn)那么press統(tǒng)計量，預(yù)測精度統(tǒng)計量，預(yù)測精度 Press=di2 di2=Yi-XIXi 表示剔除了所要預(yù)測的第i觀測

4、值以后所剩余觀測值所做估計。5.逐漸回歸統(tǒng)計顯著性準(zhǔn)那么 統(tǒng)計顯著性準(zhǔn)那么：把有統(tǒng)計學(xué)意義的變量選入模型，得到的回歸模型不一定是最正確預(yù)測模型。三. 逐漸回歸分析stepwise regression 1. 概述 簡單地對回歸系數(shù)作檢驗，比較復(fù)雜； 用前述的幾個目的是在一切子集回歸中選最優(yōu)回歸模型，而逐漸回歸是每一步引入或剔除一個變量其規(guī)范是F檢驗，直到引不進又剔不出為止，建立一個包含一切對因變量有影響的自變量。不是最優(yōu)回歸 i（ ）i（ ）二、逐漸回歸法二、逐漸回歸法v方法：向前法方法：向前法forward 、向后法、向后法backward、逐漸法、逐漸法stepwise v每一步只引入或剔

5、除一個自變量準(zhǔn)那么，是基于每一步只引入或剔除一個自變量準(zhǔn)那么，是基于對偏回歸平方和的對偏回歸平方和的F檢驗檢驗1; 1;) 1(21)(pnpnSSSSSSFjj殘回回v1向前法(forward)，回歸方程中的自變量是一個個進入的，最有統(tǒng)計學(xué)意義的變量最先進入，依此類推。即只進不出。v Y對每一個自變量作線性回歸，計算各自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗，有意義P小那么引入。 v局限性：即后續(xù)變量的引入能夠會使進入方程的自變量變得不重要。v 2 向后法(backward)，先將全部自變量選入方程，然后逐漸剔除無統(tǒng)計學(xué)意義的自變量。即只出不進。偏回歸平方和最小的變量，作F檢驗及

6、相應(yīng)的P值，決議它能否剔除P大 。反復(fù)上述過程。 v 剔除自變量的方法是在方程中選一個偏回歸平方和最小的變量，作F檢驗決議它能否剔除，假設(shè)無統(tǒng)計學(xué)意義那么將其剔除，然后對剩余的自變量建立新的回歸方程。反復(fù)這一過程，直至方程中一切的自變量都不能剔除為止。實際上最好，建議運用采用此法。v 3逐漸法(stepwise)，逐漸回歸法是在前述兩種方法的根底上，進展雙向挑選的一種方法。逐漸的把有統(tǒng)計學(xué)意義的變量選入模型，也逐漸剔除原先無統(tǒng)計學(xué)意義的變量。即有進有出。該方法本質(zhì)上是前進法。v3.計算方法與步驟v首先確定引入與剔除變量的F統(tǒng)計量規(guī)范，檢驗水準(zhǔn)a定為0.05 0.30，值越小表示選取自變量的規(guī)范

7、越嚴(yán)。v留意：引入變量的檢驗水準(zhǔn)要小于或等于剔除變量的檢驗水準(zhǔn)。v四.本卷須知v1.選擇恰當(dāng)?shù)腶和F值選擇不同的a 多做幾次，看哪個更合要求。v2.當(dāng)自變量之間有高度相關(guān)時，很難建立模型。v3.可以調(diào)查變量之間的交互作用。 v4.有從專業(yè)上以為必需引入01 12 2j j.()i jy bbx bxbx C xx 五. 回歸系數(shù)反常分析 回歸系數(shù)的反常景象 1. 回歸系數(shù)的正負(fù)符號與客觀實踐不一致。 2. 專業(yè)以為有統(tǒng)計學(xué)意義，但結(jié)果無統(tǒng)計學(xué)意義?；貧w系數(shù)正常，但規(guī)范誤很大，無統(tǒng)計學(xué)意義。 3. 略微改動a，引入的變量差別較大，回歸方程不穩(wěn)定。 4. 重要變量進不了模型。 主要緣由 1. 自變量的多重共線性 2. 設(shè)計時某些重要的變量沒有思索進來。 3. 樣本量太小 4. 變量的丈量誤差大有異常值。 5. 變量取值范圍太窄。六.SAS程序vData A;vInput x1-x3 y;vCards;v.vProc reg;vModel y=x1-x3/selection=stepwise(forward backward) sle sls;vRun;vProc reg;vModel y=x1-x3/ cp adjrsq ;vRun;vProc stepwise;v