第九章2 多元回歸分析

第九章

回歸問題第一節(jié)一元線性回歸第二節(jié)多元線性回歸第三節(jié)可化為多元線性回歸的問題第四節(jié)曲線回歸§2多元回歸分析一元線性回歸只是回歸分析中的一種特例。若某公司管理人員要預(yù)測來年該公司的銷售額y時，研究認(rèn)為影響銷售額的因素不只是廣告宣傳費x1,還有消費人群個人可支配收入x2,價格x3,研究與發(fā)展費用x4,各種投資x5,銷售費用x6.————多元回歸問題。Yi=b0+b1x1i+b2x2i+…+bpxpi+ξiY1=b0+b1x11+b2x21+…+bpxp1+ξ1Y2=b0+b1x12+b2x22+…+bpxp2+

ξ2…Yn=b0+b1x1n+b2x2n+…+bpxpn+

ξn

令

y11x11x21…xp1Y=y2x=1x12x22…xp2yn1x1nx2n…xpnb0ξ

1b1ξ

2B=…e=…bpξ

n則Y=XB+e一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機變量，而且解釋變量之間互不相關(guān)隨機誤差項具有零均值和同方差

E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機誤差項在不同樣本點之間是相互獨立的，不存在序列相關(guān)

cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

iξ

j)=E(ξ

i)E(ξ

j)=0

隨機誤差項與解釋變量之間不相關(guān)

cov(xi,ξ

i)=0隨機誤差項服從零均值，同方差的正態(tài)分布

ξ

i～N(0，σ2)二、建立回歸方程設(shè)令即（最小二乘法）矩陣表示三、多元線性回歸模型的建模方法1.打開文件或新建文件2.Analyzeregressionlinear3.建模方法（1）enter:強迫進入法—如果因子數(shù)不多且符合多項回歸條件（2）stepwise:逐步選擇法（3）remove:強迫消除法（4）backward:向后剔除法（5）forward:向前引入法

回歸統(tǒng)計量（1）estimates:顯示回歸系數(shù)及相關(guān)的指標(biāo)（2）confidenceintervals:顯示未標(biāo)準(zhǔn)化回歸系數(shù)的置信區(qū)間（3）covariancematrix:未標(biāo)準(zhǔn)化回歸系數(shù)的方差—協(xié)方差矩陣（4）modelfit:模型檢驗

回歸統(tǒng)計量（5）Rsquaredchange：每引進一個x引起的回歸

（6）descriptive:顯示變量的均值、標(biāo)準(zhǔn)差等（7）Partandpartialcorrelations:偏相關(guān)

（8）collinearitydiagnostics:共線性診斷（9）Durbon_waston:D.w.檢驗統(tǒng)計量Y=0.488+0.576x1+4.769x2-2.145x3(4.245)(2.404)(-2.111)Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6(3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)五、回歸方程的效果的檢驗方程顯著性檢驗參數(shù)顯著性檢驗擬合優(yōu)度檢驗（復(fù)相關(guān)系數(shù)、偏相關(guān)系數(shù)）對假設(shè)理論的檢驗鏈接例2中，方差分析表為：Residual-殘差：預(yù)測值與實測值的差y1.方程顯著性檢驗(F檢驗)F檢驗是以方差分析為基礎(chǔ),對回歸總體線性關(guān)系是否顯著的一種假設(shè)檢驗,是解釋模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著的方法利用F統(tǒng)計量進行總體線性顯著性檢驗的步驟如下:(1)提出關(guān)于P個總體參數(shù)的假設(shè)

H0:b0=b1=b2=…=bp=0(2)構(gòu)造統(tǒng)計量

(3)檢驗給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關(guān)系.

若F<Fα,接受原假設(shè),表明不存在線性關(guān)系2.參數(shù)顯著性檢驗參數(shù)顯著性檢驗,是對每個解釋變量進行檢驗.如果解釋變量對被解釋變量的影響不顯著,應(yīng)從模型中刪除,如果解釋變量對被解釋變量的影響顯著,應(yīng)保留在模型中.利用t統(tǒng)計量進行參數(shù)顯著性檢驗的步驟如下:(1)假設(shè):H0:bi=0(2)構(gòu)造統(tǒng)計量:(3)檢驗對給定α,若︱t︱>tα/2,說明拒絕原假設(shè)若︱t︱<tα/2,則接受原假設(shè).如果一次t檢驗后,模型中存在多個不重要變量,一般是將t值最小的變量刪除掉,再重新進行檢驗,每次只剔除1個變量.aii是(X`X)-1主對角線上第i+1個元素六、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是由ESS和TSS構(gòu)造的統(tǒng)計量，用來表示回歸方程對原有數(shù)據(jù)擬合程度的好壞，衡量作為一個整體的x1,x2,…,xp與y的線性關(guān)系的大小。回歸方程的擬合優(yōu)度檢驗就是要檢驗樣本數(shù)據(jù)點聚集在回歸直線周圍的密集程度，從而評價回歸方程對樣本數(shù)據(jù)的代表程度。由決定系數(shù)R2（有稱復(fù)相關(guān)系數(shù)）來實現(xiàn)。實際中，隨著自變量個數(shù)的不斷增加，必然會使得R2不斷變化，于是出現(xiàn)的問題是，R2變化是由于數(shù)學(xué)習(xí)性決定的，還是確實是由于引入了好的變量進入方程而造成的。因此在作擬合優(yōu)度檢驗的判定時，一般采用調(diào)整的R2，以消除自變量的個數(shù)以及樣本量的大小對R2的影響。調(diào)整的R2其它變量被固定后，計算任意兩個變量之間的相關(guān)系數(shù)，這種相關(guān)系數(shù)稱為偏相關(guān)系數(shù)。簡單相關(guān)系數(shù)只是一種表面上的數(shù)量的相關(guān)系數(shù)，而并非本質(zhì)的東西。偏相關(guān)系數(shù)才真正反映兩個變量的本質(zhì)聯(lián)系。Zero-order:零階相關(guān)系數(shù)，計算所有自變量與因變量間的簡單相關(guān)系數(shù)。--零階相關(guān),表相關(guān)Partcorrelation:部分相關(guān)，在排除了其他自變量對xi的影響后，當(dāng)一個自變量進入模型后，復(fù)相關(guān)系數(shù)（回歸模型的決定系數(shù)）的平方增加量?；貧w方程的殘差分析殘差序列的正態(tài)性分析殘差序列的隨機性分析殘差序列的獨立性分析奇異值診斷異方差診斷回歸分析的假設(shè)條件是否滿足？

返回殘差對每個個案，預(yù)測值與實測值的差標(biāo)準(zhǔn)化殘差：均值為0，標(biāo)準(zhǔn)差為1學(xué)生化殘差：殘差除以殘差的標(biāo)準(zhǔn)差的點估計值。若隨自變量（因變量）變化，則認(rèn)為方差不齊殘差序列的正態(tài)性分析：通過繪制標(biāo)準(zhǔn)化殘差序列的帶正態(tài)曲線的直方圖或累計概率圖來分析，確定殘差是否接近正態(tài)Analyze->regression->linearPlot子對話框中選Histogram或p-p圖返回殘差序列的隨機性分析：可以繪制殘差序列和對應(yīng)的預(yù)測值序列的散點圖。如果殘差序列是隨機的，那么殘差序列應(yīng)與預(yù)測值序列無關(guān)，殘差序列點將隨機地分布在經(jīng)過零的一條直線上下（均值為0）。在線性回歸Plots對話框中的源變量表中，選擇SRESID（學(xué)生氏殘差—（學(xué)生化殘差:殘差與標(biāo)準(zhǔn)誤之比）做Y軸，選ZPRED（標(biāo)準(zhǔn)化預(yù)測值）做X軸殘差序列的獨立性分析：分析殘差序列是否存在后期值與前期值相關(guān)的現(xiàn)象。D.W檢驗樣本奇異值的診斷：樣本奇異值是樣本數(shù)據(jù)中那些遠離均值的樣本數(shù)據(jù)點。它們會對回歸方程的擬合產(chǎn)生較大偏差影響。一般認(rèn)為，如果某樣本點對應(yīng)的標(biāo)準(zhǔn)化殘差的值超出了-3—+3的范圍，就可以判定該樣本數(shù)據(jù)為奇異值。Analyze->regression->statistics->casediagnostics異方差診斷：線性回歸模型要求殘差序列服從等方差的正態(tài)分布一般通過繪制SRESID與因變量預(yù)測值的散點圖或計算SRESID和因變量預(yù)測值間的相關(guān)系數(shù)。如果殘差序列和預(yù)測值的平方根成正比例變化，可以對因變量作開方處理；如果殘差序列與預(yù)測值成比例變化，可以對因變量取對數(shù)；如果殘差序列與預(yù)測值的平方成比例的變化，可以對因變量求倒數(shù)。還可以用WLS法消除異方差。七、預(yù)測和控制所謂預(yù)測就是給定解釋變量x樣本外的某一特征值x0=(1，x10,x20,…,xp0),對因變量的值y0以及E(y0)進行估計。1、y0的點預(yù)測：2、y0的（1-α）的預(yù)測區(qū)間：返回第四節(jié)逐步回歸多元線性回歸中，如何選擇自變量如果自變量選的太少，則自變量對Y的決定系數(shù)太小，導(dǎo)致過大的偏差；一般來講，選的自變量愈多，ESS愈大。把與Y有關(guān)的自變量都選入是不可能的多個自變量中若對Y影響不顯著，反而會因自由度的減少而增大了誤差。自變量間的相關(guān)給回歸方程的實際解釋上造成麻煩，即多重共線性的影響。最優(yōu)方程的概念：要求進入回歸方程的自變量都是顯著的，未進入回歸方程的自變量都是不顯著的。回歸方程的決定系數(shù)：一、“最優(yōu)”回歸方程的選擇目標(biāo)：1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法：逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進有出”的回歸分析方法(逐步回歸分析方法)逐步剔除法（backward）1、用全部變量建立一個回歸方程2、對每個變量進行檢驗，剔除偏回歸平方和最小的變量。3、對剩余變量再作回歸，再檢驗……直至方程中沒有可剔除的變量為止。逐步引入法（forward）1、將所有自變量分別與因變量建立一元線性回歸方程，比較各自的回歸平方和，將回歸平方和最大的變量引入回歸方程。2、再分別將剩余變量與因變量y、及已引入的變量建立二元線性回歸方程，再比較回歸平方和，選擇回歸平方和最大的變量引入方程。直至方程檢驗不顯著為止?！爸鸩教蕹狈ㄅc“逐步引入”法都有明顯的不足之處:(1)“逐步剔除”法計算量大,且一旦某個自變量被剔除,沒有機會重新進入方程.(2)“逐步引入”法一旦引入某個變量,