第九章2 多元回歸分析

第九章

回歸問題第一節(jié)一元線性回歸第二節(jié)多元線性回歸第三節(jié)可化為多元線性回歸的問題第四節(jié)曲線回歸§2多元回歸分析一元線性回歸只是回歸分析中的一種特例。若某公司管理人員要預測來年該公司的銷售額y時，研究認為影響銷售額的因素不只是廣告宣傳費x1,還有消費人群個人可支配收入x2,價格x3,研究與發(fā)展費用x4,各種投資x5,銷售費用x6.————多元回歸問題。Yi=b0+b1x1i+b2x2i+…+bpxpi+ξiY1=b0+b1x11+b2x21+…+bpxp1+ξ1Y2=b0+b1x12+b2x22+…+bpxp2+

ξ2…Yn=b0+b1x1n+b2x2n+…+bpxpn+

ξn

令

y11x11x21…xp1Y=y2x=1x12x22…xp2yn1x1nx2n…xpnb0ξ

1b1ξ

2B=…e=…bpξ

n則Y=XB+e一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機變量，而且解釋變量之間互不相關隨機誤差項具有零均值和同方差

E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機誤差項在不同樣本點之間是相互獨立的，不存在序列相關

cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

iξ

j)=E(ξ

i)E(ξ

j)=0

隨機誤差項與解釋變量之間不相關

cov(xi,ξ

i)=0隨機誤差項服從零均值，同方差的正態(tài)分布

ξ

i～N(0，σ2)二、建立回歸方程設令即（最小二乘法）矩陣表示三、多元線性回歸模型的建模方法1.打開文件或新建文件2.Analyzeregressionlinear3.建模方法（1）enter:強迫進入法—如果因子數不多且符合多項回歸條件（2）stepwise:逐步選擇法（3）remove:強迫消除法（4）backward:向后剔除法（5）forward:向前引入法

回歸統(tǒng)計量（1）estimates:顯示回歸系數及相關的指標（2）confidenceintervals:顯示未標準化回歸系數的置信區(qū)間（3）covariancematrix:未標準化回歸系數的方差—協方差矩陣（4）modelfit:模型檢驗

回歸統(tǒng)計量（5）Rsquaredchange：每引進一個x引起的回歸

（6）descriptive:顯示變量的均值、標準差等（7）Partandpartialcorrelations:偏相關

（8）collinearitydiagnostics:共線性診斷（9）Durbon_waston:D.w.檢驗統(tǒng)計量Y=0.488+0.576x1+4.769x2-2.145x3(4.245)(2.404)(-2.111)Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6(3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)五、回歸方程的效果的檢驗方程顯著性檢驗參數顯著性檢驗擬合優(yōu)度檢驗（復相關系數、偏相關系數）對假設理論的檢驗鏈接例2中，方差分析表為：Residual-殘差：預測值與實測值的差y1.方程顯著性檢驗(F檢驗)F檢驗是以方差分析為基礎,對回歸總體線性關系是否顯著的一種假設檢驗,是解釋模型中被解釋變量與所有解釋變量之間的線性關系在總體上是否顯著的方法利用F統(tǒng)計量進行總體線性顯著性檢驗的步驟如下:(1)提出關于P個總體參數的假設

H0:b0=b1=b2=…=bp=0(2)構造統(tǒng)計量

(3)檢驗給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關系.

若F<Fα,接受原假設,表明不存在線性關系2.參數顯著性檢驗參數顯著性檢驗,是對每個解釋變量進行檢驗.如果解釋變量對被解釋變量的影響不顯著,應從模型中刪除,如果解釋變量對被解釋變量的影響顯著,應保留在模型中.利用t統(tǒng)計量進行參數顯著性檢驗的步驟如下:(1)假設:H0:bi=0(2)構造統(tǒng)計量:(3)檢驗對給定α,若︱t︱>tα/2,說明拒絕原假設若︱t︱<tα/2,則接受原假設.如果一次t檢驗后,模型中存在多個不重要變量,一般是將t值最小的變量刪除掉,再重新進行檢驗,每次只剔除1個變量.aii是(X`X)-1主對角線上第i+1個元素六、復相關系數和偏相關系數復相關系數R是由ESS和TSS構造的統(tǒng)計量，用來表示回歸方程對原有數據擬合程度的好壞，衡量作為一個整體的x1,x2,…,xp與y的線性關系的大小。回歸方程的擬合優(yōu)度檢驗就是要檢驗樣本數據點聚集在回歸直線周圍的密集程度，從而評價回歸方程對樣本數據的代表程度。由決定系數R2（有稱復相關系數）來實現。實際中，隨著自變量個數的不斷增加，必然會使得R2不斷變化，于是出現的問題是，R2變化是由于數學習性決定的，還是確實是由于引入了好的變量進入方程而造成的。因此在作擬合優(yōu)度檢驗的判定時，一般采用調整的R2，以消除自變量的個數以及樣本量的大小對R2的影響。調整的R2其它變量被固定后，計算任意兩個變量之間的相關系數，這種相關系數稱為偏相關系數。簡單相關系數只是一種表面上的數量的相關系數，而并非本質的東西。偏相關系數才真正反映兩個變量的本質聯系。Zero-order:零階相關系數，計算所有自變量與因變量間的簡單相關系數。--零階相關,表相關Partcorrelation:部分相關，在排除了其他自變量對xi的影響后，當一個自變量進入模型后，復相關系數（回歸模型的決定系數）的平方增加量?；貧w方程的殘差分析殘差序列的正態(tài)性分析殘差序列的隨機性分析殘差序列的獨立性分析奇異值診斷異方差診斷回歸分析的假設條件是否滿足？

返回殘差對每個個案，預測值與實測值的差標準化殘差：均值為0，標準差為1學生化殘差：殘差除以殘差的標準差的點估計值。若隨自變量（因變量）變化，則認為方差不齊殘差序列的正態(tài)性分析：通過繪制標準化殘差序列的帶正態(tài)曲線的直方圖或累計概率圖來分析，確定殘差是否接近正態(tài)Analyze->regression->linearPlot子對話框中選Histogram或p-p圖返回殘差序列的隨機性分析：可以繪制殘差序列和對應的預測值序列的散點圖。如果殘差序列是隨機的，那么殘差序列應與預測值序列無關，殘差序列點將隨機地分布在經過零的一條直線上下（均值為0）。在線性回歸Plots對話框中的源變量表中，選擇SRESID（學生氏殘差—（學生化殘差:殘差與標準誤之比）做Y軸，選ZPRED（標準化預測值）做X軸殘差序列的獨立性分析：分析殘差序列是否存在后期值與前期值相關的現象。D.W檢驗樣本奇異值的診斷：樣本奇異值是樣本數據中那些遠離均值的樣本數據點。它們會對回歸方程的擬合產生較大偏差影響。一般認為，如果某樣本點對應的標準化殘差的值超出了-3—+3的范圍，就可以判定該樣本數據為奇異值。Analyze->regression->statistics->casediagnostics異方差診斷：線性回歸模型要求殘差序列服從等方差的正態(tài)分布一般通過繪制SRESID與因變量預測值的散點圖或計算SRESID和因變量預測值間的相關系數。如果殘差序列和預測值的平方根成正比例變化，可以對因變量作開方處理；如果殘差序列與預測值成比例變化，可以對因變量取對數；如果殘差序列與預測值的平方成比例的變化，可以對因變量求倒數。還可以用WLS法消除異方差。七、預測和控制所謂預測就是給定解釋變量x樣本外的某一特征值x0=(1，x10,x20,…,xp0),對因變量的值y0以及E(y0)進行估計。1、y0的點預測：2、y0的（1-α）的預測區(qū)間：返回第四節(jié)逐步回歸多元線性回歸中，如何選擇自變量如果自變量選的太少，則自變量對Y的決定系數太小，導致過大的偏差；一般來講，選的自變量愈多，ESS愈大。把與Y有關的自變量都選入是不可能的多個自變量中若對Y影響不顯著，反而會因自由度的減少而增大了誤差。自變量間的相關給回歸方程的實際解釋上造成麻煩，即多重共線性的影響。最優(yōu)方程的概念：要求進入回歸方程的自變量都是顯著的，未進入回歸方程的自變量都是不顯著的。回歸方程的決定系數：一、“最優(yōu)”回歸方程的選擇目標：1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法：逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進有出”的回歸分析方法(逐步回歸分析方法)逐步剔除法（backward）1、用全部變量建立一個回歸方程2、對每個變量進行檢驗，剔除偏回歸平方和最小的變量。3、對剩余變量再作回歸，再檢驗……直至方程中沒有可剔除的變量為止。逐步引入法（forward）1、將所有自變量分別與因變量建立一元線性回歸方程，比較各自的回歸平方和，將回歸平方和最大的變量引入回歸方程。2、再分別將剩余變量與因變量y、及已引入的變量建立二元線性回歸方程，再比較回歸平方和，選擇回歸平方和最大的變量引入方程。直至方程檢驗不顯著為止?！爸鸩教蕹狈ㄅc“逐步引入”法都有明顯的不足之處:(1)“逐步剔除”法計算量大,且一旦某個自變量被剔除,沒有機會重新進入方程.(2)“逐步引入”法一旦引入某個變量,