應用回歸分析第四版課后習題答案_全_何曉群_劉文卿

1、實用回歸分析第四版第一章回歸分析概述1.3 回歸模型中隨機誤差項e的意義是什么？答：8為隨機誤差項，正是由于隨機誤差項的引入，才將變量間的關(guān)系描述為一個隨機方程，使得我們可以借助隨機數(shù)學方法研究y與x1,x2.xp的關(guān)系,由于客觀經(jīng)濟現(xiàn)象是錯綜復雜的，一種經(jīng)濟現(xiàn)象很難用有限個因素來準確說明， 隨機誤差項可以概括表示由于人們的認識以及其他客觀原因的局限而沒有考慮 的種種偶然因素。1.4 線性回歸模型的基本假設(shè)是什么？答：線性回歸模型的基本假設(shè)有：1.解釋變量x1.x2 .xp是非隨機的，觀測值 xi1.xi2 .xip 是常數(shù)。2.等方差及不相關(guān)的假定條件為e( e i)=0 i=1,2 cov

2、(ei, j)= (ta23.正態(tài)分布的假定條件為相互獨立。4.樣本容量的個數(shù)要多于解釋變量的個數(shù)， 即 np.第二章 一元線性回歸分析思考與練習參考答案2.1一元線性回歸有哪些基本假定？答：假設(shè)1、解釋變量x是確定性變量，y是隨機變量；假設(shè)2、隨機誤差項e具有零均值、同方差和不序列相關(guān)性:e( i)=0i=1,2,nvar ( i) = 22i=1,2,，ncov( i, )=0i wj i,j= 1,2,，n假設(shè)3、隨機誤差項e與解釋變量x之間不相關(guān)：cov(xi, i)=0i=1,2, ,n假設(shè)4、e服從零均值、同方差、零協(xié)方差的正態(tài)分布in(0,仃2)i=1,2,n2.3 證明(2.2

3、7 式)，1ei =0 ,工eixi=0 。 nnq，(y -y?)2(丫-(？0nx-)2證明：11其中：=%+b?xii 血+鹿*7)=。|(a+/?x-i；)工=o即：工e =0 ,工exi=02.5 證明凡是由的無偏估計。e 二 y -y?縈0掾0-1 n證明：e(4)=e(y - zx) = e% yi n yxpyjlxx二 en (1_xxa)yi = en (-x)( 0 區(qū)“)i=1 nlxxi=1 nlxx=e 八 p-xxpx)/二i =1nlxx+ 9 j i=i n. xq)e(；i)= lxx2.6 證明證明：var( ?0) =(- t-x)=2n xi x 2

4、i 12(- nxxn 1 xi x j 1 xi x 2var(z) =var(-xi)yj=(-x-i)2var( ixi ji=1 nlxxi=1 nlxx(1)2 -2x xi -xnlxx-x - x 22(xx-)2。2lxxj工ln lxx2.7 證明平方和分解公式：sst=sse+ssr證明：n_ 2 n_sst uyi y j = yi -r) 葩 y 2 i =1i =1n_ 2 n_ n2=y 2 yi -yi) y _ yi -w)i =1i =1i=1n2 n2= 、. yi y一 yi -常)=ssr ssei =1i=12.8 驗證三種檢驗的關(guān)系，即驗證:修。一吊

5、證明：（1）;？r , lyy lxx.c? lxx - sse(lxx(n-2) - sse(n-2) , sse sst . 1 _ r2(2)ssr= (? -y)2=s (/+(?1為-y)2= (y +敞xi-x)-y)2=e (酊xx)2 = ?2lxxl ssr/1.f -sse/(n -2)?2lt2?t :t(xi - x)2lxx12.9 驗證(2.63)式:var(ei )=(1 - n證明:var(e ) =var( y y?) = var(y) + var(y?) 2cov( yi，y?) = var(yi)+var(% +限)-2cov( y , y +(?3一又)

6、（為一:）2lxx2 1 -2二(xi -1)2lxx1=1 - n(xi -x)2lxx二2cov(yi,y ?i(xi- x) =cov(yi,y) cov(yi,4 - x)其中:1 一= cov(yi, % y)(xi - x)cov( yi ji 1(xi - x)lxxyi)1二 2 (xx)2 二 2lxx-x)2lxx)-2；:?22.10用第9題證明-2是的無偏估計量證明:e(；?2)n 2n、e(yi f?)2i =1n 2n 2n工 var(e)=n 2(n -2)-2 =。21 ne(e2)(x -x)2f21.一個回歸方程的復相關(guān)系數(shù) r=0.99,樣本決定系數(shù)r2=

7、0.9801 ,我們能判斷這個回歸方程就很理想嗎？答：不能斷定這個回歸方程理想。因為：1 .在樣本容量較少，變量個數(shù)較大時，決定系數(shù)的值容易接近1,而此時可能f檢驗或者關(guān)于回歸系數(shù)的t檢驗，所建立的回歸方 程都沒能通過。2 .樣本決定系數(shù)和復相關(guān)系數(shù)接近于1只能說明 y與自變量x1,x2,xp整體上的線性關(guān)系成立，而不能判斷回歸方程和每個自變量是顯著的，還需進行 f檢驗和t檢驗。3 .在應用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增加解釋變量必定使得自由度減少，使得 r2往往增大，因此增加解釋變量(尤其是不顯著的解釋變量)個數(shù)引起的 r2的增大與擬合好壞無關(guān)j =1,2,., pn其中

8、：ljj 依-元)2 i 12.被解釋變量y的期望值與解釋變量 x1,x2，xk的線性方程為:e(y)=飛 5一：x 2lh - axk(3-2)稱為多元總體線性回歸方程，簡稱總體回歸方程。對于n組觀測值y，x1i，x2i，xki =1,2,，n),其方程組形式為:yi =飛x2i , iii , -kxki ,(i =1,2,l|l,n)(3-3)即y2 = 01x12 -x21 . xh l2x22 .xk2 . %yn = 0- mxm 2x2nxkn 其矩陣形式為1121k1y21222k2y =x b+xmx2nxkn(1-o1 p旭一j“n 1(3-4)其中y n1丫1丫21121

9、為被解釋變量的觀測值向量;x n (k 1)1222xk1xk2為解釋變一瓦一量的觀測值矩陣；限由乂 =為總體回歸參數(shù)向量;xmx2nxkn一丫匕為隨機誤差項向量。j1n 1凡一多元回歸線性模型基本假定：課本p57第四章4.3 簡述用加權(quán)最小二乘法消除一元線性回歸中異方差性的思想與方法。答：普通最小二乘估計就是尋找參數(shù)的估計值使離差平方和達極小。其中每個平 方項的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。 在誤差項等方差不相關(guān)的條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而在異方差 的條件下，平方和中的每一項的地位是不相同的， 誤差項的方差大的項，在殘差 平方和中的取值就偏大，

10、作用就大，因而普通最小二乘估計的回歸線就被拉向方差大的項，方差大的項的擬合程度就好，而方差小的項的擬合程度就差。由ols 求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。 所以就是：對較大 的殘差平方賦予較小的權(quán)數(shù)，對較小的殘差平方賦予較大的權(quán)數(shù)。 這樣對殘差所 提供信息的重要程度作一番校正，以提高參數(shù)估計的精度。加權(quán)最小二乘法的方法:wi(yi - ?j2-wi(yi - ?0 - ?1xi)2 wi(xi - xw)(y - yw)i=11w0wi= 1(xiyw- ?wxwxw)2二 i 二kxi表示 1wikxi2xi2或 c- i2m=kxi ,wi =m xiwi，(2)(2

11、)(3)4.4 簡述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方 法。答：運用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與一元線性回 歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個適當?shù)臋?quán)數(shù)以調(diào)整各項在平方和中的作用，加權(quán)最小二乘的離差平方和為：nqw( - o, f, , ： p) = wi (yi - -,-o - -ixii - - - pxip )2 i 1加權(quán)最小二乘估計就是尋找參數(shù) 久,叫,，%的估計值用w,1?1w,fpw使式 的離差平方和qw達極小。所得加權(quán)最小二乘經(jīng)驗回歸方程記做? = ? x -i? xyw0w1w x1pw xp多元回歸模型加權(quán)最小二

12、乘法的方法：首先找到權(quán)數(shù)wi,理論上最優(yōu)的權(quán)數(shù)wi為誤差項方差52的倒數(shù)，即wi =工（4）-i誤差項方差大的項接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用；誤 差項方差小的項接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的加權(quán)最小二乘估計 陽w,耳w,，rw就是參數(shù)久聿,，pp的最小方差線性無偏估 計。一個需要解決的問題是誤差項的方差 。2是未知的，因此無法真正按照式（4） 選取權(quán)數(shù)。在實際問題中誤差項方差 52通常與自變量的水平有關(guān)（如誤差項方差 52隨著自變量的增大而增大），可以利用這種關(guān)系確定權(quán)數(shù)。例如 52與第j個自 變量取值的平方成比例時，即62=kx2時，這時取權(quán)數(shù)為1

13、皿wi（5）為更一般的情況是誤差項方差 仃：與某個自變量xj （與|ei|的等級相關(guān)系數(shù)最大 的自變量）取值的幕函數(shù)xim成比例，即叼2=卜乂:，其中m是待定的未知參數(shù)。止匕 時權(quán)數(shù)為wi =-xij這時確定權(quán)數(shù)wi的問題轉(zhuǎn)化為確定幕參數(shù) m的問題，可以借助spss軟件解決。第五章5.3 如果所建模型主要用于預測，應該用哪個準則來衡量回歸方程的優(yōu)劣？ 答：如果所建模型主要用于預測，則應使用 cp統(tǒng)計量達到最小的準則來衡量回 歸方程的優(yōu)劣。5.4 試述前進法的思想方法。答：前進法的基本思想方法是：首先因變量 y對全部的自變量x1,x2，,xm建立 m個一元線性回歸方程,并計算f檢驗值，選擇偏回歸

14、平方和顯著的變量（f值 最大且大于臨界值）進入回歸方程。每一步只引入一個變量，同時建立 m1個 二元線性回歸方程，計算它們的f檢驗值，選擇偏回歸平方和顯著的兩變量變量（f值最大且大于臨界值）進入回歸方程。在確定引入的兩個自變量以后，再引 入一個變量，建立m 2個三元線性回歸方程，計算它們的 f檢驗值，選擇偏回 歸平方和顯著的三個變量（f值最大）進入回歸方程。不斷重復這一過程，直到 無法再引入新的自變量時，即所有未被引入的自變量的f檢驗值均小于f檢驗臨界值fa （1,n-p-1）,回歸過程結(jié)束。5.5 試述后退法的思想方法。答：后退法的基本思想是：首先因變量 y對全部的自變量x1,x2，,xm建

15、立一個 m元線性回歸方程，并計算t檢驗值和f檢驗值，選擇最不顯著（p值最大且大 于臨界值）的偏回歸系數(shù)的自變量剔除出回歸方程。 每一步只剔除一個變量，再 建立m-1元線性回歸方程，計算t檢驗值和f檢驗值，剔除偏回歸系數(shù)的t檢 驗值最?。╬值最大）的自變量，再建立新的回歸方程。不斷重復這一過程，直 到無法剔除自變量時，即所有剩余p個自變量的f檢驗值均大于f檢驗臨界值f a（1,n-p-1）,回歸過程結(jié)束。第六章消除多重共線性的方法7.2 嶺回歸的定義及統(tǒng)計思想是什么？答：嶺回歸法就是以引入偏誤為代價減小參數(shù)估計量的方差的一種回歸方法，其統(tǒng)計思想是對于（xx）-1為奇異時，給x x加上一個正常數(shù)矩

16、陣d,那么x x+d 接近奇異的程度就會比x x接近奇異的程度小得多，從而完成回歸。但是這樣 的回歸必定丟失了信息，不滿足blue。但這樣的代價有時是值得的，因為這樣可 以獲得與專業(yè)知識相一致的結(jié)果。7.3 選擇嶺參數(shù)k有哪幾種方法?答：最優(yōu)k是依賴于未知參數(shù)p和仃2的，幾種常見的選擇方法是:嶺跡法：選才i%的點能使各嶺估計基本穩(wěn)定，嶺估計符號合理，回 歸系數(shù)沒有不合乎經(jīng)濟意義的絕對值，且殘差平方和增大不太多；方差擴大因子法：c(k) =(xx+ki),xx(xx+ki),，其對角線元5(k)是嶺估計的方差擴大因子。要讓c/(k)e10;殘差平方和：滿足sse(k)csse成立的最大的k值。7.4 用嶺回歸方法選擇自變量應遵循哪些基本原則？答：嶺回歸選擇變量通常的原則是：1 .在嶺回歸的計算中，我們通常假定涉及矩陣已經(jīng)