應(yīng)用回歸分析第2章課后習(xí)題參考答案

1、2.1 一元線性回歸模型有哪些基本假定？答：1.解釋變量X1 , X2，X p,是非隨機變量，觀測值Xi1,Xi2,，Xp是常數(shù)。2. 等方差及不相關(guān)的假定條件為EGi) =0,i =1,2，,n廠2-CT ,1 = JcovGi)(i,J =1,2，,n)0,i 工 J這個條件稱為高斯-馬爾柯夫(Gauss-Markov)條件，簡稱G-M條件。在此條 件下，便可以得到關(guān)于回歸系數(shù)的最小二乘估計及誤差項方差 b2估計的一些重 要性質(zhì)，如回歸系數(shù)的最小二乘估計是回歸系數(shù)的最小方差線性無偏估計等。3.正態(tài)分布的假定條件為卜N(0,b2),i =1,2，nk,屆相互獨立在此條件下便可得到關(guān)于回歸系數(shù)

2、的最小二乘估計及 b2估計的進一步結(jié)果,如它們分別是回歸系數(shù)的最及 b2的最小方差無偏估計等，并且可以作回歸的顯著性檢驗及區(qū)間估計。4. 通常為了便于數(shù)學(xué)上的處理，還要求n P,及樣本容量的個數(shù)要多于解 釋變量的個數(shù)。在整個回歸分析中，線性回歸的統(tǒng)計模型最為重要。一方面是因為線性回歸 的應(yīng)用最廣泛；另一方面是只有在回歸模型為線性的假設(shè)下，才能的到比較深入和一般的結(jié)果；再就是有許多非線性的回歸模型可以通過適當?shù)霓D(zhuǎn)化變?yōu)榫€性回 歸問題進行處理。因此，線性回歸模型的理論和應(yīng)用是本書研究的重點。1. 如何根據(jù)樣本(Xi,Xi2,，Xi p；yi)(i =1,2，n)求出p及方差2的估計；2. 對回歸方

3、程及回歸系數(shù)的種種假設(shè)進行檢驗；3. 如何根據(jù)回歸方程進行預(yù)測和控制，以及如何進行實際問題的結(jié)構(gòu)分析。2.2考慮過原點的線性回歸模型% =臥+角，i =1,2,n誤差習(xí)，2,，En仍滿足基本假定。求Pi的最小乘估計。n答: Q(p1)=送(yi -E(yi)2 二送(yi-陥)2i zii =innn詁%(y_M=%Xiyi+2PZnPiS X2 =0i 二nS xyi解得f?=遲,即？的最小二乘估計為網(wǎng)Z Xi2n送 XiYiynZ2Xii丄i 42.3證明:Q (兀，3 1)=刀(yi-卩1 Xi)2A AB BBP因為 Q (尸 0, J)=min Q (P P 而Q (0,1 )非負且

4、在A A即-2刀(y* B 0- 3i Xi)=0A A又e = % -( 30+31 Xi)=0, 1 )_2R上可導(dǎo)，當Q取得最小值時，卜、 A-2 刀(yi-p0-p1Xi) Xi =0A Ap x0 -1 XicQ有iF0cQ叮0Po.JXix =o,刀 eXi =0（即殘差的期望為0,殘差以變量X的加權(quán)平均值為零） iN(O, 2 )2.4解：參數(shù)8 0, 8 1的最小二乘估計與最大似然估計在 i=1,2 ,n的條件下等價。2 證明：因為衣 i N（0,b）， =1,2,.n2所以Yi0+p1X1pN（p0+p1X莊）nZ Yi (p0 + p 幾,Xi)2其最大似然函數(shù)為彳 nLn

5、L( p0, PiQ) 知(2心)-22。 i L(%,Z2)=nSE=a2)/2ex p*_P 4的最大似然估計值。Y,-(P0+Pi%,Xi)2已知使得Ln （L）最大的?0, f?就是P 0,Q=：S （Yi -Y?）Z （Yi -（?0+f?1Xi）2即使得下式最小：11因為恰好就是最小二乘估計的目標函數(shù)相同。2所以，在客iN（0Q ）,1 2.n的條件下，參數(shù)P 0,8 1的最小乘估計與最大似然估計等價。2.5.證明Po是卩0的無偏估計。證明：若要證明P。是P。的無偏估計，則只需證明E( 3。)= 3。 I 反=Lxy / LXXr，宀宀卩1的最小二乘估計為疋0 = y -卩1X其中

6、Lxy =送(Xi x)(yi乞 xnx-正 yiLxx =送(Xi X)2 =2 Xi2 nX2Xi)2E( r)=E(?yiy -円X)=E( n yn-XZxjiLXX=E-X 嚴(PoLxx+ PiXi +幽)=E(其中-X寧冬)p0Lxx)+E(-x 寧)PiXiLxx)+E(x)Ei)LxxZ (lXXi y nLoXX応(1-xX-Xy np0(n一2 (Xi X)n Lxx i 二n送(Xi由于y-X)=0,7。pXX廠0n-X 牛一)0必 pf (生一X 牛一Xi) p1(X-T2 (Xi-X)N)Lxx一 i nLxx_Lxx iLXXX n臥XdVXT)(Xi-X)/(x

7、-x)=0又因為一元線性回歸模型為”1=3。+ Sxi ri各si獨立同分布，其分布為 N(0,b2)所以eL)=0所以xP。z r1E( i# nLxx) + E( U n(節(jié)仏(丄nLxx) + E( i# nLxxy (1 x= E(p0)+E(O) + i4 nXX)Ei)Lxx=P0所以*是3。的無偏估計。2.6 解:因為 nyi,AAPo=yfx,A n p嚴 idXi _XT-yiLxx聯(lián)立式，得到-V - xx： ViLxx 。弄n 1- Xi - XVar(P0)=VarI： (x ) yj y n Lxxn 1 - Xi - XY (丄_x3) Var(yi) i T nL

8、xxn 1 一+(x y n2XiX)Lxx-Xi - X 2 -2x bnLxxn 2因為Lxx弋(xi-x)n_無(Xi -X)=0，所以AnVar(P 0)=2y1 -n2+(x)n2無i =1(xi - X)2Lxxn_藝(Xix) 2 + 2x7nLxxf21 +(X_2 =cnXL XX-+n 2:2(Xi-x)丿2(xL2 zrSST=SSE+SSRn2.7證明平方和分解公式：證明：SST = Z (yyf =Z 山-？)+ (0 -y】2i壬i nnn(?i -y f +門(yi -yi)(?i -y )+2 (yi -?i) fi丑i三irnnn=Z (:? -y 2 +2

9、(yi -yjY =SSR+SSEi#y2.8驗證三種檢驗的關(guān)系，即驗證:c % 21 + (xiX)-2cr 21 + (Xix)nLxx1nLxx222J(n-2)rSSR/1Lxx?12SSR=SSE/(n-2)SSEc?2=t2證明：（1）因為xxn -2，所以xxP LxxjsSE-2SSR(n-2) SSR(n-2)SSRSsTSSESSEsstSST-SSR SSE又因為SST，所以SSTSST(2)J(n -2)rT1 -r2得證。ssR=s (g -y)2 =送(f?0 + f?1Xi-y)2(y + f?(Xi x) V)2 =送(f?(Xi-x)2 = (?jLxxSSR

10、/1SSEZ( n-2)=t22.9 驗證(2.63 )式:var() =(crL xx證明：var (e) = varvar (y.) + var (y ) -2cov (yi) + var(p +p0Xi)-2cov (yi，yXi-x)Xi-X(cr121Lxx其中:covyj,(Xi-X)=coVy.，)+ cov y j，Xi-Xyixi-X CoV y.，i=1（Xi-x）LxXyi=OOL XXXicrLxX注：各個因變量ywyn是獨立的隨機變量var( X +Y = var( X)+var(Y 忙 2 cov(X, Y)2.10用第9題證明0-ein-2的無偏估計量證明：En-

11、2i=1yiyin-2（e：n-2i=1n-2var(ei)1-1Jxi-x(CTL XX112=C7注：var( X )= E (x?) +E ( X 卩2.11驗證rF +n -2SSE (n-2)JSSRy( n_2)所以有碌ISSE 丿證明:L SSRF =SSE .(n -2)2SSR SSR11FrSSTSSR+SSE1+(SSESsr)“(n-2)訂F+n-2以上表達式說明r 2與 F等價，但我們要分別引入這兩個統(tǒng)計量，而不是只 引入其中一個。理由如下： r 2與 F，n都有關(guān)，且當n較小時，r較大，尤其當n趨向于2時，|r| 趨向于1,說明X與y的相關(guān)程度很高；但當n趨向于2或

12、等于2時，可能回歸 方程并不能通過F的顯著性檢驗，即可能X與y都不存在顯著的線性關(guān)系。所以, 僅憑r較大并不能斷定X與y之間有密切的相關(guān)關(guān)系，只有當樣本量n較大時才 可以用樣本相關(guān)系數(shù)r判定兩變量間的相關(guān)程度的強弱。 F檢驗檢驗是否存在顯著的線性關(guān)系，相關(guān)系數(shù)的顯著性檢驗是判斷回歸直線與回歸模型擬合的優(yōu)劣，只有二者結(jié)合起來，才可以更好的回歸結(jié)果的好壞。2.12如果把自變量觀測值都乘以2,回歸參數(shù)的最小二乘法估計 區(qū)和岡會發(fā)生 什么變化？如果把自變量觀測值都加上 2,回歸參數(shù)的最小二乘估計 區(qū)和氏會發(fā) 生什么變化？解：解法(一)：我們知道當計的?0和？分別為Iyi = P0 +p1Xi +Ei

13、, E(yi) = P0 + Ax時，用最小二乘法估A =y-xAn兀(舌-和X-刃i-1tl當xi =2x時舟二-辛畀/ s尿一巧例一刃 牯idj.lfj Zj 有（二必+珂d1 ? = 一232珂=2a“II MI k卜a7=-Z?#=-25+訥2歹+忒m 3.1於9 一押nS （珂-初仞-刃1-1將帶入得到n2-1當xr=Xi時壯 il?二-工曙二-Z（2 +嗎）二 2+無i Xa卜、二-ZX二-Oi+2A）=y+2A1AI有（小” +糾將帶入得到h1-刃5-刃I 乂 !-1Z（理-刃 V!.1解法（二）：當 yio+PiXi+i , E（yi） = p0 + PiX時，有nnQ(Po，

14、01)=S (yi E(yi)2 =送(yi 00 01X)2i4i 4當 Xi=2Xi 時 yi = Po +2瞅 +Ei = y. + 盼 E(y； 兀+鳥必nnnQ( Po，P1)=2 (y/ -E(yi)2(y p1X Po 2臥)2 =2：(屮一 Po -眼)2i 1i 4i 4當Xi=Xj +2= p0 + P1X. +2P1 +j = yi +2優(yōu)E(y；) = P 0 + fx +2(nnnp)=2 (yjEM)2 =2 (yi+2p1-Pop1Xi2p1)2 =2 (yi_Po 一 p1Xi)2i 1i 4y由最小二乘法可知，離差平方和Q（p0，Pi）=Q（p0，Pi）=Q（

15、p0，PJ時，其估計值應(yīng) 當有（菇肆。即回歸參數(shù)的最小二乘估計 氐和岡在自變量觀測值變化時不會變。NNA2.13如果回歸方程 尸ft +你 相應(yīng)的相關(guān)系數(shù)r很大，貝U用它預(yù)測時，預(yù)測誤差一定較小。這一結(jié)論能成立嗎？對你的回答說明理由。解：這一結(jié)論不成立。因為相關(guān)系數(shù)r表示x與y線性關(guān)系的密切程度，而它接 近1的程度與數(shù)據(jù)組數(shù)有關(guān)。n越小，r越接近1。n=2時，|r|=1。因此僅憑相 關(guān)系數(shù)說明x與y?有密切關(guān)系是不正確的。只有在樣本量較大時，用相關(guān)系數(shù)r判定兩變量之間的相關(guān)程度才可以信服，這樣預(yù)測的誤差才會較小。2.14解：（1）散點圖為:4&=J5-4巒1滬nr(2) x與y大致在一條直線上

16、，所以x與y大致呈線性關(guān)系。(3) 得到計算表：XY(Xi X)2(Yi -Y)2(Xi -X)(Yi -Y)Y?(Y?-Y)2(Y?-Yi)21104100206(-14) 2(-4) 221011001013(-7) 2(3) 2320000200042010027727254044004034142(-6) 2和15100和Lxx=10Lyy=600和 Lxy=70和100SSR=490SSE=110均3均20均20?1 = 土 二70, =Y _(?x =20 3咒7 = 1.XXLxx 10所以回歸方程為：V?=f?0 + f?X =-4 +7X2= -w(yV)丄ssE0 n-2

17、i=1=n2E J733O 止 6.1所以， 3(5)因為紅N(Po,(6件戸2)nLxx0的置信區(qū)間為進)xx2紅 N(p1，m)同理，因為Lxx，所以,1的置信區(qū)間為查表知，ta/2(n-2) =to.o25(3) =3.182A所以，3 0的置信區(qū)間為(-21.21,19.21),AP1的置信區(qū)間為(0.91,13.09 )。(6)決定系數(shù) R2 =SSR = SSR=490SST Lyy600.817(7)計算得出，方差分析表如下:方差來源平方和自由度均方F值SSR490149013.364SSE110336.667SST6004查表知，F(xiàn)0.05(1,3)=10.13 ，F(xiàn)值F0.0

18、5(1,3)，故拒絕原假設(shè)，說明回歸 方程顯著。t = 2計算t統(tǒng)計量：J/Lxx查表知/,2(n-2) 0.025(3) = 3.182說明x和丫有顯著的線性關(guān)系。(9)做相關(guān)系數(shù)r的顯著性檢驗：因為RA Q-7x71021=S： 3.66/330 丁333，所以，tt0.05/2(3)，所以接受原假設(shè),所以，相關(guān)系數(shù)r 7R0.9512=空=空=49?=0.817SSTLyy600(8)做回歸系數(shù)P 1的顯著性檢驗因為查表知，n-2等于3時，a二1%勺值為0.959，=5%勺值為0.878。所以，a =5%v|r|v a =1%故x與y有顯著的線性關(guān)系。(10)殘差表為:G.X-DSZ K

19、-I.JDZW wIW序號xyA y殘差e111064221013-33320200442027-75540346殘差圖為:(11)當 X0=4.2 時,、 A A其95%勺置信區(qū)間近似為 近似為y2b，即為：（17.1，39.7 ）。2.15 解：（1）畫散點圖；圖形-舊對話框-散點圖，得到散點圖（表 1）如下:5.0-4-Cr21.D-2501250MlftEht5MTEQlOm每極發(fā)的新保單數(shù)目貿(mào)（2）x與y之間是否大致呈線性關(guān)系？ 由上面（1）散點圖可以看出，x與y之間大致呈線性關(guān)系。用最小二乘估計求出回歸方程；分析-回歸-線性，得到“回歸系數(shù)顯著性檢驗表（表 2）如 下:Coeffi

20、cie ntsaModelUn sta ndardizedCoefficie ntsSta ndardizedCoefficie ntstBStd. ErrorBeta1(Co nsta nt).118.355.333每周簽發(fā)的新保單數(shù)目x.004.000.9498.509a. Dependent Variable:每周加班工作時間y由上表可知:AP0=0.118AP1 =0.004A所以可得回歸方程為：y =0.118+0.004x(4)求回歸標準誤差b ；分析-回歸-線性，得到“方析分析表(表 3)”如下:ANOVAbModelSum of SquaresdfMean SquareFSig

21、.1Regression16.682116.68272.396.000aResidual1.8438.230Total18.5259a. P redictors: (Co nsta nt),每周簽發(fā)的新保單數(shù)目xb. Dependent Variable:每周加班工作時間y由上表可得，SSE=1.843 n=10故回歸標準誤差為:人 2SSE 1.843(yi yi) =n-2 = 10-2=0.23AI A2CT 二 Vb =0.48(5)給出3 0與3 1的置信度為95%勺區(qū)間估計;由表2可以看出，當置信度為95%寸,AP0的預(yù)測區(qū)間為：-0.701 ，0.937P1的預(yù)測區(qū)間為：0.00

22、3，0.005(6)計算x與y的決定系數(shù)； 分析-回歸-線性，得到“模型概要表(表 4)”如下:Model SummarybModelRR SquareStd. Error of theAdjusted R Square) Estimate1.949a.900.88848001a. P redictors: (Con sta nt),b. Dependent Variable:,每周簽發(fā)的新保單數(shù)目x每周加班工作時間y由上表可知，x與y的決定系數(shù)為0.9，可以看到很接近于1,這就說明此 模型的擬合度很好。（7）對回歸方程作方差分析；由“方差分析表（表3）”可得，F(xiàn)-值=72.396，我們知道，

23、當原假設(shè)H0： =0成立時，F(xiàn)服從自由度為（1, n-2）的F分布（見 P38）,臨界值 Fa（ 1，n-2）=F0.05（ 1，8）=5.32 因為 F-值=72.3965.32，所以拒絕原假設(shè)，說明回歸方程顯著，即x與y有顯著的線性關(guān)系。（8）做回歸系數(shù)h顯著性的檢驗；由“回歸系數(shù)顯著性檢驗表（表2）可得，卩1的t檢驗統(tǒng)計量為t=8.509，對應(yīng)p-值近似為0， pv。，說明每周簽發(fā)的新報單數(shù)目x對每周加班工作時間y有顯著的影響。（9）做相關(guān)系數(shù)的顯著性檢驗；分析-相關(guān)-雙變量，得到“相關(guān)分析表（表 5）”如下：Correlati ons每周簽發(fā)的新 保單數(shù)目x每周加班工作 時間y每周簽發(fā)

24、的新保單數(shù)目P ears onCorrelati on1.949*Sig. (2-tailed).000N1010每周加班工作時間yP ears onCorrelati on.949*1Sig. (2-tailed).000N1010*. Correlation is sig nifica nt at the 0.01 level (2-tailed).由上表可知，相關(guān)系數(shù)為0.949，說明x與y顯著線性相關(guān)。 （10）對回歸方程作殘差圖并作相應(yīng)的分析；1 .Or.e- &-Q.4- .2-DO1.0Normal P-P Plot of Rcgressiorh Standardized Res

25、idualDependent Variable：每周力【田上工作汗r才間yIDIJ20 40-60.0Ob&rved Cum Probqad Enlp 呂zwdlg從上圖可以看出，殘差是圍繞e=0隨即波動的，滿足模型的基本假設(shè)。(11)該公司預(yù)計下一周簽發(fā)新保單xo=iooo張，需要的加班時間是多少?當 x0=1000 張時,y。=0.118+0.004 X 1000=4.118 小時。(12)給出y0的置信水平為95%勺精確預(yù)測區(qū)間和近似預(yù)測區(qū)間。(13)給出E ( y0 )置信水平為95%勺區(qū)間估計。 最后兩問一起解答：在計算回歸之前，把自變量新值x0輸入樣本數(shù)據(jù)中，因變量的相應(yīng)值空缺，然

26、后在Save對話框中點選Individul和Mean計算因變量單個新值y0和因變量平均值E(y0)的置信區(qū)間。結(jié)果顯示在原始數(shù)據(jù)表中，如下圖所示(由于排版問題，中間部分圖省略)：每周讎的新1保鞘目乂每周姬工作時間yLWUMCIJLICI_1UICI_1S253.52.720513.431221.13291.238442151.0.252531.525342.16577107014.013.49364.414752.755315.1.31455012.01.683afl2.49611.9108S3.269054801.01.39U62.283533.(131859203.03.034323798692.245384.aB?b213&04.54.288023.56413G.2.1993251.5733C101.B335&.M712!2.55巾3.02158892.B814i1.35577164b712155.D13.91169.036443.2324G5715671000-I3.283734.122792.51949iaB?03y0的精確預(yù)測區(qū)間為：2.5