數(shù)理統(tǒng)計(jì)：ch4 回歸分析

1、休息休息結(jié)束結(jié)束第四章第四章 回歸分析休息休息結(jié)束結(jié)束在哲學(xué)意義上說(shuō)，事物之間普遍存在著聯(lián)系在哲學(xué)意義上說(shuō)，事物之間普遍存在著聯(lián)系和制約。和制約。 有些事物之間的實(shí)際聯(lián)系極其微弱，實(shí)踐中有些事物之間的實(shí)際聯(lián)系極其微弱，實(shí)踐中可以忽略?？梢院雎?。 有些變量之間卻有完全確定的緊密聯(lián)系。有些變量之間卻有完全確定的緊密聯(lián)系。 而在很多情況下，事物之間的聯(lián)系既不是互而在很多情況下，事物之間的聯(lián)系既不是互相獨(dú)立，也沒(méi)有密切到完全確定的程度。相獨(dú)立，也沒(méi)有密切到完全確定的程度。 相關(guān)關(guān)系休息休息結(jié)束結(jié)束回歸分析回歸分析就是研究變量間就是研究變量間相關(guān)關(guān)系相關(guān)關(guān)系的一門的一門學(xué)科學(xué)科, ,它通過(guò)對(duì)客觀事物中變

2、量的大量觀察，尋它通過(guò)對(duì)客觀事物中變量的大量觀察，尋找隱藏在觀察數(shù)據(jù)背后的相關(guān)關(guān)系，給出它們找隱藏在觀察數(shù)據(jù)背后的相關(guān)關(guān)系，給出它們的表達(dá)形式的表達(dá)形式回歸函數(shù)回歸函數(shù)的的估計(jì)估計(jì)。在實(shí)踐中能夠取到一個(gè)可觀測(cè)（但不能人在實(shí)踐中能夠取到一個(gè)可觀測(cè)（但不能人為控制）的值，或者能夠根據(jù)需要對(duì)它賦值。為控制）的值，或者能夠根據(jù)需要對(duì)它賦值。這種變量稱為這種變量稱為自變量自變量，或，或預(yù)報(bào)變量預(yù)報(bào)變量。受預(yù)報(bào)變量影響的變量稱為受預(yù)報(bào)變量影響的變量稱為因變量因變量，或，或響響應(yīng)變量應(yīng)變量。 休息休息結(jié)束結(jié)束回歸分析研究預(yù)報(bào)變量的變化對(duì)響回歸分析研究預(yù)報(bào)變量的變化對(duì)響應(yīng)變量變化的影響程度，應(yīng)變量變化的影響程

3、度， 繼而根據(jù)已知繼而根據(jù)已知預(yù)報(bào)變量的變化來(lái)預(yù)報(bào)變量的變化來(lái)估計(jì)估計(jì)或或預(yù)測(cè)預(yù)測(cè)響應(yīng)變量響應(yīng)變量的變化。的變化。 休息休息結(jié)束結(jié)束4.1 一元線性回歸 例例1 1 某超市年銷售額統(tǒng)計(jì)如下表：某超市年銷售額統(tǒng)計(jì)如下表：年份年份xi1994 1995 1996 1997 1998 1999 2000 2001 2002銷售額銷售額yi( (萬(wàn)元）萬(wàn)元）114127128153169184208203205休息休息結(jié)束結(jié)束199419951996199719981999200020012002100120140160180200220240休息休息結(jié)束結(jié)束i01iiiid2iyxi1,2,n.N

4、0, ,01yx2E0 ,D進(jìn)一步對(duì)進(jìn)一步對(duì) 作正態(tài)假設(shè)作正態(tài)假設(shè)一元線性回歸的統(tǒng)計(jì)模型一元線性回歸的統(tǒng)計(jì)模型休息休息結(jié)束結(jié)束利用已經(jīng)獲得的數(shù)據(jù)利用已經(jīng)獲得的數(shù)據(jù)（xi ，yi ）i = 1 , n ，可以對(duì)未知的模型參數(shù)可以對(duì)未知的模型參數(shù)0、 1作出估計(jì)。作出估計(jì)。01,記為記為 擬合方程擬合方程或或回歸方程回歸方程 ：01 yx休息休息結(jié)束結(jié)束回歸系數(shù)的最小二乘估計(jì)回歸系數(shù)的最小二乘估計(jì)( LSE )01n2iii 101Q(,)( yx ) 01, 找找0011minQ(,)Q(,) 使使休息休息結(jié)束結(jié)束0101001niii 1niii101i1Q(,)2( yx )0Q(,)2x

5、( yx )0 010nn2iiii 1i 11xynx+x yx休息休息結(jié)束結(jié)束01yxniii 1n2ii 11( xx )( yy)( xx ) xyxxll 回歸方程回歸方程 01x y 11yxxxyxxl yy( xx )l休息休息結(jié)束結(jié)束 0010 yxN + +定定 理理：在一元線性回歸的統(tǒng)計(jì)模型下，有在一元線性回歸的統(tǒng)計(jì)模型下，有2002xx1xN, ()nl 211xxN,l 012xxxCov,l 001x ,+ +220 xx(x -x)1()nl 休息休息結(jié)束結(jié)束01000yx + +0120Nx , + +22000 xx(x -x)1yN 0, (1)nl y -

6、 -0010 yx+ + 20 x02x10(x -x)1Nx ,()nl + + 休息休息結(jié)束結(jié)束xy1xxll nii 1xxi()lyxx 01yxnniii1i 1xxi( xx )1xnlyy 證：證：nii 1ixx( xx )1xnly nn2xxiiii 1i 1l( xx )( xx )( xx )nnxyiiiii 1i 1l( xx )( yy )( xx )yniii 1( xx )x 休息休息結(jié)束結(jié)束ni1i1ixx( xx )E()E()ly niii 1x01x( xx )(x )l + +nii 1xxi0( xx )1E()xE()ynl 1 niii 1xx

7、01( xx )1x (x )nl + +010nniiii 1i 1xx1( xx )1(x )(x )xnl +niii 101x1x( xx )xxxl + +0 nii 1ixx1( xx )ly nii 1xxi0( xx )1xnyl 休息休息結(jié)束結(jié)束2ni2ix11ix( xx )DDly 2nii 1xxi0( xx )1DxyDnl n1x22iix( xx )1xnl 2x2x1x()nl 2ni2i 1x2x( xx )l xx2l 2n2ii22i 1xx2xx( xx )( xx )12xxnlnl 2002xx1xN, ()nl 211xxN,l nii 1ixx1

8、( xx )ly nii 1xxi0( xx )1xnyl 休息休息結(jié)束結(jié)束nniii 1i 1xxxxi1i0( xx )( xx )1Cov,Covx,nllyy2ni2i 1xxi( xx )xlyD x2xxl 類似地，有：類似地，有：0001EEExy + +001x + +00120001DDx D2x Cov, y() +2200 xxxxx22x2xx1x()x2nlll 022xx(x -x)1()nl 休息休息結(jié)束結(jié)束定理說(shuō)明：分別是分別是 的無(wú)偏估計(jì)；的無(wú)偏估計(jì)；01,01, ,是是 的無(wú)偏估計(jì)；的無(wú)偏估計(jì)；0 y0010E(y )x + +01,除除 外外 是相關(guān)的；是

9、相關(guān)的；x0 預(yù)測(cè)點(diǎn)預(yù)測(cè)點(diǎn) x0 不能離開(kāi)不能離開(kāi) 太遠(yuǎn)。太遠(yuǎn)。x要提高估計(jì)精度，就要求要提高估計(jì)精度，就要求 n 大，大，lxx 大；大；休息休息結(jié)束結(jié)束回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)平方和分解 in=1i2ii( y -y )( y -y=)+nnniiii=1i=2i2i1i=1i=+2( y -y )( y( y-y( y -yy)-)n2ii2ini=1i=1=( y -y )() +y -yeR=S +Sn2i1Ti=( y -y )S0111H :0H :0y休息休息結(jié)束結(jié)束1. F 檢驗(yàn)檢驗(yàn) RTeS =S +S定定 理理8.4.28.4.2：沿用上面的記號(hào)，有：沿用

10、上面的記號(hào)，有：2xxR21E()lS2eE()(n)S2 iRn2i 1( yy )S 11n2ii 1( yxxy ) + +n2i01i 1(xy ) + +n2i21i 1( xx ) x2x1l xxR21E()E()Sl 2x11xD()( E) l證：證：221xxxx()ll 類似地，可得類似地，可得2eE()(n)S2 休息休息結(jié)束結(jié)束2e2/(n2 )S 11121nn-1,1n-1,2n-1,nnnnxxxxxxaaaaaaAxx xxxxlll1n1n1n 令令為為正正交交陣陣/證：證：定定 理理8.4.38.4.3：沿用上面的記號(hào)，有：沿用上面的記號(hào)，有：0HR221

11、)S/(ReSSy與與、 獨(dú)獨(dú)立立nnn2ijijjijj 1j 1j 1nikjkk 1a0 ,a x0 ,a1 ,i1,n 2a a0 ,1ijn2 , -, -休息休息結(jié)束結(jié)束1122nnzyzy=AYAzZy11121nn-1,1n-1,2n-1,nnnnxxxxxxaaaaaaAxx xxxxlll1n1n1n /01101nxxEAEYAZ nnn2ijijjijj 1j 1j 1nikjkk 1a0 ,a x0 ,a1 ,i=1n2a a0 ,1ijn2 ，n 1n00E(z)E(z ) 休息休息結(jié)束結(jié)束12nZyyAYAy11121nn-1,1n-1,2n-1,nnnnxxxx

12、xxaaaaaaAxx xxxxlll1n1n1n /niii 1xn-1x( xx ) lzy= n1niiy yz =nn xyxx1xxl ll n 1xx1- E()= lz n01 E()= n(zx ) 休息休息結(jié)束結(jié)束T2T2nD()AD(Y )AAAIZ12nz ,z ,z, ,相相互互獨(dú)獨(dú)立立；2izN( 0,)i 1 2n-2 ； = , , = , , , ,2n-1xx1zN(l,) ；2n01zN(n(x),) ；1122nnzyzy=AYAzZynn2TTTT2iii 1i 1zZ Z=YA AY=Y Y=y休息休息結(jié)束結(jié)束eRTSS =+Snn222iiiT1i

13、1=( yy )ynyS21xRxSl n-1xx1 = lz n zny n2ii 12nzzn 12ii 1z2n-1 =zTReSS =-Sn 22ii 1z22e(Sn2 ) nn22iii 1i 1z =y0HR22S(1) eRySS 與與、 獨(dú)獨(dú)立立休息休息結(jié)束結(jié)束0RReHe22S/FF(1,n-2 )/( n2 )/( nS2SS) = = =0111H :0H :0所以，對(duì)所以，對(duì)e-R1 = SS/ n2F2 )F(1,n 當(dāng)當(dāng) 時(shí)，拒絕時(shí)，拒絕H0休息休息結(jié)束結(jié)束2x11xN,l 1xx10N ( 0 1 )/l ，0111H :0vsH :0 當(dāng)當(dāng) 時(shí)，拒絕時(shí)，拒絕H

14、01-2t t( n2 ) e2E=(nS-2) 2e = S(n-2) 2. t 檢驗(yàn)檢驗(yàn) 22eS(n2 ) 11xx0t ( n-2 ) /lt 休息休息結(jié)束結(jié)束TeRT1SS+S=S令令T2RR =SSR2 越大（越接近越大（越接近1 1），表明），表明ST 中回歸平方和中回歸平方和SR 占的比例就越大，回歸方程就越有效；占的比例就越大，回歸方程就越有效；反之，反之，R2 越小，（越接近越小，（越接近0 0），表明），表明 ST 中誤中誤差平方和差平方和 Se 占的比例就越大，回歸方程的有效占的比例就越大，回歸方程的有效性就較差。性就較差。RTeS =S +S3. 相關(guān)系數(shù)相關(guān)系數(shù)檢驗(yàn)

15、檢驗(yàn) 休息休息結(jié)束結(jié)束n2ii 12Rn2ii 1TSS( yy )=( y)Ry xy2xxxxyyll()ll n221ii 1y y( xx )l 2xyxx yylll 2niii 1nn22iii 1i 1( xx )( yy )( yy )( xx ) 2xyr 休息休息結(jié)束結(jié)束可化為線性回歸的非線性回歸 根據(jù)中華人民共和國(guó)信息產(chǎn)業(yè)部發(fā)布的統(tǒng)計(jì)資料，根據(jù)中華人民共和國(guó)信息產(chǎn)業(yè)部發(fā)布的統(tǒng)計(jì)資料，19971997年年5 5月至月至19981998年年1212月每月上網(wǎng)人數(shù)見(jiàn)下表：月每月上網(wǎng)人數(shù)見(jiàn)下表： 序號(hào)序號(hào)12345678910時(shí)間時(shí)間97.597.697.797.897.997.

16、1097.1197.1298.198.2人數(shù)人數(shù)3539434752.857.263.96874.380.2序號(hào)序號(hào)11121314151617181920時(shí)間時(shí)間98.398.498.598.698.798.898.998.1098.1198.12人數(shù)人數(shù)90.298.1108.4120.2 128.9 135.5147.8170.4188.9215.7休息休息結(jié)束結(jié)束0510152020406080100120140160180200220休息休息結(jié)束結(jié)束對(duì)此對(duì)此, ,我們假設(shè)（我們假設(shè)（ x , y ）滿足：）滿足：y = a ebx lnylna bx ln 令令 lny = y* ,

17、 lna = a* , ln = * 則有：則有：y* = a* + bx + * 休息休息結(jié)束結(jié)束0481216201.52休息休息結(jié)束結(jié)束可以用變換方法處理的函數(shù)類型有：可以用變換方法處理的函數(shù)類型有： 冪函數(shù)趨勢(shì)冪函數(shù)趨勢(shì) byax 指數(shù)函數(shù)趨勢(shì)指數(shù)函數(shù)趨勢(shì) bxyae 對(duì)數(shù)函數(shù)趨對(duì)數(shù)函數(shù)趨勢(shì)勢(shì) yablg x 雙曲函數(shù)趨勢(shì)雙曲函數(shù)趨勢(shì)1bayx 休息休息結(jié)束結(jié)束S 型曲線模型型曲線模型 ( bcx )ay1e xy休息休息結(jié)束結(jié)束4.2 多元線性回歸 多元線性回歸的統(tǒng)計(jì)模型多元線性回歸的統(tǒng)計(jì)模型i01i1pipiyxxi1,2,n.+iid2iN 0, ,休息休息結(jié)束結(jié)束i01i1pi

18、piyxxi1,2,n.+T12nyy , y , yT01p,11121p21222pn1n2np1 xxx1 xxxX1 xxxT12n,2nyXN 0,I休息休息結(jié)束結(jié)束01i12ii 1pipnQ()xxy() + + +回歸系數(shù)的最小二乘估計(jì)回歸系數(shù)的最小二乘估計(jì)( LSE )Q() TTTTTy y 2XyX X - -+ + Ty Xy X - - -TTTyXy X - - -TTTTTTy yXy y XX X - - -+ +TTTTTy y 2X yX X - -+ +TT2X y+2X X0 - -1TTX XX y 休息休息結(jié)束結(jié)束-1TTX XyX N, -1TTE

19、X XyX E -1TTX XX X -1TTDDX XXy T-1-1TTTTyX XXDX XX-1-1TT2TX XXI X X X -12TX X -12TX X 休息休息結(jié)束結(jié)束回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)n2i2iR1n2ii 1T( yy )=( yy )SSR 復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)2p2n= 1(1RR )np 修正復(fù)相關(guān)系數(shù)修正復(fù)相關(guān)系數(shù)休息休息結(jié)束結(jié)束在原有假設(shè)下，可以考慮采用在原有假設(shè)下，可以考慮采用 F 作為檢驗(yàn)作為檢驗(yàn)統(tǒng)計(jì)量：統(tǒng)計(jì)量：ReS / = FSpnp10HF( p,np1)當(dāng)當(dāng) 時(shí)，拒絕時(shí)，拒絕H0 。R1-eS / np1F = FSp)p( p,n1 012pH :0 F 檢驗(yàn)檢驗(yàn)休息休息結(jié)束結(jié)束回歸系數(shù)的顯著性檢驗(yàn)回