[整理](34)一元線性回歸

1、第六章回歸分析引言：回歸分析是數(shù)理統(tǒng)計(jì)學(xué)的一個(gè)重要組成部分。它的任 務(wù)是研究變量之間的相互關(guān)系，建立變量之間的經(jīng)驗(yàn)公式， 以便達(dá)到預(yù)測(cè)和控制*的目的。2 廠X ；43X3函數(shù)關(guān)系：y二f (x)球的半徑X，球的體積y例如：正方形的邊長(zhǎng)X，面積值 相關(guān)關(guān)系：y二f (x) ；例如：一個(gè)人的身高x與體重y的關(guān)系 模型：y 二 f (x) ； (*)其中x是普通變量(非隨機(jī))，y是隨機(jī)變量，E(；) = 0。 x是一維變量時(shí)，(*)稱為一元回歸模型；x是多維變量時(shí)，(*)稱為多元回歸模型。f(x)稱為y對(duì)x的回歸函數(shù)，y=f(x)稱為y對(duì)x的回歸 方程。y稱為因變量，而x稱為自變量。也將x稱為解釋

2、變量、將y稱為被解釋變量或響應(yīng)變量。f (x)為線性函數(shù)的情形，稱為線性回歸。一元線性回 歸模型是廠 0 iX其中P 0、P 1是未知參數(shù)，g是隨機(jī)誤差，假設(shè)g N(0- 2) o§6.1 元線性回歸本節(jié)的學(xué)習(xí)分四個(gè)部分：1.建立一元線性回歸模型： 廠-i， N(0產(chǎn)2);2估計(jì)未知參數(shù)o、: i和二2，得到經(jīng)驗(yàn)回歸方程? 叫 X ；3. 檢驗(yàn) Ho:1 r , Hi :廠 04. 若爲(wèi)式o，將經(jīng)驗(yàn)回歸方程y-+x用于預(yù)測(cè)一.模型例:從某年齡男孩中任意挑選10名，測(cè)量他們的身高和體 重得數(shù)據(jù)：身高x(cm)157167165158155156164160158163體重y(kg)46

3、555246424549474449體重y隨身高X的增長(zhǎng)而直線增長(zhǎng)的趨勢(shì)可描述為：y= o ix 其中，、為常數(shù)，；為隨機(jī)變量，且E（；）=0。 記身高為Xi的學(xué)生體重為yi ，（ yi是隨機(jī)變量），則比=0iXii，（ i i, ,10）其中，1宀,宀0獨(dú)立，假定&i N（o,。2），（ i= 1； ,10）， 匚2未知。問題的一般提法：y = % + 0必+ 名,(1)假定 N(02)。對(duì)應(yīng)于x的n個(gè)不全相同的值x1,x2 ,xn，有n個(gè)隨機(jī)變量 比”2, ,y”有比=% + 0必 +，( i = 1, ,n)(2)其中，1, 2 , n 獨(dú)立，i N(0r 2)，( "

4、1廠，n )，0、1、2是未知參數(shù)。通常稱(2)為一元線性回歸模型， 而(1)稱為理論模型。二.參數(shù)0、1、2的估計(jì)n i =1n i =1n則 比(b ax"2i =1n 9八(%y)d(Xix)(y bodx)i nnn2 2 2 2八(yiy)a(Xix)n(ybodx)ipi =12b (yi y)(Xi X) 2(y bo b,x) (yj y)i =1i =1n20(y bo 0X) (Xi X)i =1nn其中，(yi y) = o, (Xi X)二 o.i =1i =1所以，當(dāng)n瓦(Xi - X)(yi - y)b= (*)瓦(N X)2i=1,m二y-Xnn時(shí),y

5、(bo ax2達(dá)到極小。使 y (b b1Xi)2達(dá) i =1i =1到極小的bo，b1稱為' o、1的最小二乘估計(jì)量。即叫=d，叱=bo這時(shí)，稱?= bo QX為y關(guān)于X的經(jīng)驗(yàn)回歸方程,其圖形稱 為回歸直線。由曠 bo qx二(y- qx) px得 ？ y = bjx x)，有回歸直線必通過(x,y)。記？ = bo 0Xi，(i = 1, 2廠，n)，稱為y在x = Xj處的預(yù)測(cè) 值(擬合值或回歸值)。y2.殘差平方和n比（bo dxj方和（或剩余平方和）。則n2SSe =送（比 一 ？）。i=1這里的b),bh由(*)確定。 殘差平方和SSe的計(jì)算：nnn 由此，9= 93.56

6、 , 0.8808x為男生體重關(guān)于身高的回歸方所達(dá)到的極小值記做sSe，稱為殘差平n(比y)2i =1n(比y)2i =1binn八(yi y)2 b2任ini =1-x)2 ?nSy - b2 nsx.i =1nn（注意：上式中的ns2(* y)2，ns， x)2i =1i =12 2Sy,Sx不是樣本方差）3. bi、bo的計(jì)算:bi的分子：nE x)(w - y)i =1n二(Xi% Xw yxi x y)i =1nnn工(XiyJ-X遲 yi- y送 Xj + nxyiTi =1i=1nnZ(XjyJ-X ny-nX y + nx y=£ (XjyJ -nX y，i=1i =

7、1nnbi的分母：ns；辛任 X)2八 x2 nX2,i =1i=1n、xiy nx y所以，bi = 口 2, bo 二 y - axXiS nx ybin76280 10 160.3 47.5i56.i=0.8808,nsx例：男生身高和體重的例中，求回歸模型中 “、的最小 二乘估計(jì)。解:nn - 10， X = 160.3，nsX= (Xj X)2 = 156.1，i=1n2 2y = 47.5， nSy 二(yi y)134.5，n' xi y廠 76280，i 二1b0 二 y 一 b| X 二 47.5 一 0.8808 160.3= -93.56。程。4. bo、b,是、

8、 i的無偏估計(jì):(人 X)E(yi y)i =i（人 x）* y）E(b)= E<i =i(人 X)(Xi X)2 =1(Xi - X) i(Xj - X)(人 X)2 (Xi X) D(yi)D(bi) =i =i(Xi X)2Hi(XjX)( o iXj ( o iX)E(b0)E(y 0X) = ( o池)E(bJX = o(Xi - X)(y y)(Xi X)yj/*b 二2(Xi X)(Xi - X)2(人 X)22(Xi X)2biN( i幾)*/(比 X)25二2的估計(jì)可以證明：SSe2CJ(n 2)，所以E奨 n- 2CT二身高體重關(guān)系的例中: |T| t,(n-2)，拒

9、絕H0，認(rèn)為y對(duì)x的線性回歸關(guān)系顯著。(二)樣本相關(guān)系數(shù)1.平方和分解將y的離差平方和SSy分解:有無偏估計(jì):?2 -1 SSen 2=(y廠n 2 i =11 n L (yi n 2 i =1遲(比- ?i)22 i =1y)2y)2br (yi - y)(Xi - x)i=1n0(Xj%nX y)二 156.1 ,ns；八（比 y）2 二134.5 , b, = 08808.匚1345 0.88082 156.110 2二 1.67.回歸方程的顯著性檢驗(yàn)H。:十0，H1:10（一） T檢驗(yàn)H0真時(shí)化sTt（n 2），其中八乙強(qiáng)底八（Xi X）2i=11nsy b2 ns2(教材 P169

10、記做 S n 2/* 利用了 aN(r，)與 §予 2(n-2)獨(dú)立，2 ° (Xi x)i=1b - i口 / / s所以nSxt(n-2)，于是，Ho真時(shí)，0，有SSe ZJ s (n - 2)V CF于ns2t(n 2)*/給定顯著水平，P|T I t：.(n- 2)=，若|T|.(n -2)，則拒絕 Ho。例如：男生身高、體重關(guān)系的例中，判斷體重y對(duì)身高x的 線性回歸關(guān)系是否顯著(=0.05)。解：檢驗(yàn) H ° := 0 ，H 1 :< 0，。n = 10， t (n 2)=心05(8) = 2.306，0 二 0.8808，ns2 二 156.1，

11、 T2 = 1.67,b1V2 ns20.88081.67 156.1二 8.51i =1nny (% - ?)2+瓦（？ - y）2i =1i =1SSynn2 (%?)(?- y)i=1其中，瓦（ - ？）（？ - y）i =1n八yi 一 (bo biXi)(bo 濃- yi勻( b。二 y dx)n八yiy d(Xi X) a(Xi x)i勻nn_ 2 2二 bi(yi y)(Xi x) d (Xi x)i =1i =1nn二 d b/ (Xj - X)2 - b" - X)2 = 0ini=1n其中 s.=遲(? - y)2.ih二 £ - y = a(x - x

12、)nnSS 回八 bf(X X)2 = b2 (X X)2i =1i =12.樣本相關(guān)系數(shù)r的定義n2 SSr ?-SSy(X X)2(y y)2 =1n(X X)2i=1n2_ _ 1(X - x)(y - y) mn(X X)2i=1n(X X)(y y)2 i =1nn(X - X)2(y - y)2i 勻i=1n瓦(X - X)(y - y)記 r = i 曰I nn(X - X)2(y - y)2 iNi=1稱r為y對(duì)x的樣本相關(guān)系數(shù)。r2蘭1 ，所以-1蘭r蘭1,且r與b同號(hào)。nns；nsX(Xi X)22b2 口有1 n12 ?(y y)2 nSy =1|r|越接近于1,說明y對(duì)

13、x的相關(guān)關(guān)系越緊密。3.利用 r檢驗(yàn)Ho: 0 , Hi :< 0H。真時(shí)，T =$2 t(n- 2)，給定顯著水平，?2 ns2|T | t,(n- 2)時(shí)，拒絕 Ho。2 2 2 2b2 ns；r nsy于(ns； - b； ns；)/(n- 2)2 2rr(1 b2 n£/ns2)/(n 2) (1 r2)/(n 2)所以，|T|=|r|21- r2H n - 2IT | t (n 2)h r2n 遼 t (n 2)=J(n- 2)因?yàn)?，T2二=|r |怎g)解得：| r FJ(n-2)+l(n 2)r/n-2)可查表(附表17, P273)得到 當(dāng)|r|橡"-

14、2)時(shí)，拒絕Ho，認(rèn)為B?r (n 2)r =1 2 ns*2nSy例如：男生身高、體重關(guān)系的例中,156.1 .二 0.8808 0.95. 134.5檢驗(yàn)H。：=0 (y對(duì)x的線性回歸關(guān)系不顯著)。取 - 0.05, n = 10，二 R(n _ 2)= r°.05(8)= 0.6319因?yàn)閨r | r：.(n - 2)，所以拒絕H°，認(rèn)為y對(duì)x的線性回歸 關(guān)系顯著。進(jìn)一步，因r 0，所以，y關(guān)于x是正相關(guān)的。(二)F -檢驗(yàn)SSe/(n2)b2(人 x)2i=1 =SSe/(n - 2)? / ns2Ho： M =0真F(1,n 2)拒絕域：F F,(1,n-2)T

15、-檢驗(yàn)、r -檢驗(yàn)、F -檢驗(yàn)三者等價(jià)。四預(yù)測(cè)對(duì)任一給定的x= X。，由經(jīng)驗(yàn)回歸方程得回歸值：yo 二 b。十 biX。，其中bo=陀和b =叫是0 0和B 1的最小二乘估計(jì)用?作為y。0iX。 ；0的估計(jì)。預(yù)測(cè)區(qū)間：對(duì)給定的可靠性1，找使P%y。?0 = i ， 或 Piy。y°l = 1可以證明：y。 y。 N (0, (1 1 n(x。X)卜 2 ) n 送(Xi X)2i=1于是，% y。由此，(X。X)2n(Xi x)2i =1N(0,1)另外可以證明:2(n- 2)，及 SSe與?0 y。獨(dú)立T=SO y。=4 1n(X。X)2n(Xi X)lli=1對(duì)給定的可靠性1-，

16、由P|T F t,(n - 2) = 1 - ，I SO - y。Iv1+_iXc_X)in(Xi X)i=1SO作為yo的估計(jì)，其絕對(duì)誤差限為得P匚 t (n 2)SSe n 2t(n 2)(教材 P仃7( 6.40) SSe2、n 2ss(n 如12524 + 1 + _(X0_X)j_nn2送(Xi - x)i=1值、可靠性為95%的絕對(duì)誤差限和置信區(qū)間。(教材 P仃8 (6.42)yo的可靠性為1八置信區(qū)間為-.注：當(dāng)x0二X時(shí)， min。隨看x0遠(yuǎn)離X，丄逐漸增大。 置信區(qū)間控制線形成以X為中心的喇叭口形(P178圖6.6n' （Xj - X）2 =156.1i=1_ 2=1

17、.67, x = 160.3 , nsx =解：經(jīng)驗(yàn)回歸方程為： ? 93.56 - 0.8808x,x 161 時(shí)，% -93.56 0.8808 161 = 48.2 ,n = 10, t （n 2p 切5（8） = 2.306 ,n所以，厶二 t （n 2）SS； n - 2 J4 1（X。x）2nn2瓦（Xj - x）i=1二 2.3061.67110（161160.3）2156.1二 3.13y。的可靠性為95%置信區(qū)間為:?0, %= 45.07,51.33。一元線性回歸小結(jié)：1. 模型 y八0必 ；， N （0 2）2. 數(shù)據(jù)（Xi, y，（i = 1,2廠 n）（1）nn22x

18、，nsx ? X）二2 2Xj - nx ；i=1iWnnn（2）y，nsy ?（yi y）2 八y： ny2 ；（3）Xi* .iWi=1i=13.0、-1最小二乘估計(jì)nXi yi nx ya = 口2, d 二 y QX，ns經(jīng)驗(yàn)回歸方程：y= b0 b1x.n4.殘差平方和：SSe （比- ？）22八(yi y)bi (XiyJ nX yi =1i=12=nsy2 2i nsx1I5二 2 的估計(jì)：?2SSensj b2 nsX(1) T -檢驗(yàn)：TIT | t (n 2)n 2 n - 2n、Xi yi=1-nX y_ b厘r - / 22U 2nsxnsyV nsy0，H1:10回歸

19、剩余標(biāo)準(zhǔn)差：6. 樣本相關(guān)系數(shù):7. 檢驗(yàn) H °: P 1Syx *?二 SSe心 2)(2) r檢驗(yàn)：拒絕域：|r| r (n 2)SeHo曲=o真/*(3)F -檢驗(yàn)：F=h)F(1"2)拒絕域：F F,(1,n - 2)*/其中F = T2。三種檢驗(yàn)等價(jià)8.預(yù)測(cè) y0 = b0 + b|X。，SSe"2)(X。x)2n(Xi x)2i=1可靠性為1-置信區(qū)間：?0, ?0 .§6.2可以化為一元線性回歸的非線性回歸問題例：?jiǎn)挝唬禾旆N別開始走動(dòng)的時(shí)間x開始玩耍的時(shí)間y(1)人36090（2） 大猩猩165105（3）貓2121（4）家犬2326（5）挪威鼠1114（6）烏鶇1828（7）混血彌猴1821（8）黑猩猩150105（9）松鼠猴4568（10）花鼠4575（11） 白臉猴18461201008060402000 «1 1100200300400取回歸函數(shù)y=axb (*)測(cè)數(shù)據(jù)為(xyj,i = 1,2廠，11 ,(*)式兩邊