51一元線性回歸的參數(shù)估計(jì)

第五章回歸分析“回歸”一詞的由來1889年，英國著名統(tǒng)計(jì)學(xué)家FrancilsGalton在研究父代與子代身高之間的關(guān)系時(shí)發(fā)現(xiàn)：身材較高的父母，他們的孩子也較高，但這些孩子的平均身高并沒有他們父母的平均身高高；身材較矮的父母，他們的孩子也較矮，但這些孩子的平均身高卻比他們父母的平均身高高。Galton把這種后代的身高向中間值靠近的趨勢(shì)稱為“回歸現(xiàn)象”。后來，人們把由一個(gè)變量的變化去推測(cè)另一個(gè)變量的變化的方法稱為“回歸方法”?；貧w分析的基本概念1?函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系在一個(gè)實(shí)際問題中會(huì)遇到多個(gè)變量，可將其區(qū)分為自變量和因變量.自變量和因變量之間的關(guān)系又可分為兩類:函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系.函數(shù)關(guān)系：自變量的取值確定后，因變量的值就完全確定.如圓的半徑與J的面積就構(gòu)成函數(shù)關(guān)系.統(tǒng)計(jì)相關(guān)關(guān)系：自變量的取值確定后，因變量的值并不完全確定；通過大量的統(tǒng)計(jì)數(shù)據(jù)又可發(fā)現(xiàn)它們之間確實(shí)存在著某種關(guān)系，這時(shí)稱自變量與因變量之間構(gòu)成統(tǒng)計(jì)相關(guān)關(guān)系.如商品定價(jià)x與該商品的銷售量日期x與某地的日平均氣溫父母身高(x,y)與兒子成年后的身高Z；上述自變量與相應(yīng)因變量之間都構(gòu)成統(tǒng)計(jì)相關(guān)關(guān)系.2.回歸分析回歸分析（RegressionAnalysis，就是一種研究自變量(是可控變量時(shí))與因變量(隨機(jī)變量)之間的統(tǒng)計(jì)相關(guān)關(guān)系的統(tǒng)計(jì)方法.從自變量和因變量的一組觀測(cè)數(shù)據(jù)出發(fā)，尋找一個(gè)函數(shù)式，將變量之間的統(tǒng)計(jì)相關(guān)關(guān)系近似表達(dá)出來，這個(gè)能近似表達(dá)自變量與因變量之間關(guān)系的函數(shù)，稱為回歸函數(shù).3.回歸的分類依照回歸函數(shù)是線性的還是非線性的，分為線性回歸(LinearRegression)和非線性回歸(NonlinearRegression；依照回歸函數(shù)是一元函數(shù)還是多元函數(shù)，又可分為一元回歸(SimpleRegression)和多元回歸(MultipleRegression).§5.1一元線性回歸中的

參數(shù)估計(jì)一元線性回歸的數(shù)學(xué)模型與主要問題

⑴一元回歸的數(shù)學(xué)模型一元回歸模型：設(shè)x是一元可控變量，Y是依賴于x的隨機(jī)變量，二者具有相關(guān)關(guān)系，通常稱x為自變量或預(yù)報(bào)變量；Y為因變量或響應(yīng)變量.設(shè)想Y的值由兩部分組成：一部分是由x能夠決定的，記為f(x);另一部分是由其它未加考慮的因素(包括隨機(jī)因素)所產(chǎn)生的影響，看作隨機(jī)誤差，記為e，且有理由要求EG)=0.故有(5.1-1)Y=f(x)+(5.1-1)E(￡)二0稱(5.1-1)式為Y對(duì)x的一元回歸模型f(x)為回歸函數(shù)；其中E(Y)=f(x)，稱y=f(x)為回歸方程.一元線性回歸模型：若進(jìn)一步假定回歸函數(shù)為f(x)=B+Bx，且存在D(e)=6，則有oiJy二B+Bx+￡(e(￡)=0,D(￡)=G2 (5*1-2)稱(5.1-2)式為Y對(duì)x的一元線性回歸模型，其中B，B，G2均為未知參數(shù)，卩，卩稱0101為回歸系數(shù)，而E(Y)=B+Bx，此時(shí)回歸01方程y=B+Bx是線性方程，稱為回歸直f 0 1線.一元正態(tài)線性回歸模型：應(yīng)用中，為對(duì)回歸方程的合理性進(jìn)行檢驗(yàn)，還假定…N(0,G2)，于是模型(5*1-2)化為Jy=B+Bx+￡<018?N(0,G2)1-3)稱(5.1-3)式為Y對(duì)x的一元正態(tài)線性回歸模型，此時(shí)Y-N(B+Bx,G2)*01為研究x與Y之間的內(nèi)在關(guān)系，在x=xi，x2，，x的點(diǎn)上，做n次獨(dú)立試驗(yàn),1 2 n

得到y(tǒng)—yi,y昇?…y，于是有點(diǎn)1 2 n(x1,y1),(x2,y2)'…,(xn,y丿.畫出散點(diǎn)圖，如果這n個(gè)點(diǎn)(n很大時(shí))分布在一條直線附近，直觀上就可認(rèn)為x與Y的關(guān)系具有(5.1-3)式的模型。X+8ii (i—12X+8ii (i—12???n)8~N(0,”)，且相互獨(dú)立八-1,2,n)I[Y—B+Bi0 1(5?1-4)顯然此時(shí)有Y~N(P+Bx,。2),且當(dāng)i 0 1ii—1,2,…,n時(shí)相互獨(dú)立.由(x,y),(x,y),???,(x,y)求出回歸11 2 2 nn系數(shù)的估計(jì)值B，B后得到直線方0101程y—/B+Bx，稱為經(jīng)驗(yàn)回歸直線.01圖1，圖2i■■■■ ■L■經(jīng)驗(yàn)回Y的試驗(yàn)值i■■■■ ■L■經(jīng)驗(yàn)回TOC\o"1-5"\h\zi iY的經(jīng)驗(yàn)回歸值E(Y)=卩+卩xi i 0 1iY的理論回歸值E(Y)=P+卩xi i 0 1i(2)—元線性回歸的主要問題對(duì)未知參數(shù)力0,2的估計(jì)；1對(duì)參數(shù)及回歸模型的假設(shè)檢驗(yàn);對(duì)因變量Y的預(yù)測(cè)。對(duì)未知參數(shù)卩,卩Q2的估計(jì)1化,0］的最小二乘估計(jì)已。知x與Y試驗(yàn)值(x,y),(x,y),,(x,y)，構(gòu)造y的試驗(yàn)11 2 2 nn /的離差值y與理論回歸值E(Y)=0+0x的離差i i 0 1i平方和Q(0Q(0叫血6i2上(y.- 0二)2(5.1-5)以使q（p,p）取得最小值的p,卩為0101p,p的估計(jì)值，稱之為最小二乘估計(jì).為此：令°Q=-2為(y—p—px)=0顧 t氣"iiTOC\o"1-5"\h\z0 i=1器=—2為(y,—p0—pix.)x.=0cp 101ii于是有關(guān)于p,p于是有關(guān)于p,p的線性方程組01np+(另x)p=2y0 i1 ii=1 i=1(乞x)p+(2x2)p=2xyi0 i1 iii=1 i=1 i=1(5.1-6)（5.1-6）式的解p,p是由容量為n01的子樣值得到的，只在這n個(gè)點(diǎn)處Y的試i驗(yàn)值y與理論回歸值p+px的離差平方i 0 1i和最小，因此，解卩不是p,p的真值,101只是估計(jì)值。故有B+xP=y<oixP+x2P=xy101(5.1-7)其中1nx=yxn ii=11n,y=」y' n ii=11n, x2=yx2 ,， ni，i=11nxy=-Exiyi.(5.1-7)式稱為正規(guī)方程組.i=1解得P=P=1P=0(5.1-8)(5.1-8)式中的P,P稱為未知參數(shù)1P,P的最小二乘估計(jì)。01于是經(jīng)驗(yàn)回歸直線y=y=p0+卩1x=(y-邙丿+卩1x=P(x-X)+j，1即：經(jīng)驗(yàn)回歸直線恒過點(diǎn)(兀y).。2的矩估計(jì)e?N(0,(J2),/.Q2=D(￡)=E(￡2),則可用2的子樣均值1Zn￡2去估計(jì)其母nii=1體均值O2=E（￡2），即有cA=1為￡2.ni=1但e2=（Y.-代-叭x）2，其中卩,B未知，0 1i 0 1以其最小二乘估計(jì)代替，于是O2的矩估計(jì)為A2=1藝(Y-0-Bx)2=1Qn ii=10 1i n min(5.1-9)其中Q稱為殘差平方和。將（5.1-8）式min中的P=y-xJA代入，得01TOC\o"1-5"\h\zQ=另[Y-(Y-x/A)-Bx]2

min i 1 1ii=1=藝[(Y-Y)-A(x-x)]2i 1ii=1-A2藝(x-x)21 ii(5.1-10)

于是cA2=1Q=1工(Y-Y)2+B21工(xnminn i 1n i Y1xi=1 i=15?1-11)估計(jì)量的另一組表達(dá)式=藝(y-y)2=nS2，' yxx ii=1yy i=藝(y-y)2=nS2，' yxx ii=1yy ii=1(x-(x-x)(y-亍)=xy一nxy，則(5.1-8)i i iiTOC\o"1-5"\h\zxy i i(5.1-10)(5.1-11)式分別化為0 =xy(5.1-8')1 L~(5.1-8')xxB=y-Bx01Q=L-0L=L-B2Lmin yy 1xy yy 1xx(5.1-10')11A1A22=_Q=_(L-DL)=_(L-卩L)nminnyy1xnyy1xx(5.1-11')未知參數(shù)估計(jì)量的分布對(duì)于一元正態(tài)線性回歸模型(5.1-4)

定理5.1.1:①E(P)=卩,E(0)=卩.0 0 ii即(5.1-8'式中的估計(jì)量卩,p分別是010,0的無偏估計(jì).1TOC\o"1-5"\h\z1 x2 n2②0?N(0,(—+ )n2),0?N(0,).nL 1 1Lxx xx定理5.1.2：定理5.1.2：①丄QO2min?X2(n-2),且Qmin分別與00相互獨(dú)立。（說明：二次型尸0尸1Q』（丫-0-0X）2中的00滿足正規(guī)方min i0 1i 。'程組（5?1-7）,即有2個(gè)獨(dú)立的線性約束條件，故自由度是n-2）。②E（°汕）=n-2 ，從而b2aQb2Qn—2E(b2)=E(min)=E(min)= b2， 艮卩n ~n b2nbA2=1q.只是b2的一個(gè)漸近無偏估計(jì).nmin為糾偏，令b*2=厶b，貝Un—2EQ*2)=Q2，即。*2二1Q是b2的一個(gè)n—2 min無偏估計(jì).定理5.1.3:"廠“i廠?t（n-2）.（由A VXXo*定理5.1?1②、定理5.1.2?及t分布定義可以證得）定理5?1?4:cov（Y,JA）=0?1子樣相關(guān)系數(shù)及意義為 刻 畫 點(diǎn)（x1，y1），（ry2），，（xn，yn）之間線性關(guān)聯(lián)程度，（1）定義：1另(X—x)(y—刃n1 1i=i(x—X)211ni=1

Lr=xy可以證得|rF1.(2)意義:Qmin~T~yyL2PL LQmin~T~yyr2= xy= 1xy=1—yy 1xy=1—L~L~~L Lxxyy yy yy故|r|越接近1時(shí)，q越接近0,說明線min性回歸分析的效果越好；特別，當(dāng)|q=1時(shí)，Q=0，說明觀測(cè)點(diǎn)min(xy〉(xy丿,,(x,y)全部落在經(jīng)1122驗(yàn)回歸直線y二Po+P]x上。例5?1?1測(cè)量上海市1~3歲男孩的平均體重『，得到如下數(shù)據(jù):年齡x(歲)i1.01.52.02.53.0平均體重yi(kg)9.7510.8112.0712.8813.74又設(shè)+卩x+8,8~N(0,a2),且相互i 0 1ii i獨(dú)立,i=1,2,,5?(7)求B,B的最小二乘估計(jì)P,$;0101(2)求殘差平方和Q ，標(biāo)準(zhǔn)差b的估m(xù)in計(jì)r*，子樣相關(guān)系數(shù)r?解：先畫散點(diǎn)圖>>X=[1?O1.52.02.53.0];?Y=[9?7510.8112.0712.8813.74];?plot(X,Y,'ro')1413.51413.51312.51211.51110.5109.52.2 2.4 2.6 2.8 3( 1 )由于n=5,x=2,L=nS2=2.5 ,y=11.85,xx xL=nS2=10.173,L=bxy—nxy=5.025.故yy y xyi=iiiP=Lxy=5,025=2.011匸^5-xx卩=y—px=11.85-2.01X2=7.83o 1于是經(jīng)驗(yàn)回歸直線為可以將經(jīng)驗(yàn)回歸直線與散點(diǎn)圖畫在一起>>holdon>>y=7?83+2?01*X;>>plot(X,y,'b-')13.51312.512y11.51110.5109.513.51312.512y11.51110.5109.511.2 1.4 1.6 1.82.2 2.4 2.6 2.82)「Q.n—2mmQ=L-PAL=10.173-2.01x5.025「Q.n—2mmL5.025 cccr= xy:二 二0.9964r^v~xxyy、/2.5x10.173Ab*=0.1557可見這組數(shù)據(jù)下的年齡與平均體重的線性關(guān)聯(lián)程度很咼。例5.1.2(P222Ex5?1)過原點(diǎn)的一元回歸的線性模型為Y二卩x+￡,i ii(i=1,2,…,n),其中e之間獨(dú)立，且i8~N(0Q2)?錯(cuò)誤！未找到引用源。試由i(x，y.)用最小二乘法估計(jì)卩；錯(cuò)誤！未ii找到引用源。用矩法估計(jì)解：錯(cuò)誤！未找到引用源?；貧w模型為Y=加+￡，故(x.‘y.)滿足i ii =-2工(y=-2工(y—Px)x=2[(工x2)p—工xy]=0 ii i iiy—y—PX+8，i ii(i=1,2,…,n)，離差平方和i=i=lQ(P)上8i=1 i=1 i=1xyi=1 i=1 i=1xyx2i i ii=1 i=1為求使Q(p)=minQ(p)成立的《，令1n 1n其中：xy=_yxy，x2=工x2nii ni

錯(cuò)誤！未找到引用源。b2的矩估計(jì):?/￡?N(0,O2).?y2_D(8)_E(82)+E2(8)_E(82),則b2的矩估計(jì)為b2_］另￡2_］藝(y—pX)2ninii_1區(qū)V2—2卩1區(qū)xy+卩2￡區(qū)X2niinii_1 i_1xyxy—_y2一2_xy+(_)2x2X2 X2_—(xy)2_y2_X2例5.1.3(P224Ex5例5.1.3(P224Ex5?7)具有重復(fù)試驗(yàn)一元線性回歸表述如下：對(duì)x,Y做n次試驗(yàn)，x_x,x,…,x，在每一個(gè)x_x上1 2 r i對(duì)Y作m次試驗(yàn)，其觀察值為iy『y.2,?…y.，而—_n.一元回歸的線i1i2 zm ii性模型為Y=卩+卩x+￡,e?N(0,o2)且相互獨(dú)立,j0 1iiij(i=1,2…，r;j=1,2，…，m)試求P,P的最小二乘估計(jì)。101E(Y)=B+Bx，?- 0 1i(i=l,2,???，r;j=l,2,???，m)，離差平方和iQ(B，B)=YYe2=YY(y-B-Bx)20 1 j j0 1ii=1j=1 i=1j=1為求B,B使Q(B,B)=minQ(B，B)，令010101

黑=-2工Y(y-B0-B；x.)=0TOC\o"1-5"\h\zOP j0 120 i=1j=1=-2YY(兒-B-Bx,)x.=0OD j0 1221 i=1j=1nB +(工Kx)B=YEy0 i1 iji=1j=1 i=1j=1x)B+(Y習(xí)x2)B=工習(xí)xyi0 i1 iijJi=1j=1 i=1j=1 i=1j=1亦即nB+（為mx）B=為習(xí)iy0 ii1 iji=1 i=1j=1）B+（為mx2）B=為習(xí)‘xy0 ii1 iij簡記為i=1 i=1j=1簡記為B+xB=y<01xB+帀B=xyJ0 1解此正規(guī)方程組得b=可-xb=可-xy1 x?-x2LxxB0=歹-B1元由下表易求B,B的值，得到經(jīng)驗(yàn)回歸直01^線y=B+Bx.01xix1x2xr-1yrni=1mxiimimim2???mr— 1yrni=1mx2iiyijy,y,…，〕1112t,y,…，.1m21 22y…2my,y,…,:r1 r21rm?r=—Mrrm ni=1j=1尹xyzij=1jx區(qū)y1 1jj=1m?x工1y2 習(xí)j=1x^yr r/j=1 1rm；xy=_莎ni=1j=1ij■yij例5.1.4(P224Ex5.8)對(duì)自變量和因變量都分組的情形，經(jīng)驗(yàn)回歸直線的配置方法如下：對(duì)x和y作n次試驗(yàn)，得n對(duì)試驗(yàn)值，把自變量的試驗(yàn)值分成組，組中值記為x,x,…,x，各組以組中TOC\o"1-5"\h\z1 2 r值為代表；把因變量是試驗(yàn)值分成s組,組中值記為y,，y2，…,y，同樣各組以組1 2 s中值為代表。若(x,y)有m對(duì)，.. ??ij j(i=12,…，r;j=1,2,…，s)，於'm=n?試求iji=1j=1$,B的最小二乘估計(jì)。01解：設(shè)Y=a+P%+￡，8?N(0,O2)，ij iijij則E(Y)=B+Bx，(i=1,2,…,r;j=1,2,…,s)，j 0 1i離差平方和rsQ(rsQ(B,B)二oii=ij=1mjjB0-卩“2為求B，B為求B，B使Q(B,B)=minQ(B,B)，010101?oQi=1j=i=-2Y乞i=1j=im(y-B一Bx)=0ijij0 1im(y-B-Bx)x=0

ijij0 1iiJi=1j=1mx)B+iji0iJi=1j=1mx)B+iji0i=1j=1mx)Biji1i=1j=1myijijmx2)B=mxyiji1 ijiiji=1j=1 i=1j