回歸直線方程的推導(dǎo)

1、回歸直線方程的推導(dǎo)山東王加祥范玉峰設(shè)x與y是具有線性相關(guān)關(guān)系的兩個(gè)變量，且相應(yīng)于樣本的一組觀測值的n個(gè)點(diǎn)的坐標(biāo)分別是：(x1?y)(x2,y2),(X3,y3),|lh(Xn,y),下面給出回歸方程的推導(dǎo).設(shè)所求的回歸方程為yi=bx+a,(i=1,2,3,111,n),顯然，上面的各個(gè)偏差的符號(hào)有正、有負(fù)，如果將他們相加會(huì)相互抵消一部分，因此他們的和不能代表n個(gè)點(diǎn)與回歸直線的整體上的接近程度，因而采用n個(gè)偏差的平方和Q來表示n個(gè)點(diǎn)與相應(yīng)直線(回歸直線)在整體上的接近程度，nn即Q=£(yi-yi)2=£(yi-bXi-a)2+(y2-bx?-a)2+(y3-bx3-a)2

2、+川+(yn-bXn-a)2.iXi1求出當(dāng)Q取最小值時(shí)的a,b的值，就求出了回歸方程.一、先證明兩個(gè)在變形中用到的公式公式(一)Z(xx)2工x2nx2,其中7=叱"iajnn證明：Z(xi-x)2=(X-x)2+(x2-x)2+111+(xn-x)2i土22.2(x2JIIxn)一2=x1x2川xn-2nxnxn一一一22n_2二(xix2川xn)-2nxnx=(x%|xn)八x-nxL、.”“1nn21-Z(x-x)=£x-nx.i±i七nn公式(二)X(xi-x)(y-y)=£xiYi-nxyiz1iz1n_證明：Z(xi-x)(yi-y)=(x

3、ix)(yiy)+(x2-x)(y2-y)+|+(xn-x)(yn-y)i比二(xyix2y2川xnyn)一(xyyixx2yy2xxnyynx)nxyn_='xy-(xx2川xn)y(yiy2HIyn)xnxyii(x.x2,川-xn)-(yi-y210-yn)-:xiy-nyxnxyii_nnnn=Zxiyi-2nxy+nxy=Zxy-nxy,iin_nz(x-x)(yi-y)=Exyi-nxy.i土i=i二、推導(dǎo)：將Q的表達(dá)式的各項(xiàng)先展開，再合并、變形_2222Q=(yi-bxi-a)"-bx2-a)d-bx3-a)(ybxn-a)=(yi2+y2411*42y(bx2

4、+a+22y(12x4f|0|MFF=£y2-2b£xy-2aJy+b2工x2n+2ab£x+na2|合并同類項(xiàng)i12二na-2nan'、yii1nn'、xi_bnnb2-i12xi-2b£xy+£y；以a,b的次數(shù)為標(biāo)準(zhǔn)整理=na2-2na(y-bx)+b2£xi22b£xy立yi21|轉(zhuǎn)化為平均數(shù)xy2=na_(y-bx)n(y_bX)2+b2£x2-2bZxyi+£y：川川配方法i.12=na-(v-bx)-22-2-ny，2nbxy-nbx+b至x22b£xiyi+

5、63;yHlUll展開2=na-(y-bx)n+b2(£x2iXn2-nx2=na-(y-bx)+b2Z供x)2iai3Ti3,nn_2)-2b(Zxy-nxy)+(£y"+ny)|川|整理i1n_n_2bZ(xx)(yiy)+2(yiy)2|l|用公式(一)、(二)變形n-一工(xi-x)(yi-y)2=na-(y-bx)一一一2+£(xi-x)bi衛(wèi)i4nV(x-x)2i1=na_2n-(y-bx)1+Z(x-x)i1-J”(xi-x)(yi-y)bh,一、2工(xi-x)i4n_2'(xi-x)(y-y)n,一、2(xi-x)i4n_八,(y川IIIi=1配方法在上式中，共有四項(xiàng)，后兩項(xiàng)與a,b無關(guān),為常數(shù);要使得Q取得最小值，當(dāng)且僅當(dāng)前兩項(xiàng)的值都為0.所以前兩項(xiàng)是兩個(gè)非負(fù)數(shù)的和，因此n_£(x-x)(yi-y)a=y-bx,b-i-n或%(xi-x)2TnZxyi-nxyb=4川川用公式（一）、（二）變形得、22xi-nxi1三、總結(jié)規(guī)律上述推導(dǎo)過程是圍繞著待定參數(shù)a,b進(jìn)行的，只含有x”y的部分是常數(shù)或系數(shù)，用到的方法有：配方法，有兩次配方，分別是a的二次三項(xiàng)式和b的二次三項(xiàng)式；變形時(shí),用到公式（一）、（二）和整體思想；用平方的非負(fù)性求最小值.實(shí)際計(jì)算時(shí)，通常是分nnnn2步計(jì)算