一元線性回歸的參數(shù)估量

第五章回歸分析“回歸”一詞的由來1889年，英國聞名統(tǒng)計(jì)學(xué)家FrancilsGalton在研究父代與子代身高之間的關(guān)系時發(fā)覺：身材較高的父母，他們的小孩也較高，但這些小孩的平均身高并無他們父母的平均身高高；身材較矮的父母，他們的小孩也較矮，但這些小孩的平均身高卻比他們父母的平均身高高。Galton把這種后代的身高向中間值靠近的趨勢稱為“回歸現(xiàn)象”。后來，人們把由一個變量的轉(zhuǎn)變?nèi)ネ茰y另一個變量的轉(zhuǎn)變的方式稱為“回歸方式”?；貧w分析的大體概念函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系在一個實(shí)際問題中會碰到多個變量，可將其區(qū)分為自變量和因變量.自變量和因變量之間的關(guān)系又可分為兩類：函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系.函數(shù)關(guān)系：自變量的取值確信后，因變量的值就完全確信.如圓的半徑與圓的面積就組成函數(shù)關(guān)系.統(tǒng)計(jì)相關(guān)關(guān)系：自變量的取值確信后，因變量的值并非完全確信；通過大量的統(tǒng)計(jì)數(shù)據(jù)又可發(fā)覺它們之間確實(shí)存在著某種關(guān)系，這時稱自變量與因變量之間組成統(tǒng)計(jì)相關(guān)關(guān)系.如商品定價x與該商品的銷售量Y；日期x與某地的日平均氣溫Y；父母身高(x,y)與兒子成年后的身高Z；上述自變量與相應(yīng)因變量之間都組成統(tǒng)計(jì)相關(guān)關(guān)系.回歸分析回歸分析(RegressionAnalysis，確實(shí)是一種研究自變量(是可控變量時)與因變量(隨機(jī)變量)之間的統(tǒng)計(jì)相關(guān)關(guān)系的統(tǒng)計(jì)方式.從自變量和因變量的一組觀測數(shù)據(jù)動身，尋覓一個函數(shù)式，將變量之間的統(tǒng)計(jì)相關(guān)關(guān)系近似表達(dá)出來，那個能近似表達(dá)自變量與因變量之間關(guān)系的函數(shù)，稱為回歸函數(shù).回歸的分類依照回歸函數(shù)是線性的仍是非線性的，分為線性回歸(LinearRegression)和非線性回歸(NonlinearRegression；依照回歸函數(shù)是一元函數(shù)仍是多元函數(shù)，又可分為一元回歸(SimpleRegression)和多元回歸(MultipleRegression).§一元線性回歸中的參

數(shù)估量一元線性回歸的數(shù)學(xué)模型與要緊問題(1)一元回歸的數(shù)學(xué)模型①一元回歸模型：設(shè)x是一元可控變量，Y是依托于x的隨機(jī)變量，二者具有相關(guān)關(guān)系，通常稱x為自變量或預(yù)報(bào)變量；Y為因變量或響應(yīng)變量.假想Y的值由兩部份組成：一部份是由x能夠決定的，記為f(x)；另一部份是由其它未加考慮的因素(包括隨機(jī)因素)所產(chǎn)生的阻礙，看做隨機(jī)誤差，記為€，且有理由要求E(€)=0?故有[Y=f(x)+€[E(€)=0 ()稱式為Y對x的一元回歸模型，f(x)為回歸函數(shù)；其中E(Y)=f(x)，稱y=f(x)為回歸方程?②一元線性回歸模型：假設(shè)進(jìn)一步假定回歸函數(shù)為f(x)=B+Bx，且存在D(€)=6，那么有01?y=B+Bx+s\01,E(s)=0,D(s)=o2稱式為Y對x的一元線性回歸模型，其中B,B，o2均為未知參數(shù)，p,p稱為回歸系0101數(shù)，而E(Y)=卩€px,現(xiàn)在回歸方程01y=p€px是線性方程，稱為回歸直線.。③一元正態(tài)線性回歸模型：應(yīng)用中，為對回歸方程的合理性進(jìn)行查驗(yàn)，還假定, 于是模型()化為…Y=p+pX+8?01[,?N(0,a2)稱式為Y對x的一元正態(tài)線性回歸模型現(xiàn)在Y?N(p+px,02).01為研究x與Y之間的內(nèi)在關(guān)系，在x=x，x2,…,x的點(diǎn)上，做n次獨(dú)立實(shí)驗(yàn),1 2n取得y=y1,y2,…,y，于是有點(diǎn)12n(x1,y1)，(x2，y丿，…,(x，y)?畫出散點(diǎn)圖，1122若是這個點(diǎn)(專門大時)散布在一條直線周圍，直觀上就能夠夠?yàn)閤與y的關(guān)系具有式的模型。將y視為Y的子樣值，模型又化為ii

(i€1,2,€,n(i€1,2,€,n),i0 1iis?N(0,/2),且相互獨(dú)立V?i顯然現(xiàn)在有Y??N葉嚇嚴(yán)）,且當(dāng)i€1,2,?…,n時彼此獨(dú)立.由(x,y),(x,y),€,(x,y)求出回歸1 1 2 2 nn系數(shù)P,P的估量值p,廬后取得直線方01012）一元線性回歸的要緊問題①對未知參數(shù)p,p,g2的估量;01

②對參數(shù)及回歸模型的假設(shè)查驗(yàn)③對因變量Y的預(yù)測。對未知參數(shù)P,P,€2的估量01①00,￡的最小二乘估量已知x與Y實(shí)驗(yàn)值（x，y）,（x，y）,???,（x，y）,構(gòu)造y的實(shí)驗(yàn)1122nni值y與理論回歸值E（Y）=0,卩x的離差ii01i平方和Q(00,0嚴(yán)?ei2i=1Q(00,0嚴(yán)?ei2i=1i0 1ii=1()以使Q（0,0）取得最小值的p,p為0101,0的估量值，稱之為最小二乘估量.為0此1，令浮=—2?(y-00-0x)=0d0 i01i0 i=1冀=-2?(y-00-01x.)x.=0c0 101ii于是有關(guān)于0,0的線性方程組011 i于是有關(guān)于0,0的線性方程組01n^+（另x）B=2y0i1ii=1 i=1（乞x）B+（2x2）B=2xyi0i1iii=1 i=1 i=1（）（）式的解P,P是由容量為n的子01樣值取得的，只在這n個點(diǎn)處Y的實(shí)驗(yàn)值iy,與理論回歸值+B產(chǎn)的離差平方和最小，因此，解P,卩不是B，B的真值，只0101是估量值。故有B+xB=y，oixB+x2B=xy01其-12y=-12y=ynii?1x2inii=1xy=-2x.y..（）式稱為正規(guī)方程組.解nii.?1得

廠…1/T廠…1/T…0x2xy?xy()式中的方,B稱為未知參數(shù)卩邛的0101最小二乘估量。于是體會回歸直線y…吒+卩1x…(了-邙丿+卩1x…即：體會回歸直線恒過點(diǎn)(兀y).②Q2的矩估量?€8?N（0,o2）， <o2…D（￡）…E（￡2），則可用82的子樣均值1工82去估量其母nii=1體均值a2=E(82)，即有&…1藝82.nii=1但82=(y-B-Bx)2，其中卩,卩未知，ii0 1i 0 1以其最小二乘估量代替，于是a2的矩估量為

￡2=1K(Y—/—/x)2=1Qn i0 1i nmini€1()其中Q稱為殘差平方和。將()式中的minP€了—邙代入，得Q=另[Y—(Y—x/)—/x]2TOC\o"1-5"\h\zmin i 1 1ii€1=K[(Y—Y)—/(x—x)]2i 1ii€1=藝(Y—Y)2—/2藝(x—x)2i 1 ii€1 i€1 ()=1,(Y—=1,(Y—Y)2—/AT,(xni 1ni y1xi€1 i€1A 1?2=—Qnmin(③估量量的另一組表達(dá)式記L€記L€^,(x—x)2€nS2，Lxx ii=1,=,(y—y)2=nS2yy i yi=1LL€,xy式別離化為(x—x)(y—y)二,xy—nxy，那么()()()i i iii=1rL0…xy1LVXX0…y-0x01Q…L-0L…L-02Lmin yy 1xy yy 1xx(-10')A 1 1 人 1 人202…—Q…—(L-0L)…—(L -0L)nminnyy1 xy nyy1xx(-11')未知參數(shù)估量量的散布關(guān)于一元正態(tài)線性回歸模型()有定理5.1.1①E(0)…0,E(0)…0.0011即(-8')式中的估量量卩,卩別離是0,00101的無偏估量.TOC\o"1-5"\h\z1x2 (72②0~N(0,(—+—72),0~N(0,).0 0nL 1 1Lxx xx定理5.1.2：①丄Q?X2(n-2)，且Q02min min別離與0,0彼此獨(dú)立。(說明：二次型01Q (Y"—Bx)2中的,b知足正規(guī)方mini01i01程組()，即有2個獨(dú)立的線性約束條件故自由度是n-2)。② E￡min)=n-2 ,從而?2E(?2)=E(Qjnin)= E('min)= ?2,即n ~n ?2n估量?2=1Q只是?2的一個漸近無偏估nminE(?*2)=?2，為糾偏，令?*2E(?*2)=?2，即?：2=_^Q是?2的一個n—2min無偏估量.定理5.1.3："廠卩1廠?t(n—2).(由, vXXa*定理、定理及t散布概念能夠證得)定理5.1.4:cov(Y,B)=0?1子樣相關(guān)系數(shù)及意義為 亥I」 畫 點(diǎn)（亠，巧），（x2，y2），…'（xn，yn）之間線性關(guān)聯(lián)程度，（1）概念：1€(x—x)(y—刃niii=1€(y-y)2i€(y-y)2ii=1nini=1Lr=xy能夠證得r<1.2）意義：L2r2= xy0L= 1 xy]L，0L=1—yy 1 xy=1Q?LLxx yyLLyyLyy故r越接近1時，Q越接近0，說明線min性回歸分析的成效越好；專門，當(dāng)r=1時，Q€0，說明觀測點(diǎn)min(x1,y1),(x2,y2),€,(xn,yn)全數(shù)落在體1122nn會回歸直線y€"+Bx上。01例5.1.1測量上海市1~3歲男孩的平均體重Y,取得如下數(shù)據(jù)：年齡x(歲)i平均體重y.i(kg)又設(shè)Y€卩,卩x,8,8?N(0“2)，且彼此i01iii獨(dú)立，i€1,2,€,5.求BB的最小二乘估量BB；0101求殘差平方和Q，標(biāo)準(zhǔn)差c的估m(xù)in量￡*,子樣相關(guān)系數(shù)廠?解：先畫散點(diǎn)圖>>x=[ ]；>>Y=[]；>>plot(X,Y,'ro')X( 1 ) 由于n€5,x=2,L€nS2=2.5xxxL€nS2€10.173yyyLL€nS2€10.173yyyLxyii

i€16€Lxy=5?025=2.011Lxx6€y-6x€11.85-2.01x2€7.8301于是體會回歸直線為y€7.83+2.01X?能夠?qū)Ⅲw會回歸直線與散點(diǎn)圖畫在一路.

>>holdon>>y=+*X;>>plot(X,y,'b-')Q€L，?L€10.173—2.01X5.025=0.07275minyy1xyLLxy5.025r€xy€ €0.9964ILL 12.5x10.173\：xxyy可見這組數(shù)據(jù)下的年齡與平均體重的線性關(guān)聯(lián)程度很高。例5?1?2過原點(diǎn)的一元回歸的線性模型為Y=Px，€,(i= ,n)，其中€之TOC\o"1-5"\h\zi ii i間獨(dú)立，且€~N(0,?2)?①試由(x，y.)用i ii最小二乘法估量0；②用矩法估量?2.解：①回歸模型為Y=Px,€，故i ii(x,y)知足y=0x+€，(i=1,2,…,n)，離ii i ii差平方和Q(0)二…€2二…(y-0x)2i i ii=1 i=1為求使Q(B)=minQ(0)成立的0，令=-2…(y-Bx)x=2[(…x2)B一…xy]=0QB III i ii…xyiixyX2i=1 i=1 …xyiixyX2i=1其中：xy=1€xy,x2=1€x2.nil nii=1 i=1②，2的矩估量：?€8?N(0,O2)182=ini—1 i=1y2—2nii=1…y2=D(e)=E(e2182=ini—1 i=1y2—2nii=1,2=]€*2=]€(y—px)2萬i〒ii1€y2—2卩1€xy+卩T€x2niinii=1 i=1xyxy—=y2—2_xy+(_)2x2x2 x2(xy)2=y2—?/1'X2例5.1.3具有重復(fù)實(shí)驗(yàn)一元線性回歸表述如下：對x,Y做n次實(shí)驗(yàn)，x=x,x,…,x,在每一個x=x上對Y作1 2 r im次實(shí)驗(yàn)，其觀看值為y，y.昇…,y.，i i1i2 imi

而Ym€n?一元回歸的線性模型為ii€1Y=卩+卩x?,,E?N(0,。2)且彼此獨(dú)立，ij01iijij(i€1,2,€,r;j€1,2,€,mi)試求p,P的最小二乘估量。101解: E(Y)€B+Bxij01i(i=1,2,…,r;j=1,2,…,m)，離差平方和iQ(B0,B1)€iji€1jQ(B0,B1)€iji€1j€1ij0 1ii€1j€1為求BB使Q(BB)€minQ(BB)，令010101<Q=-2工藝(y-B-Bx)=0ijo匕/0 i€1j€1<Q=一2工乞(y-B-Bx)x€0ijJii1 i€1j€1nB +(另Yx)B=工區(qū)y0 i1 iji€1j€1 i€1j€1x)B+(工區(qū)x2)B=工區(qū)xyi0 i1 iijJi€1j€1 i€1j€1 i€1j€1亦即

np +(Ymx)p?YKyTOC\o"1-5"\h\z0 ii1 iji?1 i?1 j?1rrmimx)p…(mx2)p? ixyii0 ii1 iiji?1簡記為i?1 i?1 j?i?1簡記為0…xp?y<01xp+X2P?xy01解此正規(guī)方程組得TOC\o"1-5"\h\z冷xy-無y lp? ? xy1H-x2 匸xxP0?歹-P1X由下表易求P,P的值，取得體會回歸直01^線y?p+px?01xix1x2???xrx?Ymxn i1i?1mimm???mx2?1Ymx2n iii2ri?1

yijy，y，…，〕1112t,y,…，.1m21 22???y2m2y,y「…二r1 r2巧=L工€yrmr ni=1j=1藝xyZIj=1/x€yi ijj=ixHy2 2jj=1???x^yrrj=1xy=L工藝:;ni=1j=1yiij例5.1.4對自變量和因變量都分組的情形，體會回歸直線的配置方式如下：對X和Y作n次實(shí)驗(yàn)，得n對實(shí)驗(yàn)值,把自變量的實(shí)驗(yàn)值分成r組，組中值記為x,x,€,x，各組以組中值為代表；把因1 2r變量是實(shí)驗(yàn)值分成s組，組中值記為y1,y「…,y，—樣各組以組中值為代表。對，m

ij12s若(xi,yj)有對，m

ij(i(i=1,2,?…，r;j=1,2,?…，s)，€€m=n?試求iji=1 j=1方,方的最小二乘估量。01解：設(shè)Y.=a+?x.+￡..，8?N(0,o2)，那j iijij么E(Y))=卩0+賂，(i=1,2,?…,r;j=l,2,???,s)，離

差平方和Q%卩嚴(yán)€€mij(yj，B1X)2i=1j=1為求方,方使Q(B,p)=minQ(”,”),令辺—2辺—2工€帆ij€€眄「1円TOC\o"1-5"\h\z化衛(wèi)j-po- =0j-嘰一卩Pi=0啷+(€€mX)B my0 iji1 ijji=1j=1€r€mx2)B= mxyiji1 ijiji=1j