概率論與數(shù)理統(tǒng)計(jì)第十章回歸分析

第十章回歸分析回歸分析方法是數(shù)理統(tǒng)計(jì)中的常用方法之一，是處理多個(gè)變量之間相關(guān)關(guān)系的一種數(shù)學(xué)方法.第一節(jié)回歸分析的概述在客觀世界中變量之間的關(guān)系有兩類，一類是確定性關(guān)系，例如歐姆定律中電壓U與電阻R、電流I之間的關(guān)系為 U=IR,如果已知這三個(gè)變量中的任意兩個(gè)，則另一個(gè)就可精確地求出 .另一類是非確定性關(guān)系即所謂相關(guān)關(guān)系 .例如， 正常人的血壓與年齡有一定的關(guān)系，一般來(lái)講年齡大的人血壓相對(duì)地高一些，但是年齡大小與血壓高低之間的關(guān)系不能用一個(gè)確定的函數(shù)關(guān)系表達(dá)出來(lái) .又如施肥量與農(nóng)作物產(chǎn)量之間的關(guān)系，樹(shù)的高度與徑粗之間的關(guān)系也是這樣 .另一方面，即便是具有確定關(guān)系的變量，由于試驗(yàn)誤差的影響，其表現(xiàn)形式也具TOC\o"1-5"\h\z有某種程度的不確定性 .具有相關(guān)關(guān)系的變量之間雖然具有某種不確定性，但通過(guò)對(duì)它們的不斷觀察，可以探索出它們之間的統(tǒng)計(jì)規(guī)律，回歸分析就是研究這種統(tǒng)計(jì)規(guī)律的一種數(shù)學(xué)方法 .它主要解決以下幾方面問(wèn)題.(1)從一組觀察數(shù)據(jù)出發(fā)，確定這些變量之間的回歸方程 .(2)對(duì)回歸方程進(jìn)行假設(shè)檢驗(yàn) .(3)利用回歸方程進(jìn)行預(yù)測(cè)和控制.回歸方程最簡(jiǎn)單的也是最完善的一種情況，就是線性回歸方程 .許多實(shí)際問(wèn)題，當(dāng)自變量局限于一定范圍時(shí)，可以滿意地取這種模型作為真實(shí)模型的近似，其誤差從實(shí)用的觀點(diǎn)看無(wú)關(guān)緊要 .因此， 本章重點(diǎn)討論有關(guān)線性回歸的問(wèn)題 .現(xiàn)在有許多數(shù)學(xué)軟件如 Matlab,SAS等都有非常有效的線性回歸方面的計(jì)算程序，使用者只要把數(shù)據(jù)按程序要求輸入到計(jì)算機(jī)，就可很快得到所要的各種計(jì)算結(jié)果和相應(yīng)的圖形，用起來(lái)十分方便 .我們先考慮兩個(gè)變量的情形.設(shè)隨機(jī)變量y與x之間存在著某種相關(guān)關(guān)系.這里x是可以控制或可精確觀察的變量，如在施肥量與產(chǎn)量的關(guān)系中，施肥量是能控制的，可以隨意指定幾個(gè)值xi,x2，…,xn,故可將它看成普通變量，稱為自變量，而產(chǎn)量y是隨機(jī)變量，無(wú)法預(yù)先作出產(chǎn)量是多少的準(zhǔn)確判斷，稱為因變量 .本章只討論這種情況 .由x可以在一定程度上決定 y，但由x的值不能準(zhǔn)確地確定y的值 .為了研究它們的這種關(guān)系，我們對(duì)(x,y)進(jìn)行一系列觀測(cè)，得到一個(gè)容量為 n的樣本(x取一組不完全相同的值)：(xi,yi),(x2,y2),…,(xn,yn),其中^是乂=不處對(duì)隨機(jī)變量y觀察的結(jié)果.每對(duì)(x^)在直角坐標(biāo)系中對(duì)應(yīng)一個(gè)點(diǎn)，把它們都標(biāo)在平面直角坐標(biāo)系中，稱所得到的圖為散點(diǎn)圖.如圖10-1.

圖10-1由圖10-1a可看出散點(diǎn)大致地圍繞一條直線散布，而圖10-1b中的散點(diǎn)大致圍繞一條拋圖10-1物線散布，這就是變量間統(tǒng)計(jì)規(guī)律性的一種表現(xiàn) ^如果圖中的點(diǎn)像圖10-1a中那樣呈直線狀，則表明y與x之間有線性相關(guān)關(guān)系，我們可建立數(shù)學(xué)模型y=a+bx+e (10.1)來(lái)描述它們之間的關(guān)系.因?yàn)閤不能嚴(yán)格地確定y,故帶有一誤差項(xiàng)￡，假設(shè)e~N(0,b2),相當(dāng)于對(duì)y作這樣的正態(tài)假設(shè)，對(duì)于x的每一個(gè)值有y~N(a+bx,b2),其中未知數(shù)a,b,(t2不依賴于x,(10.1)式稱為一元線性回歸模型(Univariablelinearregressionmodel).在(10.1)式中，a,b,b2是待估計(jì)參數(shù).估計(jì)它們的最基本方法是最小二乘法，這將在下節(jié)討論.記和是用最小二乘法獲得的估計(jì)，則對(duì)于給定的 x,方程?=今bx (10.2)稱為y關(guān)于x的線性回歸方程或回歸方程，其圖形稱為回歸直線 .(10.2)式是否真正描述了變量y與x客觀存在的關(guān)系，還需進(jìn)一步檢驗(yàn) .實(shí)際問(wèn)題中，隨機(jī)變量 y有時(shí)與多個(gè)普通變量 七K2，…,xp(p>1)有關(guān)，可類似地建立數(shù)學(xué)模型y=b0+b〔x1+…+bpxp+e,e~N(0, ), (10.3)其中b0,b1,…,bp,一都是與Xi,&，…,xp無(wú)關(guān)的未知參數(shù).(10.3)式稱為多元線性回歸模型，和前面一個(gè)自變量的情形一樣，進(jìn)行n次獨(dú)立觀測(cè)，得樣本：(X11,X12，…，X1p,y1)，…,(Xn1,Xn2,…,Xnp,yn)有了這些數(shù)據(jù)之后，我們可用最小二乘法獲得未知參數(shù)的最小二乘估計(jì)，記為 0,1，…,p,得多元線性回歸方程?=b0Hxhibpxp (10.4)同理，(10.4)式是否真正描述了變量 y與Xi,&，…,xp客觀存在的關(guān)系，還需進(jìn)一步檢驗(yàn)第二節(jié)參數(shù)估計(jì).一元線性回歸(10.1)式中a和b(10.1)式中a和b的估計(jì).最小二乘法的基本思想是：對(duì)一組觀察值(x1,y1),(x2,y2),??,(xn,yn),使誤差￡i=yi-(a+bxi)的平方和(10.5)2 - 2(10.5)Q(a,b)="叫-<||yi-a-bXii1 i4-達(dá)到最小的a和b作為a和b的估計(jì)，稱其為最小二乘估計(jì) (Leastsquaresestimates).直觀地說(shuō)，平面上直線很多，選取哪一條最佳呢？很自然的一個(gè)想法是， 當(dāng)點(diǎn)(為⑦)，i=1,2,…,n,與某條直線的偏差平方和比它們與任何其他直線的偏差平方和都要小時(shí)， 這條直線便能最佳地反映這些點(diǎn)的分布狀況， 并且可以證明，在某些假設(shè)下，和是所有線性無(wú)偏估計(jì)中最好的.根據(jù)微分學(xué)的極值原理，可將 Q(a,b)分別對(duì)a,b求偏導(dǎo)數(shù)，并令它們等于零，得到方程組：cQF￡Q；:bn=-2二iyi

i=1n=-2.IcQF￡Q；:bn=-2二iyi

i=1n=-2.Iyi

i=1-a-bx=0,-a-bxxu0.(10.6)n nnaI/Xib八yi,.i1 iWnn),n n nlZXia+]￡Xi2b=￡Xiyi..g)Um)y(10.7)(10.7)式稱為正規(guī)方程組.由于Xi不全相同，正規(guī)方程組的參數(shù)行列式nn、xi1n'、Xi1n2為i1n=nZx2i=1n=nZ(x-X)2w0.i=1故(10.7)式有惟一解n工(Xi-X)(yi-y)J ,' ￡(x「X)2 (10.8)i=1夕=?-bX.于是，所求的線性回歸方程為?=?bX.(10.9)若將？=?-bX代入上式，則線性回歸方程亦可表為y?=yb(x-X).(10.10)(10.10)式表明，對(duì)于樣本觀察值 (X1,y1),(X2,y2)「?,(Xn,yn),回歸直線通過(guò)散點(diǎn)圖的幾何中心(X,y).回歸直線是一條過(guò)點(diǎn)(X,y),斜率為8的直線.上述確定回歸直線所依據(jù)的原則是使所有觀測(cè)數(shù)據(jù)的偏差平方和達(dá)到最小值 .按照這個(gè)原理確定回歸直線的方法稱為最小二乘法 .“二乘”是指Q是二乘方（平方）的和.如果y是正態(tài)變量，也可用極大似然估計(jì)法得出相同的結(jié)果 ^為了計(jì)算上的方便，引入下述記號(hào)：」 2n 2n21rn2Sxx=￡(X—X)2=￡X2--IZX|,i二 i4 n(i4 ). .2n 2n2 1rn){Syy=￡(y「y)2=Zyi2--IZV\|, (10.11)也 i4 n\.i4Jn n 1i’n Yn )Sxy=￡(Xi—X)(yi—y)=￡Xi%——XiIIZV\.i3 T n(i3 人y /這樣，a,b的估計(jì)口」與成：?SxyST( , (10.12)L1； p； \；?=—￡yi--ZXib.1 nim Iny J例10.1某企業(yè)生產(chǎn)一種毛毯，1~10月份的產(chǎn)量X與生產(chǎn)費(fèi)用支出y的統(tǒng)計(jì)資料如表10-1.求y關(guān)于X的線性回歸方程.表10-1月份12345678910x（千條）12.08.011.513.015.014.08.510.511.513.3y（力兀）11.68.511.412.213.013.28.910.511.312.0解為求線性回歸方程，將有關(guān)計(jì)算結(jié)果列表如表 10-2所示表10-2產(chǎn)量X費(fèi)用支出yX2Xy2y12.011.6114139.2134.568.08.5646872.2511.511.4132.25131.1129.9613.012.2169158.6148.8415.013.022519516914.013.2196184.8174.248.58.972.2575.6579.2110.510.5110.25110.25110.2511.511.3132.25129.95127.6913.312.0176.89159.6144匯 117.3112.61421.891352.151290S(x=1421.89--(117.3)2=45.961,10Sy=1352.15-工M17.3112.6=31.352,10?=Sx^=0.6821, ￡?=1126-0.6821X173=3.2585,Sx 10 10

故回歸方程：？=3.2585+0.6821x..多元線性回歸多元線性回歸(Multiplelinearregression)分析原理與一元線性回歸分析相同， 但在計(jì)算上要復(fù)雜些.若(x11,xi2,???,xip,yi),…,(Xn1,Xn2,…,Xnp,yn)為一樣本，根據(jù)最小二乘法原理， 多元線性回歸中未知參數(shù)b0,b1,…,bp應(yīng)滿足n. iJi. .PQ=(yi-b0-b1xi1TH-bpxip)i1達(dá)到最小.cQ3b0cQcbj對(duì)Q分別關(guān)于b0,b1,cQ3b0cQcbjn=-2=(yi-b0-b1xi1_IH-bpxip)=0,i4n=-21(yi-b0-bixi1-|11-bpxip)xij=0,j=1,2,IH,p.i4TOC\o"1-5"\h\zn n n nb°n『Xm b2、x2IIIbp"xip八y,i1 i1 i1 i1n n n n n一 .?一 2??一 ?一」,,一 一為1+"￡Xi出￡為32+HI+bpZXm。=工為1另，yy y t y (10.13)iiiiiin n n n nL ..b ,.b ,iaj,. — 2bb0乙xipb1乙x1Xip b2乙xi2Xip11bbp乙Xip=乙Xipyi"、一i三 id： i苴 i凸 i=1(10.13)式稱為正規(guī)方程組，引入矩陣1x11X12IIIX1p1X21X22IIIX2py2b1X=*LJ， , Y=, B=*4■?+1+++++I1xn1Xn2IIIXnpj<ynJ[bp)于是(10.13)式可寫(xiě)成XXB=XY. (10.13)(10.13)'式為正規(guī)方程組的矩陣形式 .若(X'X)-1存在，則(10.14)B=1=(xX)xy.*+(10.14)<bpj方程？=g+取+|||+l?Xp為p元線性回歸方程pp例10.2見(jiàn)表10-3,某一種特定的合金鑄品，x和z表示合金中所含的A及B兩種元素的百分?jǐn)?shù)，現(xiàn)x及z各選4種，共有4X4=16種不同組合，y表示各種不同成分的鑄品數(shù),根據(jù)表中資料求二元線性回歸方程 .表10-3所含Ax5555101010101515151520202020所含Bz1234123412341234鑄品數(shù)y2830487429505742202431479182231解由(10.13)式，根據(jù)表中數(shù)據(jù)，得正規(guī)方程組16b0200b40b2=560,4200b0+3000bl+500b2=6110,

40b0+500bl+120b2=1580.解之得：b0=34.75,b1=-1.78,b2=9.于是所求回歸方程為：y=34.75-1.78x+9z.第三節(jié)假設(shè)檢驗(yàn)用最小二乘法求出的回歸直線并不需要 y與x一定具有線性相關(guān)關(guān)系.從上述求回歸直線的過(guò)程看，對(duì)任何一組試驗(yàn)數(shù)據(jù)(Xi,yi)(i=1,2,…,n)都可用最小二乘法形式地求出一條 y關(guān)于x的回歸直線.若y與x間不存在某種線性相關(guān)關(guān)系， 那么這種直線是沒(méi)有意義的， 這就需要對(duì)y與x的線性回歸方程進(jìn)行假設(shè)檢驗(yàn)， 即檢驗(yàn)x的變化對(duì)變量y的影響是否顯著.這個(gè)問(wèn)題可利用線性相關(guān)的顯著性檢驗(yàn)來(lái)解決 .因?yàn)楫?dāng)且僅當(dāng)bw0時(shí)，變量y與x之間存在線性相關(guān)關(guān)系.因此我們需要檢驗(yàn)假設(shè)：Ho:b=0;H1:bw0 (10.15)若拒絕Ho,則認(rèn)為y與x之間存在線性關(guān)系，所求得的線性回歸方程有意義；若接受H0,則認(rèn)為y與x的關(guān)系不能用一元線性回歸模型來(lái)表示，所求得的線性回歸方程無(wú)意義 ^關(guān)于上述假設(shè)的檢驗(yàn)，我們介紹 3種常用的檢驗(yàn)法..方差分析法(F檢驗(yàn)法)當(dāng)x取值X1,x2，…,xn時(shí)，得y的一組觀測(cè)值y1,y2,…,yn,nqH=Sy尸z(yi-y)

i1稱為y1,y2,…,yn的總偏差平方和(Totalsumofsquares),它的大小反映了觀測(cè)值y1,y2,…,yn的分散程度.對(duì)Q總進(jìn)行分析：TOC\o"1-5"\h\zn n\o"CurrentDocument"Q總=￡(yi-y)2=Skyi-y?)+(?-y)fi=1 iWn n=￡(v-？)2+￡(y-y)2i1 i1(10.16)=Q剩+Q回,(10.16)其中

nQ剩"(yi-?i)2,

i1n n 2 nq回=Z(y?—y)2=z1(？+&)—(，+bX)[=b2z(x-x)2.

i1 i1- i1Q剩稱為剩余平方和(Residualsumofsquares),它反映了觀測(cè)值yi偏離回歸直線的程度,這種偏離是由試驗(yàn)誤差及其他未加控制的因素引起的 .可證明S=-Q^是b2的無(wú)偏估計(jì)n-2Q回為回歸平方和(Regressionsumofsquares),它反映了回歸值？(i=1,2,…,n)的分散程度，它的分散性是因x的變化而引起的.并通過(guò)x對(duì)y的線性影響反映出來(lái).因此1,2,…,n的分散性來(lái)源于Xi,X2，…,xn的分散性.通過(guò)對(duì)Q剩、Q回的分析，y1,y2,…,yn的分散程度Q總的兩種影響可以從數(shù)量上區(qū)分開(kāi)來(lái) .因而Q回與Q剩的比值反映了這種線性相關(guān)關(guān)系與隨機(jī)因素對(duì) y的影響的大?。槐戎翟酱?，線性相關(guān)性越強(qiáng).可證明統(tǒng)計(jì)量(10.17)(10.17)給定顯著性水平“若F>F”,則拒絕假設(shè)H。，即認(rèn)為在顯著性水平a下，y對(duì)x的線性相關(guān)關(guān)系是顯著的.反之，則認(rèn)為y對(duì)x沒(méi)有線性相關(guān)關(guān)系，即所求線性回歸方程無(wú)實(shí)際意義 .(10.18)檢驗(yàn)時(shí)，可使用方差分析表 10-4.(10.18)Q剩Q剩=Q^-Q回=Syy方差來(lái)源平方和自由度均方F比回歸剩余Q回Q剩1n-2Q回/1Q剩/(n-2)Q回F=Q剩/(n-2)總計(jì)Q總n-1表10-4其中:Q=W(yi-y)2=b2Sxx2=Sxy2/Sxx,im例10.3 在顯著性水平a=0.05，檢驗(yàn)例10.1中的回歸效果是否顯著?解由例10.1知Sxx=45.961, Sxy=31.352,Syy=22.124,Q0=Sxy2/Sxx=21.3866,

Q剩=Q總-Q回=22.124-21.3866=0.7374,八QQ剩F=Q回2=232.0102>F0.05(1,8)=5.32.故拒絕H0,即兩變量的線性相關(guān)關(guān)系是顯著的

.相關(guān)系數(shù)法(t檢驗(yàn)法)為了檢驗(yàn)線性回歸直線是否顯著，還可用 x與y之間的相關(guān)系數(shù)來(lái)檢驗(yàn).相關(guān)系數(shù)的定義是:(10.19)由于Q回/Q總=--xy—=r2(|r|<1), |?=邑SxxSyy SxxbSxxbSxxr= ,SxxSyy顯然r和b?的符號(hào)是一致的，它的值反映了x和y的內(nèi)在聯(lián)系.Hi:rw0.(10.20)提出檢驗(yàn)假設(shè)： HHi:rw0.(10.20)可以證明，當(dāng)H0為真時(shí)，t= ——.n-21-r2?t(n-2).(10.21)故H0的拒絕域?yàn)閠>t?/2(n-2)由上例的數(shù)據(jù)可算出(10.22)rt=-t= ——.n-21-r2?t(n-2).(10.21)故H0的拒絕域?yàn)閠>t?/2(n-2)由上例的數(shù)據(jù)可算出(10.22)rt=- -1-r2Sxy

r=: =0.9832,.SxxSyy=15.2319>t0.025(8)=2.3060.故拒絕H0,即兩變量的線性相關(guān)性顯著.在一元線性回歸預(yù)測(cè)中，相關(guān)系數(shù)檢驗(yàn),即可.與一元線性回歸顯著性檢驗(yàn)原理相同，結(jié)果，還需進(jìn)行以下假設(shè)檢驗(yàn)：F檢驗(yàn)法等價(jià)，在實(shí)際中只需作其中一種檢驗(yàn)為考察多元線性回歸這一假定是否符合實(shí)際觀察H0：b1=b2=??二bp=0;H1：bi不全為零.可以證明統(tǒng)計(jì)量Q H0真;?F(p,n-p-1).n-p-1其中 U=YX(XX)-1XY-nQ=YY-YX(XX)-1XY.給定水平a,若FAF,則拒絕“.即認(rèn)為回歸效果是顯著的第四節(jié) 預(yù)測(cè)與控制1.預(yù)測(cè)由于x與y并非確定性關(guān)系，因此對(duì)于任意給定的 x=x0,無(wú)法精確知道相應(yīng)的丫0值,但可由回歸方程計(jì)算出一個(gè)回歸值 ％=?+X0，可以以一定的置信度預(yù)測(cè)對(duì)應(yīng)的 y的觀察值的取值范圍，也即對(duì)y°作區(qū)間估計(jì)，即對(duì)于給定的置信度 1-“，求出y0的置信區(qū)間(稱為預(yù)測(cè)區(qū)間(Predictioninterval)),這就是所謂的預(yù)測(cè)問(wèn)題 .對(duì)于給定的置信度1-&，可證明y0的1-“預(yù)測(cè)區(qū)間為(10.24)給定樣本觀察值，作出曲線(10.25)y1(x)=?(x)—tjn—2)夕J1+n+(x0Sx)(10.25)y2(x)=?(x)+tJn-2)t?'1+-+(x0x)2 .n Sxx這兩條曲線形成包含回歸直線=+x的帶形域，如圖10-2所示，這一帶形域在x=X處最窄，說(shuō)明越靠近，預(yù)測(cè)就越精確 .而當(dāng)Xo遠(yuǎn)離時(shí)，置信區(qū)域逐漸加寬，此時(shí)精度逐漸下降 .在實(shí)際的回歸問(wèn)題中， 若樣本容量n很大，在附近的x可得到較短的預(yù)測(cè)區(qū)間，又可簡(jiǎn)41 (xO-x)241 (xO-x)21十一十—— ?1,故yo的置信度為1-“的預(yù)測(cè)區(qū)間近似地等于(10.26)圖10-3特別地，取1-a=0.95,yo的置信度為0.95的預(yù)測(cè)區(qū)間為圖10-3?。-1.96??1.96?取1-a=0.997,y0的置信度為0.997的預(yù)測(cè)區(qū)間為%-2.97?,y02.97c?

可以預(yù)料，在全部可能出現(xiàn)的y值中，大約有99.7%的觀測(cè)點(diǎn)落在直線Li：y=?-2.97c?+bx與直線L2：y=a?+2.97c?+9x所夾的帶形區(qū)域內(nèi).如圖10-3所示.可見(jiàn)，預(yù)測(cè)區(qū)間意義與置信區(qū)間的意義相似， 只是后者對(duì)未知參數(shù)而言， 前者是對(duì)隨機(jī)變量而言.例10.4給定a=0.05,Xo=13.5，問(wèn)例10.1中生產(chǎn)費(fèi)用將會(huì)在什么范圍.解當(dāng)x0=13.5,y0的預(yù)測(cè)值為：?0=3.2585+0.6821X13.5=12.4674給定a=0.05,t0.025(8)=2.306,n0.7374 =0.3036,8x(yi-?i)0.7374 =0.3036,8i1n-211 (211 (22nSxx/ 1 (13.5-11.73)21 =1.0808,1045.961J1(xx)21+-+———-=2.3060.30361.0808=0.7567.

n Sxx即y0將以95%的概率落在（12.4674±0.7567）區(qū)間,即預(yù)報(bào)生產(chǎn)費(fèi)用在 （11.7107,13.2241）萬(wàn)元之間.2.2.控制控制實(shí)際上是預(yù)測(cè)的反問(wèn)題，即要求觀察值自變量x控制在什么范圍，即對(duì)于給定的置信度應(yīng)的觀察值y落在（y1'，y2’）之內(nèi)的概率不小于當(dāng)n很大時(shí)，從方程y在一定范圍內(nèi)丫1<丫<丫2內(nèi)取值，應(yīng)考慮把

1-a,求出相應(yīng)的x1,x2，使x1<x<x2時(shí)，x所對(duì)1-a.y〔=?—"Zj 政-；"zjyy〔=?—"Zj 政-；"zjy2=?；?z9.=a?ibx?z-.(10.27)分別解出x來(lái)作為控制x的上、下限:X1=(y1-a?:?x2=(丫2-a?--)；b.(10.28)當(dāng)tf>0時(shí)，控制區(qū)間為（x1,x2）；當(dāng)1?<0時(shí)，控制區(qū)間為（x2R）.如圖10-4,⑴a。⑵辰Q

⑴a。⑵辰Q圖10-4注意，為了實(shí)現(xiàn)控制，我們必須使區(qū)間 (yi,y2)的長(zhǎng)度不小于 ，即:y2-yi>2二z一.-2第五節(jié) 非線性回歸的線性化處理前面討論了線性回歸問(wèn)題，對(duì)線性情形我們有了一整套的理論與方法 .在實(shí)際中常會(huì)遇見(jiàn)更為復(fù)雜的非線性回歸問(wèn)題， 此時(shí)一般是采用變量代換法將非線性模型線性化， 再按照線性回歸方法進(jìn)行處理.舉例如下：模型 y=a+bsint+e,e~N(0,2), (10.29)其中a,b,b2為與t無(wú)關(guān)的未知參數(shù)，只要令x=sint,即可將(10.29)化為(10.1).模型 y=a+bt+ct+s,s~N(0,(T), (10.30)其中a,b,c,(T2為與t無(wú)關(guān)的未知參數(shù).令X1=t,x2=t2,得y=a+bx1+cx2+￡,￡~N(0,(r2), (10.31)它為多元線性回歸的情形.模型1—模型1—=a+b/x+eyS~N(0,(T2),x'=。，則有xy'=a+bx'+e,e~N(0,一),化為(10.1)式.模型x'=。，則有xy'=a+bx'+e,e~N(0,一),化為(10.1)式.模型令x'=lnx,則有y=a+blnx+e,￡~N(0,

y=a+bx，2(T),￡,￡~N(0,。2),又可化為(10.1)式.又可化為(10.1)式.另外，還有下述模型其中Q為已知函數(shù)，且設(shè)z=Q(y),得Q(y)=a+bx+§Q(y)存在單值的反函數(shù)，^N(0,(T),a,b,b2為與x無(wú)關(guān)的未知參數(shù).這時(shí)，令z=a+bx+e,e~N(0,(T).在求得z的回歸方程和預(yù)測(cè)區(qū)間后， 再按z=Q(y)的逆變換，變回原變量y.我們就分別稱它們?yōu)殛P(guān)于y的回歸方程和預(yù)測(cè)區(qū)間.此時(shí)y的回歸方程的圖形是曲線，故又稱為曲線回歸方程.例10.5某鋼廠出鋼時(shí)所用的盛鋼水的鋼包，由于鋼水對(duì)耐火材料的侵蝕，容積不斷擴(kuò)大.通過(guò)試驗(yàn)，得到了使用次數(shù) x和鋼包增大的容積y之間的17組數(shù)據(jù)如表10-5,求使用次數(shù)x與增大容積y的回歸方程.表10-5xyxy26.421110.5938.201210.6049.581310.80

解散點(diǎn)圖如圖10-5.一一一 1 .1 ..侶起來(lái)y與x壬倒指數(shù)關(guān)系lny=a+b—+e,記y=lny,x= ，求出x,y的值（表10-6）.表10-6x'y，x'y'0.50001.85940.09092.35990.33332.10410.08332.36090.25002.25970.07692.37950.20002.25130.07142.36090.16672.27210.06672.38880.14292.30260.06252.37580.12502.29560.05562.39790.11112.30160.05262.41590.10002.3504作(x',y')的散y\12108必42點(diǎn)圖，如圖10-6.?***** .3.L)2-52.0* 1.5I..00.5,yb*■O\可見(jiàn)各點(diǎn)基本上彳經(jīng)計(jì)算，得216810121416IS20 O圖10-5生一直線上，故可設(shè)y'=a+bx'+e,eOJ0.2 0.3 0.4 0,5圖10-6~(0,一)，X,=0.1464,y'=2.2963,nx/ \2、(Xi)=0.5902,i1n」(yi)2=89.9311,i1n、Xiyi=5.4627.i1

b=-1.1183,a?=2.4600.于是X,對(duì)于y'的線性回歸方程為V'=-1.1183x'+2.46OO,換回原變量得1.1183?=11.7O46e-x現(xiàn)對(duì)x'與y'的線性相關(guān)關(guān)系的顯著性用 F檢驗(yàn)法進(jìn)行檢驗(yàn)，得F(1,15)=379.3115>Fo.oi(1,15)=8.68.檢驗(yàn)結(jié)論表明，此線性回歸方程的效果是顯著的 ^本章介紹了在實(shí)際中應(yīng)用非常廣泛的數(shù)理統(tǒng)計(jì)方法之回歸分析,并對(duì)線性回歸作本章介紹了在實(shí)際中應(yīng)用非常廣泛的數(shù)理統(tǒng)計(jì)方法之回歸分析,并對(duì)線性回歸作了參數(shù)估計(jì)、相關(guān)性檢驗(yàn)、預(yù)測(cè)與控制及非線性回歸的線性化處理了參數(shù)估計(jì)、相關(guān)性檢驗(yàn)、預(yù)測(cè)與控制及非線性回歸的線性化處理1.元線性回歸模型y=a+bx+e1.元線性回歸模型y=a+bx+e的最小二乘估計(jì)為其中b?=義其中b?=義，a?=y-xb?.SxxnSxx='yi-ny,i1nSnSxy=、xvi-nxy,i1n2 \ 2 2Syy= Vi-ny.i12.變量y與x的線性相關(guān)性假設(shè)檢驗(yàn)有:(1)方差分析法(2.變量y與x的線性相關(guān)性假設(shè)檢驗(yàn)有:(1)方差分析法(F檢驗(yàn)法)Ho：b=0;Hi：bw0.F=Q回Q剩n—2Ho真?F“（1,n-2）.其中給定顯著性水平a,若Q0其中給定顯著性水平a,若Q0=Sxy/Sxx,Q剩=Q總-Q回=$丫丫6*丫/Sxx.F>F?,則拒絕Ho,即認(rèn)為y對(duì)x具有線性相關(guān)關(guān)系(2)相關(guān)系數(shù)法(t檢驗(yàn)法)Ho:r=O;H1:rwO.其中r- Sr- Sxy,SxxSyy'若t>t[n-2)則拒絕Ho.即認(rèn)為兩變量的線性相關(guān)性顯著3.給定X=X0時(shí)，y的置信水平為1-a的預(yù)測(cè)區(qū)間?+bXo±t4n—2）＜?Jl+,+（X0JX）2

nn Sxx重要術(shù)語(yǔ)及主題線性回歸，最小二乘估計(jì)，預(yù)測(cè)與控制，非線性回歸習(xí)題十1.在硝酸鈉（NaNO3）的溶解度試驗(yàn)中，測(cè)得在不同溫度x（C）下，溶解于100份水中的硝酸鈉份數(shù)y的數(shù)據(jù)如下，試求y關(guān)于x的線性回歸方程.xi0410152129365168yi66.771.076.380.685.792.999.4113.6125.12.測(cè)量了9對(duì)父子的身高，所得數(shù)據(jù)如下（單位：英寸）父親身高xi606264666768707274兒子身高yi63.665.26666.967.167.468.370.170求（1）兒子身高y關(guān)于父親身高x的回歸方程.（2）取“=0.05,檢驗(yàn)兒子的身高y與父親身高x之間的線性相關(guān)關(guān)系是否顯著 .（3）若父親身高70英寸，求其兒子的身高的置信度為 95%的預(yù)測(cè)區(qū)間.3.隨機(jī)抽取了10個(gè)家庭，調(diào)查了他們的家庭月收入 x（單位：百元）和月支出 y（單位：百兀）,記錄于下表：x20152025162018192216y181