方差分析及回歸分析

1、第九章 回歸分析教學要求i.一元線性回歸及線性相關(guān)顯著性的檢驗法，利用線性回歸方程進行預測。 2可線性化的非線性回歸問題及簡單的多元線性回歸。本章重點 ：理解線性模型，回歸模型的概念，掌握線性模型中參數(shù)估計的最小二乘 法估計法。教學手段 ：講練結(jié)合課時分配： 6 課時§9.1 一元線性回歸回歸分析是研究變量之間相關(guān)關(guān)系的一種統(tǒng)計推斷法。例如，人的血壓y與年齡x有關(guān)，這里x是一個普通變量，y是隨機變量。丫與x之 間的相依關(guān)系f(x)受隨機誤差 的干擾使之不能完全確定，故可設有：y f (x)( 9.1)式中f(x)稱作回歸函數(shù)，為隨機誤差或隨機干擾，它是一個分布與x無關(guān)的隨機變量， 我

2、們常假定它是均值為0的正態(tài)變量。為估計未知的回歸函數(shù) f(x)，我們通過n次獨立觀 測，得x與y的n對實測數(shù)據(jù)(Xi,yi)i=1, ,n，對f(x)作估計。實際中常遇到的是多個自變量的情形。例如在考察某化學反應時，發(fā)現(xiàn)反應速度 y與催化劑用量X1,反應溫度&所加壓力X3 等等多種因素有關(guān)。這里Xi,X2,都是可控制的普通變量，y是隨機變量，y與諸Xi間的依 存關(guān)系受隨機干擾和隨機誤差的影響，使之不能完全確定，故可假設有：y f (x1,x2, ,xk )(9.2)這里 是不可觀察的隨機誤差，它是分布與 Xi,Xk無關(guān)的隨機變量，一般設其均值 為0,這里的多元函數(shù)f(xi,Xk)稱為回

3、歸函數(shù)，為了估計未知的回歸函數(shù)，同樣可作n次獨立觀察，基于觀測值去估計f(Xi,Xk)o以下的討論中我們總稱自變量 Xi,X2,Xk為控制變量，y為響應變量，不難想象，如對回歸函數(shù)f(Xi,Xk)的形式不作任何假設，問題過于一般，將難以處理，所以本章將主 要討論y和控制變量Xi,X2,Xk呈現(xiàn)線性相關(guān)關(guān)系的情形，即假定f(xi,Xk)=bo+biXi+bkXko并稱由它確定的模型(9.i) (k=i)及(9.2)為線性回歸模型，對于線性回歸模型，估計回歸 函數(shù)f(xi,Xk)就轉(zhuǎn)化為估計系數(shù)bo、bi(i=i,k) o當線性回歸模型只有一個控制變量時，稱為一元線性回歸模型，有多個控制變量時稱

4、為多元線性回歸模型，本著由淺入深的原則，我們重點討論一元的，在此基礎上簡單介紹 多元的。§9.i.i 一元線性回歸一、一元線性回歸的數(shù)學模型前面我們曾提到，在一元線性回歸中，有兩個變量，其中X是可觀測、可控制的普通變量，常稱它為自變量或控制變量， y 為隨機變量，常稱其為因變量或響應變量。通過散 點圖或計算相關(guān)系數(shù)判定y與X之間存在著顯著的線性相關(guān)關(guān)系，即y與X之間存在如下關(guān)系：y=a+bx+(9.3)通常認為N©®且假設a2與X無關(guān)。將觀測數(shù)據(jù)(Xi,yi)(i=1 ,n)代入(9.3)再注意樣本為簡單隨機樣本得：(9.4)yi a bxi 2345678910

5、1112 (i 1, n)1, n獨立同分布N(0, 2)稱(9.3)或(9.4)(又稱為數(shù)據(jù)結(jié)構(gòu)式)所確定的模型為一元(正態(tài))線性回歸模型。對其進行 統(tǒng)計分析稱為一元線性回歸分析。不難理解模型(9.4沖EY=a+bx，若記y=E(Y),則y=a+bx,就是所謂的一元線性回歸方 程，其圖象就是回歸直線，b為回歸系數(shù)，a稱為回歸常數(shù)，有時也通稱 a b為回歸系數(shù)。我們對一元線性回歸模型主要討論如下的三項問題：(1)對參數(shù)a, b和a進行點估計，估計量 召稱為樣本回歸系數(shù)或經(jīng)驗回歸系數(shù)，而 ? ? bX稱為經(jīng)驗回歸直線方程，其圖形相應地稱為經(jīng)驗回歸直線。 在模型(9.3下檢驗y與X之間是否線性相關(guān)

6、。(3)利用求得的經(jīng)驗回歸直線，通過 X對y進行預測或控制。二、a b的最小二乘估計、經(jīng)驗公式現(xiàn)討論如何根據(jù)觀測值(Xi,yi)，i=1,2,n估計模型(9.2)中回歸函數(shù)f(x)=a+bx中的回歸系數(shù)。采用最小二乘法，記平方和n(9.5)2Q(a,b)(yt a bxt)t 1找使Q(a.b達到最小的a b作為其估計，即n2 yt at 1Q(a,ff) mi nQ(a,b)bxt0a.bQ2a為此，令n2 (yt at 12Q2b化簡得如教材所示的方程組LxyLxxbXt)Xt 0(稱為模型的正規(guī)方程)b?解得(9.6)了 bXa、b的最小二乘估計，式中(9.6所示的a,t?分別稱為稱?

7、? bX為經(jīng)驗回歸(直線方程)，或經(jīng)驗公式。例1某種合成纖維的強度與其拉伸倍數(shù)有關(guān)。 下表是24個纖維樣品的強度與相應的 拉伸倍數(shù)的實測記錄。試求這兩個變量間的經(jīng)驗公式。拉伸倍數(shù)X1.92.02.12.52.72.73.53.54.04.04.54.6強度y(Mp a)1.41.31.82.52.82.53.02.74.03.54.23.5編號131415161718192021222324拉伸倍數(shù)X5.05.26.06.36.57.18.08.08.99.09.510.0強度y(Mp a)5.55.05.56.46.05.36.57.08.58.08.18.1將觀察值(Xi, yi), i=

8、1,24在平面直角坐標系下用點標出，所得的圖稱為 散點圖。從本例的散點圖看出，強度y與拉伸倍數(shù)X之間大致呈現(xiàn)線性相關(guān)關(guān)系，一元線性回歸模型是適用y與X的。現(xiàn)用公式(9.6)求？，這里n=24 b? 土 0.859L XX由此得強度y與拉伸倍數(shù)X之間的經(jīng)驗公式為? 0.15 0.859X三、最小二乘估計a,?的基本性質(zhì)定理9.1 一元線性回歸模型(9.4)中, a b的最小二乘估計a>,b?滿足:(1)c? y Ibx 0.15E? a,1D(a)(-ncov(a?, lb)E b? b一 2十)2, D(l?)卩 2LxxLxxX 2Lxx證：(1)注意到對任意i=1,2,n有X) 0,

9、將a、b?表示為：n(2)利 用(Xii 1A nb -一(XiLxx i 1a? 1yi Xt?n i 1_1n-y) (XiX)yiLxx i 1n 1 (Xi X)Xyii 1 n LxxX)(yi(9.8)(9.7)由于y1,y2,%相互獨立，有定理9.1表明，a b的最小二乘估計a、b?是無偏的，從(9.7), (9.8還知道它們又是線性 的，因此(9.5所示的最小二乘估計a、b?分別是a b的線性無偏估計。§ 9.1.2建立回歸方程后進一步的統(tǒng)計分析C的無偏估計1由于C是誤差Ei=1,n)的方差，如果E能觀測，自然想到用-n是觀測不到的，能觀測的是yi.。由Eyi a?

10、bXi ?(即Eyi的估計)，就應用殘差y ?來估彳 n彳-(yi ? bXi)2-Q(a,b?)n i 1n們希望得到無偏估計，為此需求殘差平方和Q(a,b)的數(shù)學期望，由定理9.2可推出EQ(ab) (n 2) 2(學員自驗)于是得?2Q(a?b)n 2臺匕1 n計i，因此，想到用丄(yin i 1?)2來估計c2,我1 n(yi?i)2為C的無偏估計，例如§ 9.1例1中？ 0.2545即n 2 i 1?定理 9.2 令?2 Q(?'b)，則 E ?22。n 2我們稱？旦為標準誤差，它反映回歸直線擬合的程度。具體計算時可用Q(a,lb)Lyy FLxx Lyy(1Lt

11、)L XX L yy2Lyy(1 r )。二、預測與控制1、預測問題對于一元線性回歸模型y a bx(9.9)N(0, 2)我們根據(jù)觀測數(shù)據(jù)(Xi,y),i=1,n，得到經(jīng)驗回歸方程? a?Xi,i=1,n)如何估計或預測相應的 y呢？這就是所謂的預測問題，自然我們想到用經(jīng)驗公 式，取y0 a? 1?0來估計實際的y0 a bx。0，并稱?0為y點估計或點預測。在實際應用中，若響應變量y比較難觀測，而控制變量X卻比較容易觀察或測量，那么根據(jù)觀測 資料得到經(jīng)驗公式后，只要觀測 X就能求得y的估計和預測值，這是回歸分析最重要的應 用之一，例如在§ 9.1例1中，拉伸倍數(shù)X0=7.5,則可

12、預測強度?0 0.15 0.859 7.5 6.59 但是，上面這樣的估計用來預測y究竟好不好呢？它的精度如何？我們希望知道誤差， 于是就有考慮給出一個類似于置信區(qū)間的預測區(qū)間的想法。定理9.3對于一元bX,當控制變量X取值Xo(XoMyi a bXii (i,2獨立同分布N(aB)服從二元正態(tài)分布。(正態(tài))線性模型1,n)(0,2)(9.10)有(1)?2(n 2)y b?證明：略又，我們知道 X2(n 2)22?是相互獨立的隨機變量。yo是r.v,且與yi,y2,yn相互獨立，由定理9.3及定理9.2知,yo 2? i?Xo N(.,.)且 Eyo E? XoEb? a bxo,由于yo與

13、y相互獨立(？o只與y1,yn有關(guān))，且yoN(a+bxo, d) 1 (Xo X)2r 2n- yo ?oN(o,1LXX由定理9.3知，yo ?o與(n 2)獨立，故T= (Vo ?o)/j?21 1 (XO X) t(n 2) / VnLxx對于給定的置信水平1-，查自由度為n-2的T分布表可得滿足P(|t| t ) 1 的臨界值t ta根據(jù)不等式的恒等變形可得Vo的置信度為1-的置信區(qū)間為：這就是yo的置信度為1-的預測區(qū)間，它是以?o為中心，長度為2t (X)的區(qū)間，(記(9.11)(X) J ?21 1 (XO X)，區(qū)間的中點 VoV n Lxx處最短，Xo越遠離X，預測區(qū)間的長

14、度就越長。 直線對稱的兩條曲線上，并是喇叭形。? bXo隨Xo而線性變化，它的長度在Xo X預則區(qū)間的上限與下限落在關(guān)于經(jīng)驗回歸當n較大，Lxx充分大時,-21 1(XoX) 1nL XX(:?ot ?,? t即預測的精度主要由可得yo的近似預測區(qū)間： 上式說明預測區(qū)間的長度， 重要的量。2、控制問題在實際應用中往往還需要考慮預測的反問題，即要以不小于 1-的概率將 (力也)內(nèi)，也就是使 相應的Xo應控制在什么范圍內(nèi)。這類問題稱為 控制問題。根據(jù)前一段的討論，若 (?o t (X)， 乂 t (X) (y1, y2)(9.13)則可有 P(y1 yo y2)1因此控制問題一般是找滿足(9.13

15、的 Xo的范圍。但求解很麻煩。一種近似的處理法是: 由 yo N(a bXo, 2)將a, b,d分別用其無偏估計a?, k?, ?2代，近似有 yo N(s? bco, ?2)?)?確定，因此在預測中,V ?近似N(?o，?2),從而- N(O.1)根據(jù)P(yo ?o(9.12)0曰一個基本而yo控制在Xo滿足查N(0.1)分布表確定u，于是yo的置信度1-的預測區(qū)間可近似認為是(?o ua ?,'(?o U ?,?o U ?)問題無解，否則方程組Ua ?)要解決前述問題可以從滿足：(%2)的Xo去尋找Xo的控制范圍。顯然，當2u ? y y1時,y1召汝u y2 a? ijX

16、9;' u 由此得X0的控制范圍是(min(x,x ),max(x,x )三、線性相關(guān)的檢驗前面的討論都是在假定y與x呈現(xiàn)線性相關(guān)關(guān)系的前提下進行的，若這個假定不成立, 則我們建立的經(jīng)驗回歸直線方程也失去意義，為此必須對 驗，為解決這個問題，先作手：1、偏差平方和分解記L ' (y V)2，稱它為總偏差平方和，它反映數(shù)據(jù)i 1nnn(yi yi ?i y)2(yi ?)2(?i 1i 1i 1Q (玄肉就是前面提到的殘差平方和有解x,xy與x之間的線性相關(guān)關(guān)系作檢yi的總波動，易得L有如下分解式：Ly)2 Qe其中Qe,UN(y?i y)2稱為回歸平方和,I 1上式右邊的交叉項

17、:n2 (yi ?i)(? y)i 1與y之間的線U/Q的大小,由上可知，U越大，Qe就越小，x與y間線性關(guān)系就越顯著；反之，x 性關(guān)系越不顯著。于是，自然地考慮到檢驗回歸方程是否有顯著意義是考察 其比值大，則L中U占的比重大，回歸方程有顯著意義，反之，無顯著意義。2、線性相關(guān)的F檢驗根據(jù)上段的思想來構(gòu)造檢驗統(tǒng)計量，先看下面的定理。定理9.4當H0：b=0成立時 U/ ；2(1)且Q與U相互獨立。2證：當H0成立時，由Th2.1-1及Th2.2-2知，N(0,)Lxx亞二 N(0.1)于是企1Lx由定理9.4,我們還知(n2(n 2)，且Q與k?相互獨立，從而Q與U=l?Lxx獨立，由上面的定

18、理及uIL H0 真F百 F(1,nQ/n 2?2因此可選它作檢驗H0：b=0的檢驗統(tǒng)計量，當H0為真時F的值不應太大，故對選定的水平 a>0,由P(F F1 )= a查F(1,n-2分布表確定臨界值F-分位數(shù)，當觀測數(shù)據(jù)代入(9.14)式算 出的F值合FF1-時，不能接受H0,認為建立的回歸方程有顯著意義。檢驗F分布的構(gòu)造性定理知:2)(9.14)選用Ho：經(jīng)驗公式無顯著意義(0=0.05)F心凹羅F(1,22)QF F 查表得巳=4.30由p現(xiàn)計算F值由 L=Lyy=117.95Q=L-U =5.6得 F 22 IZ 441.3755.6因F> Fa,所以拒絕Ho,認為所得的經(jīng)

19、驗回歸方程有顯著意義。四、相關(guān)與回歸的區(qū)別與聯(lián)系1、聯(lián)系由前面的討論，有： 得回歸平方和U=r2L殘差平方和Q Q(a,?) L(1 r2)數(shù)，另方面由F(n 2)UQ通常稱r2為擬合優(yōu)度系數(shù)。r就是變量X與y的積差相關(guān)系(n 2)r2L (rj(n Z),(1 r2)L (y與X是否顯著線性相關(guān)時，F(xiàn)檢驗法與相關(guān)系數(shù)T檢驗法等效?？梢妑2反映了回歸平方和在總偏差平方和中占的比重，該比重越大，誤差平方和在總 偏差平方和中占的份量就越小?？闯觯跈z驗2、區(qū)別相關(guān)關(guān)系不表明因果關(guān)系，是雙向?qū)ΨQ的，在相關(guān)分析中，對所討論的兩個變量或多 個變量是平等對待的，相關(guān)系數(shù)r反映數(shù)據(jù)(Xi,yi)所描述的散點

20、對直線的靠攏程度。回歸分析中，變量在研究中地位不同，要求因變量 (響應變量)y是隨機變量，自變量一 般是可控制的普通變量(當然也可以是隨機的)。在回歸方程中，回歸系數(shù)只反映回歸直線 的陡度，且它不是雙向?qū)ΨQ的。§ 9.1.3 元非線性回歸前面討論的線性回歸問題，是在回歸模型為線性這一基本假定下給出的，然而在實用 中還經(jīng)常碰到非線性回歸的情形，這里我們只討論可以化為線性回歸的非線性回歸問題， 僅通過對某些常見的可化為線性回歸問題的討論來闡明解決這類問題的基本思想和方法。一、曲線改直例1煉綱過程中用來盛鋼水的鋼包，由于受鋼水的浸蝕作用，容積會不斷擴大。下 表給出了使用次數(shù)和容積增大量的

21、15對試驗數(shù)據(jù)：使用次數(shù)(Xi)增大容積(yi)使用次數(shù)(Xi)增大容積(yi)26.4299.9938.201010.4949.581110.5959.501210.6069.701310.80710.001410.6089.931510.901610.76試求丫關(guān)于X的經(jīng)驗公式。解：首先要知道丫關(guān)于X的回歸函數(shù)是什么類型，我們先作散點圖。(見教材) 從圖上看，開始浸蝕速度較快，然后逐漸減緩，變化趨勢呈雙曲線狀。因此可選取雙曲線：(設y與X之間具有如下雙曲線關(guān)系)1Ja b -y x作為回歸函數(shù)的類型，即假設y與x滿足:11 a b -xJx(9.16)11，則（9.15變成a b ,E 0

22、,Dy，先由x、y的數(shù)據(jù)取倒數(shù)，可得n,E的數(shù)據(jù)這是一種非線性回歸（0.0625,0.0929）對得到的15對新數(shù)據(jù)，用最小二乘法可得:線性回歸方程？ 0.13120.0823后，代回原變量得(0.5000,0.1558)； 二? 為y關(guān)于x的經(jīng)驗公式（回歸方程）0.0823x 0.1312在例1中，假設了 y與x之間滿足雙曲線回歸模型，顯然這是一種主觀判斷，因此所 求得的回歸曲線不一定是最佳的擬合曲線。在實用中，往往是選用不同的幾種曲線進行擬 合，然后分別計算相應的殘差平方和 Qe （yi yo2或？（標準誤差）進行比較Qe（或 ?）最i小者為最優(yōu)擬合。二、常見可改直的曲線 下面簡介一些可通

23、過變量替換化為線性回歸的曲線回歸模型。1、雙曲線a by x2、幕函數(shù) y=axb（或 y=ax-b） y' ny, x' nx, a' na 則有 y3、指數(shù)函數(shù)y=aebx或y=ae-bx 兩邊取對數(shù)ny na bx 令bx或y4、倒指數(shù)函數(shù)y ae11作變換y'丄,X'-則回歸函數(shù)化為:yx（b > 0）對幕函數(shù)兩邊取對數(shù)a b x（b> 0）y ny,baexy' =a+bx'ny na b nx ,作變換bx兩邊取對數(shù)后作變換y ny,(b> 0,1 ,axa> 0)na ,則有y a b x5、對數(shù)函數(shù)

24、，y=a+b nx 作變換xnx,貝U有 y=a+bx .作實習操作時一并介紹。另外還有一些可化為線性回歸的曲線回歸，將在用“ sp ss例1（續(xù)）由例1的散點圖看出，除雙曲線擬合外，本例還可選擇倒指數(shù)擬合: y=aeb/x兩邊取對數(shù)得:令 ny,1n y b na x11，變?yōu)槿缦碌幕貧w問題：x利用最小二乘法求得：E?=-1.1107,yA =2.4578因此回歸直線為：1.1107 ' 2.4578代回原變量得：? 11.6489e1.1107/x經(jīng)計算雙曲線擬合時 Q=1.4396 ?=0.3328,倒指數(shù)擬合時？=0.2168,故倒指數(shù)擬合效果更好些。§ 9.2多元線

25、性回歸實際應用中，很多情況要用到多元回歸的方法才能更好地描述變量間的關(guān)系，因此有 必要在本節(jié)對多元線性回歸做一簡單介紹，就方法的實質(zhì)來說，處理多元的方法與處理一 元的方法基本相同，只是多元線性回歸的方法復雜些，計算量也大得多，一般都用計算機 進行處理。一、數(shù)學模型和回歸方程的求法。1、多元線性回歸的模型。設因變量y與自變量X1,X2,Xk之間有關(guān)系式：(9.17)y bo b/. bkXk1 N(0, 2) 抽樣得n組觀測數(shù)據(jù)：(y1； X11,X21,Xk1)(y2； X12,X22,Xk2)(yn； X1n,X2n,Xkn)其中Xij是自變量Xi的第j個觀測值，yj是因變量y的第j個值，代

26、入(9.17)得模型的數(shù)據(jù) 結(jié)構(gòu)式：boboyiy2b1x11b1X12b2x21. bkxk1bl X22. bkXk2(9.18)b1X1n b2X2n bk Xkn 獨立同分布N ( 0， 2)我們稱(9.17)或(9.18為k元正態(tài)線性回歸模型，其中b0,b1,bk及o2都是未知待估的 參數(shù)，對k元線性模型，需討論的問題與一元時相同。需要說明的幾點見教材2、未知參數(shù)的估計與一元時一樣，采用最小二乘法估計回歸系數(shù)b0,b1,bk.稱使b2X2t . bkXkt)2 達到最 小 的 I?0,b1,.,bk 為參數(shù)ynbo1,利用微積分知識，最小二乘估計就是如下方程組的解:l12b2. I1

27、kbkL1y1 21b1l22b2.I2kbkL2y1 k1b11 k2b2. IkkbkLkyb0y b1Xb2 X2.bkXk其中,n-1 y -yt,n-1Xin t 1n t 1nQ(b0,b1,.,bk) ?yt (b。 biX1tt 1(b0,b1,bk)的最小二乘估計,Xit(i 1,2,.,k)(9.19)通常稱方程組(9.19為正規(guī)方程組，其中前k個方程的系數(shù)矩陣記為L* (Ij)kk,當L*可逆時, 正規(guī)方程組(9.19)有解，便可得bob,bk的最小二乘估計 bOE, Bkb1L1y(L*) 1 b? ybxi. bkxk即bk代入模型(9.18)略去隨機項得經(jīng)驗回歸方程

28、為：? bO l?X1 . b?Xk(9.20)類似一元可以證明bi都是相應的bi(i=0, 1, ,k)的無偏估計，且(K的無偏估計為：¥Q(bO,b?,.,bk)Lkyn k 1二、回歸方程的顯著性檢驗與一元的情形一樣，上面的討論是在 y與X1,Xk之間呈現(xiàn)線性相關(guān)的前提下進 行的，所求的經(jīng)驗方程是否有顯著意義，還需對 y與諸Xi間是否存在線性相關(guān)關(guān)系作顯著 性假設檢驗，與一元類似，對？ bo b?X1.H o：b1=b2=b k=o為了找檢驗nL(ytt 1(ytt即 L=U+QeHo的檢驗統(tǒng)計量,也需將總偏差平方和bkkxk是否有顯著意義，可通過檢驗Lyy作分解:y)2(yt乂 yt)2(yty)2Qe(9.21)這里?tb?t其中 L=Lyy, U? ?b1X1t.bkXkt .利用柯赫倫定理可以證明：在立，所以有U /k(?t2y) ,Qet分別稱Qe,Ho成立下,(yttU為殘差平方和、yt)2回歸平方和，可以證明:2(n k 1)且U與Qe相互獨Ho真F F(k,n kQ/( n k 1)(這里記Qe為Q,下同) 取F作Ho的檢驗計量，對給定的水平 ， 介值F，由樣本觀測值代入(9.22算出統(tǒng)計 所建的回歸方程有顯著意義。通過F檢驗得