應(yīng)用數(shù)理統(tǒng)計—回歸分析

1、回歸分析回歸分析 2回歸分析回歸分析 現(xiàn)實世界中大多數(shù)現(xiàn)象表現(xiàn)為相關(guān)現(xiàn)實世界中大多數(shù)現(xiàn)象表現(xiàn)為相關(guān)關(guān)系，人們通過大量觀察，將現(xiàn)象關(guān)系，人們通過大量觀察，將現(xiàn)象之間的相關(guān)關(guān)系抽象概括為函數(shù)關(guān)之間的相關(guān)關(guān)系抽象概括為函數(shù)關(guān)系，并用函數(shù)形式或模型來描述與系，并用函數(shù)形式或模型來描述與推斷現(xiàn)象間的具體變動關(guān)系，用一推斷現(xiàn)象間的具體變動關(guān)系，用一個或一組變量的變化來估計與推算個或一組變量的變化來估計與推算另一個變量的變化。這種分析方法另一個變量的變化。這種分析方法稱為回歸分析。稱為回歸分析。3一元線性回歸一元線性回歸一一 、一元正態(tài)線性回歸模型、一元正態(tài)線性回歸模型 設(shè)隨機(jī)變量設(shè)隨機(jī)變量Y，對于對于x的

2、每一個值，的每一個值，Y都有它的分布。都有它的分布。Y的均值是的均值是x的函的函數(shù)，設(shè)數(shù)，設(shè)E(Y)= (x)， (x)叫做叫做Y關(guān)于關(guān)于x的回歸。的回歸。 (x)可以通過樣本進(jìn)行估可以通過樣本進(jìn)行估計。計。4一元線性回歸一元線性回歸模型模型 對于對于x的一組值的一組值x1, x2, , xn作作 獨立試驗，對獨立試驗，對Y 得出得出n個觀察結(jié)果個觀察結(jié)果 y1, y2, yn，得到容量為得到容量為n的樣本的樣本 (x1, y1), (x2, y2), (xn, yn)。利用樣利用樣本估計本估計 (x) 。首先從散點圖看出首先從散點圖看出y與與x的關(guān)系的關(guān)系, 從而推測出從而推測出 (x)的形

3、式。的形式。若若 (x) 為為線性函數(shù)，設(shè)線性函數(shù)，設(shè) (x) =a+bx，估計估計 (x) 的的問題稱為一元線性回歸問題稱為一元線性回歸問題。問題。5一元線性回歸一元線性回歸模型模型 假設(shè)對于假設(shè)對于x的某個區(qū)間內(nèi)的每一的某個區(qū)間內(nèi)的每一個值有個值有 YN(a+bx, 2) Y= a+bx+ ， N(0, 2)稱為一元正態(tài)線性回歸模型。稱為一元正態(tài)線性回歸模型。6 由樣本到由樣本到a、b的的估計估計 ，對給定的對給定的x，取取 作為作為 (x) =a+bx的估計，稱的估計，稱 為為Y關(guān)于關(guān)于x的線性回歸方程，其圖的線性回歸方程，其圖形稱為回歸直線。形稱為回歸直線。一元線性回歸一元線性回歸模型

4、模型ba、xbayxbay7最小二乘估計二二 、最小二乘估計、最小二乘估計對樣本對樣本(x1, y1), (x2, y2), (xn, yn)，有有考慮考慮a、b的函數(shù)的函數(shù)相互獨立相互獨立各各iiiiiNnibxay , ), 0(, 2 , 1,2niiibxaybaQ12)(),(8最小二乘估計 用最小二乘法估計用最小二乘法估計a、b，使使分別取分別取Q關(guān)于關(guān)于a、b的偏導(dǎo)數(shù)，并令的偏導(dǎo)數(shù)，并令其為其為0，有，有),(min), (baQbaQniiiiniiixbxaybQbxayaQ110)(20)(29最小二乘估計得正規(guī)方程組得正規(guī)方程組由于由于niiiniiniiniiniiyx

5、bxaxybxna112111niiniiynyxnx111,110 最小二乘估計正規(guī)方程組為正規(guī)方程組為由于方程組系數(shù)行列式由于方程組系數(shù)行列式niiiniiyxbxaxnybxa112niiniiniixxxnxxxnx12212120111最小二乘估計方程組有唯一解方程組有唯一解bxyaxnxyxnyxbniiniii122112最小二乘估計記記則則niiniixxniiiniiixyxnxxxSyxnyxyyxxS1221211)()(bxyaSSbxxxy13最小二乘估計所求線性回歸方程為所求線性回歸方程為由由 知知所以所以對于一組樣本觀察值，回歸直線通過對于一組樣本觀察值，回歸直線

6、通過散點圖的幾何中心散點圖的幾何中心xbaybxyaxbay )(xxbyy),(yx14三、2的點估計對每一個對每一個xi，由回歸方程有由回歸方程有xi處的殘差處的殘差為為 ，殘差平方和，殘差平方和可以證明可以證明則則iixbayiiyyniiiniiiexbayyyQ1212)2(22nQe222,2nQEnQEee152的點估計 是是2的無偏估計的無偏估計Qe的簡單計算公式：的簡單計算公式：22nQe16 xxxyyyniininiiiiniiiniiiniiieSbSbSxxbxxyybyyxxbyyyyyyyyQ2122112121212)(2)()()(2)()()()()(172

7、的點估計由于由于 ，所以，所以四、線性假設(shè)的顯著性檢驗四、線性假設(shè)的顯著性檢驗(T(T檢驗法檢驗法) ) 對線性假設(shè)對線性假設(shè)y=a+bx+ 進(jìn)行檢驗，進(jìn)行檢驗，線性系數(shù)線性系數(shù)b不應(yīng)當(dāng)為不應(yīng)當(dāng)為0原假設(shè)原假設(shè) H0：b= =0備擇假設(shè)備擇假設(shè) H1：b 0 xxxySbSxxyyeSbSQ)(18線性假設(shè)的顯著性檢驗線性假設(shè)的顯著性檢驗)2()2(2222nQne可以證明可以證明從而從而)/,(2xxSbNb ) 2() 2() 2(222ntSbbnnSbbxxxx ) 1 , 0(2NSbbxx 19線性假設(shè)的顯著性檢驗線性假設(shè)的顯著性檢驗在在H0成立時，取統(tǒng)計量為成立時，取統(tǒng)計量為給定

8、顯著性水平給定顯著性水平 ，H0的拒絕域為的拒絕域為計算出計算出| |t| |的值，查出的值，查出)2(2ntSbTxx )2(22ntSbtxx )2(2nt 20線性假設(shè)的顯著性檢驗線性假設(shè)的顯著性檢驗 若若 ，則拒絕，則拒絕H0；否則就否則就接受接受H0 。拒絕拒絕H0，意味著回歸效果意味著回歸效果是顯著的。在回歸效果顯著的情況是顯著的。在回歸效果顯著的情況下，對回歸系數(shù)作區(qū)間估計，可得下，對回歸系數(shù)作區(qū)間估計，可得出出b的置信度為的置信度為1- - 的置信區(qū)間為的置信區(qū)間為)2(2ntt xxxxSntbSntbbb ) 2(,) 2(),(2221五、線性回歸的方差分析五、線性回歸的

9、方差分析(F(F檢驗法檢驗法) ) eniiiniiniiiiniiyyQSyyyyyyyyyyS回回12121212)()(22線性回歸的方差分析線性回歸的方差分析回歸平方和回歸平方和殘差平方和殘差平方和Syy自由度為自由度為n- -1， Qe自由度為自由度為n- -2，S回回自由度為自由度為1niiieniiyyQyyS1212回回23線性回歸的方差分析線性回歸的方差分析 )2, 1 ()2()2(1)2(),1 (222222nFnQSnQSnQSeee回回回回回回 24線性回歸的方差分析線性回歸的方差分析原原假設(shè)假設(shè)H0：b= =0，備擇假設(shè)備擇假設(shè) H1：b 0選統(tǒng)計量選統(tǒng)計量)2,

10、 1 ()2(nFnQSFe回回25方差分析表方差分析表方差來源方差來源平方和平方和自由度自由度均方均方F比比回歸回歸S回回1S回回/1殘差殘差Qen- -2Se/(n- -1)總和總和Qyyn- -1)2( nQSe回回26線性回歸的方差分析線性回歸的方差分析對檢驗水平對檢驗水平 ，查表得，查表得F (1,n- -2)，計算出計算出F值。值。若若FF (1,n- -2) ，則拒絕則拒絕H0 ，說明說明回歸效果顯著；回歸效果顯著；若若F2.306，即，即|t|值在值在H0的拒絕域內(nèi)，的拒絕域內(nèi)，故拒絕故拒絕H0 ，說明回歸效果是顯著的。說明回歸效果是顯著的。b的置信度為的置信度為0.95( =

11、 =0.05)的置信區(qū)間為的置信區(qū)間為934. 0,8250,483. 02 xxSb394.458250934. 0483. 0 xxSbt 306. 2)8(,82,025. 02025. 0tn )508. 0,458. 0(8250934. 0306. 2483. 0,8250934. 0306. 2483. 0),(bb33(4)已求出已求出 ，所以，所以已求出已求出Syy=1932.1，Qe=7.466 7.5Syy的自由度為的自由度為9，Qe的自由度為的自由度為8列方差分析表：列方差分析表：8250,483. 0 xxSb6 .19248250483. 0)(22xxSbS回回方

12、差來源方差來源平方和平方和自由度自由度均方均方F比比回歸回歸1924.611924.62047.4殘差殘差7.580.94總和總和1932.1934對對 =0.01，查出，查出F0.01(1,8)=11.26因為因為2047.3 11.26，所以回歸效果是，所以回歸效果是非常顯著的。非常顯著的。六、利用回歸方程進(jìn)行預(yù)報（預(yù)測）六、利用回歸方程進(jìn)行預(yù)報（預(yù)測） 回歸問題中回歸問題中Y是隨機(jī)變量，是隨機(jī)變量，x是普是普通變量?；貧w方程通變量?；貧w方程 是是Y對對x的依賴關(guān)系的一個估計。對給定的依賴關(guān)系的一個估計。對給定的的x值，用回歸方程確定值，用回歸方程確定Y的值，叫的值，叫預(yù)報。預(yù)報。xbay

13、35利用回歸方程進(jìn)行預(yù)報利用回歸方程進(jìn)行預(yù)報1.1.點預(yù)報點預(yù)報 回歸方程為回歸方程為 ，對任給，對任給x=x0，用用 作作Y的預(yù)報值，記的預(yù)報值，記為為 ，這就是點預(yù)報。，這就是點預(yù)報。xbay0 xba 00 xbay36利用回歸方程進(jìn)行預(yù)報利用回歸方程進(jìn)行預(yù)報2.2.區(qū)間預(yù)報區(qū)間預(yù)報 給定給定x=x0，Y的取值有的取值有一個置信一個置信度為度為1- - 的范圍，即置信區(qū)間，稱的范圍，即置信區(qū)間，稱為預(yù)報區(qū)間。為預(yù)報區(qū)間。 設(shè)在設(shè)在x=x0點對點對隨機(jī)變量隨機(jī)變量Y的觀察的觀察結(jié)果為結(jié)果為y0 。),(), 0(,20020000 bxaNyNbxay37利用回歸方程進(jìn)行預(yù)報利用回歸方程進(jìn)

14、行預(yù)報在在x=x0點，點， 的預(yù)報值的預(yù)報值為為可以證明可以證明000 bxay00 xbay2)(1002)(10020201, 0, xxxxSxxnSxxnNyybxaNy38)2(1)2()2()2() 1 , 0(12020)(100222)(100ntyynVUTnnVNyyUxxxxSxxnSxxn 39利用回歸方程進(jìn)行預(yù)報利用回歸方程進(jìn)行預(yù)報對于給定的置信度對于給定的置信度1-1- ，有，有其中其中由此得出由此得出y0 0的置信度為的置信度為(1-1- )的預(yù)報區(qū)的預(yù)報區(qū)間為間為 1)()(1)2(000002xyyxyPntTPxxSxxnntx202)(101)2()( )

15、(, )(0000 xyxy 40對對任意的任意的x，回歸直線回歸直線y的下限：的下限：y的上限：的上限：xbay)()( )()()( )(21xxyxyxxyxy oxyyx1( )y x( )yx2( )41當(dāng)樣本容量當(dāng)樣本容量n較大時，若取較大時，若取x0在在x附近，附近，則則y0的置信度為的置信度為1- - 的預(yù)報區(qū)間為的預(yù)報區(qū)間為2220)2(,11)(1 ZntxxSxxn22,00 ZyZy) 3, 3( , 397. 2,997. 01) 2, 2( , 296. 1,95. 01000015. 000025. 022 yyZZyyZZ42七、控制問題七、控制問題要求要求y 以置信度以置信度1- - 在在 內(nèi)取值，內(nèi)取值，x控制在控制在 內(nèi)，使其中的內(nèi)，使其中的x所對所對應(yīng)的觀察值應(yīng)的觀察值y滿足滿足),(21yy),(21xx 121yyyP43控制問題控制問題xxx 2112yyyoxbaxy)( )()( )(2xxyxy )()( )(1xxyxy 44對對給出的給出的 ，以置信度，以置信度1- - , ,有有由此解出由此解出x即為即為x 1 1由此解出由此解出x即為即為x 2 2當(dāng)樣本容量當(dāng)樣本容量n較大時，較大時， 若取若取x0在在x附近，則附近，則這時這時21yyxxSxxnntxbay202)(111)2(