《元線性回歸》PPT課件

1、第2章 一元線性回歸2 .1 一元線性回歸模型2 .2 參數(shù) 的估計(jì)2 .3 最小二乘估計(jì)的性質(zhì)2 .4 回歸方程的顯著性檢驗(yàn)2 .5 殘差分析2 .6 回歸系數(shù)的區(qū)間估計(jì)2 .7 預(yù)測和控制2 .8 本章小結(jié)與評注01,2 .1 一元線性回歸模型例例2 .1 表表2.1列出了列出了15起火災(zāi)事故的損失及起火災(zāi)事故的損失及火災(zāi)發(fā)生地與最近的消防站的間隔?；馂?zāi)發(fā)生地與最近的消防站的間隔。 表表2.1火災(zāi)損失表火災(zāi)損失表2 .1 一元線性回歸模型例例2.2 全國人均消費(fèi)金額記作全國人均消費(fèi)金額記作y(元元); 人均國民收入記為人均國民收入記為x(元元) 表表2.2 人均國民收入表人均國民收入表2

2、.1 一元線性回歸模型2 .1 一元線性回歸模型一元線性回歸模型2)var(0)(E此時(shí)回歸方程為01yx01( / )E y xx2 .1 一元線性回歸模型樣本模型回歸方程樣本觀測值(x1，y1),(x2，y2),(xn，yn),n, iEii21 )var(0)(2閱歷回歸方程 xy1001,1,2,iiiyxin201(),var()iiiE yxy2 .2 參數(shù)0、1的估計(jì)一、普通最小二乘估計(jì) (Ordinary Least Square Estimation,簡記為OLSE) niiiniiixyxyQ1210,121010)(min )(),(10最小二乘法就是尋覓參數(shù)0、1的估計(jì)

3、值使離差平方和達(dá)極小iixy10iiiyye稱為yi的回歸擬合值,簡稱回歸值或擬合值 稱為yi的殘差 2 .2 參數(shù)0、1的估計(jì)x xy y( (x xn n, , y yn n) )( (x x1 1 , , y y1 1) )( (x x2 2 , , y y2 2) )( (x xi i , , y yi i) )e ei i= = y yi i- -y yi ixy10 xy10 x xy y( (x xn n, , y yn n) )( (x x1 1 , , y y1 1) )( (x x2 2 , , y y2 2) )( (x xi i , , y yi i) )e ei i=

4、 = y yi i- -y yi ixy10 xy10 x xy y( (x xn n, , y yn n) )( (x x1 1 , , y y1 1) )( (x x2 2 , , y y2 2) )( (x xi i , , y yi i) )e ei i= = y yi i- -y yi ix xy y( (x xn n, , y yn n) )( (x x1 1 , , y y1 1) )( (x x2 2 , , y y2 2) )( (x xi i , , y yi i) )e ei i= = y yi i- -y yi i( (x x2 2 , , y y2 2) )( (x

5、xi i , , y yi i) )e ei i= = y yi i- -y yi ie ei i= = y yi i- -y yi ixy10 xy102 .2 參數(shù)0、1的估計(jì)0)(20)(2110111110000niiiiniiixxyQxyQ經(jīng)整理后,得正規(guī)方程組nininiiiiiniiniiyxxxyxn1111201110)()()(0011niiiniiexe2 .2 參數(shù)0、1的估計(jì)211110)()(niiiniixxyyxxxy得OLSE 為niniiixxxnxxxL11222)()(niiiniiixyyxnyxyyxxL11)(xxxyLLxy/110記2 .2

6、參數(shù) 的估計(jì)413.26152 .396,28. 3152 .49yx784.34)28. 3(1516.196 )(2122niixxxnxL114.171536.129965.1470 1niiixyyxnyxL919. 4784.34/114.171/279.1028. 3919. 4413.26110 xxxyLLxyxy919. 4279.10續(xù)例2.1回歸方程回歸方程01,2 .2 參數(shù) 的估計(jì)二、最大似然估計(jì)二、最大似然估計(jì) 延續(xù)型：是樣本的結(jié)合密度函數(shù)：離散型：是樣本的結(jié)合概率函數(shù)。似然函數(shù)并不局限于獨(dú)立同分布的樣本。 似然函數(shù)在假設(shè)iN(0,2)時(shí),由2.10式知yi服從如下

7、正態(tài)分布:),(210iixNy01,2 .2 參數(shù)0、1的估計(jì)二、最大似然估計(jì)二、最大似然估計(jì) y1,y2,yn的似然函數(shù)為：niiinniiixyyfL12102221210)(21exp)2()(),(對數(shù)似然函數(shù)為： niiixynL121022)(21)2ln(2ln與最小二乘原理完全一樣 2 .3 最小二乘估計(jì)的性質(zhì)一、線性一、線性 是y1,y2,yn的線性函數(shù) ：niiniiiniiniiiyxxxxxxyxx1121211)()()(10、其中用到 2 .3 最小二乘估計(jì)的性質(zhì)二、無偏性二、無偏性 1110121121)()()()()(niinjjiniinjjixxxxxy

8、ExxxxE 0)(xxi )( )(2xxxxxiii2 .3 最小二乘估計(jì)的性質(zhì)三、三、 的方差的方差 njjniinjjixxyxxxx12212121)( )var()()var(10、2220)()(1)var(xxxni210),cov(xxLx2 .3 最小二乘估計(jì)的性質(zhì)三、三、 的方差的方差 10、)(1( ,(2200 xxLxnN),(211xxLN在正態(tài)假設(shè)下,n), (i ,j j , ij , i),(, n, , , i)E(jii210cov2102GaussMarkov條件 2.4 回歸方程的顯著性檢驗(yàn) 一、一、t 檢驗(yàn)檢驗(yàn) 原假設(shè)： H0 ：1=0對立假設(shè)：

9、H1 ：10 ),(211xxLN由當(dāng)原假設(shè)H0 ：1=0成立時(shí)有： ), 0(21xxLN2.4 回歸方程的顯著性檢驗(yàn) 一、一、t 檢驗(yàn)檢驗(yàn) 構(gòu)造t 統(tǒng)計(jì)量 121LxxLtxxniiiniiyynen121222121其中2.4 回歸方程的顯著性檢驗(yàn) 二、用統(tǒng)計(jì)軟件計(jì)算二、用統(tǒng)計(jì)軟件計(jì)算 1例2.1 用Excel軟件計(jì)算 什么是P 值?(P-value)P 值即顯著性概率值 Significence Probability Value是當(dāng)原假設(shè)為真時(shí)得到比目前的 樣本更極端的樣本的 概率，所謂極端就是與原假設(shè)相背叛它是用此樣本回絕原假設(shè)所犯棄真錯(cuò)誤的 真實(shí)概率，被稱為察看到的(或?qū)崪y的)顯

10、著性程度雙側(cè)檢驗(yàn)的P 值 / 2 / 2 左側(cè)檢驗(yàn)的P 值右側(cè)檢驗(yàn)的P 值利用 P 值進(jìn)展檢驗(yàn)的決策準(zhǔn)那么假設(shè)p-值 ,不能回絕 H0假設(shè)p-值 , 回絕 H0雙側(cè)檢驗(yàn)p-值 =2單側(cè)檢驗(yàn)p-值2.4 回歸方程的顯著性檢驗(yàn) 二、用統(tǒng)計(jì)軟件計(jì)算二、用統(tǒng)計(jì)軟件計(jì)算2. 例2.1用SPSS軟件計(jì)算Variables Entered/RemovedVariables Entered/Removedb bxa.EnterModel1VariablesEnteredVariablesRemovedMethodAll requested variables entered.a. Dependent Vari

11、able: yb. Model SummaryModel Summary.961a.923.9182.31635Model1RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), xa. Coefficientsa10.2781.4207.237.0004.919.393.96112.525.000(Constant)XModel1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variabl

12、e: Ya. 2.4 回歸方程的顯著性檢驗(yàn) 二、用統(tǒng)計(jì)軟件計(jì)算二、用統(tǒng)計(jì)軟件計(jì)算ANOVAb841.7661841.766156.886.000a69.751135.365911.51714RegressionResidualTotalModel1Sum ofSquaresdfMeanSquareFSig.Predictors: (Constant), Xa. Dependent Variable: Yb. 2.用SPSS軟件計(jì)算2.4 回歸方程的顯著性檢驗(yàn) 三、三、F檢驗(yàn)檢驗(yàn)平方和分解式 niiiniiniiyyyyyy121212)()()(SST = SSR + SSE構(gòu)造F檢驗(yàn)統(tǒng)計(jì)量

13、)2/(1/nSSESSRF2.4 回歸方程的顯著性檢驗(yàn) 三、三、F檢驗(yàn)檢驗(yàn)一元線性回歸方差分析表一元線性回歸方差分析表方差來源自由度平方和均方F值P值回歸殘差總和1n-2n-1SSRSSESSTSSR/1SSE/（n-2）P(FF值)=P值)2/(1/nSSESSR2.4 回歸方程的顯著性檢驗(yàn) 四、相關(guān)系數(shù)的顯著性檢驗(yàn)四、相關(guān)系數(shù)的顯著性檢驗(yàn) )()()(12121niiniiniiiyyxxyyxxryyyyxxxyLLLLLxx12.4 回歸方程的顯著性檢驗(yàn) 四、相關(guān)系數(shù)的顯著性檢驗(yàn)四、相關(guān)系數(shù)的顯著性檢驗(yàn) 2.4 回歸方程的顯著性檢驗(yàn) 四、相關(guān)系數(shù)的顯著性檢驗(yàn)四、相關(guān)系數(shù)的顯著性檢驗(yàn)

14、附表附表1 相關(guān)系數(shù)相關(guān)系數(shù)=0的臨界值表的臨界值表n-25%1%n-25%1%n-25%1%10.9971.000160.4680.590350.3250.41820.9500.990170.4560.575400.3040.39330.8780.959180.4440.561450.2880.37240.8110.947190.4330.549500.2730.35450.7540.874200.4230.537600.2500.32560.7070.834210.4130.526700.2320.30270.6660.798220.4040.515800.2170.28380.6320.

15、765230.3960.505900.2050.26790.6020.735240.3880.4961000.1950.254100.5760.708250.3810.4871250.1740.228110.5530.684260.3740.4781500.1590.208120.5320.661270.3670.4702000.1380.181130.5140.641280.3610.4633000.1130.148140.4970.623290.3550.4564000.0980.128150.4820.606300.3490.44910000.0620.081Correlations1.

16、000.961.0001515.9611.000.000.1515Pearson CorrelationSig. (2-tailed)NPearson CorrelationSig. (2-tailed)NYXYX2.4 回歸方程的顯著性檢驗(yàn) 四、相關(guān)系數(shù)的顯著性檢驗(yàn)四、相關(guān)系數(shù)的顯著性檢驗(yàn) 212rrnt用用SPSS軟件做相關(guān)系數(shù)的顯著性檢驗(yàn)軟件做相關(guān)系數(shù)的顯著性檢驗(yàn) 2.4 回歸方程的顯著性檢驗(yàn) 四、相關(guān)系數(shù)的顯著性檢驗(yàn)四、相關(guān)系數(shù)的顯著性檢驗(yàn) 兩變量間相關(guān)程度的強(qiáng)弱分為以下幾個(gè)等級(jí)：兩變量間相關(guān)程度的強(qiáng)弱分為以下幾個(gè)等級(jí)：當(dāng)當(dāng)|r|0.8時(shí)，視為高度相關(guān)；時(shí)，視為高度相關(guān)；當(dāng)當(dāng)0.5|r

17、| 0.8時(shí)，視為中度相關(guān)；時(shí)，視為中度相關(guān)；當(dāng)當(dāng)0.3|r| 0.5時(shí)，視為低度相關(guān)；時(shí)，視為低度相關(guān)；當(dāng)當(dāng)|r| 0.3時(shí)，闡明兩個(gè)變量之間的相關(guān)程度極弱，時(shí)，闡明兩個(gè)變量之間的相關(guān)程度極弱， 在實(shí)踐運(yùn)用中可視為不相關(guān)。在實(shí)踐運(yùn)用中可視為不相關(guān)。2.4 回歸方程的顯著性檢驗(yàn) 五、三種檢驗(yàn)的關(guān)系五、三種檢驗(yàn)的關(guān)系212rrnt121LxxLtxx)2/(1/nSSESSRFH0: b=0H0: r=0H0: 回歸無效2.4 回歸方程的顯著性檢驗(yàn) 六、樣本決議系數(shù)六、樣本決議系數(shù) niiniiyyyySSTSSRr12122)()(222)(rLLLSSTSSRryyxxxy可以證明2.5 殘

18、差分析殘差分析 一、殘差概念與殘差圖一、殘差概念與殘差圖 iiiiixyyye10殘差 誤差項(xiàng)iiixy10 殘差ei是誤差項(xiàng)ei的估計(jì)值。 2.5 殘差分析殘差分析 一、殘差概念與殘差圖一、殘差概念與殘差圖 2.5 殘差分析殘差分析 一、殘差概念與殘差圖一、殘差概念與殘差圖 X76543210Unstandardized Residual43210-1-2-3-4圖圖 2.6 火災(zāi)損失數(shù)據(jù)殘差圖火災(zāi)損失數(shù)據(jù)殘差圖2.5 殘差分析殘差分析 二、殘差的性質(zhì)二、殘差的性質(zhì) 性質(zhì)性質(zhì)1 E (ei)=0 證明:0)()()()()(1010iiiiixExyEyEeE2.5 殘差分析殘差分析 二、殘

19、差的性質(zhì)二、殘差的性質(zhì) 性質(zhì)性質(zhì)2222)1 ( )(11)var(iixxiihLxxne其中其中xxiiiLxxnh2)(1稱為杠桿值稱為杠桿值 2.5 殘差分析殘差分析 二、殘差的性質(zhì)二、殘差的性質(zhì) 存在高杠桿率觀測值的散點(diǎn)圖存在高杠桿率觀測值的散點(diǎn)圖05101520250204060 xy2.5 殘差分析殘差分析 二、殘差的性質(zhì)二、殘差的性質(zhì) 性質(zhì)性質(zhì)3. 殘差滿足約束條件殘差滿足約束條件: 0011niiiniiexe2.5 殘差分析殘差分析 三、改良的殘差三、改良的殘差 規(guī)范化殘差iieZRE 學(xué)生化殘差iiiiheSRE12.6 回歸系數(shù)的區(qū)間估計(jì)回歸系數(shù)的區(qū)間估計(jì) 等價(jià)于),(

20、211xxLN)2()(/11211ntLLtxxxx1)2()(2/11ntLPxx1)(2/112/1xxxxLtLtP),(2/12/1xxxxLtLt1的的1-置信區(qū)間置信區(qū)間 2.7 預(yù)測和控制預(yù)測和控制 一、單值預(yù)測一、單值預(yù)測 0100 xy01000)()(xyEyE2.7 預(yù)測和控制預(yù)測和控制 二、區(qū)間預(yù)測二、區(qū)間預(yù)測找一個(gè)區(qū)間找一個(gè)區(qū)間T1,T2，使得，使得 1)(201TyTP需求首先求出其估計(jì)值需求首先求出其估計(jì)值0100 xy的分布 1因變量新值的區(qū)間預(yù)測因變量新值的區(qū)間預(yù)測以下計(jì)算以下計(jì)算的方差的方差0 y0100 xyniixxiyLxxxxnxxy10011)(

21、1(2201200)(1()var()(1()var(xxniixxiLxxnyLxxxxny從而得)(1( ,(2200100 xxLxxnxNy1. 因變量新值的區(qū)間預(yù)測因變量新值的區(qū)間預(yù)測二、區(qū)間預(yù)測二、區(qū)間預(yù)測記記于是有 xxLxxnh2000)(1),(2000100hxNy那么20020000)var()var()var(hyyyy)1 ( , 0(20000hNyy)2(10000nthyyt二、區(qū)間預(yù)測二、區(qū)間預(yù)測1. 因變量新值的區(qū)間預(yù)測因變量新值的區(qū)間預(yù)測1)2(12/0000nthyyPy0的置信概率為1-的置信區(qū)間為 1)2(002/0hntyy0的置信度為95%的置信區(qū)間近似為 20y二、區(qū)間預(yù)測二、區(qū)間預(yù)測1. 因變量新值的區(qū)間預(yù)測因變量新值的區(qū)間預(yù)測得E(y0)的1-的置信區(qū)間為 E(y0)=0+1x0是常數(shù))(1( , 0()(22000 xxLxxnN