第三章多元線性回歸分析ppt課件_第1頁
第三章多元線性回歸分析ppt課件_第2頁
第三章多元線性回歸分析ppt課件_第3頁
第三章多元線性回歸分析ppt課件_第4頁
第三章多元線性回歸分析ppt課件_第5頁
已閱讀5頁,還剩32頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、第三章第三章 多元線性回歸分析多元線性回歸分析 多元線性回歸模型多元線性回歸模型 多元線性回歸模型的參數(shù)估計多元線性回歸模型的參數(shù)估計 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗 多元線性回歸模型的預(yù)測多元線性回歸模型的預(yù)測3.1 3.1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型 二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型表現(xiàn)在線性回歸模型中的解釋變量有多個。中的解釋變量有多個。 一般表現(xiàn)形式:一般表現(xiàn)形式:ikikiiiXXXY 221

2、10i=1,2,n其中:k為解釋變量的數(shù)目,j稱為回歸參數(shù)regression coefficient)。 習(xí)慣上:把常數(shù)項看成為一虛變量的系數(shù),該虛變量的樣本觀測值始終取1。這樣: 模型中解釋變量的數(shù)目為k+1) ikikiiiXXXY 22110也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它 的的非隨機(jī)表達(dá)式為非隨機(jī)表達(dá)式為:kikiikiiiiXXXXXXYE 2211021),|( 方程表示:各變量方程表示:各變量X值固定時值固定時Y的平均響應(yīng)。的平均響應(yīng)。 j也被稱為偏回歸系數(shù),表示在其他解釋變量保持也被稱為偏回歸系數(shù),表示在其他解釋變量保持不變的情況下

3、,不變的情況下,Xj每變化每變化1個單位時,個單位時,Y的均值的均值E(Y)的的變化變化; 或者說或者說j給出了給出了Xj的單位變化對的單位變化對Y均值的均值的“直接或直接或“凈凈”(不含其他變量影響。(不含其他變量影響。二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 假設(shè)1,解釋變量是非隨機(jī)的或固定的,且各X之間互不相關(guān)無多重共線性)。 假設(shè)2,隨機(jī)誤差項具有零均值、同方差及無序列相關(guān)性0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1, 假設(shè)假設(shè)3 3,解釋變量與隨機(jī)項不相關(guān),解釋變量與隨機(jī)項不相關(guān) 0),(ijiXCov假設(shè)4,隨機(jī)項滿足

4、正態(tài)分布 ), 0(2Nikj,2 , 1 3.2 3.2 多元線性回歸模型的估計多元線性回歸模型的估計 估計方法:OLS 一、普通最小二乘估計一、普通最小二乘估計 二、參數(shù)估計量的性質(zhì)二、參數(shù)估計量的性質(zhì) 三、樣本容量問題三、樣本容量問題 四、估計實例四、估計實例 一、普通最小二乘估計一、普通最小二乘估計對于隨機(jī)抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到,則有: KikiiiiXXXY22110i=1,2n根據(jù)最小二乘原理,參數(shù)估計值應(yīng)該是下列方程組的解 0000210QQQQk其中2112)(niiiniiYYeQ21221

5、10)(nikikiiiXXXY于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組: kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 解該(k+1)個方程組成的線性代數(shù)方程組,即可得到(k+1)個待估參數(shù)的估計值, , ,jjk 012 。隨機(jī)誤差項的方差的無偏估計 可以證明,隨機(jī)誤差項的方差的無偏估計量為 1122knkneiee 四、參數(shù)估計量的性質(zhì)四、參數(shù)估計量的性質(zhì) 在滿足基本假設(shè)的情況下,其結(jié)構(gòu)參數(shù)的普通最小二乘估計、最大或然估計及矩估計仍具有: 線性性、無偏性、有效性

6、。 同時,隨著樣本容量增加,參數(shù)估計量具有: 漸近無偏性、漸近有效性、一致性。 1、線性性、線性性 CYYXXX1)(其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無偏性、無偏性 XXXXXXXYXXX11)()()()()()(1EEEE這里利用了假設(shè): E(X)=0 3、有效性最小方差性)、有效性最小方差性) 其中利用了 YXXX1)(XXXXXXX11)()()(和I2)(E 五、樣本容量問題五、樣本容量問題 所謂所謂“最小樣本容量最小樣本容量”,即從最小二乘原理和,即從最小二乘原理和最大或然原理出發(fā),欲得到參數(shù)估計量,不管其質(zhì)最大或然原理出發(fā),欲得到參數(shù)估計量,不管其質(zhì)

7、量如何,所要求的樣本容量的下限。量如何,所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數(shù)目包括常數(shù)項)的數(shù)目包括常數(shù)項), ,即即 n n k+1 k+1由于,無多重共線性要求:秩由于,無多重共線性要求:秩(X)=k+1(X)=k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計檢驗的角度:從統(tǒng)計檢驗的角度: n n30 30 時,時,Z Z檢驗才能應(yīng)用;檢驗才能應(yīng)用; n-k n-k8 8時時, t, t分布較為穩(wěn)定分布較為穩(wěn)定 一般經(jīng)驗認(rèn)為: 當(dāng)n30或者至少n3(k+1)時,才能說滿足模型估

8、計的基本要求。 模型的良好性質(zhì)只有在大樣本下才能模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明得到理論上的證明 六、多元線性回歸模型的參數(shù)估計實例六、多元線性回歸模型的參數(shù)估計實例 例3.3,投資函數(shù)模型-多元線性模型。解釋變量:時間解釋變量:時間 x1 1-16 實際實際GNP x2被解釋變量y:實際投資Eviews軟件估計結(jié)果 Dependent Variable: YMethod: Least SquaresDate: 10/15/12 Time: 10:50Sample: 1968 1983Included observations: 16VariableCoefficientStd

9、. Errort-StatisticProb. C-0.4864630.053836-9.0359360.0000X1-0.0165930.001819-9.1226060.0000X20.6391170.05289612.082620.0000R-squared0.958362 Mean dependent var0.203750Adjusted R-squared0.951957 S.D. dependent var0.033061S.E. of regression0.007246 Akaike info criterion-6.849241Sum squared resid0.0006

10、83 Schwarz criterion-6.704381Log likelihood57.79393 F-statistic149.6088Durbin-Watson stat1.313453 Prob(F-statistic)0.0000003.3 3.3 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗二、方程的顯著性檢驗(F(F檢驗檢驗) ) 三、變量的顯著性檢驗三、變量的顯著性檢驗t t檢驗)檢驗) 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 1、可決系數(shù)與調(diào)整的可決系數(shù)、可決系數(shù)與調(diào)整的可決系數(shù)

11、那么2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 總離差平方和的分解總離差平方和的分解由于 )()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有: ESSRSSYYYYTSSiii22)()(留意:一個有趣的現(xiàn)象留意:一個有趣的現(xiàn)象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii 可決系數(shù)TSSRSSTSSESSR12該統(tǒng)計量越接近于1,模型的擬合優(yōu)度越高。 問題: 在應(yīng)用過程中發(fā)現(xiàn),如果在模型中增加一個解釋變量, R2往往增大。 這就給人一個錯覺:要使得模型擬合得好,只要增加解釋變量即可。 但是,現(xiàn)

12、實情況往往是,由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān),R2需調(diào)整。 調(diào)整的可決系數(shù)adjusted coefficient of determination) 在樣本容量一定的情況下,增加解釋變量必定使得自由度減少,所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度,以剔除變量個數(shù)對擬合優(yōu)度的影響:) 1/() 1/(12nTSSknRSSR其中:n-k-1為殘差平方和的自由度,n-1為總體平方和的自由度。11)1 (12knnR11)1 (122knnRR 二、方程的顯著性檢驗二、方程的顯著性檢驗(F(F檢驗檢驗) ) 方程的顯著性檢驗,旨在對模型中被解釋變量與解釋變

13、量之間的線性關(guān)系在總體上是否顯著成立作出推斷。 1、方程顯著性的F檢驗 即檢驗?zāi)P?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè): H0: 0=1=2= =k=0 H1: j不全為0 F F檢驗的思想來自于總離差平方和的分解式:檢驗的思想來自于總離差平方和的分解式: TSS=ESS+RSS TSS=ESS+RSS由于回歸平方和2iyESS是解釋變量X的聯(lián)合體對被解釋變量 Y 的線性作用的結(jié)果,考慮比值 22/iieyRSSESS 如果這個比值較大,則X的聯(lián)合體對Y的解釋程度高,可認(rèn)為總體存在線性關(guān)系,反之總體上可能不存

14、在線性關(guān)系。 因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。 根據(jù)數(shù)理統(tǒng)計學(xué)中的知識,在原假設(shè)H0成立的條件下,統(tǒng)計量 ) 1/(/knRSSkESSF服從自由度為(k , n-k-1)的F分布 給定顯著性水平,可得到臨界值F(k,n-k-1),由樣本求出統(tǒng)計量F的數(shù)值,經(jīng)過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0,以判定原方程總體上的線性關(guān)系是否顯著成立。 對于上海居民消費支出的例子: 一元模型:F=5216.478 二元模型:F=149.6088給定顯著性水平 =0.05,查分布表,得到臨界值: 一元例:F(1,21)=4.32 二元例: F(2,19

15、)=3.52顯然有 F F(k,n-k-1) 即二個模型的線性關(guān)系在95%的水平下顯著成立。 2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論 由) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSF可推出:kFknnR1112與或) 1/()1 (/22knRkRF在中國居民人均收入在中國居民人均收入-消費一元模型中,消費一元模型中,在中國居民人均收入在中國居民人均收入- -消費二元模型中,消費二元模型中, 三、變量的顯著性檢驗三、變量的顯著性檢驗t t檢驗)檢驗) 方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的 因此,必須對每個解釋變量進(jìn)行顯著性檢驗,以

16、決定是否作為解釋變量被保留在模型中。 這一檢驗是由對變量的 t 檢驗完成的。 1、t統(tǒng)計量統(tǒng)計量 由于12)()(XXCov 以cii表示矩陣(XX)-1 主對角線上的第i個元素,于是參數(shù)估計量的方差為: iiicVar2)( 其中2為隨機(jī)誤差項的方差,在實際計算時,用它的估計量代替: 1122knkneiee),(2iiiicN因此,可構(gòu)造如下t統(tǒng)計量 ) 1(1kntkncStiiiiiiiee 2、t檢驗 設(shè)計原假設(shè)與備擇假設(shè): H1:i0 給定顯著性水平,可得到臨界值t/2(n-k-1),由樣本求出統(tǒng)計量t的數(shù)值,經(jīng)過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕

17、或接受原假設(shè)H0,從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。 H0:i=0 (i=1,2k) 留意:一元線性回歸中,留意:一元線性回歸中,t t檢驗與檢驗與F F檢驗一致檢驗一致 一方面,t檢驗與F檢驗都是對相同的原假設(shè)H0:1=0 進(jìn)行檢驗; 另一方面,兩個統(tǒng)計量之間有如下關(guān)系: 222212221222122212212)2()2()2()2(txnexnexnenexneyFiiiiiiiiii在中國居民人均收入-消費支出二元模型例中,由應(yīng)用軟件計算出參數(shù)的t值:651. 2630. 3306. 3210ttt 給定顯著性水平=0.05,查得相應(yīng)臨界值: t0.025(19) =2.09

18、3。可見,計算的所有t值都大于該臨界值,所以拒絕原假設(shè)。即:包括常數(shù)項在內(nèi)的3個解釋變量都在95%的水平下顯著,都通過了變量顯著性檢驗。 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來考察:在一次抽樣中所估參數(shù)的置信區(qū)間用來考察:在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多計的參數(shù)值離參數(shù)的真實值有多“近近”。 在變量的顯著性檢驗中已經(jīng)知道:在變量的顯著性檢驗中已經(jīng)知道:) 1(1kntkncStiiiiiiiee容易推出:在容易推出:在(1-(1-) )的置信水平下的置信水平下i i的置信區(qū)間的置信區(qū)間是是 (,)iitstsii22其中,t/2為顯著性水平為 、自由度為n-k-1的臨界值。 在上海居民消費支出二元模型例中,給定=0.05,查表得臨界值:t0.025(13)=2.160計算得參數(shù)的置信區(qū)間: 0 :(?, ?) 1 : (?, ? ) 2 :(0.5248616, 0.753367) 從回歸計算中已得到:639117.0016593.048646

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論