多變量回歸分析計量經(jīng)濟(jì)學(xué)南開大學(xué)PPT學(xué)習(xí)教案

1、會計學(xué)1 多變量回歸分析計量經(jīng)濟(jì)學(xué)南開大學(xué)多變量回歸分析計量經(jīng)濟(jì)學(xué)南開大學(xué) 為非隨機(jī)的、 X3 ),(5 2 I0uN、 kr）（、X4 無多重共線性，即Xi (i = 2,3, ,k )之間不存在線性關(guān)系： 成立。 使：數(shù)：不存在不全為零的一組 0, , 2211 21 kikii k XXX 隨機(jī)干擾項服從正態(tài)分布。 三、多 變量線性回歸模型的SRF 列向量。估計量的列向量和殘差分別為回歸系數(shù)的和其中 或 OLS uXXXYSRF ikikiii u uXY : 33221 第1頁/共19頁 根據(jù)殘差的平方和最小化的原理，解出參數(shù)的估計量。 第二節(jié) 多變量回歸模型的OLS估計 ikikii

2、i uXXXYSRF : 33221 一、參數(shù)估計 YXYYXXYXYY XYXYuu XYuuXY uu 2 ) () ( ) (RSS 2 2 221 2 i i uRSS XXYu kikii 殘差平方和 可得到如下正規(guī)方程組： ikikikikikiki iikiik i iii iikiikiik i i ikiki YXXXXXXX YXXXXXXX YXXXXXXX YXXn ki 2 3221 33 2 3 223231 2232 2 2 221 221 第2頁/共19頁 YXXX YXXX 1 3 2 1 321 3333231 2232221 3 2 1 2 32 3 2

3、23 3 232 2 2 2 32 )( )( 1111 3 即： 寫成矩陣形式： n knkkk n n k ikiiki ki kiiii i kiiii i i kiii Y Y Y Y XXXX XXXX XXXX XXXXXX XXXXXX XXXXXX XXXn ki i 第3頁/共19頁 YXXX 0XXYX XXYXYY )( 22 2 1 2 2 i i u u 如果直接用矩陣微分，則 二、 的估計量 。的無偏估計量：為 2 E knkn u i uu 三、 的方差-協(xié)方差矩陣 uXXX uXXX uXXXXXXX uXXXXyXXX )( )( )()( )( )()( 1

4、 1 11 11 第4頁/共19頁 1 12 112 121 11 11 11 )( )( )()( )()( )( )( )()( )()( ) )( () ( XX XX XXXXXX XXXIXXX XXXuuXXX XXXuuXXX uXXXuXXX 標(biāo)準(zhǔn)差為 ）（ E E E ECovVar ) ( ) ( 112 12 ）（）（為的標(biāo)準(zhǔn)差 ）（的估計量為： XXXX XX Se CovVar ，則代替未知，以如果 222 第5頁/共19頁 四、OLS估計量 的性質(zhì)： 最小。具有估計量 、最小方差性 、無偏性 ）（ 、線性 ) ( 3 2 1 1 YXXX VarOLS E 第6頁/

5、共19頁 第三節(jié) 擬合優(yōu)度檢驗： 一、判定系數(shù)R2： 2 2 2 2 2)( Yn YnYYYYYyTSS iii i YY 總平方和： 22 2 YnYn ESSTSSESS uRSS i YXyXYYYY YXYYuu 回歸平方和： 殘差平方和： 平方和df均方差 ESSk-1 RSSn-k TSSn-1 方差分析表（ ANOVA) 22 Ynu i YX YXYY ) ( 2 YYi 22 )(YYYnYYi )1/() (kYXYY )/() ( 2 knYnYX 第7頁/共19頁 二、校正的R2 ： 由R2的計算式可看出， R2 隨解釋變量的增加而可能提高（不可能降 低）： 2 2

6、2 2 2 11 i i y u TSS RSS Yn Yn TSS ESS R YY yX 與解釋變量X的個數(shù)無關(guān)，而 則可能隨著解釋變量的增加 而減少（至少不會下降），因而，不同的SRF，得到的R2 就可能不同。 必須消除這種因素，使R2 即能說明被解釋的離差與總離差之間的關(guān)系， 又能說明自由度的數(shù)目。定義校正的樣本決定系數(shù) ： 2 i y 2 iu 2 R ) ( 1 1 )1(1 )1/( )/( 1 2 22 YSe kn n R nTSS knESS R 2 2 2 Yn Yn TSS ESS R YY yX 判定系數(shù)： 第8頁/共19頁 三、R2 與 的性質(zhì) 2 R 2222 2

7、2 , 10, 10 RRkRR RR 時，當(dāng) 第四節(jié) 顯著性檢驗 一、單參數(shù)的顯著性檢驗： 0: 0: 1 0 i i H H 備擇假設(shè) 原假設(shè) 如果接受H0 ，則變量Xi 對因變量沒有影響，而接受H1，則說明變 量Xi 對因變量有顯著影響。 )( ) ( )(,( ), 0( 122 knt Se t NN i ii ，則統(tǒng)計量代替以 ，因此根據(jù)假定，XXIu 檢驗 的顯著性， 即在一定顯著水平下， 是否顯著不為0。 i i 第9頁/共19頁 檢驗步驟： 0, 0, )( )( 4 )(3 ) ( 2 05.0)1 ( 10 0 2 2 2 不顯著異于參數(shù)接受則拒絕 顯著異于參數(shù)則接受 ，

8、 ， 若 ）判斷：（ 。分布表，找出）查（ ）計算統(tǒng)計量：（ 。，如選擇顯著水平 i i i i HH H kntt kntt kntt Se t 如果根據(jù)理論或常識， 非負(fù)，則可做單側(cè)檢驗，比較 t 與t。 i 二、回歸的總顯著性檢驗： 檢驗回歸系數(shù)全部為零的可能性。 不同時為零備擇假設(shè) 原假設(shè) ),2, 1(: 0: 1 210 kiH H i k 0, 0, )( )( 10 0 顯著異于參數(shù)接受則拒絕 不顯著異于參數(shù)則接受 ， ， 若 i i HH H kntt kntt 第10頁/共19頁 平方和df均方差 ESSk-1 RSSn-k TSSn-1 方差分析表（ ANOVA) 22

9、Ynu i YX YXYY ) ( 2 YYi 22 )(YYYnYYi )1/() (kYXYY )/() ( 2 knYnYX ),1( )/() ( )1/() ( )/( )1/( 0 2 21 knkF kn kYn knRSS kESS F k YXYY YX ，則統(tǒng)計量如果假定： )/()1( )1/( , )/( )1/( 2 2 2 knR kR F RSSESSTSS knRSS kESS F TSS ESS R 可得到 ，根據(jù) 顯然，R2 越大，F(xiàn)越大，當(dāng)R2 =1時， F無限大。 顯著接受則拒絕 不顯著則接受 ， ， 若 , , ), 1( ), 1( 10 0 HH

10、H knkFF knkFF 選擇顯著水平 ，計算F統(tǒng)計量的值，與F分布表中的臨界值進(jìn)行比 較： 第11頁/共19頁 第五節(jié) 解釋變量的選擇 在回歸模型中的解釋變量，除非由明確的理論指導(dǎo)或其他原因，在選 擇上具有一定的主觀性，如何正確選擇解釋變量是非常重要的。 一、解釋變量的邊際貢獻(xiàn)分析 在建立回歸模型時，假定我們順序引入變量。在建立了Y與X2的回歸 模型，并進(jìn)行回歸分析后，再加入X2。考慮加入的變量X2是否有貢獻(xiàn)： 能否再加入后顯著提高回歸的解釋程度ESS或決定系數(shù)R2。ESS提高的量 稱為變量X2的邊際貢獻(xiàn)。 決定一個變量是否引入回歸模型，就要先研究它的邊際貢獻(xiàn)，以正 確地建立模型。如果變量

11、的邊際貢獻(xiàn)較小，說明改變量沒有必要加入模 型。 分析變量的編輯貢獻(xiàn)，可以使用方差分析表為工具，根據(jù)變量引入 前、后的RSS的變化量及其顯著性檢驗（扣除原來引入模型的解釋變量的 貢獻(xiàn)），確定該變量的邊際貢獻(xiàn)是否顯著。 一個簡單的檢驗方法，就是對引入新變量后的RSS增量與新的ESS的 比值做顯著性檢驗。 第12頁/共19頁 可以利用方差分析表來進(jìn)行分析。 設(shè)ESS為引入變量前的回歸平方和，ESS 為引入m個新變量后，得到的回歸平方和，RSS為引入變量后的殘差平方和。 ANOVA表如下： 平方和自由度均方差 引入變量前的ESSU1k-1U1/(k-1) 引入變量后的ESSU2k+m-1U2/(k+m

12、-1) 添加變量的邊際貢獻(xiàn)(U2-U1)m(U2-U1)/m 添加變量后的RSSQn-(k+m)Q/( n-k-m) TSSn-1 并檢驗其顯著性。 定義統(tǒng)計量： )/( / )( mknRSS mESSESS F 第13頁/共19頁 顯著則新增變量的邊際貢獻(xiàn) 不顯著則新增變量的邊際貢獻(xiàn) ， ， 若 ),( ),( mknmFF mknmFF 在新引入變量的系數(shù)為0的原假設(shè)下， ),( )/( / )( mknmF mknRSS mESSESS F 統(tǒng)計量 把計算出的該統(tǒng)計量的值與 顯著水平下的臨界值進(jìn)行比較： 引入的新變量的邊際貢獻(xiàn)顯著，則應(yīng)該把這些變量納入回歸模型，否則這些變量不應(yīng)引入回歸

13、模型做解釋變量。 二、逐步回歸法 如果根據(jù)理論，因變量Y與k-1個變量X2，X2，Xk 有因果關(guān)系， 我們要建立的回歸模型要在這些變量中選擇正確的解釋變量，要根據(jù)變量 的邊際貢獻(xiàn)大小，把貢獻(xiàn)大的變量納入回歸模型。分析邊際貢獻(xiàn)并選擇變 量的過程，實際上是一個逐步回歸的過程。 首先，分別建立Y與k-1個變量X2，X2，Xk 的回歸模型： 第14頁/共19頁 ikii iii iii uXY uXY uXaY 21 321 22 回歸 后， 得到 各回 歸方 程的 平方 和 )()()( )()()( )()()( 333 222 kkk XRSSXESSXTSS XRSSXESSXTSS XRSS

14、XESSXTSS 選擇其中ESS最大并通過F檢驗的變量作為首選解釋變量，假定是X2 。 此時可確定一個基本的回歸方程： 在此基礎(chǔ)上進(jìn)行第二次回歸，在剩下的變量中尋找最佳的變量： 建立k 2 個回歸方程： ii uXY 221 iiii iiii iiii uXXY uXXY uXXaY 43221 43221 3322 第15頁/共19頁 回歸后，得到各回歸方程的平方和： ),(),(),( ),(),(),( ),(),(),( 222 424242 323232 kkk XXRSSXXESSXXTSS XXRSSXXESSXXTSS XXRSSXXESSXXTSS 同樣，選擇其中ESS最大

15、并通過F檢驗的變量作為新增解釋變量，假 定是X3 。此時可確定一個基本的回歸方程： ii uXXY 33221 重復(fù)這一過程，直到所有變量中，邊際貢獻(xiàn)顯著的變量全部引入回歸 模型中為止，得到最終的回歸式： imimiii uXXXaY 3322 也可以采用逐步減少邊際貢獻(xiàn)不顯著的變量的方式，逐步回歸確定 回歸模型包括的變量，方法一樣。 第16頁/共19頁 第六節(jié) 利用多元回歸模型進(jìn)行預(yù)測 對于多元回歸模型： uXY 通過回歸分析，得到回歸方程 XY 后，就可根據(jù)給定的解釋變量的一組值X0 =(1,X20，X30， Xk0)，對因 變量Y的值進(jìn)行估計。 n k XXX 1 2 1 0302000 XY 一、個值預(yù)測 為Y0及 的預(yù)測值。 )|( 00 XYE 第17頁/共19頁 二、區(qū)間預(yù)測 )( , )( )|( )|( )( ),( )( )( )(1)( )(1 , 0( )(1 )() ( )() ( )( )( 1 2/0 1 2/00 0 02/002/00 0 0 00 1 0 0