第八章：--多元線性回歸模型課件

1、第八章 經(jīng)典單方程計量經(jīng)濟學模型：多元線性回歸模型 多元線性回歸模型多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗3.1 多元線性回歸模型 一、多元線性回歸模型二、多元線性回歸模型的基本假定 一、多元線性回歸模型 多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。 一般表現(xiàn)形式：i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regression coefficient）。也被稱為總體回歸函數(shù)的隨機表達形式。它 的非隨機（即確定）表達式為:表示：各變量X值固定（即給定）時Y的平均響應(yīng)（即均值）。 習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是：模型

2、中解釋變量的數(shù)目為（k+1） j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。用來估計總體回歸函數(shù)的樣本回歸函數(shù)為：其隨機表示式: ei稱為殘差或剩余項(residuals)，可看成是總體回歸模型中隨機擾動項i的近似替代。 二、多元線性回歸模型的基本假定 （注意和一元線性回歸模型的基本假定相比較） 假設(shè)1，解釋變量是非隨機的或固定的，且各X之間不存在完全共線性（即無多重共線性，或解釋變量之間不完全線性相關(guān)）(注：這一假設(shè)只有在多元線性回歸模型的基本假定中才有

3、，而在一元線性回歸模型中沒有，為什么？）。假設(shè)2，隨機誤差項具有零均值、同方差及不序列相關(guān)性。 假設(shè)3，解釋變量與隨機項不相關(guān) 假設(shè)4，隨機項滿足正態(tài)分布 如果X是非隨機機的（即為固定值），則該假設(shè)自動滿足。因為一個固定值與一個隨機變量之間當然不相關(guān)。 推導：誤差項代表了沒有納入回歸模型的其他所有影響因素。因為這些影響因素中，每種因素對Y的影響都很微弱。如果所有這些影響因素都是隨機的，并用代表所有這些影響因素之和，那么根據(jù)中心極限定理，可以假設(shè)誤差項服從正態(tài)分布3.2 多元線性回歸模型的估計 一、普通最小二乘估計 *二、最大或然估計(Maximum Likelihood) *三、矩估計（Mom

4、ent Method) 四、參數(shù)估計量的性質(zhì) * 五、樣本容量問題 六、估計實例 說 明（注：參數(shù)有兩類：結(jié)構(gòu)參數(shù)和分布參數(shù)，分布參數(shù)是指隨機誤差項的均值和方差）估計方法：3大類方法：OLS、ML或者MM在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多應(yīng)用ML或者MM我們只學習OLS一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有： i=1,2n 根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是右列方程組的解 其中 于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組： 解該（k+1） 個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計值$,bjj=012L。kS=+SS=+SS=+

5、SS=+SkiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110bbbbbbbbbbbbbbbbLMLLL注 意 （特別重要） 經(jīng)濟計量學精要（古亞拉提 著）將多元回歸分析中的解釋變量限定在2個（該類多元回歸模型也稱為三變量模型）。但實際中的多元回歸模型的解釋變量往往多于2個（有3個或3個以上），那么估計公式會更復雜。在這種情況下，必須使用矩陣代數(shù)知識。當然，本書沒有使用矩陣代數(shù)知識。不過現(xiàn)在很少有人手工計算了，還是讓計算機做這些復雜的工作吧。初學者只需先掌握含兩個解釋變量的

6、多元回歸模型（以避免復雜的矩陣代數(shù)運算），以下的分析都建立在以2個解釋變量為前提的多元回歸模型基礎(chǔ)上。三變量模型回歸系數(shù)的OLS估計量（教材P156）偏回歸系數(shù)的含義偏回歸系數(shù)體現(xiàn)的是解釋變量對因變量的凈影響或直接影響。一元回歸模型中的回歸系數(shù)體現(xiàn)的是解釋變量對因變量的總影響，包括直接影響和間接影響。j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。埋伏筆：三變量模型參數(shù)的OLS估計量是隨機變量解釋：因為給定一個具體的樣本，就能求出一個特定的估計值。再換過一個樣本

7、，又可以求出不同的估計值。所以參數(shù)的估計量取值隨著樣本的改變而改變。既然是隨機變量，就可以求方差。三變量模型OLS估計量方差的代數(shù)公式（教材P157）總體回歸模型的隨機誤差項是一個隨機變量，既然是隨機變量，就可以求方差。將隨機誤差項的方差記為22客觀存在，但往往未知。只能對其進行估計。隨機誤差項的方差2的估計 2 表示總體誤差項 的方差，這個未知方差的OLS估計量是：其中實例 美國1980-1995年（非農(nóng)業(yè)未償還）抵押貸款數(shù)額Y（億美元）、個人收入X2（億美元）、新住宅抵押貸款費用X3 (%). 利用以下樣本數(shù)據(jù)對多元線性回歸模型進行估計。EVIEWS演示過程： 四、參數(shù)估計量的性質(zhì) 在滿足

8、基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計量“尖”仍具有： 線性性、無偏性、有效性。 同時，隨著樣本容量增加，參數(shù)估計量具有： 漸近無偏性、漸近有效性、一致性。3.3 多元線性回歸模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗(F檢驗) 三、變量的顯著性檢驗（t檢驗） 四、參數(shù)的置信區(qū)間 一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù) 總離差平方和的分解 離差分解示意圖 可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量， R2往往增大（Why?)。這是因為殘差平方和往往隨著解釋變量個數(shù)的增加而減少，至少不會增加。 這就給人一個錯覺

9、：要使得模型擬合得好，只要增加解釋變量即可。 但是，我們不能這樣做。這是因為，在R2的定義中R2=ESS/TSS并沒有考慮到自由度。 因此，比較相同被解釋變量，但不同個數(shù)解釋變量的兩個回歸模型的R2，就像是拿蘋果和桔子比較（不具有可比性）。校正（或調(diào)整）后的判定系數(shù)可以對相同被解釋變量、不同解釋變量（個數(shù)不同）的兩個回歸模型進行比較。回歸平方和的自由度=模型中偏斜率系數(shù)的個數(shù)殘差平方和的自由度=n-待估計的（結(jié)構(gòu)）參數(shù)的個數(shù)總體平方和的自由度=回歸平方和的自由度+殘差平方和的自由度=n-1 調(diào)整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量

10、一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度，此處的k表示模型中偏斜率系數(shù)的個數(shù)， 。)1/()1/(12-=nTSSknRSSR1)1(122-1-=knnRR 校正（或調(diào)整）后的判定系數(shù)有如下性質(zhì)：1.如果模型中待估計的（結(jié)構(gòu)）參數(shù)個數(shù)大于1，則校正后的判定系數(shù) 3.81，所以拒絕原假設(shè)H0，即認為抵押貸款債務(wù)與個人收入和抵押貸款費用之間總體上存在線性關(guān)系給定顯著性水平0.05，可得到臨界值F0.05(2,13)=3.81. 2

11、、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論 注意：此處的k表示模型中偏斜率系數(shù)的個數(shù). 答：有時方程通過總體線性關(guān)系的顯著性檢驗（F檢驗），但計算得到的校正（或調(diào)整）后的擬合優(yōu)度值比較小，比如0.2左右。此時，我們不應(yīng)對校正后的擬合優(yōu)度值過分苛求，更重要的是要考察模型的經(jīng)濟關(guān)系是否合理。三、變量的顯著性檢驗（t檢驗） 方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的。 因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。 這一檢驗是由對變量的 t 檢驗完成的。 設(shè)計原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本

12、求出統(tǒng)計量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 注意：此處的k表示模型中偏斜率系數(shù)的個數(shù).注意：一元線性回歸中，變量的顯著性t檢驗與方程的顯著性F檢驗是一回事。 t檢驗與F檢驗都是對相同的原假設(shè)H0：1=0 進行檢驗.（假設(shè)常數(shù)項為0 ）所以，一元線性回歸中，t檢驗與F檢驗一致 。（如果你是光棍，別人問你全家可好，和問你一人可好是同一回事，因為你全家只有你一個解釋變量） 檢驗步驟： （1）對總體參數(shù)提出假設(shè) H0： 1=0， H1：10（2）以原假設(shè)H0構(gòu)造t統(tǒng)計量，并由樣本計算其值（3）給定顯著性水平，查t分布表得臨界值t /2(n-3) (4) 比較，判斷 若 |t| t /2 (n-3)，則拒絕H0 ，接受H1 ； 若 |t| t /2 (n-3)，則拒絕H1 ，接受H0 ； Eviews檢驗結(jié)果： 給定顯著性水平=0.05，查得相應(yīng)臨界值： t0.025(16-3) =2.160。 可見，計算的t值（12.9910）大于該臨界值，所以拒絕原假設(shè)。即:解釋變量（個人收入）在95%的水平下顯著，對貸款債務(wù)有顯著影響。注：對解釋變量“貸款費用”的顯著性檢驗邏輯思路一樣。四、參數(shù)的