第三章 多元線性回歸模型的參數(shù)估計

1、第三章 經(jīng)典單方程計量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型 多元線性回歸模型 多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗3.1 多元線性回歸模型 一、多元線性回歸模型 二、多元線性回歸模型的基本假定 一、多元線性回歸模型 多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。 一般表現(xiàn)形式：i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regression coefficient）。也被稱為總體回歸函數(shù)的隨機表達(dá)形式。它的非隨機表達(dá)式為:表示：各變量X值固定時Y的平均響應(yīng)。 習(xí)慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）

2、 總體回歸模型n個隨機方程的矩陣表達(dá)式為: 其中 j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。用來估計總體回歸函數(shù)的樣本回歸函數(shù)為：其隨機表示式: ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項i的近似替代。 樣本回歸函數(shù)的矩陣表達(dá): 或其中：二、多元線性回歸模型的基本假定 假設(shè)1，解釋變量是非隨機的或固定的，且各X之間互不相關(guān)（無多重共線性）。 假設(shè)2，隨機誤差項具有零均值、同方差及不序列相關(guān)性。 假設(shè)3，解釋變量與隨機項

3、不相關(guān) 假設(shè)4，隨機項滿足正態(tài)分布 上述假設(shè)的矩陣符號表示式： 假設(shè)1，n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X滿秩。 假設(shè)2， 假設(shè)4，向量 有一多維正態(tài)分布，即 同一元回歸一樣，多元回歸還具有如下兩個重要假設(shè)： 假設(shè)5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n時， 假設(shè)3，E(X)=0，即 其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣 假設(shè)6，回歸模型的設(shè)定是正確的。 或3.2 多元線性回歸模型的估計 一、普通最小二乘估計 二、參數(shù)估計量的性質(zhì) 說 明估計方法：3大類方法：OLS、ML或者M(jìn)M在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多

4、應(yīng)用ML或者M(jìn)M一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有： i=1,2n 根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是右列方程組的解 其中 于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組： 解該（k+1） 個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計值$,bjj=012L。k正規(guī)方程組的矩陣形式即由于XX滿秩，故有 例3.2.1：在例2.1.1的家庭收入-消費支出例中， 可求得： 于是： 正規(guī)方程組 的另一種寫法對于正規(guī)方程組 于是 或 (*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法。 (*)(*) 二、參數(shù)估計量的性質(zhì) 在滿足基本假設(shè)的情況下

5、，其結(jié)構(gòu)參數(shù)的普通最小二乘估計、最大似然估計仍具有： 線性性、無偏性、有效性。 1、線性性 其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無偏性 這里利用了假設(shè): E(X)=0 3、有效性（最小方差性） 其中利用了 和根據(jù)高斯-馬爾可夫定理, 在所有無偏估計量的方差中是最小的.3.3 多元線性回歸模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗(F檢驗) 一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)則 總離差平方和的分解由于: =0所以有： 注意：一個有趣的現(xiàn)象 可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量， R2

6、往往增大（Why?) 這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。 但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。 調(diào)整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。二、方程的顯著性檢驗(F檢驗) 方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立

7、作出推斷。 1、方程顯著性的F檢驗 即檢驗?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 1=2= =k=0 H1： j不全為0 F檢驗的思想來自于總離差平方和的分解式： TSS=ESS+RSS 如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。 根據(jù)數(shù)理統(tǒng)計學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量 服從自由度為(k , n-k-1)的F分布。 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。 例：某地區(qū)通過一個樣本容量為722的調(diào)查數(shù)據(jù)得到勞動力受教育的一個回歸方程為Y=10.36-0.094X1+0.131X2+0.21X3, R2=0.214,其中Y為勞動力受教育年數(shù)，X1 為該勞動量家庭中兄弟姐妹的人數(shù)，X2，X3分別為母親和父親受教育的年數(shù)，問：（1）X1 是否具有預(yù)期的影響？為什么？若