Chapter-04-多元回歸模型-估計與假設檢驗

Chapter_04_多元回歸模型_估計與假設檢驗第一頁，共81頁。前言多元回歸模型(MultipleRegressionModel)：包含多個解釋變量的回歸模型。多元是指有多種因素(即自變量)對應變量有影響。很少有經濟現象僅用一個解釋變量就能解釋。本章關心問題：多元回歸模型的估計過程與雙變量模型差異？多元回歸模型的假設過程與雙變量模型差異？多元回歸模型相對于雙變量模型的特性？多元回歸模型包括任意多個解釋變量，如何決定解釋變量的個數？第二頁，共81頁。第一節(jié)三變量線性回歸模型三變量PRF的隨機表達式：含義：截距：給出了所有未包含到模型中來的解釋變量對Y的平均影響偏回歸系數(partialregressioncoefficient)：表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;（4.1.1）第三頁，共81頁。第二節(jié)多元線性回歸模型的若干假定1、回歸模型參數線性2、解釋變量與擾動項不相關3、擾動項的期望或均值為零4、同方差，即var(ut)=常數5、無自相關，即協方差Cov(ui,uj)=0ifi≠j6、解釋變量不存在完全共線性7、ut~N(0,σ2)第6點假設不同于與雙變量回歸共線性(collinear)、多重共線性(multicollinear)第四頁，共81頁。在經典線性回歸模型（CLRM）框架下，對（4.1.1）作如下假定：ui的均值為零，即：對每一個i（4.1.2）無序列相關：（4.1.3）同方差性：（4.1.4）ui與每一個X變量之間都有零協方差：（4.1.5）第五頁，共81頁。

其實，只要X2和X3是非隨機的，并且有（4.1.2）成立，則這個假定就自動得到滿足。無設定偏誤，或：模型被正確地設定（4.1.6）

X諸變量間無精確的共線性，或

X2與X3之間無精確的線性關系（4.1.7）（NoexactlinearrelationshipbetweenX2andX3）另外，還假定：復回歸模型對參數而言是線性的；回歸元的值在重復抽樣中是被固定的，以及回歸元的取值有足夠的變異性（variability）。第六頁，共81頁。

（4.1.7）式要求X2和X3之間無精確的線性關系，用專業(yè)術語講就是無共線性（nocollinearity）或無多重共線性（nomulticollinearity）。簡單地說，就是沒有一個解釋變量可以寫成其余解釋變量的線性組合。從數學上看，無共線性的含義是，不存在一組不全為零的和，使得：（4.1.8）如果這一關系式存在，則說明X2和X3是共線的（collinear）或線性相關的（linearlydependent）。如果（4.1.8）式僅當時成立，則說X2和X3是線性獨立的。第七頁，共81頁。

如果，這會不會破壞無共線性的假定呢？不會，因為這里的兩個變量的關系是非線性的，并不違背回歸元之間沒有精確線性關系的要求。在極端情形下，如果X2和X3存在準確的線性關系，比如，則獨立的解釋變量實際上只有一個，而不是兩個了：

第八頁，共81頁。4.2對多元回歸方程的解釋把（4.1.1）的兩邊對Y求條件期望得：（4.2.1）可見，復回歸分析是以多個解釋變量的固定值為條件的回歸分析。我們所獲得的，是各個自變量X值固定時，Y的平均值或Y的平均響應（meanresponse）。偏回歸系數的含義偏回歸系數的含義：度量著在保持X3不變的情況下，X2每變化1個單位時，Y的均值的變化。換一句話說，給出X2的單位變化對Y均值的“直接”或“凈”影響（不受到X3的影響）。則給出了X3的單位變化對Y均值的“直接”或“凈”影響，凈在不沾有X2的影響。第九頁，共81頁。

如何分離出X2對Y的“真實”或凈影響呢？第一步：Y僅對X3回歸：（4.3.1）其中是樣本殘差項，b13的下標1指變量Y。第二步：X2對X3回歸：（4.3.2）其中也是殘差項。于是：

（4.3.3）第十頁，共81頁。

（4.3.4）

其中和是分別從回歸（4.3.1）和（4.3.2）得來的估計值。殘差和的含義：表示去掉X3對Y的（線性）影響后的Yi值；表示除去X3對X2的（線性）影響后的X2i的值。這樣以來，和就代表是“凈化了的（purified）”Yi和X2i。即除去了X3的影響（沾染）的Yi和X2i。第十一頁，共81頁。

第三步：做對的回歸：（4.3.5）其中，是樣本殘差項。那么，就是X2對Y的“真實”或凈影響的一個估計，或者說，是Y對X2的真實斜率的一個估計。

偏回歸系數的OLS估計一、OLS估計量（4.1.1）式的PRF相對應的樣本回歸函數（SRF）為：（4.4.1）其中是殘差項，是總體隨機擾動項ui的相對部分。第十二頁，共81頁。OLS方法的實質就是，通過殘差平方和（RSS）的一階條件求未知參數的估計值：

（4.4.2）第十三頁，共81頁。

于是，得正規(guī)方程：從而，的OLS估計量為：（4.4.6）

（4.4.7）（4.4.8）第十四頁，共81頁。OLS估計量的特點：①可以從方程（4.4.7）和（4.4.8）中的一個通過x2和x3的對調而得到另一個，所以，它們本質上是對稱的。②兩個方程的分母完全相同。③三變量情形是雙變量情形的自然而然的推廣。二、OLS估計量的方差和標準誤我們計算出標準誤主要有兩個作用：①建立置信區(qū)間②檢驗統計假設。第十五頁，共81頁。

（4.4.9）

（4.4.10）

（4.4.11）或者：（4.4.12）其中，r23是X2和X3的樣本相關系數：第十六頁，共81頁。

（4.4.13）

（4.4.14）或者：（4.4.15）（4.4.16）（4.4.17）在上述公式中是總體干擾項ui的方差，的無偏估計量是：第十七頁，共81頁。

（4.4.18）

注：自由度為（n-3），這是因為在估計之前，必須先估計和。從而損失了3個自由度。四變量中自由度為（n-4），依此類推。而（4.4.19）證明：第十八頁，共81頁。第十九頁，共81頁。

三、OLS估計量的性質1．三變量回歸面通過均值，和。因為，（4.4.3）告訴我們：這個性質可以推廣到一般情形，如在K變量回歸中有：2．估計的（即）的均值等于真實的均值。由和得：第二十頁，共81頁。

（4.4.22）將上式兩邊對所有樣本值求和，再除以樣本容量n得：

從而有：（由于（4.4.22））（4.4.23）其中第二十一頁，共81頁。因此，SRF：的離差形式表達為：

（4.4.24）3．在求解OLS估計量的過程中，曾經有：即4．殘差與和都不相關，即第二十二頁，共81頁。

這也是求解OLS估計量的副產品：

即是所求。5．殘差與不相關，即第二十三頁，共81頁?！撸?.4.23）

∴第二十四頁，共81頁。6．由（4.4.12）

和（4.4.15）可見，越大（越接近1），和越大。，它們將很難估計和的真值。7．由（4.4.12）和（4.4.15）可見，與成反比，即X2的樣本值變化越大，的方差越小，對的估計的精度越高。對的方差也如此。8．偏回歸系數的OLS估計量是BLUE（最佳線性無偏估計）。第二十五頁，共81頁。復判定系數與復相關系數R（TheMultiplecoefficientofDeterminationandtheMultiplecoefficientofCorrelationR）復判定系數：在三變量（或者更多變量）的模型中，衡量Y的變異由變量、等聯合解釋的比例，記作。在概念上，近似于。的推導：

（4.5.1）

是從所擬合的回歸線（SRF）估計的值，它是真實

的一個估計量。（4.5.1）可以變換為：

（4.5.2）第二十六頁，共81頁。

上式兩邊平方，再對i求和，得：

（4.5.3）（4.5.3）表明：總平方和＝解釋平方和＋殘差平方和即：TSS＝ESS＋RSS（4.4.19）表明：第二十七頁，共81頁。代入（4.5.3）有：

整理得：（7.5.4）于是，由定義有：

（7.5.5），越接近于1，我們說模型“擬合”得越好。第二十八頁，共81頁。復相關系數R：度量Y和所有解釋變量在一起的關聯程度。在一元回歸中，r可正可負；但是，在多元回歸中，R永遠取正值。實際上，R沒有太大的意思，用途不大。從復回歸的角度看簡單回歸：設定偏誤（4.6.1）模型試圖用失業(yè)率和預期通貨膨脹率去解釋真實通貨膨脹率的變化：

（4.6.1）如果采用雙變量模型去擬合的話，則為：

（4.7.1）

第二十九頁，共81頁。既然（4.6.1）是“正確”的模型，那么，（4.7.1）就必然是一個有偏誤的模型，其偏誤在于丟失了一個不應該省略的變量。如果（4.6.1）的是真實的一個無偏估計，即，那么，在一元回歸中的簡單回歸系數將不會是的無偏估計量。事實上，有以下關系式：（4.7.2）其中，是對回歸中的斜率系數，即或者，有：第三十頁，共81頁。證明：離差形式的三變量總體回歸模型可以表述為：（1）先乘以

，再乘以，得到通常的正規(guī)方程：

（2）

（3）用除（2）的兩邊得：

（4）第三十一頁，共81頁。而

（∴是固定量）方程（4）便可以寫為：（5）（5）式兩邊取期望值，得：（6）（與，不相關，，是常數）其實，不僅有偏誤，的方差也很可能有偏誤。第三十二頁，共81頁。這是因為：（7）

把（5）式和（6）式代入（7）式并化簡得：

（8）第三十三頁，共81頁。由（4.4.12）式我們知道：

（4.4.12）

可見，（8）式和（4.4.12）不同，是一個有偏估計量：。結論：簡單回歸系數不僅度量了對Y的“直接”或“凈”影響，而且也度量了通過它對所忽略變量的影響而影響Y的間接或誘發(fā)（induced）影響。簡單地說，度量著對Y的總影響（直接影響加間接影響），而僅度量了對Y的直接或凈影響。第三十四頁，共81頁。結論： 如果需要一個三變量回歸，就不要嘗試簡單或雙變量回歸?；蛘哒f得更一般，如果你認定某個特殊的回歸模型是“正確”模型，就不要從中略去一個或多個變量，而把它加以修改。如果你忽視這條原則，你就會得到有偏誤的參數估計。不僅如此，你還可能低估了真實的方差并因而低估了回歸系數的估計標準誤。第三十五頁，共81頁。7.8與校正（andtheAdjusted）我們知道：其中，，與模型中X變量的個數無關。但是，則與模型中的回歸元個數相關。隨著X變量個數的增加，很可能減小，至少不會增大，從而將會增大。因此，在比較具有相同的因變量但有著不同個數的X變量的兩個回歸模型時，選擇有最高值的模型就必須小心。這時，較高的可能來自解釋變量個數的增加，并不能說明模型更好。第三十六頁，共81頁。考慮有關的自由度數，采用方差而不用變異，對的表達式進行修正，可以導出校正（校正判定系數，校正可決系數）：（4.8.2）其中，k代表模型中包括截距項在內的參數個數。顯然，在三變量回歸（二元回歸）中k＝3。為校正（adjusted）?！靶Ｕ敝傅氖牵孟鄳淖杂啥葘Γ?.8.1）式中的平方和進行校正。有個自由度，而有個自由度。第三十七頁，共81頁。第三十八頁，共81頁。偏相關系數對于三變量回歸模型，有三個簡單相關系數：

Y與之間的相關系數：

Y與之間的相關系數：第三十九頁，共81頁。

與之間的相關系數：這些相關系數可稱毛（gross）或簡單（simple）相關系數（correlationcoefficients），或稱零階相關系數（correlationcoefficientsofzeroorder）。在多變量的情況下，簡單相關系數不可能表明兩個變量之間的線性關系的真實程度。例如，上述并不能反映Y和之間的真實相關程度，因為Y還受到的影響。我們還需要一個不依賴于對和Y的影響的一種相關系數。這種系數就是偏相關系數（partialcorrelationcoefficient）。（它類似于偏回歸系數）第四十頁，共81頁。第四十一頁，共81頁。第四十二頁，共81頁。第四十三頁，共81頁。第三節(jié)多元回歸模型的OLS估計量SRF：根據OLS第四十四頁，共81頁。第三節(jié)多元回歸模型的OLS估計量截距：偏相關系數第四十五頁，共81頁。第三節(jié)多元回歸模型的OLS估計量方差與標準差：第四十六頁，共81頁。第三節(jié)多元回歸模型的OLS估計量總體誤差項ut的方差σ2

未知，其OLS估計量：第四十七頁，共81頁。第四節(jié)多元回歸判定系數判定系數：復相關系數：沒什么經濟含義。第四十八頁，共81頁。例子：古董鐘拍賣價格精要、表6-14：第四十九頁，共81頁。例子：古董鐘拍賣價格多元回歸結果：第五十頁，共81頁。第五節(jié)多元回歸的假設檢驗OLS估計量的抽樣分布：服從自由度為n-3的t分布注意前提：當不可觀測的用其無偏估計量替代時第五十一頁，共81頁。（2）判斷是否顯著如果檢驗統計量的絕對值大于臨界值，

即，則拒絕零假設。否則接受零假設。第五十二頁，共81頁。第六節(jié)對偏回歸系數進行假設檢驗以古董鐘價格為例，假設

原假設下：

第五十三頁，共81頁。3．假設檢驗的置信區(qū)間法由，得：即

古董鐘的統計結果第五十四頁，共81頁。第六節(jié)對偏回歸系數進行假設檢驗檢驗聯合假設(jointhypothesis)

等價于假定：

多元回歸的總體顯著性檢驗第五十五頁，共81頁。多元回歸的總體顯著性檢驗（testoftheoverallsignificanceoftheestimatedmultipleregression)方程的顯著性檢驗(F檢驗)）——檢驗聯合假設方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立作出推斷。

即檢驗模型

Yi=B1+B2X2i+B3X3i++BkXki+ii=1,2,,n中的參數Bj是否顯著不為0。

可提出如下原假設與備擇假設：H0：B1=B2=0H1：Bi不全為0PS：潛在思路錯誤：結果t檢驗對單個回歸系數的統計顯著性有效，但聯合假設卻是無效的。第五十六頁，共81頁。多元回歸的總體顯著性檢驗(F檢驗)

每個解釋變量對被解釋變量的影響都是顯著的方程的總體線性關系顯著方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立的假定作出推斷。第五十七頁，共81頁。第六節(jié)對偏回歸系數進行假設檢驗方差分析(analysisofvariance，ANOVA)

對TSS的各組成部分進行的研究稱為方差分析每一個平方和都與其自由度有關第五十八頁，共81頁。第六節(jié)對偏回歸系數進行假設檢驗方差分析表第五十九頁，共81頁。F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS如果這個比值較大，則X的聯合體對Y的解釋程度高，可認為總體存在線性關系，反之總體上可能不存在線性關系。因此,可通過該比值的大小對總體線性關系進行推斷。由于回歸平方和是解釋變量X的聯合體對被解釋變量Y的線性作用的結果，考慮比值第六十頁，共81頁。第六節(jié)對偏回歸系數進行假設檢驗F統計量在原假設，可證明：服從分子自由度為k-1，分母自由度為n-k的F分布，其中k為解釋變量的個數。顯著性水平=1%，自由度為2和30時，F的臨界值為5.39。第六十一頁，共81頁。模型線性關系的總體判定給定顯著性水平，可得到臨界值F(k-1,n-k)，由樣本求出統計量F的數值，通過

F

F(k-1,n-k)

或FF(k-1,n-k)來拒絕或接受原假設H0，以判定原方程總體上的線性關系是否顯著成立。實際上，可直接看F統計量的P值！

第六十二頁，共81頁。第六節(jié)對偏回歸系數進行假設檢驗F和R2的關系：變化方向相同！

第六十三頁，共81頁。例子：古董鐘拍賣價格多元回歸結果：第六十四頁，共81頁。第七節(jié)從多元到雙變量回歸：設定誤差拆解后的兩個雙變量回歸：第六十五頁，共81頁。第八節(jié)調整R２與增加解釋變量自由度與R2ESS自由度為k-1TSS自由度為n-1相同應變量，不同解釋變量R2不具可比性調整R2(adjustedR2,)

k>1，R2<

可能為負。第六十六頁，共81頁。比較R２和調整R２條件判定系數比較的前提條件：被解釋變量（應變量）相同樣本容量相同第六十七頁，共81頁。例子：古董鐘拍賣價格多元回歸結果：第六十八頁，共81頁。第八節(jié)調整R２與增加解釋變量什么時候增加解釋變量？基本原則：值增加就可以增加解釋變量。實際上，如果增加變量的系數的|t|值大于1，就會增加。通過拆解方程，產生一種錯覺！！

R２真的那么重要嗎？不然！要辯證地看！第六十九頁，共81頁。表8-4古董鐘拍賣價格的四個回歸模型及估計結果第七十頁，共81頁。第九節(jié)受限最小二乘受限模型(restrictedmodel)：例如，模型(1)非受限模型(unrestrictedmodel)：例如，模型(4)受限最小二乘法(restrictedleastsquares,RLS)非受限最小二乘法(unrestrictedleastsquares,URLS)