多元線性回歸課件

高等學校經濟學類核心課程計量經濟學Econometrics第三章多元線性回歸模型§3.1多元線性回歸模型§3.2多元線性回歸模型的參數估計§3.3多元線性回歸模型的統(tǒng)計檢驗§3.4多元線性回歸模型的預測§3.5可線性化的多元非線性回歸模型§3.6受約束回歸§3.1多元線性回歸模型一、模型形式二、基本假定總體回歸函數（PRF）樣本回歸函數（SRF）樣本回歸模型（SRM）其中：ei稱為殘差(residuals)，可看成是隨機誤差項i的近似替代。2、于是，總體回歸模型可以表示為：總體回歸模型的矩陣表示1、總體回歸模型表示了n個隨機方程，引入如下矩陣記號：2、于是，樣本回歸模型和函數可以表示為：樣本回歸模型和函數的矩陣表示1、同理，采用如下矩陣記號：基本假設的矩陣表示假設1:n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X列滿秩。假設2:假設4:向量

有一多維正態(tài)分布，即暗含假設假設5：樣本容量趨于無窮時，各解釋變量的方差趨于有界常數，即n∞時，假設6：回歸模型是正確設定的或其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣§3.2多元線性回歸模型的參數估計一、普通最小二乘估計二、參數估計量的性質三、樣本容量問題一、普通最小二乘估計基本思想：殘差平方和最小基于取得最小值的條件獲得系數估計）殘差平方和：取得最小值的條件：正規(guī)方程組：

解此（k＋1）個方程組成的正規(guī)方程組，即可求得（k+1)個未知參數βj

的估計。

＃OLSE的矩陣估計過程矩陣有關定理殘差平方和的矩陣表示為：#參數估計的實例例3.2.1：在例2.1.1的家庭收入-消費支出例中，誤差方差2的估計1、基于OLS下，隨機誤差項的方差的無偏估計量為注意：分母的形式：n-k-1=n-(k+1)。

k：解釋變量X的個數；k+1：回歸系數的個數2、稱為估計標準誤或者回歸標準誤（S.Eofregression）*矩估計*

（MomentMethod，MM）1、OLS估計是通過得到一個關于參數估計值的正規(guī)方程組并對它進行求解而完成的。2、該正規(guī)方程組可以從另外一種思路來導出:兩側求期望:矩條件*矩條件和矩估計量*3、由此得到正規(guī)方程組：

解此正規(guī)方程組即得參數的MM估計量。1、稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內在特征。2、如果隨機抽出原總體的一個樣本，估計出的樣本回歸方程：能夠近似代表總體回歸方程的話，則應成立：MM估計量與OLS、ML估計量等價。*關于矩估計*矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計方法(GeneralizedMomentMethod,GMM)的基礎在矩方法中關鍵是利用了：E(X’)=0如果某個解釋變量與隨機項相關，只要能找到1個工具變量，仍然可以構成一組矩條件。這就是IV。如果存在＞k+1個變量與隨機項不相關，可以構成一組包含＞k+1方程的矩條件。這就是GMM。OLS只是GMM的一個特例1、線性：其中,C=(X’X)-1X’為一僅與固定的X有關的行向量2、無偏性:這里利用了假設:E(X’)=03、有效性:其中利用了:1、最小樣本容量所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數目（包括常數項）,即：n

k+1因為，無多重共線性要求：秩(X)=k+12、基本樣本容量從統(tǒng)計檢驗的角度：

n30

時，Z檢驗才能應用；

n-k

8時,t分布較為穩(wěn)定一般經驗認為:

當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。模型的良好性質只有在大樣本下才能得到理論上的證明§3.3多元線性回歸模型的統(tǒng)計檢驗一、擬合優(yōu)度檢驗二、方程顯著性檢驗三、變量顯著性檢驗一、擬合優(yōu)度檢驗目的：測定樣本回歸函數對樣本觀測值的擬合緊密程度指標：R2、Adj(R2)可決系數R2

(coefficientofdetermination)0<R2<1，該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。1、定義：2、問題：在模型中增加一個解釋變量，R2往往增大但是：增加解釋變量個數往往得不償失，不重要的變量不應引入。增加解釋變量使得估計參數增加，從而自由度減小。如果引入的變量對減少殘差平方和的作用很小，這將導致誤差方差σ2的增大，引起模型精度的降低。因此：R2需調整。調整的可決系數Adj(R2)

（adjustedcoefficientofdetermination）

1、調整思路:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數對擬合優(yōu)度的影響。2、自由度：統(tǒng)計量可自由變化的樣本觀測值的個數，記為dfTSS：df＝n－1ESS：df＝kRSS：df＝n－k－1注意：df（TSS)=df(ESS)+df(RSS)3、定義：#Adj(R2)的作用1、消除擬合優(yōu)度評價中解釋變量的多少對擬合優(yōu)度的影響2、對于因變量Y相同，而自變量X個數不同的模型，不能用R2直接比較擬合優(yōu)度，而應使用Adj（R2）

。3、可以通過Adj（R2）的增加變化，決定是否引入一個新的解釋變量。Adj（R2）<=R2，即：調整可決系數不大于未經調整的可決系數。隨著解釋變量的增加，二者的差異越來越大。#Adj(R2)與R2的關系*赤池信息準則和施瓦茨準則*

(AIC&SC)用于比較因變量相同，解釋變量個數不同的多元回歸模型的擬合優(yōu)度※赤池信息準則（Akaikeinformationcriterion,AIC）※施瓦茨準則（Schwarzcriterion，SC）這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。二、方程的顯著性檢驗（F檢驗）目的：檢驗Y與所有X的線性關系在總體上是否成立方法：F檢驗1、原假設和備擇假設檢驗模型中的參數j是否至少有一個顯著不為0。

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n原假設與備擇假設：

H0：0=1=2==k=0H1：j不全為02、檢驗統(tǒng)計量可以證明，在原假設H0成立的條件下：F～F(k,n-k-1)其中：k為模型中解釋變量個數3、檢驗步驟（1）提出原假設和備擇假設：H0：0=1=2==k=0H1：j不全為0（2）在H0成立的條件下，計算檢驗統(tǒng)計量的值：（3）給定顯著性水平，可得到臨界值：F(k,n-k-1)

右側檢驗（4）如果FF(k,n-k-1)，拒絕原假設，總體線性關系成立

如果FF(k,n-k-1)，接受原假設，總體線性關系不成立＃擬合優(yōu)度和方程顯著性檢驗在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費二元模型中，可見：一個顯著的模型并不意味著擬合優(yōu)度一定很高注意到F檢驗是一個嚴格的統(tǒng)計檢驗，因此實際中要多參考這一檢驗的結果。示例：三、變量的顯著性檢驗（t檢驗）目的：檢驗Y與某個Xj的線性關系在總體上是否成立或者說Xj對Y是否存在顯著影響方法：

t檢驗1、原假設和備擇假設檢驗模型中Xj對應的系數j是否顯著不為0。

Yi=0+1X1i+2X2i++jXji

＋+kXki+i原假設與備擇假設：

H0：j=0H1：j≠02、檢驗統(tǒng)計量2為隨機誤差項的方差，在實際計算時，用它的估計量代替:可構造t統(tǒng)計量:參數估計量的概率分布：（1）建立原假設和備擇假設：H0：βj＝0H1：βj≠0（3）給定顯著性水平，可得到臨界值t/2(n-k-1)3、檢驗步驟：（2）在原假設成立的條件下計算t統(tǒng)計量的值（4）如果|t|t/2(n-k-1)，拒絕原假設，Xj對Y存在顯著影響如果|t|t/2(n-k-1)，接受原假設，Xj對Y不存在顯著影響雙側檢驗對t檢驗的說明1、在一元線性回歸模型中，變量的顯著性t檢驗與方程的F檢驗是一致的

一方面，二者檢驗的假設一致：β1＝0

另一方面，從檢驗統(tǒng)計量來看：F＝t22、在多元線性回歸模型中，二者的作用不同，并不等價3、在多元回歸模型中，對各個變量的進行t檢驗時，顯著性水平應該一致4、t檢驗未通過，說明在給定的顯著性水平下，變量對Y沒有顯著性影響，但不要簡單的剔除變量，關鍵仍然是考察變量在經濟關系上是否對因變量有影響以及變量在模型及應用中的作用，顯著性檢驗起到驗證的作用三、參數的置信區(qū)間j(j=0,1,2,……,k）的置信區(qū)間在變量的顯著性檢驗中已經知道：給定置信度（1-），對于臨界值t/2(n-2)，t值處在(-t/2,t/2)的概率是1-。表示為：于是得到:(1-)的置信度下,j

的置信區(qū)間是§3.4多元線性回歸分析的預測一、均值E(Y0)的置信區(qū)間二、個值Y0的置信區(qū)間預測的理解1、預測類型：實際個值Y0的點預測條件均值E(Y0)的點預測實際個值Y0的區(qū)間預測條件均值E(Y0)的區(qū)間預測點預測區(qū)間預測3、它可以是總體均值E(Y0)或個值Y0的點預測。4、為了進行科學預測，還需求出預測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。2、對于模型，給定樣本以外的解釋變量的觀測值：X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預測值：1、總體均值E(Y0|X=X0)的置信區(qū)間容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：其中，t/2為(1-)的置信水平下的臨界值。2、總體個值Y0的置信區(qū)間如果已經知道X=X0處的實際個值Y0，那么預測誤差為：容易證明e0服從正態(tài)分布，即:構造t統(tǒng)計量:

可得給定(1-)的置信水平下Y0的置信區(qū)間：置信區(qū)間寬度：個值>均值x0yxx預測上限置信上限預測下限置信下限?；貧w分析的預測實例：中國居民人均收入-消費支出二元模型例中：2001年人均GDP：4033.1元于是人均居民消費的預測值為?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實測值（90年價）=1782.2元，相對誤差：-0.31%預測的置信區(qū)間：E(?2001）的95%的置信區(qū)間為:（1741.8，1811.7）?2001的95%的置信區(qū)間為:（1711.1,1842.4）§3.5可線性化的多元非線性回歸模型

線性模型的本質含義解釋變量的非線性——變量代換法回歸參數的非線性——函數變換法實際中的非線性模型1、恩格爾曲線(Englecurves)：消費者的收入與某類商品需求量之間的函數關系。——冪函數2、菲利普斯曲線（Pillipscuves）：通貨膨脹率（貨幣工資率）與失業(yè)率之間的關系?！p曲線函數線性模型的本