多元回歸模型課件

第三講經(jīng)典單方程計量經(jīng)濟學模型：多元回歸

多元線性回歸模型多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的預測回歸模型的其他形式回歸模型的參數(shù)約束第三講經(jīng)典單方程計量經(jīng)濟學模型：多元回歸多元線性回歸模1§3.1多元線性回歸模型

一、多元線性回歸模型

二、多元線性回歸模型的基本假定

§3.1多元線性回歸模型一、多元線性回歸模型2

一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

一、多元線性回歸模型多元線性回歸模型:表現(xiàn)3也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:

方程表示：各變量X值固定時Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:4總體回歸模型n個隨機方程的矩陣表達式為

其中總體回歸模型n個隨機方程的矩陣表達式為其中5樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項i的近似替代。

樣本回歸函數(shù)的矩陣表達:

或其中：樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:6二、多元線性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設(shè)2，隨機誤差項具有零均值、同方差及不序列相關(guān)性

假設(shè)3，解釋變量與隨機項不相關(guān)

假設(shè)4，隨機項滿足正態(tài)分布

二、多元線性回歸模型的基本假定假設(shè)1，解釋變量是非隨7上述假設(shè)的矩陣符號表示式：

假設(shè)1，n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X滿秩。

假設(shè)2，

假設(shè)3，E(X’)=0，即

上述假設(shè)的矩陣符號表示式：假設(shè)1，n(k+1)矩陣8假設(shè)4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個重要假設(shè)：假設(shè)5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n∞時，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

假設(shè)4，向量有一多維正態(tài)分布，即同一元回歸一樣，多9§3.2多元線性回歸模型的估計

估計方法：OLS、ML或者MM普通最小二乘估計樣本容量問題估計實例

§3.2多元線性回歸模型的估計估計方法：OLS、ML或者10一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是下列方程組的解

其中一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參11于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：

于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：12正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

正規(guī)方程組的矩陣形式即由于X’X滿秩，故有13?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計結(jié)果為

?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為其中：14?隨機誤差項的方差的無偏估計

可以證明，隨機誤差項的方差的無偏估計量為

?隨機誤差項的方差的無偏估計可以證明，隨機誤差項15樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

k+1因為，無多重共線性要求：秩(X)=k+1樣本容量問題所謂“最小樣本容量”，即從最小二乘原理和162、滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n30時，Z檢驗才能應(yīng)用；

n-k8時,t分布較為穩(wěn)定

一般經(jīng)驗認為:

當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明2、滿足基本要求的樣本容量從統(tǒng)計檢驗的角度：一般經(jīng)驗17§3.3多元線性回歸模型的統(tǒng)計檢驗

一、擬合優(yōu)度檢驗二、方程的顯著性檢驗(F檢驗)

三、變量的顯著性檢驗（t檢驗）四、參數(shù)的置信區(qū)間

§3.3多元線性回歸模型的統(tǒng)計檢驗一、擬合優(yōu)度檢驗18

一、擬合優(yōu)度檢驗

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)19由于

=0所以有：

注意：一個有趣的現(xiàn)象由于=0所以有：注意：一個有趣的現(xiàn)象20

可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整?？蓻Q系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。21

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)（adjustedcoefficie22第3講多元回歸模型課件23*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

*2、赤池信息準則和施瓦茨準則為了比較所含解24

二、方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗

即檢驗?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0二、方程的顯著性檢驗(F檢驗)方程的顯著性檢驗25F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進行推斷。F檢驗的思想來自于總離差平方和的分解式：如果26

根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過

F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計272、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由可推出：與或2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論由可推出：與28在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費二元模型中，在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費29

三、變量的顯著性檢驗（t檢驗）

方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的

因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。三、變量的顯著性檢驗（t檢驗）方程的總體線30

1、t統(tǒng)計量

由于

以cii表示矩陣(X’X)-1

主對角線上的第i個元素，于是參數(shù)估計量的方差為：

其中2為隨機誤差項的方差，在實際計算時，用它的估計量代替:

1、t統(tǒng)計量由于以cii表示矩陣(X’X)-31因此，可構(gòu)造如下t統(tǒng)計量

因此，可構(gòu)造如下t統(tǒng)計量32

2、t檢驗

設(shè)計原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

2、t檢驗設(shè)計原假設(shè)與備擇假設(shè)：H1：i33注意：一元線性回歸中，t檢驗與F檢驗一致

一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：1=0

進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

注意：一元線性回歸中，t檢驗與F檢驗一致一方面，t檢驗34在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093。可見，計算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項在內(nèi)的3個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗。在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參35

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

四、參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一36

在中國居民人均收入-消費支出二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093計算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)

從回歸計算中已得到：在中國居民人均收入-消費支出二元模型例中,計算得參數(shù)37如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減小；提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。如何才能縮小置信區(qū)間？增大樣本容量n，因為在同樣的樣本容量38*§3.4多元線性回歸模型的預測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間*§3.4多元線性回歸模型的預測一、E(Y0)的置信區(qū)39對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預測值：

它可以是總體均值E(Y0)或個值Y0的預測。但嚴格地說，這只是被解釋變量的預測值的估計值，而不是預測值。

為了進行科學預測，還需求出預測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

對于模型給定樣本以外的解釋變量的觀測值X0=(1,X10,40

一、E(Y0)的置信區(qū)間易知

一、E(Y0)的置信區(qū)間易知41容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)42

二、Y0的置信區(qū)間

如果已經(jīng)知道實際的預測值Y0，那么預測誤差為：容易證明

二、Y0的置信區(qū)間如果已經(jīng)知道實際的預測值Y0，那43e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

e0服從正態(tài)分布，即構(gòu)造t統(tǒng)計量可得給定(1-)的置信44

中國居民人均收入-消費支出二元模型例中：2001年人均GDP：4033.1元，

于是人均居民消費的預測值為

?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實測值（90年價）=1782.2元，相對誤差：-0.31%預測的置信區(qū)間：中國居民人均收入-消費支出二元模型例中：2001年人均45于是E(?2001）的95%的置信區(qū)間為:

或（1741.8，1811.7）或

（1711.1,1842.4）

同樣，易得?2001的95%的置信區(qū)間為于是E(?2001）的95%的置信區(qū)間為:或46§3.5回歸模型的其他函數(shù)形式

一、模型的類型與變換

二、非線性回歸實例§3.5回歸模型的其他函數(shù)形式一、模型的類型與變47

在實際經(jīng)濟活動中，經(jīng)濟變量的關(guān)系是復雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟學中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學處理，使之化為數(shù)學上的線性關(guān)系，從而可以運用線性回歸的方法進行計量經(jīng)濟學方面的處理。在實際經(jīng)濟活動中，經(jīng)濟變量的關(guān)系是復雜的，直接表現(xiàn)為48

一、模型的類型與變換

1、倒數(shù)模型、多項式模型與變量的直接置換法

例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0

一、模型的類型與變換1、倒數(shù)模型、多項式模型與變量的直492、冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AKLQ：產(chǎn)出量，K：投入的資本；L：投入的勞動

方程兩邊取對數(shù)：

lnQ=lnA+lnK+lnL2、冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法例如，Co503、復雜函數(shù)模型與級數(shù)展開法

方程兩邊取對數(shù)后，得到：

(1+2=1)Q:產(chǎn)出量，K：資本投入，L：勞動投入：替代參數(shù)，1、2：分配參數(shù)例如，常替代彈性CES生產(chǎn)函數(shù)

將式中l(wèi)n(1K-+2L-)在=0處展開臺勞級數(shù),取關(guān)于的線性項，即得到一個線性近似式。

如取0階、1階、2階項，可得

3、復雜函數(shù)模型與級數(shù)展開法方程兩邊取對數(shù)后，得到：(51并非所有的函數(shù)形式都可以線性化

無法線性化模型的一般形式為:其中，f(x1,x2,…,Xk)為非線性函數(shù)。如：并非所有的函數(shù)形式都可以線性化無法線性化模型的一般形式為:52

二、非線性回歸實例

例3.5.1

建立中國城鎮(zhèn)居民食品消費需求函數(shù)模型。

根據(jù)需求理論，居民對食品的消費需求函數(shù)大致為

Q:居民對食品的需求量，X：消費者的消費支出總額P1：食品價格指數(shù)，P0：居民消費價格總指數(shù)。

零階齊次性，當所有商品和消費者貨幣支出總額按同一比例變動時，需求量保持不變

(*)(**)為了進行比較，將同時估計（*）式與（**）式。

二、非線性回歸實例例3.5.1建立中國城鎮(zhèn)居53

根據(jù)恩格爾定律，居民對食品的消費支出與居民的總支出間呈冪函數(shù)的變化關(guān)系:

首先,確定具體的函數(shù)形式對數(shù)變換:

考慮到零階齊次性時(***)(****)(****)式也可看成是對（***）式施加如下約束而得因此，對（****）式進行回歸，就意味著原需求函數(shù)滿足零階齊次性條件。根據(jù)恩格爾定律，居民對食品的消費支出與居民的總支出間54X：人均消費X1：人均食品消費GP：居民消費價格指數(shù)FP：居民食品消費價格指數(shù)XC：人均消費（90年價）Q：人均食品消費（90年價）P0：居民消費價格縮減指數(shù)（1990=100）P：居民食品消費價格縮減指數(shù)（1990=100X：人均消費55中國城鎮(zhèn)居民人均食品消費

特征：消費行為在1981~1995年間表現(xiàn)出較強的一致性1995年之后呈現(xiàn)出另外一種變動特征。

建立1981~1994年中國城鎮(zhèn)居民對食品的消費需求模型:

(9.03)(25.35)(-2.28)(-7.34)中國城鎮(zhèn)居民人均食品消費特征：建立1981~1994年中國56按零階齊次性表達式回歸:

（75.86）(52.66)(-3.62)為了比較，改寫該式為：

發(fā)現(xiàn)與接近。意味著：所建立的食品需求函數(shù)滿足零階齊次性特征按零階齊次性表達式回歸:（75.86）(52.66)57第三講經(jīng)典單方程計量經(jīng)濟學模型：多元回歸

多元線性回歸模型多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的預測回歸模型的其他形式回歸模型的參數(shù)約束第三講經(jīng)典單方程計量經(jīng)濟學模型：多元回歸多元線性回歸模58§3.1多元線性回歸模型

一、多元線性回歸模型

二、多元線性回歸模型的基本假定

§3.1多元線性回歸模型一、多元線性回歸模型59

一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

一、多元線性回歸模型多元線性回歸模型:表現(xiàn)60也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:

方程表示：各變量X值固定時Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:61總體回歸模型n個隨機方程的矩陣表達式為

其中總體回歸模型n個隨機方程的矩陣表達式為其中62樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項i的近似替代。

樣本回歸函數(shù)的矩陣表達:

或其中：樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:63二、多元線性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設(shè)2，隨機誤差項具有零均值、同方差及不序列相關(guān)性

假設(shè)3，解釋變量與隨機項不相關(guān)

假設(shè)4，隨機項滿足正態(tài)分布

二、多元線性回歸模型的基本假定假設(shè)1，解釋變量是非隨64上述假設(shè)的矩陣符號表示式：

假設(shè)1，n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X滿秩。

假設(shè)2，

假設(shè)3，E(X’)=0，即

上述假設(shè)的矩陣符號表示式：假設(shè)1，n(k+1)矩陣65假設(shè)4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個重要假設(shè)：假設(shè)5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n∞時，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

假設(shè)4，向量有一多維正態(tài)分布，即同一元回歸一樣，多66§3.2多元線性回歸模型的估計

估計方法：OLS、ML或者MM普通最小二乘估計樣本容量問題估計實例

§3.2多元線性回歸模型的估計估計方法：OLS、ML或者67一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是下列方程組的解

其中一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參68于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：

于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：69正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

正規(guī)方程組的矩陣形式即由于X’X滿秩，故有70?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計結(jié)果為

?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為其中：71?隨機誤差項的方差的無偏估計

可以證明，隨機誤差項的方差的無偏估計量為

?隨機誤差項的方差的無偏估計可以證明，隨機誤差項72樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

k+1因為，無多重共線性要求：秩(X)=k+1樣本容量問題所謂“最小樣本容量”，即從最小二乘原理和732、滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n30時，Z檢驗才能應(yīng)用；

n-k8時,t分布較為穩(wěn)定

一般經(jīng)驗認為:

當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明2、滿足基本要求的樣本容量從統(tǒng)計檢驗的角度：一般經(jīng)驗74§3.3多元線性回歸模型的統(tǒng)計檢驗

一、擬合優(yōu)度檢驗二、方程的顯著性檢驗(F檢驗)

三、變量的顯著性檢驗（t檢驗）四、參數(shù)的置信區(qū)間

§3.3多元線性回歸模型的統(tǒng)計檢驗一、擬合優(yōu)度檢驗75

一、擬合優(yōu)度檢驗

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)76由于

=0所以有：

注意：一個有趣的現(xiàn)象由于=0所以有：注意：一個有趣的現(xiàn)象77

可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整?？蓻Q系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。78

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)（adjustedcoefficie79第3講多元回歸模型課件80*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

*2、赤池信息準則和施瓦茨準則為了比較所含解81

二、方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗

即檢驗?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0二、方程的顯著性檢驗(F檢驗)方程的顯著性檢驗82F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進行推斷。F檢驗的思想來自于總離差平方和的分解式：如果83

根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過

F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計842、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由可推出：與或2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論由可推出：與85在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費二元模型中，在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費86

三、變量的顯著性檢驗（t檢驗）

方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的

因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。三、變量的顯著性檢驗（t檢驗）方程的總體線87

1、t統(tǒng)計量

由于

以cii表示矩陣(X’X)-1

主對角線上的第i個元素，于是參數(shù)估計量的方差為：

其中2為隨機誤差項的方差，在實際計算時，用它的估計量代替:

1、t統(tǒng)計量由于以cii表示矩陣(X’X)-88因此，可構(gòu)造如下t統(tǒng)計量

因此，可構(gòu)造如下t統(tǒng)計量89

2、t檢驗

設(shè)計原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

2、t檢驗設(shè)計原假設(shè)與備擇假設(shè)：H1：i90注意：一元線性回歸中，t檢驗與F檢驗一致

一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：1=0

進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

注意：一元線性回歸中，t檢驗與F檢驗一致一方面，t檢驗91在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093。可見，計算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項在內(nèi)的3個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗。在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參92

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

四、參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一93

在中國居民人均收入-消費支出二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093計算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)

從回歸計算中已得到：在中國居民人均收入-消費支出二元模型例中,計算得參數(shù)94如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減??；提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。如何才能縮小置信區(qū)間？增大樣本容量n，因為在同樣的樣本容量95*§3.4多元線性回歸模型的預測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間*§3.4多元線性回歸模型的預測一、E(Y0)的置信區(qū)96對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預測值：

它可以是總體均值E(Y0)或個值Y0的預測。但嚴格地說，這只是被解釋變量的預測值的估計值，而不是預測值。

為了進行科學預測，還需求出預測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

對于模型給定樣本以外的解釋變量的觀測值X0=(1,X10,97

一、E(Y0)的置信區(qū)間易知

一、E(Y0)的置信區(qū)間易知98容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)99

二、Y0的置信區(qū)間

如果已經(jīng)知道實際的預測值Y0，那么預測誤差為：容易證明

二、Y0的置信區(qū)間如果已經(jīng)知道實際的預測值Y0，那100e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

e0服從正態(tài)分布，即構(gòu)造t統(tǒng)計量可得給定(1-)的置信101

中國居民人均收入-消費支出二元模型例中：2001年人均GDP：4033.1元，

于是人均居民消費的預測值為

?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實測值（90年價）=1782.2元，相對誤差：-0.31%預測的置信區(qū)間：中國居民人均收入-消費支出二元模型例中：2001年人均102于是E(?2001）的95%的置信區(qū)間為:

或（1741.8，1811.7）或

（1711.1,1842.4）

同樣，易得?2001的95%的置信區(qū)間為于是E(?2001）的95%的置信區(qū)間為:或103§3.5回歸模型的其他函數(shù)形式

一、模型的類型與變換

二、非線性回歸實例§3.5回歸模型的其他函數(shù)形式一、模型的類型與變104

在實際經(jīng)濟活動中，經(jīng)濟變量的關(guān)系是復雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟學中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學處理，使之化為數(shù)學上的線性關(guān)系，從而可以運用線性回歸的方法進行計量經(jīng)濟學方面的處理。在實際經(jīng)濟活動中，經(jīng)濟變量的關(guān)系是復雜的，直接表現(xiàn)為105

一、模型的類型與變換

1、倒數(shù)模