一元回歸模型的估計與檢驗

第三章一元線性回歸模型

如何根據(jù)樣本回歸函數(shù)（SRF）盡可能準確地估計總體回歸函數(shù)（PRF）是回歸分析的首

要任務(wù)。在回歸分析中有多種構(gòu)造SRF的方法，但應(yīng)用最多的是普通最小二乘方法

（methodofordinaryleastsquares,簡記OLS）。本章中，我們通過一元線性回歸模型討論這

一方法，下一章，將該方法推廣到多變量回歸模型中。同時對極大似然（maximum

likelihood,簡記為ML）估計方法予以介紹。

第一節(jié)一元線性回歸模型的點估計原理

一、普通最小二乘法

普通最小二乘法歸功于法國數(shù)學(xué)家高斯（CarlFriedrichGauss）。由于其概念清楚、方法

簡單，在一定的假定條件下，具有良好的統(tǒng)計性質(zhì)，從而使它成為回歸分析中最具功效和

使用最廣泛的方法。

1、基本原理

由第二章可知，PRF一般不能直接觀測，而是通過SRF來估計。比如對于一元PRF

匕=片+02*盧%（2.2.4）

通過對應(yīng)的一元SRF

Yj=+%（2.2.8）

=g+&（2.2.9）

來估計的，其中/是的條件均值E（匕|X,）的估計值。

然而，SRF又是如何決定的呢？為了說明決定的基本原理，我們考慮如下決定過程。首

先把（2.2.9）式寫為：

y=（3L）

表明（即殘差）是實際觀測值與估計值g的離差。

對于給定的樣本，有對關(guān)于和的觀測值，我們希望依據(jù)樣本觀測值擬合的樣本回歸函

數(shù)（樣本回歸線）盡可能地靠近實際的觀測值。直觀上看似乎只要使殘差和

Za=z（x-Z）盡可能小就可達到這一目的。然而，由于殘差可正可負；不同的，有

的離SRF近，有的遠，但在殘差和中他們的權(quán)重卻一樣，也就是說，不管個別的觀測點離

開SRF的遠近，所有殘差都受到同樣的重視，并且的代數(shù)和為零。顯然采用殘差和

Z4最小化準則，不能說明任何問題。然而，如果采用最小二乘準則，上述問題就可以

得到解決。

所謂的最小二乘準則就是要求殘差的平方和工年最小，即以使殘差平方和

2X=Z匕T了=Z（工一6-區(qū)X,y（3.1.2）

盡可能小的方法確定SRF的準則，簡稱為最小二乘準則。這種方法通過對的平方賦予離

SRF遠的觀測值以較大的權(quán)重，而離SRF近的觀測值以較小的權(quán)重，并且使正負離差通過

平方后都變成正值，這樣就解決了zi最小化準則存在的問題。采用最小二乘準則的理

由，還在于由它得到的估計量（estimator）有一些很好的統(tǒng)計性質(zhì)，這些性質(zhì)我們將在本

章的后面討論。

由式（3.1.2）可以看到

2X=/（6，A）（3.1.3）

就是說，殘差平方和是估計量和的函數(shù)。對于任意給定的樣本數(shù)據(jù)，選擇不同的和的值將

會給出不同的，從而有不同的E獷值，那么我們?nèi)绾芜x擇和使得￡年盡可能小呢？我們

的時間和耐心是有限的，我們不可能通過無休止的試驗比較來選取和，我們必須尋求一種

有效的方法。這種方法就是微分極值法。通過微分法我們對式（3.1.2）分別關(guān)于和求偏微分

并令其等于零，有：

=-2〉工-4-Ax,)=0(3.14)

仔尸=一2工（工一片一片X,）X,=0（3.1.5）

現(xiàn)

對式（3.1.4）和式（3.1.5）整理可得到如下正規(guī)方程組：

Zz="2+AWX（3.1.6）

(3.1.7)

其中n為樣本大小。解此聯(lián)立方程組得：

_〃Zx,K-

^（xi-x）（K-y）

(3.1.8)

2七%

ZT

其中和是和的樣本均值，并且定義務(wù)=（X,—又），y.=（｝；-/）,也就是說，我們以小寫

字母表示對均值的離差。

4一口2-(卜尸

-B漢(3.1.9)

式(3.1.9)的最后一步是在先估計出，再通過式(3.1.6)得到的。

式(3.1.8)還可以表示為：

自=X*=￡x,以

(3.U0)

這樣，根據(jù)最小二乘準則，就可以求出使Z年最小的和，所以把這種方法稱作普通最小

二乘(ordinaryleastsquares,OLS)方法，把和稱作是總體參數(shù)和的普通最小二乘估計量

(ordinaryleastsquaresestimator,OLSE)。但是，對于給定的樣本數(shù)據(jù)，在現(xiàn)有的假定

下，我們只能得到和點估計值。

2、普通最小二乘估計量的數(shù)值性質(zhì)

OLSE有兩種性質(zhì)，一種是數(shù)值性質(zhì)，一種是統(tǒng)計性質(zhì)。OLSE的數(shù)值性質(zhì)是指不管數(shù)

據(jù)是怎樣產(chǎn)生的，由于運用普通最小二乘法而得以成立那些性質(zhì)，具體說來就是：

(1)OLSE可由樣本觀察值計算。也就是說，給出樣本觀測值，就可以計算得到

OLSE的估計值。

(2)OLSE是點估計量。對于給定的樣本，所得到的估計值是總體參數(shù)的一個點估計

值。后面我們將考慮所謂的區(qū)間估計，對未知的參數(shù)提供一個估計的范圍。

(3)由OLS估計值確定的樣本回歸線有以下性質(zhì)：

第一，樣本回歸線通過和的樣本均值。

第二，樣本的估計值的均值等于實際觀測值的樣本均值，或樣本估計值之和ZW等

于樣本觀測值之和Zz。因為：

=G-&又)+&Xj

=F+A(x,.-x)

等式兩邊求和并同除以樣本量n,即得

y=y

第三，殘差的均值為零。由(3.1.4)式可得到這一性質(zhì)，但要求在模型中包含截距項。作為

該性質(zhì)的一個運用，可得到：

=B\+BX+&

2匕=+匯區(qū)區(qū)+匯4=+8>x,

=6+A區(qū)

Y-Y=^2(Xi-X)+ui

(3.1.11)

方程(3.1.11)稱為離差形式。在此形式中，截距項不再出現(xiàn)。然而截距項可以從式(3.1.9)

估計出來。若按離差形式，SRF可寫為：

無=A±(3.1.12)

第四，殘差與預(yù)測值不相關(guān)。利用離差形式可推出：

X

=AZxQi_P2i)

=A'y-肉A；

=肉2＞；-譜

(3.1.13)

其中用到A=(學(xué),?比二A￡片這一事實。

第五，殘差與不相關(guān)，即=0?這一性質(zhì)可由式(3.L5)得到。

OLSE的統(tǒng)計性質(zhì)是指僅在數(shù)據(jù)產(chǎn)生的方式滿足一定的假設(shè)下才得以成立的性質(zhì)。對

于OLSE的統(tǒng)計性質(zhì)，將在后面討論.

二、經(jīng)典線性回歸模型的基本假定

在回歸分析中，我們的目的不僅僅是獲得式(2.2.8)中的和，而且還要對式(2.2.4)

中真實的和做出統(tǒng)計推斷。也就是說，我們想知道和離總體參數(shù)真值和有多近，或者靠近

真實的條件期望成丫IX,)有多近。雖然估計模型參數(shù)的方法有多種，但是，為了達到這一

目的，這些估計方法都是以對模型的某些假定為條件的。因為只有滿足了這些條件，所做

的估計才具有良好的統(tǒng)計性質(zhì)。因此，我們不僅需要建立如同式(224)那樣精確的模型函

數(shù)形式，而且還要對的產(chǎn)生做出某些假定。

PRF可表示為匕=E(Z|%,.)+?,=/(X,)+Mr它表明依賴于/(X,)和。所以我們要

對做出任何統(tǒng)計推斷，進而對和做出統(tǒng)計推斷，就必須對函數(shù)/(X,)的形式以及和的產(chǎn)生

方式做出說明。也就是說，為了回歸估計的有效解釋，我們需要對函數(shù)的形式、隨機誤差

項和解釋變量(一個或多個)的產(chǎn)生方式做出某些假定。

1、基本假定

我們先從一元回歸模型的框架來討論這些假定，下一章推廣到多變量回歸模型。歸納

起來有10個基本假定。滿足這10個假定的線性回歸模型稱為經(jīng)典線性回歸模型(classical

linearregressionmodel,CLRM)，又稱高斯線性回歸模型或標準線性回歸模型。CLRM已成

為大部分經(jīng)濟計量學(xué)理論的基石。

(1)回歸模型對參數(shù)而言是線性的。參數(shù)為線性的回歸模型是CLRM的出發(fā)點。解釋變

量與被解釋變量可以是非線性的。

(2)在重復(fù)抽樣中值是固定的。也就是說，假定是非隨機的。這意味著我們所作的回歸分

析是條件回歸分析，即以解釋變量的給定值為條件。

(3)隨機干擾項的均值為零，即的條件均值為零，記為：

￡,(?,.|X,)=0(3.1.14)

其幾何意義在于說明對應(yīng)于給定的每一個的總體都圍繞其條件均值￡(丫|X,)而分布，總體

中的所有觀測值與其條件均值E(yIX,)的離差有正有負，有大有小，但其離差和為零，其

條件期望也為零。這一假定告訴我們，凡是歸并于隨機干擾項的哪些不重要的、微小的因

素，對的條件均值都沒有系統(tǒng)影響，他們的隨機影響可在平均中消除。

(4)干擾項的同方差性。即的條件方差都相等，記為：

Var(ui\Xi)=Eiui-E(ui)\Xif

=b

式(3.1.15)說明，每個的條件方差都等于某個正的常數(shù)。也就是說，式(3.1.15)表示同方

差性或相同的離散程度，或者說對應(yīng)于不同的值的的總體均有同樣的離散程度，表明他們

的分布具有相同的穩(wěn)定可靠性。

若總體的條件方差隨而變化，則稱為異方差性(heteroscedasticity),記為：

2

Var^|X,.)=cr((3.1.16)

式(3.1.16)式說明，對應(yīng)于不同的所有的總體分布的穩(wěn)定可靠性不同。

假定4意味著的條件方差也是同方差的，即有

Var(K|X,.)=o-2(3.1.17)

注意的條件方差不同于它的無條件方差。

(5)各個干擾項之間無自相關(guān)。即對于任意給定的和(ixj)，和之間的(條件)協(xié)方差

為零。用符號表不為：

Cov(Ui,Uj|X,X)=E[Ui-￡(?,.)|X,.][?y-E(uJ)\Xj]

=E(M,I|Xj)

=0(3.1.18)

假定5是說，我們將只考慮對的系統(tǒng)性影響，而不去擔心由于之間的可能的交互作用而造

成的對的系統(tǒng)影響。

(6)干擾項和的協(xié)方差為零，即次/XJ=0。形式上有

。伏%,X,)=仇%—EQ,)]區(qū)一￡(%,.)]

=E[u.(X.-E(Xi)]

=E(%X)_E(%)E(X)(3.1.19)

=0

該假定的依據(jù)在于，當我們把總體回歸函數(shù)PRF表述為工=￡(y|X；)+/時，我們設(shè)定了

對存在兩類不同性質(zhì)的影響，一類是由代表的系統(tǒng)性影響，一類是由代表的(所有被省略

變量的)隨機性影響。若與相關(guān)，就不能正確評估它們各自對的影響。如果假定2和假定

3同時成立，即變量是非隨機的，且在重復(fù)抽樣中取固定值，又E(%|X,)=O,這時假定

6自動滿足。所以假定6不是關(guān)鍵性的假定。這里只是表明，即使是隨機的，只要它們獨

立于干擾項或至少與不相關(guān)，下面講的回歸理論就是真實的(即若隨機，但獨立于的分

布，則后面討論的OLSE的性質(zhì)仍然成立，但若隨機且僅僅與不相關(guān)，則僅當樣本量大

時，OLSE的性質(zhì)才會成立)。

(7)觀測次數(shù)即樣本量必須大于待估計參數(shù)的個數(shù)。

(8)值要具有變異性，即要求V〃(X)必須是一個有限的正數(shù)。這一假定的重要性由(3.1.8)

式可以表現(xiàn)出來。因為若全部相同，該方程的分母為零，從而無法估計，從而也無法估

計。也就是說，如果解釋變量不變，我們就無法解釋被解釋變量的變化。

(9)正確地設(shè)定了回歸模型.也就是說，在經(jīng)驗分析中所用模型不存在設(shè)定偏誤

(specificationbiaserror)。模型的設(shè)定涉及如下重要問題：首先模型應(yīng)包括哪些變量？其

次模型的函數(shù)形式如何表示？再次對進入模型的、和要做什么樣的概率假定？如果對這些

問題都未能作出正確的選擇或假定，那么在此模型基礎(chǔ)上進行的回歸分析的有效性就會大

打折扣。問題是，實際上人們很少能準確知道模型應(yīng)包括的正確變量或模型的正確函數(shù)形

式以及關(guān)于進入模型的變量的準確概率分布是什么。因此，經(jīng)濟計量學(xué)家在選擇進入模型

的變量個數(shù)、模型的函數(shù)形式以及關(guān)于模型所含變量的概率性質(zhì)的假定時，必須做出一些

自己的分析和判斷。

假定9提示我們，回歸分析以及由分析而得到的結(jié)論，是以所選模型為條件的。所以在建

立經(jīng)濟計量模型時，必須十分審慎。特別對某些經(jīng)濟現(xiàn)象，如對經(jīng)濟周期各個不同發(fā)展階

段，對通貨膨脹率、貨幣需求或者證券的合理(均衡)定價如何解釋，常存在多種相互爭

持的理論，在此情況下，經(jīng)濟計量學(xué)家必須依據(jù)自己的判斷做出合理的選擇。正因為如

此，才會有人說：這門科學(xué)猶如一個空箱子，即使有打開它的鑰匙，對其空洞的內(nèi)容，任

何10位經(jīng)濟學(xué)家都會做出11種解釋。也正是因為如此，人們把經(jīng)濟計量模型的建立既說

成是一種科學(xué)，又把它說成是一種藝術(shù)。

(10)解釋變量之間不存在完全的多重共線性。當我們研究多元回歸模型時，還需要

增補這一假定。我們在下一章討論這一假定。

除假定10,我們完成了關(guān)于PRF的經(jīng)典線性回歸模型基本假定的全部討論。需要注

意，我們在SRF下討論過的有關(guān)由最小二乘法得到的估計量的一些數(shù)值性質(zhì)，和我們對

PRF所作的假定如此相似。例如，工&=0與假定E(“，|X,)=。相似；=0與

cov(“,,X,)=0相似等等。最小二乘法似乎試圖“復(fù)制”我們對PRF所作的一些假定。同

時我們也應(yīng)看到，SRF并不復(fù)制對CLRM的全部假定。以后我們將會看出，雖然根據(jù)假定

Cov(ui,u.)=0(/j),但樣本,工)=0(iw/)并不成立。事實上，這些殘差往往不

僅是自相關(guān)的，而且是異方差的。正是這些有時相似，有時不同的OLSE性質(zhì)，往往混淆

我們的理解和推導(dǎo)。

2、假定的真實性

大多數(shù)科學(xué)研究都運用了科學(xué)抽象這樣的方法，而科學(xué)抽象的方法實際就是假定。在科

學(xué)研究中做某些抽象或假定，是因為它們便于逐步展開對主題的研究，而不是因為它們能

準確地復(fù)制現(xiàn)實。比如，經(jīng)濟學(xué)一般都是先研究完全競爭模型，在此基礎(chǔ)上再逐次展開對

壟斷、寡頭壟斷等非完全競爭模型的研究。因為從具體紛繁的市場競爭中抽象出來的完全

競爭模型能使人們對市場競爭的實質(zhì)看得更透徹和清晰，由此引申出來的含義能使人們更

好地領(lǐng)會非完全競爭模型，并不是因為完全競爭模型一定是真實的。經(jīng)濟計量中的CLRM

就相當于經(jīng)濟學(xué)中的完全競爭模型。

本章中先研究CLRM的性質(zhì)，第五章再深入分析如果CLRM的一個或多個假定不成

立時會出現(xiàn)什么問題，以及如何解決這些問題。

有了關(guān)于CLRM的這些假定，我們就可以討論OLSE的統(tǒng)計性質(zhì)，并進而對OLSE的統(tǒng)

計性質(zhì)與前面講述的數(shù)值性質(zhì)進行比較。

三、OLSE的統(tǒng)計性質(zhì)與精度

1、最小二乘估計量的統(tǒng)計性質(zhì)：高斯——馬爾柯夫定理

前已述及，在CLRM的假定條件下，OLSE具有一些理想的統(tǒng)計性質(zhì)。這些性質(zhì)包含

在著名的高斯一一馬爾柯夫定理中。高斯一一馬爾柯夫定理是指：在給定的CLRM假定

下，OLSE在線性無偏估計量一類中，有最小方差，就是說，它們是最優(yōu)線性無偏估計量

(bestlinearunbiasedestimator,BLUE)°

高斯一一馬爾柯夫定理包含了三層意思：即在CLRM假定下，有：

(1)OLSE是線性的。即它是回歸模型中被解釋變量的線性函數(shù)。由式(3.1.10)可得：

尾=年號=2>/31.20)

2A

其中仁=7二,說明是的線性函數(shù)，它是以為權(quán)數(shù)的的一個加權(quán)平均，從而是一個線性估

功

計量。同理，可以證明也是一個線性估計量。

具有一些有用的性質(zhì)：1)因為非隨機的，所以也是非隨機的；2)Z4=°；3)

S2；4)2｛不==1。

乙飛

(2)OLSE是無偏的。若將PRF式(2.2.4)代入式(3.1.20)得:

區(qū)=￡2+匡X’+uj

(3.1.21)

對式(3.1.21)求數(shù)學(xué)期望，得：

E(A)=&+Z4E(%)=⑸(3.1.22)

同理可證得E(B\)=0\。即OLSE是無偏估計量。

(3)OLSE的方差是線性無偏估計量一類中最小的。按照方差的定義，的方差為：

uA)=班-E(A)F

=E(A—4)2

=E(Z飆)一利用(3.1.21)式

=石(后/2+因達++甘危+2匕&/“2++)

2

=-^—(3.1.23)

其中￡1(〃；)=cr2>E(%HJ)=0(i#j)。

同理可推得的方差為：

%r(￡)=4^4(3.1.24)

nLxi

證明：

vh/*(3i)=-AX)

=('一族，注1(證明了也是一個線性估計量)

n

=2?:-冊)訕蟲)

二-遮+產(chǎn)6)

nn

>；+點2

￡X：-n殍+nX2

A；

下面以以為例證明估計量在所有線性無偏估計量一類中有最小方差。

由式(3.1.20)知

區(qū)=￡空

表明A是以為權(quán)重的的加權(quán)平均。若定義的另一個任意線性估計量為:

6=￡*(3.1.25)

其中權(quán)重不一定等于，于是

E()=?,&Z)

=23郊"&XJ

(3.1.26)

+鳳2?x,

若要為無偏估計量，必須使

=0(3.1.27)

(3.1.28)

而且有

var(區(qū))=var(Z用工)=Z。；var(^)[注意var(J<)=var(%)=cr2]

=0"2工"[注意cov.Z)=0,i聲刃

=/￡屹-ki+&)2(注意其中的數(shù)學(xué)技巧)

2

=cr?Z3-ki)+cr?X#+2/Z(CD.—ki)kj

=b—kJ+cr~(—、■)(3.1.29)

一z%

因為在倒數(shù)第二步中最后一項為零。證明：

'Z%乙X]

1

](注意:Za),X=1，Z助=0)

Ex；i

=2/[11]=。

Zx；

由于式(3.1.29)中的最后一項為常數(shù)，的方差只能通過第一項的處理使之最小化。若令

回=—'f—%

,Ex；1

則式(3.1.29)簡化為

CF2

var(?==var(A)(3.1.30)

Z尤:

即當權(quán)=(最小二乘估計量的權(quán)重)時，線性無偏估計量的方差等于OLSE河的方差；否

則。也就是說，如果存在的一個最優(yōu)線性無偏估計量，它必定是

OLSE。同理可證明B\是的最小方差線性無偏估計量。

2、估計量的標準誤

由式(3.1.8)和式(3.1.9)可知，OLSE是樣本數(shù)據(jù)的函數(shù)，其估計值隨樣本的變化

而變化。所以O(shè)LSE的精度可用其方差或標準誤度量。方和直的方差已由式(3.1.24)和

式(3.1.23)分別給出。其標準誤分別定義為：

se(?)=ct(3.1.31)

se(A)(3.1.32)

除了外，上述方程中的數(shù)據(jù)都可以由樣本得到。對于給定的，代表和的(總體條件)方

差，它一般不知道，還需要用下面的公式

(3.1.33)

來估計。稱為未知總體的(條件)方差的最小二乘估計量?？梢宰C明是的無偏估計量。

2被稱為自由度的個數(shù)(numberofdegreesoffreedom,df),>,昭表示殘差(或剩余)

平方和(residualsumofsquares,RSS)?

證明：

由式(3.1.11)和式(3.1.12),可得

y=%+&(3.1.34)

對上式兩邊平方并對樣本求和，有

肉考(3.1.35)

咆%=E(￡/-肉￡x,2)=(〃-2)a2

E(￡y；)=(工一PF]=E[ZY,2-nY2]

=X或4)一〃E(P)=Z?(X)+[E(X)f]一〃/⑴)+[E(F)]2]

=Z[，+(4+夕2X,)2]-4^+(A+夕2區(qū)尸]

=(〃-1內(nèi)2+RZ%2

(E[優(yōu)+2伙區(qū)Xj+0；X：-儲-2/3島又-0；又八

=2^AE(X,.-X)+A2(Ex：-〃產(chǎn))=A2E￥)

E電工力=￡X；E?)=￡*{v(a)+{E(A)]2)

=Zx；[*=+崖]=。2+局Z*

?-?-?41=噸yf)-￡(A2Z￥)

=(n—l)cr2+0；-B：￡x；=(n—2)cr2

.-.有E(

只要根據(jù)樣本計算出就可以計算出的估計值。然而工學(xué)要求計算樣本的每一個

(Z-g)2,相對復(fù)雜且計算中的舍入誤差大一些，所以實際中常用下式計算：

(3.1.36)

V皿1八2

(3.1.37)

式(3.1.37)被稱為估計的標準誤。它是對估計的回歸線的離差的標準差。通常用于衡量所

估計的回歸線的擬合優(yōu)度(goodnessoffit)。

3、估計量方差的特點

根據(jù)式(3.1.8)和式(3.1.9)可以歸納出￡和反(進而它們的標準誤)有如下特點：

(1)區(qū)的方差與成正比，與成反比。就是說對給定的，值的變化越大，區(qū)的

方差越小，從而對估計的精度越高。值得注意的是，隨著樣本量的增大，總和Z%；中的

項將增加，的估計精度可隨著的增加而提高。

(2)方的方差與和XX；成正比，而與ZW和樣本量成反比。

(3)由于方和?是估計量，對于給定的樣本，它們可能是相互依賴的。可以證明,

其協(xié)方差為

cov(4,A)=E{-E@)]區(qū)一￡(A)]}

=￡(4-A)(A-A)

=E(Y-4+/52x)(A-A)

2

=-XE(j82-j32)=-XVar(區(qū))

由于var(32)總是正的，所以及和22的協(xié)方差是正是負取決于的符號。如果是正

的，協(xié)方差為負，這時，如果斜率系數(shù)被高估(即斜率估計得太陡)，則截距系數(shù)將被低

估(即截距被估計得太小)。在討論多重共線性問題時，我們將看到，研窕所估計回歸系

數(shù)之間的協(xié)方差是有用的。

對于利用估計量及和成2的方差判斷這些估計可靠程度的問題，我們將在后面繼續(xù)討

論。

四、擬合優(yōu)度的度量

在回歸分析中，我們不僅要考慮根據(jù)樣本的數(shù)據(jù)對回歸系數(shù)的估計精度以及它們的性

質(zhì)，還要考慮根據(jù)樣本數(shù)據(jù)對所擬合的回歸線的擬合優(yōu)度，也就是要說明這條樣本回歸線

對數(shù)據(jù)擬合得有多好。顯然這實際上是對模型中的解釋變量對被解釋變量變動解釋能力的

考察。

1、總變差的分解

由于總體是未知的，而樣本是總體的一個代表，所以我們的考察需從樣本著手。對于

我們設(shè)定的一元回歸模型匕=4+￡2乂,+%，我們使用OLS法根據(jù)樣本數(shù)據(jù)得到樣本回

歸模型

工=￡+(2.2.9)

式中g(shù)=6+Ax,.是被解釋變量中用解釋變量所解釋的部分，是不能用解釋變量解釋的

隨機干擾項的估計值。

利用式(3.1.11)和式(3.1.⑵有離差形式：

y=[+(3.1.34)

對于式(3.1.34)等式兩邊平方并對樣本求和，有

%於+*：

（3135）

其中2＞；=Z（匕-7）2表示實際觀測值圍繞其均值的總變異，稱為總平方和，記為

TSS;Z%2=Z（Z-歹尸=X（g-表示E（YIX,）的估計值R圍繞其均值（PP）

的變異，可稱為（來自解釋變量的）回歸平方和，記為ESS；Z42=￡（X—Z）2表示殘

差或未被解釋的圍繞回歸值的變異，簡稱為殘差或剩余平方和，記為RSSo這樣式（3.1.35）

可以寫為

TSS=ESS+RSS（3.1.39）

說明的觀測值圍繞其均值的總變異可以分解為兩部分，一部分來自可由解釋變量解釋的回

歸部分；另一部分則來自解釋變量解釋不了的隨機干擾部分。

2、判定系數(shù)

顯然，在被解釋變量的總變動中，被樣本回歸方程解釋的部分越多，我們引入模型的

解釋變量對被解釋變量的解釋能力越強，也就是說根據(jù)樣本數(shù)據(jù)擬合的回歸線的擬合優(yōu)度

越高。因此，我們可以用回歸平方和（回歸變差）占總平方和（總變差）的比重作為衡量

模型擬合優(yōu)度的指標，該指標被稱為（樣本）判定系數(shù)（coefficientofdetermination）（一

元線性回歸情形）或（多元回歸情形）。即有：

由式（3.1.39）可知，判定系數(shù)的取值范圍為。＜產(chǎn)＜1。等于1意味著有一個完美的回歸

擬合，即對于每個都有Z=等于（）意味著回歸值與被解釋變量沒有線性相關(guān)關(guān)系，此

時回歸系數(shù)區(qū)=0,即有（g=￡+?X,.=G+?（X,-又）），就是

說，對任一值的最優(yōu)估計值都是它的均值，從而回歸線平行于軸。以上兩種情況都是極

端，前者表示解釋變量之間存在嚴格的函數(shù)關(guān)系，而后者則說明它們之間沒有線性相關(guān)關(guān)

系。絕大部分情形是0＜1,它測度了的總變異中由回歸模型解釋的部分所占比重。

為了計算方便，判定系數(shù)還可以表示為：

-----2

醫(yī)（*=尾與（3.1.42）

X%Sy

n-1

其中S；和分別為和的樣本方差。

根據(jù)的定義，我們可以把總變異的分解式寫為

=ESS+RSS

(3.1.43)

3、判定系數(shù)與相關(guān)系數(shù)的關(guān)系

與判定系數(shù)關(guān)系密切但概念上很不相同的指標是相關(guān)系數(shù)(coefficientofcorrelation)，它

用來測度兩個變量之間的線性關(guān)聯(lián)程度。它既可以由判定系數(shù)算出，即有

r=±Vr^(3.1.44)

也可以由它的定義式

〃￡xj—zx,.zx(3.1.45)

J[〃ZX,2_(ZXj)2][口2_印)2]

給出。式(3.1.44)和式(3.1.45)定義的是樣本相關(guān)系數(shù)。

相關(guān)系數(shù)有如下一些性質(zhì)：的值落在和+1之間，即有-1<廠4+1；符號由兩變量協(xié)

方差的符號決定；存在對稱性，即和之間的相關(guān)系數(shù)與和之間的相關(guān)系數(shù)相同；與原點和

尺度無關(guān)，即如果定義X；=a+bX,Y=c+dX，其中>>0,4>0,且和都為常數(shù)，則與

之間的相關(guān)系數(shù)々V與原始變量與之間的相關(guān)系數(shù)相同；如果與統(tǒng)計上獨立，則它們之間

的相關(guān)系數(shù)為零，但=0不等于說兩變量相互獨立，也就是說零相關(guān)并不一定意味著兩變量

一定獨立；相關(guān)系數(shù)僅是說明兩變量線性關(guān)聯(lián)的一個度量，不用于描述兩變量的非線性關(guān)

系；雖然它是兩變量之間的線性關(guān)聯(lián)的一個度量，卻不一定有因果關(guān)系的含義。

可以這樣說，是回歸分析中所用的指標，而是線性相關(guān)分析中所用的指標。告訴我們

在被解釋變量的變異中，由解釋變量解釋的部分占多大比例，因而對模型中包含的解釋變

量的變異在多大程度上決定被解釋變量的變異提供了一個總的度量。而則沒有這種功能，

它只說明了兩個變量之間的線性關(guān)聯(lián)的方向和程度，而且我們將會看出，在一個多元回歸

模型中，對的解釋是沒有多大價值的。所以，在經(jīng)濟計量分析中，判斷系數(shù)是一個比相關(guān)

系數(shù)更有意義的度量.

判定系數(shù)還可以表示為觀測值與回歸值匕之間的相關(guān)系數(shù)的平方。也就是利用式

(3.1.45)把它寫為:

20匕一.)日一.)]2<?

r)2g(B--)2Z”"一

(”發(fā))2

(3.1.46)

0(力+瑪戈f(23+243)2

(Zy,2)(Zy,2)"(Zy,2)(Zy,2)

-2、2-2

(Zy,)_Ly,-ESS

■一帚

式(3.1.46)解釋了為什么把作為描述擬合優(yōu)度的一個度量的理由，因為它告訴了我們的估

計值和它的真實值距離遠近的程度。

例3.1

樣本二

DependentVariable:Y2

Method:LeastSquares

Date:03/09/08Time:21:15

Sample:110

Includedobservations:10

VariableCoefficientStd.Errort-StatisticProb.

C273.2667104.86302.6059410.0313

X0.6490300.03380019.201860.0000

R-squared0.978764Meandependentvar2058.100

AdjustedR-squared0.976109S.D.dependentvar993.1202

S.E.ofregression153.5037Akaikeinfocriterion13.08218

Sumsquaredresid188507.0Schwarzcriterion13.14270

Loglikelihood-63.41091F-statistic368.7113

Durbin-Watsonstat1.353860Prob(F-statistic)0.000000

EstimationCommand:

LSY2CX

EstimationEquation:

Y2=C(1)+C(2)*X

SubstitutedCoefficients:

Y2=273.2666667+0.649030303*X

ActualFittedResidual

488.000597.782-109.782

729.000922.297-193.297

1325.001246.8178.1879

1787.001571.33215.673

1926.001895.8430.1576

2223.002220.362.64242

2731.002544.87186,127

2948.002869.3978.6121

3010.003193.90-183.903

3414.003518.42-104.418

第二節(jié)經(jīng)典正態(tài)線性回歸模型

一、隨機干擾項的概率分布

在第一節(jié)，我們對隨機干擾項作了它們的期望值為零、方差相等和相互之間不相關(guān)的

假定等。有了這些假定，OLSE滿足線性無偏和具有最小方差等若干優(yōu)良的統(tǒng)計性質(zhì)，并

且依據(jù)樣本數(shù)據(jù)，可以得到PRF的點估計。然而我們的目的不僅要得到樣本回歸函數(shù)

(SRF),而且要用它來推斷總體回歸函數(shù)(PRF),也就是說還要對總體回歸函數(shù)進行

區(qū)間估計和假設(shè)檢驗。顯然，只有我們知道了這些估計量的分布，才能依據(jù)SRF對PRF做

出推斷。由式(3.1.21)可以看出，OLSE^是的線性函數(shù)(區(qū)=魚+工匕電〕，同樣可

以證明4也是的線性函數(shù)。因此，OLSE的抽樣或概率分布將依賴于的概率分布。所以的

概率分布形式及其性質(zhì)在區(qū)間估計和假設(shè)檢驗中就起著極為重要的作用。

1、隨機干擾項分布的正態(tài)性假定

在回歸分析中，人們常常假定服從正態(tài)分布。在上節(jié)討論的經(jīng)典線性回歸模型

(CLRM)的假定中，若增加的正態(tài)性假定，我們就得到了所謂的經(jīng)典正態(tài)線性回歸模型

(classicalnormallinearregressionmodel,CNLRM)。

經(jīng)典正態(tài)線性回歸模型(CNLRM)關(guān)于干擾項有如下假定：

~N(0Q2)(3.2.1)

且其協(xié)方差

cov(〃,?,%)=E(〃，勺)=0iHj(3.2.2)

對于兩個正態(tài)分布變量來說，零協(xié)方差就意味著兩個變量相互獨立.因此，在正態(tài)性假定

下，式(3.2.2)同時表示與是獨立分布的。于是可以把這些假定更簡潔地敘述為

~NID(0,cr2)(3.2.3)

這里NID表示正態(tài)且獨立分布(normallyandindependentlydistribution)?

2、假定服從正態(tài)分布的依據(jù)

在回歸分析中，假定服從正態(tài)分布的依據(jù)是：

(1)中心極限定理是假定服從正態(tài)分布的理論依據(jù)。在第二章中曾指出，作為所有

可能影響被解釋變量但在回歸模型中被忽略的大量微小變量的代替變量。這些被忽略的大

量變量對被解釋變量所起的作用是微小的，而且是隨機的。根據(jù)中心極限定理可以證明，

如果存在大量獨立而且分布相同的隨機變量，那么隨著這些變量個數(shù)的無限增大(除少數(shù)

例外情形：柯西分布)，它們的總和將趨向于正態(tài)分布。中心極限定理的另一解釋是，即

使變量個數(shù)并不很大或這些變量不是嚴格獨立的，它們的總和仍可視為正態(tài)分布。

(2)正態(tài)分布變量的任何線性函數(shù)都是服從正態(tài)分布的。因此，若服從正態(tài)分布，作

為的線性函數(shù)的￡和A也服從正態(tài)分布，這會使我們的假設(shè)檢驗工作變得非常簡單。

(3)正態(tài)分布是一個比較簡單，其理論性質(zhì)在數(shù)理統(tǒng)計學(xué)中得到廣泛研究，且為人們

所熟悉的分布。它不僅有助于我們推導(dǎo)出OLSE的精確概率分布，而且使我們能用基于正

態(tài)分布得到的、和統(tǒng)計量來對回歸模型進行統(tǒng)計檢驗。

二、服從正態(tài)分布假定的OLSE的性質(zhì)

在正態(tài)性假定下，OLSE有如下統(tǒng)計性質(zhì)：

(1)無偏性(上節(jié)已證明)。

(2)有效性(即方差最小，上節(jié)已證明)。

(3)一致性。即隨著樣本量無限增大，估計量將收斂于它們的真值。一致估計量的充

分條件是：隨著樣本量的無限增大，它是無偏的，其方差趨于零。下面以R為例證明。

前面證明了A的無偏性，下面只需證明以的方差在無限增大時趨于零。由于

cr2a2/n

Var(fi)=(3.2.4)

2In

所以,

(3.2.5)

limVar(p2)=)=0

由此證明了OLSE以是真實的一致估計量。同樣可以證明￡也是一個一致估計量。

(4)方和后服從正態(tài)分布，即有：

_2>X2

A~N(/3\,-----(3.2.6)

進行標準化處理。

(5)5—2后2/02服從自由度為〃一2的分布，即有：生?二~力2(〃一2)

(3.2.8)

(6)(￡,A)的分布獨立于。

(7)才和片在整個無偏估計序列中，無論是線性或非線性估計，都有最小方差

(Rao)o因此,可以說正態(tài)假定下的OLSE是最優(yōu)無偏估計量(bestunbiasedestimator,

BUE)。這一點與高斯一馬爾科夫定理不一樣，它并不僅限于線性估計量一類。

正態(tài)性假定使我們能推導(dǎo)出￡、/以及的概率或抽樣分布。這將有助于簡化我們在

建立置信區(qū)間和假設(shè)檢驗的工作。

由于％~N(0,cy2),則也服從正態(tài)分布，即有：

Y：~N(/3"四X：d)(3.2.9)

有了的正態(tài)性假定，最小二乘法就為我們提供了對線性回歸模型進行估計和檢驗的全部

必備的工具。

三、極大似然估計法

一種比OLS方法具有更強理論性的點估計方法是極大似然(maximumlikelihood,

ML)估計法。如果假定服從正態(tài)分布，則回系數(shù)的ML估計量和OLSE是相同的，無論所

考慮的是簡單回歸還是多元(復(fù))回歸。

對于一元線性回歸模型丫產(chǎn)魚+&X,+%,因為“廠NIDQ"),所以

匕~加(注+層(,")，從而幾匕，，y”的聯(lián)合概率密度函數(shù)可寫成：

m，Y2,，丫用+―

由于諸的獨立性，樣本聯(lián)合概率密度函數(shù)可寫為個單獨的密度函數(shù)之積，即有：

/(匕匕，，y.|四+&X,,b2)(3210)

="XI4+尾x“/)/(%"+尾X,.,/)/(工I自+兒Xj,〃)…

其中：

f(Yi\P\+尸2乂,,〃)=7=^p{-——B'I,——}(3.2.11)

將式(3211)代入式(3.2.10)得：

/(九%:“|4+月//2)=jexp{—1?'一＞二月X}}(3212)

a?2])2b

一旦樣本被抽出，該樣本的聯(lián)合概率密度函數(shù)就可看作是未知參數(shù)，和的似然函數(shù)，記

為.：

LF(0、，四。2)=*exp{—乩X/}(32i3)

cr(72兀)2b

由于似然函數(shù)(3213)越大，我們觀測到的樣本出現(xiàn)的概率密度(3212)就越大，所以，

極大似然準則就是要找出使似然函數(shù)取最大值的未知參數(shù)，和的估計量。為此，將似然函

數(shù)(3.2.13)的兩邊取對數(shù)，得到對數(shù)似然函數(shù):

ln(LF)=--Lna2-—Ln(27r)--―'產(chǎn)“，)(3.2.14)

222<j~

由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以使似然函數(shù)達到最大的未知參數(shù)，和也必然使其對數(shù)

似然函數(shù)達到最大值，而極大化對數(shù)似然函數(shù)在代數(shù)處理上更方便。類似于OLS法，將

(3.2.14)式分別對，和求偏導(dǎo)數(shù)得：

=-±Z(X-4-四X,)(-1)(3.2.15)

0P\b

嗤》譚Z/3)(—X,)(3.2,16)

91ms

n.1Z(工一4一eX,)2(3.2.17)

da22c72G7

令這些方程為零，并記ML估計量為用，⑸和，使得：

32(工一口一見%)=。(3.2.18)

(7

(匕一四一AX)X,=0(3.2.19)

+(匕一4一22%)=0(3.2.20)

Z(TZ(T

簡化式(3.2.18)和式(3.2.19)，得到：

ZX="g(3.2.21)

ZXX=0》Xi+0》X；(3.2.22)

這與式(3.1.6)和式(3.1.7)表示的最小二乘法的正規(guī)方程形式完全一致。這就是

說,ML估計量片無異于0LSE&。這一結(jié)論并非偶然。讓我們仔細考察式(3