第2章 簡單線性回歸模型

計量經(jīng)濟學(xué)基礎(chǔ)第二章簡單線性回歸模型1第二章簡單線性回歸模型

本章主要討論:

●回歸分析與回歸函數(shù)●簡單線性回歸模型參數(shù)的估計●擬合優(yōu)度的度量●回歸系數(shù)的區(qū)間估計和假設(shè)檢驗●回歸模型預(yù)測2第一節(jié)回歸分析與回歸方程本節(jié)基本內(nèi)容:

●回歸與相關(guān)●總體回歸函數(shù)●隨機擾動項●樣本回歸函數(shù)

3

1.經(jīng)濟變量間的相互關(guān)系

◆確定性的函數(shù)關(guān)系◆不確定性的統(tǒng)計關(guān)系—相關(guān)關(guān)系

(ε為隨機變量)◆沒有關(guān)系一、回歸與相關(guān)

（對統(tǒng)計學(xué)的回顧）42.相關(guān)關(guān)系◆相關(guān)關(guān)系的描述

相關(guān)關(guān)系最直觀的描述方式——坐標圖（散點圖）

5

◆相關(guān)關(guān)系的類型

●

從涉及的變量數(shù)量看

簡單相關(guān)多重相關(guān)（復(fù)相關(guān)）

●

從變量相關(guān)關(guān)系的表現(xiàn)形式看

線性相關(guān)——散布圖接近一條直線非線性相關(guān)——散布圖接近一條曲線

●

從變量相關(guān)關(guān)系變化的方向看

正相關(guān)——變量同方向變化，同增同減負相關(guān)——變量反方向變化，一增一減不相關(guān)6

3.相關(guān)程度的度量—相關(guān)系數(shù)

總體線性相關(guān)系數(shù)：

其中：——X

的方差；

——Y的方差

——X和Y的協(xié)方差樣本線性相關(guān)系數(shù)：其中：和分別是變量

和的樣本觀測值和分別是變量和樣本值的平均值7

●和都是相互對稱的隨機變量●

線性相關(guān)系數(shù)只反映變量間的線性相關(guān)程度，不能說明非線性相關(guān)關(guān)系●

樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的樣本估計值，由于抽樣波動，樣本相關(guān)系數(shù)是個隨機變量，其統(tǒng)計顯著性有待檢驗●

相關(guān)系數(shù)只能反映線性相關(guān)程度，不能確定因果關(guān)系，不能說明相關(guān)關(guān)系具體接近哪條直線

計量經(jīng)濟學(xué)關(guān)心：變量間的因果關(guān)系及隱藏在隨機性后面的統(tǒng)計規(guī)律性，這有賴于回歸分析方法

使用相關(guān)系數(shù)時應(yīng)注意84.回歸分析回歸的古典意義：高爾頓遺傳學(xué)的回歸概念

(父母身高與子女身高的關(guān)系)回歸的現(xiàn)代意義：一個應(yīng)變量對若干解釋變量依存關(guān)系的研究回歸的目的（實質(zhì)）：由固定的解釋變量去估計應(yīng)變量的平均值9●

的條件分布

當解釋變量

取某固定值時（條件），

的值不確定，

的不同取值形成一定的分布，即

的條件分布?！?/p>

的條件期望

對于

的每一個取值，對

所形成的分布確定其期望或均值，稱為

的條件期望或條件均值

注意幾個概念10

●回歸線:

對于每一個

的取值，都有

的條件期望與之對應(yīng)，代表這些

的條件期望的點的軌跡所形成的直線或曲線，稱為回歸線。回歸線與回歸函數(shù)11

回歸函數(shù)：應(yīng)變量的條件期望隨解釋變量的變化而有規(guī)律的變化，如果把的條件期望表現(xiàn)為的某種函數(shù)這個函數(shù)稱為回歸函數(shù)?；貧w函數(shù)分為：總體回歸函數(shù)和樣本回歸函數(shù)舉例：假如已知100個家庭構(gòu)成的總體。

回歸線與回歸函數(shù)12每月家庭可支配收入

X100015002000250030003500400045005000550082096211081329163218422037227524642824888102412011365172618742110238825893038932112112641410178619062225242627903150每960121013101432183510682319248828563201月125913401520188520662321258729003288家132414001615194321852365265030213399庭1448165020372210239827893064消1489171220782289248728533142費1538177821792313251329343274支160018412298239825383110出17021886231624232567

Y1900238724532610201224982487271025892586900115014001650190021502400265029003150例:100個家庭構(gòu)成的總體(單位:元)13

1.總體回歸函數(shù)的概念

前提：假如已知所研究的經(jīng)濟現(xiàn)象的總體應(yīng)變量

和解釋變量

的每個觀測值,可以計算出總體應(yīng)變量

的條件均值，并將其表現(xiàn)為解釋變量

的某種函數(shù)

這個函數(shù)稱為總體回歸函數(shù)（PRF）二、總體回歸函數(shù)（PRF）14

（1）條件均值表現(xiàn)形式

假如

的條件均值是解釋變量

的線性函數(shù)，可表示為：

（2）個別值表現(xiàn)形式

對于一定的，

的各個別值分布在的周圍，若令各個與條件均值的偏差為,顯然是隨機變量,則有

或

2.總體回歸函數(shù)的表現(xiàn)形式15●實際的經(jīng)濟研究中總體回歸函數(shù)通常是未知的，只能根據(jù)經(jīng)濟理論和實踐經(jīng)驗去設(shè)定?！坝嬃俊钡哪康木褪菍で驪RF?！窨傮w回歸函數(shù)中

與

的關(guān)系可是線性的，也可是非線性的。對線性回歸模型的“線性”有兩種解釋

就變量而言是線性的

——

的條件均值是

的線性函數(shù)

就參數(shù)而言是線性的

——

的條件均值是參數(shù)

的線性函數(shù)

3.如何理解總體回歸函數(shù)16

變量、參數(shù)均為“線性”

參數(shù)“線性”，變量”非線性”變量“線性”，參數(shù)”非線性”計量經(jīng)濟學(xué)中:

線性回歸模型主要指就參數(shù)而言是“線性”,因為只要對參數(shù)而言是線性的,都可以用類似的方法估計其參數(shù)?！熬€性”的判斷17三、隨機擾動項◆概念:

各個值與條件均值的偏差代表排除在模型以外的所有因素對

的影響。◆性質(zhì)：是期望為0有一定分布的隨機變量重要性：隨機擾動項的性質(zhì)決定著計量經(jīng)濟方法的選擇18

●

未知影響因素的代表●

無法取得數(shù)據(jù)的已知影響因素的代表●

眾多細小影響因素的綜合代表●

模型的設(shè)定誤差●

變量的觀測誤差●

變量內(nèi)在隨機性引入隨機擾動項的原因19四、樣本回歸函數(shù)（SRF）

樣本回歸線：

對于的一定值，取得的樣本觀測值，可計算其條件均值，樣本觀測值條件均值的軌跡稱為樣本回歸線。

樣本回歸函數(shù)：如果把應(yīng)變量的樣本條件均值表示為解釋變量的某種函數(shù)，這個函數(shù)稱為樣本回歸函數(shù)（SRF）。

20SRF的特點●每次抽樣都能獲得一個樣本，就可以擬合一條樣本回歸線，所以樣本回歸線隨抽樣波動而變化，可以有許多條（SRF不唯一）。

SRF2SRF121●樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體回歸函數(shù)的函數(shù)形式一致。●樣本回歸線還不是總體回歸線，至多只是未知總體回歸線的近似表現(xiàn)。22

樣本回歸函數(shù)如果為線性函數(shù)，可表示為

其中：是與相對應(yīng)的的樣本條件均值和分別是樣本回歸函數(shù)的參數(shù)應(yīng)變量的實際觀測值不完全等于樣本條件均值，二者之差用表示,稱為剩余項或殘差項：

或者樣本回歸函數(shù)的表現(xiàn)形式23

對樣本回歸的理解

如果能夠獲得和的數(shù)值，顯然:●和是對總體回歸函數(shù)參數(shù)和的估計●是對總體條件期望的估計●

在概念上類似總體回歸函數(shù)中的，可視為對的估計。24

樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系

SRF

PRF

A

25

回歸分析的目的

用樣本回歸函數(shù)SRF去估計總體回歸函數(shù)PRF。由于樣本對總體總是存在代表性誤差，SRF總會過高或過低估計PRF。要解決的問題：尋求一種規(guī)則和方法，使得到的SRF的參數(shù)和盡可能“接近”總體回歸函數(shù)中的參數(shù)和。這樣的“規(guī)則和方法”有多種，最常用的是最小二乘法26第二節(jié)

簡單線性回歸模型的最小二乘估計

本節(jié)基本內(nèi)容:●簡單線性回歸的基本假定●普通最小二乘法●OLS回歸線的性質(zhì)●參數(shù)估計式的統(tǒng)計性質(zhì)27

一、簡單線性回歸的基本假定

1.為什么要作基本假定？

●模型中有隨機擾動，估計的參數(shù)是隨機變量，只有對隨機擾動的分布作出假定，才能確定所估計參數(shù)的分布性質(zhì)，也才可能進行假設(shè)檢驗和區(qū)間估計●只有具備一定的假定條件，所作出的估計才具有較好的統(tǒng)計性質(zhì)。28

（1）對模型和變量的假定如假定解釋變量是非隨機的，或者雖然是隨機的，但與擾動項

是不相關(guān)的假定解釋變量

在重復(fù)抽樣中為固定值假定變量和模型無設(shè)定誤差2、基本假定的內(nèi)容29又稱高斯假定、古典假定假定1：零條件均值假定

在給定的條件下，的條件期望為零（2）對隨機擾動項

的假定3031假定2：同方差假定在給定的條件下，的條件方差為某個常數(shù)（2）對隨機擾動項

的假定323334

假定3：無自相關(guān)假定

隨機擾動項的逐次值互不相關(guān)

353637

假定4：隨機擾動與解釋變量不相關(guān)

38

假定5：對隨機擾動項分布的正態(tài)性假定即假定服從均值為零、方差為的正態(tài)分布

（說明：正態(tài)性假定不影響對參數(shù)的點估計，但對確定所估計參數(shù)的分布性質(zhì)是需要的。且根據(jù)中心極限定理，當樣本容量趨于無窮大時，的分布會趨近于正態(tài)分布。所以正態(tài)性假定是合理的）39的分布性質(zhì)由于的分布性質(zhì)決定了的分布性質(zhì)。對的一些假定可以等價地表示為對的假定：

假定1：零均值假定假定2：同方差假定假定3：無自相關(guān)假定假定5：正態(tài)性假定40

◆OLS的基本思想●不同的估計方法可得到不同的樣本回歸參數(shù)和，所估計的也不同。●理想的估計方法應(yīng)使與的差即剩余越小越好●因可正可負，所以可以取最小即二、普通最小二乘法（ＯrdinaryLeastSquares）

41

正規(guī)方程和估計式

用克萊姆法則求解得觀測值形式的OLS估計式：

取偏導(dǎo)數(shù)為0，得正規(guī)方程42

為表達得更簡潔，或者用離差形式OLS估計式：

注意其中：而且樣本回歸函數(shù)可寫為

用離差表現(xiàn)的OLS估計式43三、OLS回歸線的性質(zhì)可以證明：●回歸線通過樣本均值●估計值的均值等于實際觀測值的均值

44●剩余項的均值為零●應(yīng)變量估計值與剩余項不相關(guān)

●解釋變量與剩余項不相關(guān)

45

四、參數(shù)估計式的統(tǒng)計性質(zhì)(一)參數(shù)估計式的評價標準

1.無偏性前提：重復(fù)抽樣中估計方法固定、樣本數(shù)不變、經(jīng)重復(fù)抽樣的觀測值，可得一系列參數(shù)估計值參數(shù)估計值的分布稱為的抽樣分布，密度函數(shù)記為如果，稱是參數(shù)

的無偏估計式，否則稱是有偏的，其偏倚為（見圖1.2）46圖1.2估計值偏倚

概率密度47前提：樣本相同、用不同的方法估計參數(shù)，可以找到若干個不同的估計式

目標：努力尋求其抽樣分布具有最小方差的估計式——最小方差準則，或稱最佳性準則（見圖1.3）

既是無偏的同時又具有最小方差的估計式，稱為最佳無偏估計式。2.最小方差性48概率密度

圖1.3估計值49

4.漸近性質(zhì)（大樣本性質(zhì)）

思想:當樣本容量較小時，有時很難找到最佳無偏估計，需要考慮樣本擴大后的性質(zhì)一致性：

當樣本容量

n

趨于無窮大時，如果估計式依概率收斂于總體參數(shù)的真實值，就稱這個估計式是

的一致估計式。即或

漸近有效性：當樣本容量n趨于無窮大時，在所有的一致估計式中，具有最小的漸近方差。

(見圖1.4)50概率密度

估計值

圖1.451（二）

OLS估計式的統(tǒng)計性質(zhì)●

由OLS估計式可以看出

由可觀測的樣本值和唯一表示?！?/p>

因存在抽樣波動，OLS估計是隨機變量●

OLS估計式是點估計式521.線性特征

是的線性函數(shù)

2.無偏特性

3.最小方差特性

在所有的線性無偏估計中，OLS估計具有最小方差結(jié)論：在古典假定條件下,OLS估計式是最佳線性無偏估計式（BLUE）

OLS估計式的統(tǒng)計性質(zhì)——高斯定理53第三節(jié)擬合優(yōu)度的度量本節(jié)基本內(nèi)容:●什么是擬合優(yōu)度●總變差的分解●可決系數(shù)54

一、什么是擬合優(yōu)度?

概念：樣本回歸線是對樣本數(shù)據(jù)的一種擬合，不同估計方法可擬合出不同的回歸線，擬合的回歸線與樣本觀測值總有偏離。樣本回歸線對樣本觀測數(shù)據(jù)擬合的優(yōu)劣程度

——擬合優(yōu)度擬合優(yōu)度的度量建立在對總變差分解的基礎(chǔ)上55二、總變差的分解

分析Y的觀測值、估計值與平均值的關(guān)系將上式兩邊平方加總，可證得

（TSS）（ESS）（RSS）

56

總變差（TSS）：應(yīng)變量Y的觀測值與其平均值的離差平方和（總平方和）

解釋了的變差（ESS）：應(yīng)變量Y的估計值與其平均值的離差平方和（回歸平方和）

剩余平方和（RSS）：應(yīng)變量觀測值與估計值之差的平方和（未解釋的平方和）57

變差分解的圖示58

三、可決系數(shù)以TSS同除總變差等式兩邊：或

定義：回歸平方和（解釋了的變差ESS）在總變差（TSS）中所占的比重稱為可決系數(shù)，用表示:

或

59作用：可決系數(shù)越大，說明在總變差中由模型作出了解釋的部分占的比重越大，模型擬合優(yōu)度越好。反之可決系數(shù)小，說明模型對樣本觀測值的擬合程度越差。特點：●可決系數(shù)取值范圍：●隨抽樣波動，樣本可決系數(shù)是隨抽樣而變動的隨機變量●可決系數(shù)是非負的統(tǒng)計可決系數(shù)的作用和特點60可決系數(shù)與相關(guān)系數(shù)的關(guān)系（1）聯(lián)系

數(shù)值上，可決系數(shù)等于應(yīng)變量與解釋變量之間簡單相關(guān)系數(shù)的平方:61可決系數(shù)與相關(guān)系數(shù)的關(guān)系可決系數(shù)相關(guān)系數(shù)就模型而言就兩個變量而言說明解釋變量對應(yīng)變量的解釋程度度量兩個變量線性依存程度。度量不對稱的因果關(guān)系度量不含因果關(guān)系的對稱相關(guān)關(guān)系取值：[0,1]取值：[－1,1]（2）區(qū)別62運用可決系數(shù)時應(yīng)注意●可決系數(shù)只是說明列入模型的所有解釋變量對因變量的聯(lián)合的影響程度，不說明模型中每個解釋變量的影響程度（在多元中）●回歸的主要目的如果是經(jīng)濟結(jié)構(gòu)分析，不能只追求高的可決系數(shù)，而是要得到總體回歸系數(shù)可信的估計量，可決系數(shù)高并不表示每個回歸系數(shù)都可信任●如果建模的目的只是為了預(yù)測因變量值，不是為了正確估計回歸系數(shù)，一般可考慮有較高的可決系數(shù)63第四節(jié)

回歸系數(shù)的區(qū)間估計和假設(shè)檢驗本節(jié)基本內(nèi)容：●OLS估計的分布性質(zhì)●回歸系數(shù)的區(qū)間估計●回歸系數(shù)的假設(shè)檢驗64問題的提出

為什么要作區(qū)間估計？OLS估計只是通過樣本得到的點估計，不一定等于真實參數(shù)，還需要找到真實參數(shù)的可能范圍，并說明其可靠性。為什么要作假設(shè)檢驗？OLS估計只是用樣本估計的結(jié)果，是否可靠？是否抽樣的偶然結(jié)果？還有待統(tǒng)計檢驗。區(qū)間估計和假設(shè)檢驗都是建立在確定參數(shù)估計值概率分布性質(zhì)的基礎(chǔ)上。65

一、OLS估計的分布性質(zhì)基本思想

是隨機變量，必須確定其分布性質(zhì)才可能進行區(qū)間估計和假設(shè)檢驗是服從正態(tài)分布的隨機變量,決定了也是服從正態(tài)分布的隨機變量，是的線性函數(shù)，決定了也是服從正態(tài)分布的隨機變量，只要確定的期望和方差，即可確定的分布性質(zhì)66●的期望：(無偏估計）●的方差和標準誤差

(標準誤差是方差的算術(shù)平方根)

注意：以上各式中未知，其余均是樣本觀測值

的期望和方差67

可以證明的無偏估計為

(n-2為自由度,即可自由變化的樣本觀測值個數(shù))對隨機擾動項方差的估計68

●在已知時將作標準化變換69

（1）當樣本為大樣本時，用估計的參數(shù)標準誤差對作標準化變換，所得Z統(tǒng)計量仍可視為標準正態(tài)變量（根據(jù)中心極限定理）（2）當樣本為小樣本時，可用代替，去估計參數(shù)的標準誤差，用估計的參數(shù)標準誤差對作標準化變換，所得的t統(tǒng)計量不再服從正態(tài)分布（這時分母也是隨機變量），而是服從t分布：

●當未知時

70二、回歸系數(shù)的區(qū)間估計概念：對參數(shù)作出的點估計是隨機變量，雖然是無偏估計，但還不能說明估計的可靠性和精確性，需要找到包含真實參數(shù)的一個范圍，并確定這個范圍包含參數(shù)真實值的可靠程度。在確定參數(shù)估計式概率分布性質(zhì)的基礎(chǔ)上，可找到兩個正數(shù)δ和α（），使得區(qū)間包含真實的概率為，即

這樣的區(qū)間稱為所估計參數(shù)的置信區(qū)間。71

一般情況下,總體方差未知，用無偏估計去代替，由于樣本容量較小，統(tǒng)計量

t不再服從正態(tài)分布，而服從

t分布?？捎胻分布去建立參數(shù)估計的置信區(qū)間。

回歸系數(shù)區(qū)間估計的方法72選定α，查t分布表得顯著性水平為

，自由度為

的臨界值，則有即73三、回歸系數(shù)的假設(shè)檢驗1.假設(shè)檢驗的基本思想為什么要作假設(shè)檢驗？所估計的回歸系數(shù)、和方差都是通過樣本估計的，都是隨抽樣而變動的隨機變量，它們是否可靠？是否抽樣的偶然結(jié)果呢？還需要加以檢驗。74

對回歸系數(shù)假設(shè)檢驗的方式計量經(jīng)濟學(xué)中，主要是針對變量的參數(shù)真值是否為零來進行顯著性檢驗的。目的：對簡單線性回歸，判斷解釋變量是否是被解釋變量

的顯著影響因素。在一元線性模型中，就是要判斷是否對具有顯著的線性影響。這就需要進行變量的顯著性檢驗。

75一般情況下，總體方差未知，只能用去

代替，可利用t分布作t檢驗給定,查

t分布表得▼如果或者則拒絕原假設(shè),而接受備擇假設(shè)▼如果則接受原假設(shè)2.回歸系數(shù)的檢驗方法76

P用P值判斷參數(shù)的顯著性假設(shè)檢驗的p值：p值是基于既定的樣本數(shù)據(jù)所計算的統(tǒng)計量，是拒絕原假設(shè)的最低顯著性水平。統(tǒng)計分析軟件中通常都給出了檢驗的p值統(tǒng)計量t由樣本計算的統(tǒng)計量為:相對于顯著性水平的臨界值:或注意：t檢驗是比較和P值檢驗是比較和p與相對應(yīng)與P相對應(yīng)77

用P值判斷參數(shù)的顯著性假設(shè)檢驗的p

值：p

值是根據(jù)既定的樣本數(shù)據(jù)所計算的統(tǒng)計量，拒絕原假設(shè)的最小顯著性水平。統(tǒng)計分析軟件中通常都給出了檢驗的p

值。78方法：將給定的顯著性水平與

值比較：?若值，則在顯著性水平下拒絕原假設(shè)，即認為

對

有顯著影響?若值，則在顯著性水平下接受原假設(shè)，即認為

對

沒有顯著影響規(guī)則：當時，

值越小，越能拒絕原假設(shè)用P值判斷參數(shù)的顯著性的方法79

本節(jié)主要內(nèi)容：

●回歸分析結(jié)果的報告

●被解釋變量平均值預(yù)測

●被解釋變量個別值預(yù)測第五節(jié)

回歸模型預(yù)測80一、回歸分析結(jié)果的報告

經(jīng)過模型的估計、檢驗，得到一系列重要的數(shù)據(jù)，為了簡明、清晰、規(guī)范地表述這些數(shù)據(jù)，計量經(jīng)濟學(xué)通常采用了以下規(guī)范化的方式：例如：回歸結(jié)果為

標準誤差SEt統(tǒng)計量可決系數(shù)和自由度81

二、被解釋變量平均值預(yù)測1.基本思想●運用計量經(jīng)濟模型作預(yù)測：指利用所估計的樣本回歸函數(shù)，用解釋變量的已知值或預(yù)測值，對預(yù)測期或樣本以外的被解釋變量數(shù)值作出定量的估計?！裼嬃拷?jīng)濟預(yù)測是一種條件預(yù)測：

條件：◆模型設(shè)定的關(guān)系式不變

◆所估計的參數(shù)不變