計(jì)量經(jīng)濟(jì)學(xué)有關(guān)一元線性回歸方程(修訂版)的講解

第二章一元線性回歸模型回歸的含義總體回歸函數(shù)樣本回歸函數(shù)普通最小二乘法（OLS）線性模型與非線性模型關(guān)于隨機(jī)誤差項(xiàng)的古典假設(shè)OLS估計(jì)量的性質(zhì)OLS估計(jì)量的概率分布假設(shè)檢驗(yàn)與置信區(qū)間擬合優(yōu)度案例分析與Eviews的應(yīng)用回歸的含義

回歸的歷史含義F.加爾頓最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于“回歸”到全體人口的平均身高。

回歸的現(xiàn)代釋義回歸分析用于研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。商品需求函數(shù)：

生產(chǎn)函數(shù)：

菲利普斯曲線：

拉弗曲線：

等式左邊的變量被稱為被解釋變量（ExplainedVariable）或應(yīng)變量（DependeniVariable）。等式右邊的變量被稱為解釋變量（ExplanaioryVariable）或自變量（IndependeniVariable）。

回歸的現(xiàn)代釋義

回歸分析的目的

根據(jù)自變量的值，估計(jì)因變量的均值。檢驗(yàn)（基于經(jīng)濟(jì)理論的）假設(shè)。根據(jù)樣本外自變量的值，預(yù)測(cè)因變量的均值。

回歸與因果關(guān)系從邏輯上說(shuō)，統(tǒng)計(jì)關(guān)系式本身不可能意味著任何因果關(guān)系?！耙粋€(gè)統(tǒng)計(jì)關(guān)系式，不管多強(qiáng)也不管多么有啟發(fā)性，卻永遠(yuǎn)不能確立因果方面的聯(lián)系：對(duì)因果關(guān)系的理念，必須來(lái)自統(tǒng)計(jì)學(xué)以外，最終來(lái)自這種或那種理論?！?/p>

——Kendall和Stuart前面四個(gè)例子都是基于經(jīng)濟(jì)理論設(shè)定的，包括身高和體重的關(guān)系。總體回歸函數(shù)

假想案例

總體回歸函數(shù)的隨機(jī)設(shè)定

隨機(jī)誤差項(xiàng)的意義XY80100120140160180200220240260556579801021101201351371506070849310711513613714515265749095110120140140155175708094103116130144152165178758598108118135145157175180－88－113125140－160189185－－－115－－－162－191戶數(shù)5657665765總支出32546244570767875068510439661211

假設(shè)一個(gè)國(guó)家只有60戶居民，他們的可支配收入和消費(fèi)支出數(shù)據(jù)如下（單位：美元）：

假想案例（1）由于不確定因素的影響，對(duì)同一收入水平X，不同家庭的消費(fèi)支出不完全相同；（2）但由于調(diào)查的完備性，給定收入水平X的消費(fèi)支出Y的分布是確定的，即以X的給定值為條件的Y的條件分布（Conditionaldistribution）是已知的，如：P(Y=55|X=80）=1/5。

因此，給定收入X的值Xi，可得消費(fèi)支出Y的條件均值(conditionalmean)或條件期望（conditionalexpectation）:

E(Y|X=Xi)該例中：

E(Y|X=80)=65分析：

描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說(shuō)”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。E(Y|Xi)

=0

+1Xi=17.00+0.6Xi“天行有常，不為堯存，不為桀亡。應(yīng)之以治則吉，應(yīng)之以亂則兇?！?/p>

---荀子《天論》E(Y|Xi)

=0

+1Xi

總體回歸函數(shù)其中：Y——被解釋變量；X——解釋變量；0，1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）

總體回歸函數(shù)的隨機(jī)設(shè)定

對(duì)于某一個(gè)家庭，如何描述可支配收入和消費(fèi)支出的關(guān)系?XiYi.........E(Y|Xi)

=0

+1

XiY1Y2Y3u1u2u3—總體回歸直線ui＝Y(jié)i-E(Y|Xi)—隨機(jī)誤差項(xiàng)某個(gè)家庭的消費(fèi)支出分為兩部分：一是E(Y|Xi)=0

+1Xi

，稱為系統(tǒng)成分或確定性成分；二是ui，稱為非系統(tǒng)或隨機(jī)性成分。Yi=E(Y|Xi)

+ui

=0

+1

Xi

+uiYi=0

+1

Xi

+uiE(Y|Xi)

=0

+1

Xi,隨機(jī)性總體回歸函數(shù)確定性總體回歸函數(shù)

隨機(jī)誤差項(xiàng)u的意義

反映被忽略掉的因素對(duì)被解釋變量的影響?；蛘呃碚摬粔蛲晟疲蛘邤?shù)據(jù)缺失；或者影響輕微。模型設(shè)定誤差度量誤差人類行為內(nèi)在的隨機(jī)性XY8010012014016018020022024026055——————135137—60——93107115————6574—95110120—140—175——94103——144——17875—98108—135——175—－88－113125—－—189—－－－115－－－162－191戶數(shù)4226331333總支出255162192627342370144337501544樣本回歸函數(shù)

為研究總體，我們需要抽取一定的樣本。

第一個(gè)樣本樣本回歸線樣本均值連線XY80100120140160180200220240260—6579—102—120135——60708493—115——145152—7490—————155——80——116—144152165—7585——118—145——180－—－——140－160189185－－－115－－－—－—戶數(shù)2532323343總支出135374253208336255409447654517樣本回歸函數(shù)

第二個(gè)樣本樣本回歸線樣本均值連線

總體回歸模型和樣本回歸模型的比較XiYiY1Y2Y3u1u2u3e2e3e1E(Y|Xi)

=0

+1

Xi注意：分清幾個(gè)關(guān)系式和表示符號(hào)（2）樣本（估計(jì)的）回歸直線：（3）總體（真實(shí)的）回歸函數(shù)：

（4）樣本（估計(jì)的）回歸函數(shù)：（1）總體（真實(shí)的）回歸直線：ui——隨機(jī)誤差項(xiàng)ei——?dú)埐铐?xiàng)對(duì)于所研究的經(jīng)濟(jì)問(wèn)題，通?？傮w回歸直線E(Yi|Xi)

=0

+1Xi

是觀測(cè)不到的?？梢酝ㄟ^(guò)收集樣本來(lái)對(duì)總體（真實(shí)的）回歸直線做出估計(jì)。

樣本回歸模型：

其中：為Yi的估計(jì)值（擬合值）；為0

,1

的估計(jì)值；ei為殘差，可視為ui的估計(jì)值。普通最小二乘法或：如何得到一條能夠較好地反映這些點(diǎn)變化規(guī)律的直線呢？對(duì)于參數(shù)的估計(jì)采用最小二乘估計(jì)法、最小二乘法的原則是以“殘差平方和最小”確定直線位置（即估計(jì)參數(shù)）。（Q為殘差平方和）Q===則通過(guò)Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個(gè)求極值的問(wèn)題，可以通過(guò)求導(dǎo)數(shù)得到。

樣本回歸模型：

則通過(guò)Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個(gè)求極值的問(wèn)題，可以通過(guò)求導(dǎo)數(shù)得到。求Q對(duì)兩個(gè)待估參數(shù)的偏導(dǎo)數(shù)：=

=0=

=0正規(guī)方程組即根據(jù)以上兩個(gè)偏導(dǎo)方程得以下正規(guī)方程（Normalequation）：OLS回歸直線的性質(zhì)

（1）殘差和等于零（2）估計(jì)的回歸直線過(guò)點(diǎn).

（3）Yi

的擬合值的平均數(shù)等于其樣本觀測(cè)值的平均數(shù).=

=

由正規(guī)方程可得。=

=

（4）Cov（ei,Xi）=0=

=

（5）Cov（ei,）=0線性與非線性生產(chǎn)函數(shù)：

菲利普斯曲線：

拉弗曲線：

受教育年限與平均小時(shí)工資奧肯定律股票價(jià)格與利率古董鐘與拍賣價(jià)格

一些例子利用OLS方法得到一個(gè)樣本回歸模型（一條樣本回歸線）后，問(wèn)題結(jié)束了嗎？為什么要用普通最小二乘法？樣本回歸模型有無(wú)窮多個(gè)，我們僅僅得到其中一個(gè)，它能反映真實(shí)的總體回歸模型嗎？樣本回歸模型對(duì)數(shù)據(jù)的擬合程度可以接受嗎？如何用樣本回歸模型進(jìn)行預(yù)測(cè)？問(wèn)題結(jié)束了嗎？1密度函數(shù)假定1：解釋變量是非隨機(jī)的。假定2:

零期望假定：E(ui)=0。

E(ui|Xi)=0。古典線性回歸模型的基本假定E(Y|Xi)

=0

+1

XiXY0假定3：同方差性假定：Var(ui)=E[ui

-E(ui)]2=E(ui2)=

2。XY0XY0同方差異方差假定4：無(wú)序列相關(guān)（無(wú)自相關(guān)）假定：Cov(ui,uj)=E[(ui-E(ui))(uj

-E(uj))]=E(uiuj)=0,(i

j)。無(wú)自相關(guān)正自相關(guān)負(fù)自相關(guān)假定5：ui服從正態(tài)分布,

ui~N(0,2)假定6*：解釋變量X與隨機(jī)誤差項(xiàng)u不相關(guān)

Cov(ui,Xi)=E[(ui-E(ui))(Xi

-E(Xi))]=E(ui

Xi)=0

如果X為確定性變量，該假定自然滿足假定7*：回歸模型是關(guān)于參數(shù)線性的，但不一定關(guān)于變量線性。其他一些假定的說(shuō)明：OLS估計(jì)量的性質(zhì)

高斯-馬爾可夫定理如果滿足古典線性回歸模型的基本假定（假定1-假定4），則在所有的線性估計(jì)量中，OLS估計(jì)量是最優(yōu)線性無(wú)偏估計(jì)量（BLUE）。線性性無(wú)偏性有效性都是Yi的線性函數(shù)。證明：=

=

=

令代入上式，得：=

線性性

線性估計(jì)量的處理要比非線性估計(jì)量更為容易證明：======

無(wú)偏性=11無(wú)偏估計(jì)量有偏估計(jì)量OLS估計(jì)量的方差比其他線性無(wú)偏估計(jì)量的方差都小。

最小方差性與有效性1

一致性（了解）1概率密度OLS估計(jì)量的方差為什么要估計(jì)方差？方差反映了數(shù)據(jù)的離散程度和估計(jì)結(jié)果的精確性。受教育年限與每小時(shí)工資1總體（隨機(jī)誤差項(xiàng)）真實(shí)方差2的估計(jì)量：

2的估計(jì)受教育年限與每小時(shí)工資OLS估計(jì)量的概率分布概率分布是進(jìn)行假設(shè)檢驗(yàn)的前提如果受教育年限的單位為月如果受教育年限的單位為日2、方差（1）的期望（2）的期望1、期望（2）的方差（1）的方差服從N（）N（）服從假定7：ui

服從正態(tài)分布，即ui

N(0,

2

)。Yi=0

+1

Xi

+ui，所以Yi~N(0

+1

Xi

,

2

)線性性H0：1=0H1：10零假設(shè)與備擇假設(shè)構(gòu)造統(tǒng)計(jì)量0受教育年限與每小時(shí)工資假設(shè)檢驗(yàn)與置信區(qū)間1

假設(shè)檢驗(yàn)

Z檢驗(yàn)與t檢驗(yàn)顯著性檢驗(yàn)（t檢驗(yàn)）的基本步驟首先，提出原假設(shè)和備擇假設(shè)：

H0：

H1：

其次，確定并計(jì)算統(tǒng)計(jì)量：

＝最后，給定顯著性水平，查自由度為t-2的t分布表。則，

如果不能拒絕H0：1=0，認(rèn)為X對(duì)Y沒(méi)有顯著影響。

如果拒絕H0：1=0

，認(rèn)為X對(duì)Y有顯著影響。

同理,可對(duì)0

進(jìn)行顯著性檢驗(yàn)。

模型：=2.5%t(n-2)-t0.025t0.025=2.5%95%0雙側(cè)受教育年限與每小時(shí)工資n=130-2.2012.201H0：1=0H1：10股票價(jià)格與利率H0：1=0H1：10n=20

其他零假設(shè)檢驗(yàn)奧肯定律H0：1=-0.4H1：1-0.4n=29

對(duì)于雙變量模型，自由度總為(n-2)

經(jīng)驗(yàn)分析中，常用的有1%、5%和10%。為了避免顯著水平選擇的隨意性，通常要給出p值。p值

t(n-2)-t0.025t0.025p/20tp值>0.05，接受原假設(shè)t(n-2)-t0.025t0.025p/20tp值<0.05，拒絕原假設(shè)雙側(cè)檢驗(yàn)首先，提出原假設(shè)和備擇假設(shè)：

H0：

H1：

其次，確定并計(jì)算統(tǒng)計(jì)量：

＝最后，給定顯著性水平，查自由度為t-2的t分布表。則，

如果不能拒絕H0：1=0，認(rèn)為X對(duì)Y沒(méi)有影響。

如果拒絕H0：1

0

，認(rèn)為X對(duì)Y的影響為負(fù)。單側(cè)檢驗(yàn)

H0：

H1：

如果不能拒絕H0：1=0如果拒絕H0：1>0t(n-2)t0.05=5%95%0=5%t(n-2)-t0.0595%0單側(cè)（左側(cè)）單側(cè)（右側(cè)）受教育年限與每小時(shí)工資n=1301.796H0：1=0H1：1>0股票價(jià)格與利率n=20H0：1=0H1：1>0p值

t(n-2)t0.05p0tp值>0.05，接受原假設(shè)t(n-2)t0.05p0tp值<0.05，拒絕原假設(shè)單側(cè)檢驗(yàn)p值

t(n-2)-t0.05p0tp值>0.05，接受原假設(shè)t(n-2)t0.05p0tp值<0.05，拒絕原假設(shè)單側(cè)檢驗(yàn)用p

值判斷參數(shù)的顯著性的方法方法：將給定的顯著性水平與p值比較：?若p值<

，則在顯著性水平下拒絕原假設(shè)H0:=0,

即認(rèn)為X對(duì)Y有顯著影響；?若p值

，則在顯著性水平下接受原假設(shè)H0:=0，

即認(rèn)為X對(duì)Y沒(méi)有顯著影響；這一判別規(guī)則對(duì)于單側(cè)檢驗(yàn)和雙側(cè)檢驗(yàn)都成立！

置信區(qū)間

1=2.5%2=2.5%由于：由大括號(hào)內(nèi)不等式表示置信水平為1-α?xí)r1的置信區(qū)間：得：P{t/2

(n-2)

}=1-

同理,可求得的置信區(qū)間為：

-t/2(n-2)

0

t/2(n-2)

受教育年限與每小時(shí)工資n=13通過(guò)置信區(qū)間，可以直接對(duì)H0：1=0進(jìn)行檢驗(yàn)嗎？股票價(jià)格與利率n=20離差平方和的分解可決系數(shù)擬合優(yōu)度：是指回歸直線對(duì)觀測(cè)值的擬合程度。顯然，若觀測(cè)值離回歸直線近，則擬合優(yōu)度好，反之，則擬合優(yōu)度差，度量擬合優(yōu)度的統(tǒng)計(jì)量是可決系數(shù)。

擬合優(yōu)度與可決系數(shù)

離差平方和的分解........YXYi

Xi

A0=+=+總離差

=回歸差

+殘差

回歸差：由樣本回歸直線解釋的部分

殘差：不能由樣本回歸直線解釋的部分

可以證明:

證明:==由于：

====0所以：

=＋

總離差平方和＝回歸平方和＋殘差平方和TSS=ESS+RSS

可決系數(shù)＋=1回歸平方和在總離差平方和中所占的比重越大，說(shuō)明樣本回歸直線對(duì)樣本值擬合的程度越好。因此，用來(lái)表示擬合優(yōu)度的樣本可決系數(shù)定義為：R2

=

===

=R