李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸

§2.2一元線性回歸模型的參數(shù)估計(jì)

一、一元線性回歸模型的基本假設(shè)二、參數(shù)的普通最小二乘估計(jì)（OLS）三、參數(shù)估計(jì)的最大或然法(ML)四、最小二乘估計(jì)量的性質(zhì)五、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第1頁!單方程計(jì)量經(jīng)濟(jì)學(xué)模型分為兩大類：

線性模型和非線性模型線性模型中，變量之間的關(guān)系呈線性關(guān)系非線性模型中，變量之間的關(guān)系呈非線性關(guān)系

一元線性回歸模型：只有一個(gè)解釋變量

i=1,2,…,nY為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機(jī)干擾項(xiàng)李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第2頁!

回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)（模型）PRF。

估計(jì)方法有多種，其種最廣泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。

為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)。

注：實(shí)際這些假設(shè)與所采用的估計(jì)方法緊密相關(guān)。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第3頁!

一、線性回歸模型的基本假設(shè)

假設(shè)1、解釋變量X是確定性變量，不是隨機(jī)變量；

假設(shè)2、隨機(jī)誤差項(xiàng)具有零均值、同方差和不序列相關(guān)性：E(i)=0i=1,2,…,nVar(i)=2i=1,2,…,nCov(i,j)=0i≠ji,j=1,2,…,n

假設(shè)3、隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：Cov(Xi,i)=0i=1,2,…,n

假設(shè)4、服從零均值、同方差、零協(xié)方差的正態(tài)分布i~N(0,2)i=1,2,…,n李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第4頁!

另外，在進(jìn)行模型回歸時(shí)，還有兩個(gè)暗含的假設(shè)：

假設(shè)5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一有限常數(shù)。即

假設(shè)6：回歸模型是正確設(shè)定的

假設(shè)5旨在排除時(shí)間序列數(shù)據(jù)出現(xiàn)持續(xù)上升或下降的變量作為解釋變量，因?yàn)檫@類數(shù)據(jù)不僅使大樣本統(tǒng)計(jì)推斷變得無效，而且往往產(chǎn)生所謂的偽回歸問題（spuriousregressionproblem）。假設(shè)6也被稱為模型沒有設(shè)定偏誤（specificationerror）李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第5頁!方程組（*）稱為正規(guī)方程組（normalequations）。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第6頁!順便指出，記則有

可得

（**）式也稱為樣本回歸函數(shù)的離差形式。（**）注意：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對均值的離差。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第7頁!在滿足基本假設(shè)條件下，對一元線性回歸模型：

隨機(jī)抽取n組樣本觀測值（Xi,Yi）（i=1,2,…n）。那么Yi服從如下的正態(tài)分布：于是，Y的概率函數(shù)為（i=1,2,…n）假如模型的參數(shù)估計(jì)量已經(jīng)求得，為李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第8頁!

由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價(jià)的，所以，取對數(shù)或然函數(shù)如下：李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第9頁!例2.2.1：在上述家庭可支配收入-消費(fèi)支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計(jì)的計(jì)算可通過下面的表2.2.1進(jìn)行。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第10頁!

四、最小二乘估計(jì)量的性質(zhì)當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。一個(gè)用于考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性：

（1）線性性，即它是否是另一隨機(jī)變量的線性函數(shù)；

（2）無偏性，即它的均值或期望值是否等于總體的真實(shí)值；

（3）有效性，即它是否在所有線性無偏估計(jì)量中具有最小方差。李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第11頁!高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第12頁!李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第13頁!

由于最小二乘估計(jì)量擁有一個(gè)“好”的估計(jì)量所應(yīng)具備的小樣本特性，它自然也擁有大樣本特性。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第14頁!李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第15頁!在最大或然估計(jì)法中，因此，2的最大或然估計(jì)量不具無偏性，但卻具有一致性。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第16頁!1、如果假設(shè)1、2滿足，則假設(shè)3也滿足;

2、如果假設(shè)4滿足，則假設(shè)2也滿足。注意：

以上假設(shè)也稱為線性回歸模型的經(jīng)典假設(shè)或高斯（Gauss）假設(shè)，滿足該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸模型（ClassicalLinearRegressionModel,CLRM）。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第17頁!二、參數(shù)的普通最小二乘估計(jì)（OLS）

給定一組樣本觀測值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)盡可能好地?cái)M合這組值.

普通最小二乘法（Ordinaryleastsquares,OLS）給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小。李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第18頁!記上述參數(shù)估計(jì)量可以寫成：

稱為OLS估計(jì)量的離差形式（deviationform）。由于參數(shù)的估計(jì)結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計(jì)量（ordinaryleastsquaresestimators）。

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第19頁!

三、參數(shù)估計(jì)的最大或然法(ML)

最大或然法(MaximumLikelihood,簡稱ML)，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)。

基本原理：對于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測值的概率最大。李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第20頁!因?yàn)閅i是相互獨(dú)立的，所以的所有樣本觀測值的聯(lián)合概率，也即或然函數(shù)(likelihoodfunction)為：

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第21頁!解得模型的參數(shù)估計(jì)量為：

可見，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計(jì)量與普通最小二乘估計(jì)量是相同的。李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第22頁!因此，由該樣本估計(jì)的回歸方程為：

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第23頁!（4）漸近無偏性，即樣本容量趨于無窮大時(shí)，是否它的均值序列趨于總體真值；（5）一致性，即樣本容量趨于無窮大時(shí)，它是否依概率收斂于總體的真值；（6）漸近有效性，即樣本容量趨于無窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。

這三個(gè)準(zhǔn)則也稱作估計(jì)量的小樣本性質(zhì)。擁有這類性質(zhì)的估計(jì)量稱為最佳線性無偏估計(jì)量（bestlinerunbiasedestimator,BLUE）。

當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大樣本或漸近性質(zhì)：李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第24頁!證：易知故同樣地，容易得出

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第25頁!（2）證明最小方差性其中，ci=ki+di，di為不全為零的常數(shù)則容易證明普通最小二乘估計(jì)量（ordinaryleastSquaresEstimators）稱為最佳線性無偏估計(jì)量（bestlinearunbiasedestimator,BLUE）

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第26頁!

五、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)

李子奈計(jì)量經(jīng)濟(jì)學(xué)22一元線性回歸共29頁，