第2章2一元線性回歸模型的參數(shù)估計(jì)

§2.2一元線性回歸模型的參數(shù)估計(jì)

（教材P33）一、一元線性回歸模型的參數(shù)估計(jì)二、普通最小二乘參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)三、普通最小二乘參數(shù)估計(jì)量的概率分布一、一元線性回歸模型的參數(shù)估計(jì)

（教材P33）一元線性回歸模型的一般形式是：

i=1，2，…，n在滿足如下基本假設(shè)【見P30-32，主要是假設(shè)2-5】的情況下：(i=1,2,…,n;j=1,2,…,n;i≠j)隨機(jī)抽取n組樣本觀測(cè)值(Yi,Xi)，i=1,2,…,n，就可以估計(jì)模型的參數(shù)。模型參數(shù)估計(jì)的常用方法

模型參數(shù)估計(jì)的常用方法：普通最小二乘法（OrdinaryLeastSquare,OLS）：最合理的參數(shù)估計(jì)量應(yīng)該使得模型能夠最好地?cái)M合樣本數(shù)據(jù)，也就是使殘差平方和最小。最大似然法（MaximumLikelihood,ML）：最合理的參數(shù)估計(jì)量應(yīng)該使得從模型總體中抽到該n組樣本觀測(cè)值的聯(lián)合概率（也即似然函數(shù)）最大。（李子奈P35-36）矩法（Methodof

Moment,MM）：就是用樣本矩估計(jì)總體矩。（李子奈P36-37）本課程在線性回歸模型部分只要求掌握最小二乘法，但在二元離散選擇模型部分則無法回避最大似然法。1.普通最小二乘法（OrdinaryLeastSquare,OLS）

給定一組樣本觀測(cè)值（Xi,Yi），i=1,2,…n，假如模型參數(shù)估計(jì)量已經(jīng)求得，并且是最合理的參數(shù)估計(jì)量，那么樣本回歸函數(shù)應(yīng)該能夠最好地?cái)M合樣本數(shù)據(jù)，即樣本回歸線上的點(diǎn)與真實(shí)觀測(cè)點(diǎn)的“總體誤差”應(yīng)該盡可能地小。

對(duì)此，普通最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小，即

iY?

樣本與總體回歸線YiYiiXY10???bb+=ieiiXXYE10)|(bb+=)|(iXYEXiXim解得：正規(guī)方程組普通最小二乘參數(shù)估計(jì)量的離差形式

(deviationform)記則參數(shù)估計(jì)量可以寫成：注：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以大寫字母表示原始數(shù)據(jù)（觀測(cè)值），而以小寫字母表示對(duì)均值的離差（deviation)。2.OLS樣本回歸線的數(shù)值性質(zhì)

(numericalproperties)樣本回歸線通過Y和X的樣本均值；Y估計(jì)值的均值等于觀測(cè)值的均值；殘差的均值為0。要求：你應(yīng)該會(huì)證明！并通過證明過程掌握普通最小二乘法的正規(guī)方程組和參數(shù)估計(jì)公式。

當(dāng)模型參數(shù)估計(jì)完成后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。高斯—馬爾可夫定理(Gauss-Markovtheorem)

在經(jīng)典線性回歸模型的假定下，普通最小二乘參數(shù)估計(jì)量是具有最小方差的線性無偏估計(jì)量。二、普通最小二乘參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)

(教材P38-40)1.線性：普通最小二乘參數(shù)估計(jì)量是Yi的線性函數(shù)。證：注意這里的一般性文字表述！2.無偏性：普通最小二乘參數(shù)估計(jì)量的均值等于總體回歸參數(shù)真值。概率密度偏倚估計(jì)值注意這里的一般性文字表述！注意：這里用到了解釋變量為非隨機(jī)變量、以及隨機(jī)誤差項(xiàng)的零均值假設(shè)。注意：這里同樣用到了解釋變量為非隨機(jī)變量、以及隨機(jī)誤差項(xiàng)的零均值假設(shè)。3.有效性：在所有線性無偏估計(jì)量中，普通最小二乘參數(shù)估計(jì)量具有最小方差。估計(jì)值概率密度注意這里的一般性文字表述！注意：推導(dǎo)過程中用到了解釋變量為非隨機(jī)變量、以及隨機(jī)誤差項(xiàng)的無序列相關(guān)和同方差假定。（2）證明最小方差性(提示:不要求掌握!)

普通最小二乘參數(shù)估計(jì)量具有線性、無偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計(jì)量又稱為最佳線性無偏估計(jì)量，即BLUE估計(jì)量（theBestLinearUnbiasedEstimators）。顯然，這些優(yōu)良的性質(zhì)依賴于對(duì)模型的基本假設(shè)。4.結(jié)論例

利用第二版P28表2.1.3中的家庭可支配收入（X）和消費(fèi)支出（Y），估計(jì)一元線性回歸模型，參數(shù)估計(jì)的計(jì)算可通過下面的表2.2.1進(jìn)行。因此，由該樣本估計(jì)的回歸方程為：

解：提示：本例完全是按定義式計(jì)算有關(guān)的參數(shù)估計(jì)量，并不是我們通常做題的步驟。請(qǐng)另見專門的例題。注意：可能是考慮到這里的截距項(xiàng)（反映自發(fā)消費(fèi)）為負(fù)，第三版P37的例2.3.1對(duì)數(shù)據(jù)稍微作了調(diào)整。例

利用李子奈第三版P28表2.1.3中的家庭可支配收入（X）和消費(fèi)支出（Y），估計(jì)一元線性回歸模型，參數(shù)估計(jì)的計(jì)算可通過下面的表2.3.1進(jìn)行。因此，由該樣本估計(jì)的回歸方程為：

解：下面，給出該例的軟件輸出結(jié)果：例第三版P37-38例2.3.1的Eviews軟件運(yùn)行結(jié)果：DependentVariable:YMethod:LeastSquaresDate:03/20/11Time:14:20Sample:110Includedobservations:10VariableCoefficientStd.Errort-StatisticProb.C142.400044.446733.2038350.0125X0.6700000.01918934.915620.0000R-squared0.993481Meandependentvar1582.900AdjustedR-squared0.992666S.D.dependentvar610.5512S.E.ofregression52.28814Akaikeinfocriterion10.92827Sumsquaredresid21872.40Schwarzcriterion10.98879Loglikelihood-52.64136F-statistic1219.101Durbin-Watsonstat1.677411Prob(F-statistic)0.000000建議：利用第三版P37表2.3.1的數(shù)據(jù)，自己用公式和Eviews軟件重算一遍模型。例第三版P37-38例2.3.1的Eviews軟件輸出結(jié)果的含義：被解釋變量:Y估計(jì)方法:最小二乘法Date:03/20/11Time:14:20樣本：

110觀測(cè)值的個(gè)數(shù):10變量回歸系數(shù)標(biāo)準(zhǔn)差T統(tǒng)計(jì)量P值（雙側(cè)）C142.400044.446733.2038350.0125X0.6700000.01918934.915620.0000可決系數(shù)0.993481被解釋變量均值1582.900調(diào)整的可決系數(shù)0.992666被解釋變量標(biāo)準(zhǔn)差610.5512回歸方程標(biāo)準(zhǔn)差52.28814赤池信息準(zhǔn)則10.92827殘差平方和21872.40施瓦茲信息準(zhǔn)則10.98879似然函數(shù)的對(duì)數(shù)-52.64136F統(tǒng)計(jì)量1219.101DW統(tǒng)計(jì)量1.677411F統(tǒng)計(jì)量的概率0.000000建議：利用第三版P37表2.3.1的數(shù)據(jù)，自己用公式和Eviews軟件重算一遍模型。三、普通最小二乘參數(shù)估計(jì)量的概率分布

（教材P41）首先，由于解釋變量Xi是確定性變量，隨機(jī)誤差項(xiàng)i是服從正態(tài)分布的隨機(jī)變量，因此，被解釋變量Yi也是服從正態(tài)分布的隨機(jī)變量，且其分布（特征）與i相同。定理：若隨機(jī)變量X和Y相互獨(dú)立，且X～N(1，12)，Y～N(2，22)，則X+Y～

N(1+2

，12+22

)。因此就一元線性回歸而言，隨機(jī)誤差項(xiàng)方差的無偏估計(jì)量為：(教材P42)上式的證明過程，參見潘文卿、李子奈《計(jì)量經(jīng)濟(jì)學(xué)學(xué)習(xí)指南與練習(xí)》P15例9。1.用原始數(shù)據(jù)（觀測(cè)值）Xi，Yi計(jì)算

簡捷公式為（《統(tǒng)計(jì)學(xué)》中有該公式，不要求！）2.用離差形式的數(shù)據(jù)xi，yi計(jì)算其中簡捷公式為（常用！）注意，對(duì)于一元線性回歸：(補(bǔ)充，現(xiàn)已不要求，跳過)上述兩個(gè)簡捷公式是等價(jià)的!證明如下：（補(bǔ)充）簡介：一元線性回歸模型的最大似然估計(jì)

最大似然法（MaximumLikelihood,ML），也稱最大或然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大似然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)。

最大似然法的基本原理：（P35）

對(duì)于最大似然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型總體中抽取該n組樣本觀測(cè)值的聯(lián)合概率最大。似然函數(shù)對(duì)一元線性回歸模型：

隨機(jī)抽取n組樣本觀測(cè)值（Xi,Yi），i=1,2,…n。那么在滿足基本假設(shè)的條件下，

Yi服從如下正態(tài)分布：于是，Yi的概率函數(shù)（密度函數(shù)）為（i=1,2,…n）

將該似然函數(shù)極大化，即可求得到模型參數(shù)的極大似然估計(jì)量。因?yàn)閅i（i=1,2,…n）是相互獨(dú)立的，所以Y的所有樣本觀測(cè)值的聯(lián)合概率，也即似然函數(shù)(likelihoodfunction)為：

由于似然函數(shù)的極大化與似然函數(shù)的對(duì)數(shù)的極大化