一元線性回歸模型及參數(shù)估計

一元線性回歸模型及其參數(shù)估計一、一元線性回歸模型的參數(shù)估計二、最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)三、最小二乘參數(shù)估計量的概率分布2021/6/271一、一元線性回歸模型的參數(shù)估計2021/6/272一元線性回歸模型的一般形式

一元線性回歸模型的一般形式是：

iiXiYmbb++=10

i=1，2，…，n

在滿足基本假設(shè)：

====0),(0),(2)(0)(iixCovjiCoviVariEmmmmsmm

i=1,2,…,nj=1,2,…,ni≠j

的情況下，隨機(jī)抽取n組樣本觀測值iXiY,（i=1,2,…n），就可以估計模型的參數(shù)。

同方差期望或均方值協(xié)方差2021/6/273模型參數(shù)估計的任務(wù)

模型參數(shù)估計的任務(wù)為兩項：

一是求得反映變量之間數(shù)量關(guān)系的結(jié)構(gòu)參數(shù)的估計量，在一元線性回歸模型即是參數(shù)和的估計量；b0b1二是求得隨機(jī)誤差項的分布參數(shù)，由于隨機(jī)誤差項的均值已經(jīng)被假定為0，所以所要求的分布參數(shù)只有方差。2ms2021/6/2741、普通最小二乘法

（OrdinaryLeastSquare,OLS）

給定一組樣本觀測值（Xi,Yi），i=1,2,…n，假如模型參數(shù)估計量已經(jīng)求得，并且是最合理的參數(shù)估計量，那么樣本回歸函數(shù)應(yīng)該能夠最好地擬合樣本數(shù)據(jù)，即樣本回歸線上的點與真實觀測點的“總體誤差”應(yīng)該盡可能地小。

最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小，即2021/6/275由于2)?1(iYniYQ-=?=2))1?0?(1(iXniYbb+-?是$b0、$b1的二次函數(shù)，并且非負(fù)，所以其極小值總是存在的。根據(jù)極值存在的條件，當(dāng)Q對$b0、$b1的一階偏導(dǎo)數(shù)為0時，Q達(dá)到最小。即

001?0?==?????íìb??b??QQT?íì=-+=-+??0)1?0?(0)1?0?(iXiYiXiYiXbbbbT???íìS+S=SS+=S21?0?1?0?iXiXiXiYiXniYbbbb

2021/6/276解得：

???íì10-=??XYbbS-SSS-S=2)(21?iXiXniXiYiXiYnb

由于0?b、1?b的估計結(jié)果是從最小二乘原理得到的，故稱為最小二乘估計量(least-squaresestimators)。2021/6/277最小二乘參數(shù)估計量的離差形式

(deviationform)注：在計量經(jīng)濟(jì)學(xué)中，往往以大寫字母表示原始數(shù)據(jù)（觀測值），而以小寫字母表示對均值的離差（deviation)。記???????íì-=-===??YiYiyXiXixiYnYiXnX11

，

則參數(shù)估計量可以寫成：???íì=-=??21?1?0?ixiyixXYbbb

2021/6/278隨機(jī)誤差項方差的估計量

記iYiYie?-=

為第i個樣本觀測點的殘差，即被解釋變量的估計值與觀測值之差，則隨機(jī)誤差項方差的估計量為：2021/6/2791.用原始數(shù)據(jù)（觀測值）Xi，Yi計算

簡捷公式為2.用離差形式的數(shù)據(jù)xi，yi計算其中簡捷公式為2021/6/2710

2、最大似然法（MaximumLikelihood,ML）

最大或然法，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。

基本原理：對于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得從模型總體中抽取該n組樣本觀測值的聯(lián)合概率最大。2021/6/27112021/6/2712

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計量。2021/6/2713

由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)或然函數(shù)如下：2021/6/2714

可見，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計量與普通最小二乘估計量是相同的。2021/6/2715但是，隨機(jī)誤差項的方差的估計量是不同的。2021/6/27163、樣本回歸線的數(shù)值性質(zhì)(numericalproperties)樣本回歸線通過Y和X的樣本均值；Y估計值的均值等于觀測值的均值；殘差的均值為0。2021/6/2717二、最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)

高斯-馬爾可夫定理2021/6/2718

當(dāng)模型參數(shù)估計完成后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘參數(shù)估計量是具有最小方差的線性無偏估計量。2021/6/27191、線性性：最小二乘參數(shù)估計量是Y的線性函數(shù)。2021/6/27202、無偏性：最小二乘參數(shù)估計量的均值等于總體回歸參數(shù)真值。2021/6/27212021/6/27223、有效性：在所有線性無偏估計量中，最小二乘參數(shù)估計量具有最小方差。2021/6/27232021/6/2724（2）證明最小方差性2021/6/27252021/6/27262021/6/27274、結(jié)論

普通最小二乘參數(shù)估計量具有線性性、無偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計量又稱為最佳線性無偏估計量，即BLUE估計量（theBestLinearUnbiasedEstimators）。顯然這些優(yōu)良的性質(zhì)依賴于對模型的基本假設(shè)。2021/6/2728三、最小二乘參數(shù)估計量的概率分布2021/6/27292021/6/27302021/6