一元線性回歸模型及參數(shù)估計(jì)

一元線性回歸模型及其參數(shù)估計(jì)一、一元線性回歸模型的參數(shù)估計(jì)二、最小二乘參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)三、最小二乘參數(shù)估計(jì)量的概率分布一元線性回歸模型及參數(shù)估計(jì)一、一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型的一般形式

一元線性回歸模型的一般形式是：

iiXiYmbb++=10

i=1，2，…，n

在滿足基本假設(shè)：

====0),(0),(2)(0)(iixCovjiCoviVariEmmmmsmm

i=1,2,…,nj=1,2,…,ni≠j

的情況下，隨機(jī)抽取n組樣本觀測(cè)值iXiY,（i=1,2,…n），就可以估計(jì)模型的參數(shù)。

同方差期望或均方值協(xié)方差一元線性回歸模型及參數(shù)估計(jì)模型參數(shù)估計(jì)的任務(wù)

模型參數(shù)估計(jì)的任務(wù)為兩項(xiàng)：

一是求得反映變量之間數(shù)量關(guān)系的結(jié)構(gòu)參數(shù)的估計(jì)量，在一元線性回歸模型即是參數(shù)和的估計(jì)量；b0b1二是求得隨機(jī)誤差項(xiàng)的分布參數(shù)，由于隨機(jī)誤差項(xiàng)的均值已經(jīng)被假定為0，所以所要求的分布參數(shù)只有方差。2ms一元線性回歸模型及參數(shù)估計(jì)1、普通最小二乘法

（OrdinaryLeastSquare,OLS）

給定一組樣本觀測(cè)值（Xi,Yi），i=1,2,…n，假如模型參數(shù)估計(jì)量已經(jīng)求得，并且是最合理的參數(shù)估計(jì)量，那么樣本回歸函數(shù)應(yīng)該能夠最好地?cái)M合樣本數(shù)據(jù)，即樣本回歸線上的點(diǎn)與真實(shí)觀測(cè)點(diǎn)的“總體誤差”應(yīng)該盡可能地小。

最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小，即一元線性回歸模型及參數(shù)估計(jì)由于2)?1(iYniYQ-=?=2))1?0?(1(iXniYbb+-?是$b0、$b1的二次函數(shù)，并且非負(fù)，所以其極小值總是存在的。根據(jù)極值存在的條件，當(dāng)Q對(duì)$b0、$b1的一階偏導(dǎo)數(shù)為0時(shí)，Q達(dá)到最小。即

001?0?==?????íìb??b??QQT?íì=-+=-+??0)1?0?(0)1?0?(iXiYiXiYiXbbbbT???íìS+S=SS+=S21?0?1?0?iXiXiXiYiXniYbbbb

一元線性回歸模型及參數(shù)估計(jì)解得：

???íì10-=??XYbbS-SSS-S=2)(21?iXiXniXiYiXiYnb

由于0?b、1?b的估計(jì)結(jié)果是從最小二乘原理得到的，故稱為最小二乘估計(jì)量(least-squaresestimators)。一元線性回歸模型及參數(shù)估計(jì)最小二乘參數(shù)估計(jì)量的離差形式

(deviationform)注：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以大寫(xiě)字母表示原始數(shù)據(jù)（觀測(cè)值），而以小寫(xiě)字母表示對(duì)均值的離差（deviation)。記???????íì-=-===??YiYiyXiXixiYnYiXnX11

，

則參數(shù)估計(jì)量可以寫(xiě)成：???íì=-=??21?1?0?ixiyixXYbbb

一元線性回歸模型及參數(shù)估計(jì)隨機(jī)誤差項(xiàng)方差的估計(jì)量

記iYiYie?-=

為第i個(gè)樣本觀測(cè)點(diǎn)的殘差，即被解釋變量的估計(jì)值與觀測(cè)值之差，則隨機(jī)誤差項(xiàng)方差的估計(jì)量為：一元線性回歸模型及參數(shù)估計(jì)1.用原始數(shù)據(jù)（觀測(cè)值）Xi，Yi計(jì)算

簡(jiǎn)捷公式為2.用離差形式的數(shù)據(jù)xi，yi計(jì)算其中簡(jiǎn)捷公式為一元線性回歸模型及參數(shù)估計(jì)

2、最大似然法（MaximumLikelihood,ML）

最大或然法，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)?；驹恚簩?duì)于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型總體中抽取該n組樣本觀測(cè)值的聯(lián)合概率最大。一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。一元線性回歸模型及參數(shù)估計(jì)

由于或然函數(shù)的極大化與或然函數(shù)的對(duì)數(shù)的極大化是等價(jià)的，所以，取對(duì)數(shù)或然函數(shù)如下：一元線性回歸模型及參數(shù)估計(jì)

可見(jiàn)，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計(jì)量與普通最小二乘估計(jì)量是相同的。一元線性回歸模型及參數(shù)估計(jì)但是，隨機(jī)誤差項(xiàng)的方差的估計(jì)量是不同的。一元線性回歸模型及參數(shù)估計(jì)3、樣本回歸線的數(shù)值性質(zhì)(numericalproperties)樣本回歸線通過(guò)Y和X的樣本均值；Y估計(jì)值的均值等于觀測(cè)值的均值；殘差的均值為0。一元線性回歸模型及參數(shù)估計(jì)二、最小二乘參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)

高斯-馬爾可夫定理一元線性回歸模型及參數(shù)估計(jì)

當(dāng)模型參數(shù)估計(jì)完成后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說(shuō)需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘參數(shù)估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量。一元線性回歸模型及參數(shù)估計(jì)1、線性性：最小二乘參數(shù)估計(jì)量是Y的線性函數(shù)。一元線性回歸模型及參數(shù)估計(jì)2、無(wú)偏性：最小二乘參數(shù)估計(jì)量的均值等于總體回歸參數(shù)真值。一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)3、有效性：在所有線性無(wú)偏估計(jì)量中，最小二乘參數(shù)估計(jì)量具有最小方差。一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)（2）證明最小方差性一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)4、結(jié)論

普通最小二乘參數(shù)估計(jì)量具有線性性、無(wú)偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計(jì)量又稱為最佳線性無(wú)偏估計(jì)量，即BLUE估計(jì)量（theBestLinearUnbiasedEstimators）。顯然這些優(yōu)良的性質(zhì)依賴于對(duì)模型的基本假設(shè)。一元線性回歸模型及參數(shù)估計(jì)三、最小二乘參數(shù)估計(jì)量的概率分布一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)一元線性回歸模型及參數(shù)估計(jì)可以證明，隨機(jī)誤差項(xiàng)方差的無(wú)