一元線性回歸模型參數(shù)估計

一元線性回歸模型參數(shù)估計第1頁，共39頁，2023年，2月20日，星期日一、線性回歸模型的特征

一個例子凱恩斯絕對收入假設消費理論：消費C是由收入Y唯一決定的，是收入的線性函數(shù)：但實際上上述等式不能準確實現(xiàn)。原因(1)消費除了受收入影響外還受其他因素因影響。(2)線性關(guān)系是一個近似，收入變量的觀察值是近似的，數(shù)據(jù)本身并不絕對準確地反映收入水平。第2頁，共39頁，2023年，2月20日，星期日因此，一個更符合實際的數(shù)學描述是：線性回歸模型的特征：

是通過引入隨機誤差項將變量之間的關(guān)系用線性隨機方程來描述，并用隨機數(shù)學的方法來估計方程中的參數(shù)。在線性回歸模型中，被解釋變量的特征由解釋變量和隨機誤差項共同決定。第3頁，共39頁，2023年，2月20日，星期日計量經(jīng)濟學中“線性”回歸模型的含義對參數(shù)為線性、對變量非線性的函數(shù)：對參數(shù)非線性、對變量線性的函數(shù)：對參數(shù)非線性、對變量非線性的函數(shù)：對參數(shù)不可化為線性的函數(shù)對參數(shù)可化為線性的函數(shù)(1)(2)(3)(4)(5)第4頁，共39頁，2023年，2月20日，星期日對可化為線性的非線性模型的處理方法(1)變量置換例如，描述稅收與稅率之間關(guān)系的拉弗曲線：

s=a+br+cr2

(c<0)

s：稅收，r：稅率設，X1=r,X2=r2，則原方程變?yōu)閟=a+bX1+cX2

(2)對數(shù)變換例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q:產(chǎn)出量，K：投入的資本，L：投入的勞動方程兩邊取對數(shù)：第5頁，共39頁，2023年，2月20日，星期日三個版本的C-D生產(chǎn)函數(shù)模型：注意模型線性化后的前提假設第6頁，共39頁，2023年，2月20日，星期日線性模型與非線性模型→(1)(2)(3)(4)(5)(7)(6)第7頁，共39頁，2023年，2月20日，星期日結(jié)論：實際經(jīng)濟活動中的許多問題，變量之間的非線性關(guān)系都可以最終化為線性關(guān)系。所以，線性回歸模型具有普遍意義。即使對于無法采取任何變換方法使之變成線性的非線性模型，目前適用較多的參數(shù)估計方法非線性最小二乘法，其原理仍然是以線性估計方法為基礎。線性模型理論方法在計量經(jīng)濟學理論方法中占據(jù)重要地位。第8頁，共39頁，2023年，2月20日，星期日其他條件不變的概念(ceterisparibus)包括經(jīng)濟學在內(nèi)的許多社會科學中的假設都具有“其他條件不變”的特點：在研究兩個變量之間關(guān)系時，所有其他相關(guān)因素都必須固定不變。

例如，經(jīng)濟學中在分析消費需求時，想知道之中商品價格的變化對其需求量的影響，而讓所有其他因素——收入、其他商品的價格和個人偏好等——都保持不變。計量經(jīng)濟分析中的其他條件不變意味著“其他(相關(guān))因素保持不變，這一概念在因果分析中有重要作用。第9頁，共39頁，2023年，2月20日，星期日二、線性回歸模型的基本假設技術(shù)路線：由于回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準確地估計總體回歸函數(shù)（模型）PRF。即通過：采用最小二乘或最大似然方法。第10頁，共39頁，2023年，2月20日，星期日

一元線性回歸模型：只有一個解釋變量i=1,2,…,nY為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機干擾項。

估計方法有多種，其中最廣泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設。

注：這些假設與所采用的估計方法緊密相關(guān)。第11頁，共39頁，2023年，2月20日，星期日一元線性回歸模型的基本假設

假設1：解釋變量X是確定性變量，不是隨機變量；

假設2：隨機誤差項具有零均值、同方差和不序列相關(guān)性：

E(i|Xi)=

E(i)=0i=1,2,…,nVar(i|Xi)=2i=1,2,…,nCov(i,j)=0i≠j

i,j=1,2,…,n

假設3：隨機誤差項與解釋變量X之間不相關(guān)：

Cov(Xi,i)=0i=1,2,…,n

假設4：服從零均值、同方差、零協(xié)方差的正態(tài)分布

i~N(0,2)i=1,2,…,n第12頁，共39頁，2023年，2月20日，星期日如果假設1和2滿足，則假設3也滿足；如果假設4滿足，則假設2也滿足。注意：假設1-4假設也稱為線性回歸模型的經(jīng)典假設或高斯(Gauss)假設，滿足該假設的線性回歸模型稱為經(jīng)典線性回歸模型(ClassicalLinearRegressionModel,CLRM)。假設5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一個有限常數(shù)，即：

假設6：回歸模型是正確設定的。第13頁，共39頁，2023年，2月20日，星期日假設4：i~N(0,2)i=1,2,…,n例：測度教育的回報問題問題提出：如果從總體中選擇一個人，并讓他或她多受一年教育，那么，他或她的工資會提高多少？工資水平與可測教育水平及其他非觀測因素的關(guān)系：工資：小時工資(元)，教育：受教育的年數(shù)。其他非觀測因素：工作經(jīng)驗、天生素質(zhì)、職業(yè)道德等。

E(μi|Xi)=0假設μ是天生能力，這個假定就是要求，不論受教育的年數(shù)是多少，平均能力水平都一樣。例如，E(abil|8)=E(abil|6)；第14頁，共39頁，2023年，2月20日，星期日

Var(μi|Xi)=σ2，Var(Yi|Xi)=σ2Var(wage|educ)=σ2，雖然平均工資E(wage|educ)可隨著教育水平的提高而增長，但工資相對于它的均值的變異卻被假定為對所有的教育水平都不變。

i~N(0,2)

的理由：由于μ是影響wage而又觀測不到的許多因素之和，所以我們可以借助中心極限定理來斷定μ具有近似正態(tài)分布。

第15頁，共39頁，2023年，2月20日，星期日三、參數(shù)的普通最小二乘估計（OLS）給定一組樣本觀測值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)盡可能好地擬合這組值。

普通最小二乘法(Ordinaryleastsquares,OLS)給出的判斷標準是：二者之差的平方和最小。第16頁，共39頁，2023年，2月20日，星期日方程組（*）稱為正規(guī)方程組（normalequations）。由于參數(shù)的估計結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計量（ordinaryleastsquaresestimators）。第17頁，共39頁，2023年，2月20日，星期日四、參數(shù)估計的最大似然法(ML)

最大或然法(MaximumLikelihood,簡稱ML)，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大似然原理出發(fā)發(fā)展起來的其它估計方法的基礎。

基本原理：對于最大似然法，當從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該n組樣本觀測值的聯(lián)合概率最大。第18頁，共39頁，2023年，2月20日，星期日在滿足基本假設條件下，對一元線性回歸模型：

隨機抽取n組樣本觀測值（Xi,Yi）（i=1,2,…n）。那么Yi服從如下的正態(tài)分布：于是，Y的概率密度函數(shù)為:（i=1,2,…n）假如模型的參數(shù)估計量已經(jīng)求得，為第19頁，共39頁，2023年，2月20日，星期日因為Yi是相互獨立的，所以的所有樣本觀測值的聯(lián)合概率，也即似然函數(shù)(likelihoodfunction)為：將該似然函數(shù)極大化，即可求得到模型參數(shù)的極大似然估計量。第20頁，共39頁，2023年，2月20日，星期日由于似然函數(shù)的極大化與似然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)似然函數(shù)如下：第21頁，共39頁，2023年，2月20日，星期日解得模型的參數(shù)估計量為：在滿足一系列基本假設的情況下，模型結(jié)構(gòu)參數(shù)的最大似然估計量與普通最小二乘估計量是相同的。第22頁，共39頁，2023年，2月20日，星期日但是，隨機誤差項的方差的估計量是不同的。即可得到的最大似然估計量為：解似然方程：第23頁，共39頁，2023年，2月20日，星期日記上述參數(shù)估計量可以寫成：稱為OLS估計量的離差形式（deviationform）。關(guān)于參數(shù)估計量的離差形式(deviationform)：

第24頁，共39頁，2023年，2月20日，星期日記則有

可得

（**）式也稱為樣本回歸函數(shù)的離差形式。（**）注意：在計量經(jīng)濟學中，往往以小寫字母表示對均值的離差。

第25頁，共39頁，2023年，2月20日，星期日樣本回歸線的數(shù)學性質(zhì)(numericalproperties)樣本回歸線通過Y和X的樣本均值；Y估計值的均值等于觀測值的均值；殘差的均值為零：第26頁，共39頁，2023年，2月20日，星期日五、最小二乘估計量的統(tǒng)計性質(zhì)

（1）線性性(linear)，即它是否是另一隨機變量的線性函數(shù)；

（2）無偏性(unbiased)，即它的均值或期望值是否等于總體的真實值；

（3）有效性，即它是否在所有線性無偏估計量中具有最小方差。第27頁，共39頁，2023年，2月20日，星期日高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。第28頁，共39頁，2023年，2月20日，星期日證：易知故同樣地，容易得出

第29頁，共39頁，2023年，2月20日，星期日第30頁，共39頁，2023年，2月20日，星期日（2）證明最小方差性其中，ci=ki+di，di為不全為零的常數(shù)則容易證明第31頁，共39頁，2023年，2月20日，星期日顯然這些優(yōu)良的性質(zhì)依賴于對模型的基本假設。結(jié)論：

普通最小二乘估計量（ordinaryleastSquaresEstimators）具有線性、無偏性、最小方差性等優(yōu)良性質(zhì)。

具有這些優(yōu)良性質(zhì)的估計量又稱為最佳線性無偏估計量（bestlinearunbiasedestimator,BLUE）全部估計量線性無偏估計量最小方差估計量第32頁，共39頁，2023年，2月20日，星期日六、參數(shù)估計量的概率分布及隨機干擾項方差的估計第33頁，共39頁，2023年，2月20日，星期日第34頁，共39頁，2023年，2月20日，星期日2、隨機誤差項的方差2的估計由于隨機項i不可觀測，只能從i的估計——殘差ei出發(fā)，對總體方差進行估計。

2又稱為總體方差。

可以證明，2的無偏估計量為它是關(guān)于2的無偏估計量。第3