第5講 多元回歸分析-OLS的漸近性

1、第五講第五講 多元回歸分析：多元回歸分析：OLS的漸近性的漸近性Multiple Regression Analysis: Asymptotic Properties of OLS 一、引言一、引言二、一致性二、一致性三、漸近有效性三、漸近有效性四、漸近正態(tài)性四、漸近正態(tài)性一、引言一、引言3引言引言回憶：經(jīng)典線性模型（回憶：經(jīng)典線性模型（CLM）的假定）的假定)(0,6 .),|(5 .0),|(4 .3 .2 .1 .211110 NuuMLRXXuVarMLRXXuEMLRMLRMLRMLRuXXY2kkkk且且獨(dú)立于所有解釋變量，獨(dú)立于所有解釋變量，正態(tài)性：正態(tài)性：同方差性：同方差性：零

2、條件均值：零條件均值：全的線性關(guān)系全的線性關(guān)系且自變量之間不存在完且自變量之間不存在完異異個(gè)解釋變量具有一定變個(gè)解釋變量具有一定變不存在完全共線性；每不存在完全共線性；每的的從總體中隨機(jī)抽樣得到從總體中隨機(jī)抽樣得到樣本的隨機(jī)性：樣本是樣本的隨機(jī)性：樣本是的的型對于參數(shù)而言是線性型對于參數(shù)而言是線性參數(shù)的線性性：回歸模參數(shù)的線性性：回歸模對于總體回歸函數(shù)對于總體回歸函數(shù) 4引言引言在上一講的學(xué)習(xí)中，有以下結(jié)論：在上一講的學(xué)習(xí)中，有以下結(jié)論：o 如果總體回歸模型滿足如果總體回歸模型滿足MLR.1-4，OLS估計(jì)量是無偏的估計(jì)量是無偏的o 如果總體回歸模型滿足如果總體回歸模型滿足MLR.1-5，OL

3、S估計(jì)量是有效的，并估計(jì)量是有效的，并且且OLS估計(jì)量是最優(yōu)線性無偏估計(jì)量估計(jì)量是最優(yōu)線性無偏估計(jì)量o 如果總體回歸模型滿足如果總體回歸模型滿足MLR.1-6， OLS估計(jì)量是最優(yōu)無偏估計(jì)量是最優(yōu)無偏估計(jì)量，而且基于估計(jì)量，而且基于OLS估計(jì)構(gòu)造的某些統(tǒng)計(jì)量服從估計(jì)構(gòu)造的某些統(tǒng)計(jì)量服從t分布或分布或F分布，從而可以進(jìn)行假設(shè)檢驗(yàn)分布，從而可以進(jìn)行假設(shè)檢驗(yàn)v 這些性質(zhì)是針對固定樣本容量而言的，然而，當(dāng)樣本容量無這些性質(zhì)是針對固定樣本容量而言的，然而，當(dāng)樣本容量無限增大時(shí)，限增大時(shí)，OLS估計(jì)量會呈現(xiàn)出另外一些性質(zhì)，這些性質(zhì)稱估計(jì)量會呈現(xiàn)出另外一些性質(zhì)，這些性質(zhì)稱為為漸近性質(zhì)（漸近性質(zhì)（asympt

4、otic properties）或或大樣本性質(zhì)（大樣本性質(zhì)（large sample properties）5引言引言為什么討論為什么討論OLS的漸近性質(zhì)？的漸近性質(zhì)？o 在現(xiàn)實(shí)中，經(jīng)典線性模型的某些假定很難滿足，此時(shí)無法在現(xiàn)實(shí)中，經(jīng)典線性模型的某些假定很難滿足，此時(shí)無法保證保證OLS估計(jì)量的無偏性和有效性，也無法進(jìn)行假設(shè)檢驗(yàn)估計(jì)量的無偏性和有效性，也無法進(jìn)行假設(shè)檢驗(yàn)，從而，從而OLS方法是失效的。在這種情況下，如果可以通過方法是失效的。在這種情況下，如果可以通過增加樣本容量來使得增加樣本容量來使得OLS估計(jì)量滿足某些合理的性質(zhì)，那估計(jì)量滿足某些合理的性質(zhì)，那么仍然可以保證使用么仍然可以保證使

5、用OLS方法是合適的。換言之，如果隨方法是合適的。換言之，如果隨著樣本容量的增加，著樣本容量的增加，OLS估計(jì)量仍然不能令人滿意，那就估計(jì)量仍然不能令人滿意，那就說明不應(yīng)使用說明不應(yīng)使用OLS估計(jì)方法估計(jì)方法幾類漸近性幾類漸近性o 一致性一致性o 漸近有效性漸近有效性o 漸近正態(tài)性漸近正態(tài)性n 什么是一致性？什么是一致性？n OLS的一致性的一致性n OLS的不一致性的不一致性二、一致性二、一致性7什么是一致性？什么是一致性？一致性（一致性（consistence） plimPlimn是是一一致致的的，記記為為那那么么稱稱都都有有：，之之間間的的距距離離對對于于任任意意與與的的估估計(jì)計(jì)量量，如

6、如果果當(dāng)當(dāng)樣樣本本無無限限增增大大時(shí)時(shí), 1)(0 100),( nf 80),( nf 50),( nf 20),( nf 8OLS的一致性的一致性O(shè)LS的一致性的一致性的的一一致致估估計(jì)計(jì)量量、是是、方方法法得得到到的的下下，通通過過可可以以證證明明，在在假假定定的的分分布布緊緊縮縮成成一一個(gè)個(gè)點(diǎn)點(diǎn)趨趨于于無無窮窮大大時(shí)時(shí)，當(dāng)當(dāng)?shù)牡闹苤車鷩?。的的分分布布越越來來越越集集中中在在樣樣本本容容量量的的增增加加，隨隨著著估估計(jì)計(jì)量量是是一一致致的的，那那么么概概率率分分布布。如如果果都都有有一一個(gè)個(gè)，估估計(jì)計(jì)量量，對對于于每每一一個(gè)個(gè)的的是是kkjjjjjjjOLS.MLRnOLSnOLS 10

7、1041 9OLS的一致性的一致性O(shè)LS的一致性：對簡單回歸模型的簡單證明（課本的一致性：對簡單回歸模型的簡單證明（課本p159）0)()()()(0),(0)(:0)|(4 .10 XXXYYYXXYYXXYXuXCovuEXuELRMuXYiiiiiiiii以以及及，有有：、量量另另外外，對對于于任任意意兩兩組組變變。和和，則則有有，即即如如果果滿滿足足對對于于 10OLS的一致性的一致性O(shè)LS的一致性：對簡單回歸模型的簡單證明（課本的一致性：對簡單回歸模型的簡單證明（課本p159 ）11121221210221)(),(lim)(),()(11)(11)()()()()()()()()(

8、)( XVaruXCovpXVaruXCovXXnuuXXnXXuuXXXXXXXXXuXXXXXYXXXXYYXXiiiiiiiiiiiiiiiiiii的的一一致致估估計(jì)計(jì)量量和和分分母母分分別別是是上上式式右右半半部部分分的的分分子子和和11OLS的一致性的一致性進(jìn)一步的討論（課本進(jìn)一步的討論（課本p160）o 上述討論表明：如果上述討論表明：如果OLS估計(jì)量是無偏的，那么它一定是估計(jì)量是無偏的，那么它一定是一致的；但是如果一致的；但是如果OLS估計(jì)量是一致的，卻不能保證它是估計(jì)量是一致的，卻不能保證它是無偏的。無偏的。必必須須成成立立估估計(jì)計(jì)量量是是無無偏偏的的，則則當(dāng)當(dāng)然然，如如果果要

9、要保保證證。，且且：更更弱弱的的一一個(gè)個(gè)條條件件，即即：要要比比估估計(jì)計(jì)量量是是一一致致的的，只只需需可可見見，保保證證4 .0),(0)(4 .4 .LRMOLSuXCovuELRMLRMOLS 12OLS的不一致性的不一致性o 如果誤差項(xiàng)與任意一個(gè)自變量相關(guān)，即如果誤差項(xiàng)與任意一個(gè)自變量相關(guān)，即Cov (Xj , u)不等于不等于0，那么，那么OLS就是有偏的而且是不一致的。也就是說，即便就是有偏的而且是不一致的。也就是說，即便樣本容量再大，樣本容量再大，OLS估計(jì)的偏誤也不會消失，而且估計(jì)的偏誤也不會消失，而且OLS估估計(jì)值會收斂到一個(gè)有偏誤的值（情況更糟糕?。?。計(jì)值會收斂到一個(gè)有偏誤的

10、值（情況更糟糕?。?。o 此時(shí)，此時(shí)，OLS估計(jì)量的估計(jì)量的不一致性（不一致性（inconsistency）為：為：jjjjjjjjjjpuXCovpuXCovXVaruXCovp lim0),(lim0),()(),(lim，則，則如果如果，則，則如果如果13OLS的不一致性的不一致性遺漏變量的影響（課本遺漏變量的影響（課本p161）o 前面我們提到過，遺漏變量會使得前面我們提到過，遺漏變量會使得OLS估計(jì)量是有偏的，事估計(jì)量是有偏的，事實(shí)上，這種情況還使得實(shí)上，這種情況還使得OLS估計(jì)量是非一致的估計(jì)量是非一致的o 例題：課本例題：課本p161，問題，問題5.1112112121112211

11、12211111122111022110lim0)()()()()()()()()()(limp，,XXCovXVar,XXCovXVar,vXCovX,XCovXVarvX,XCovXVar,uXCovpvXuOLSuXYvXXY 則則此此時(shí)時(shí)，如如果果，所所以以：那那么么由由于于估估計(jì)計(jì)量量，并并得得到到卻卻將將模模型型誤誤設(shè)設(shè)為為：如如果果正正確確的的模模型型為為： 三、漸近有效性三、漸近有效性15漸近有效性漸近有效性o 我們知道，如果總體回歸模型滿足我們知道，如果總體回歸模型滿足MLR.1-5，那么，那么OLS估計(jì)估計(jì)量是最優(yōu)線性無偏估計(jì)量。事實(shí)上，可以證明在這些假定下量是最優(yōu)線性無偏

12、估計(jì)量。事實(shí)上，可以證明在這些假定下， OLS估計(jì)量是估計(jì)量是漸近有效的（漸近有效的（asymptotic efficient）。也就。也就是說，隨著樣本容量無限增大，是說，隨著樣本容量無限增大， OLS估計(jì)量具有最小的漸估計(jì)量具有最小的漸近方差（課本近方差（課本p170）。）。n 漸近正態(tài)性漸近正態(tài)性n 大樣本推斷大樣本推斷四、漸近正態(tài)性和大樣本推斷四、漸近正態(tài)性和大樣本推斷17漸近正態(tài)性漸近正態(tài)性o 通過以上討論，我們知道，如果總體回歸模型滿足通過以上討論，我們知道，如果總體回歸模型滿足MLR.1-5，那么，那么OLS估計(jì)量不但是一致的，也是漸近有效的。但還無估計(jì)量不但是一致的，也是漸近有

13、效的。但還無法進(jìn)行假設(shè)檢驗(yàn)（即推斷）法進(jìn)行假設(shè)檢驗(yàn)（即推斷）o 在上一講中，我們知道，如果滿足在上一講中，我們知道，如果滿足MLR.6，即誤差項(xiàng)（或，即誤差項(xiàng)（或因變量）在給定自變量的值時(shí)服從正態(tài)分布，那么可以在原因變量）在給定自變量的值時(shí)服從正態(tài)分布，那么可以在原假設(shè)成立的情況下通過假設(shè)成立的情況下通過OLS估計(jì)量構(gòu)造一些統(tǒng)計(jì)量服從估計(jì)量構(gòu)造一些統(tǒng)計(jì)量服從t分分布或布或F分布，從而可以進(jìn)行推斷分布，從而可以進(jìn)行推斷o 但是，很多情況下正態(tài)性假定很難被滿足，此時(shí)為了進(jìn)行推但是，很多情況下正態(tài)性假定很難被滿足，此時(shí)為了進(jìn)行推斷，必須要借助斷，必須要借助OLS的的漸近正態(tài)性（漸近正態(tài)性（asymp

14、totic normality），即隨著樣本量的無限增大，即隨著樣本量的無限增大，OLS估計(jì)量漸近地服從正態(tài)估計(jì)量漸近地服從正態(tài)分布分布18漸近正態(tài)性漸近正態(tài)性O(shè)LS估計(jì)量的漸近正態(tài)性估計(jì)量的漸近正態(tài)性)1()10()()(.11.51 .22 knt,NSESEnbuknaMLRaajjjjjj2i 記記為為：布布，漸漸近近地地服服從從標(biāo)標(biāo)準(zhǔn)準(zhǔn)正正態(tài)態(tài)分分的的增增大大，隨隨著著的的一一致致估估計(jì)計(jì)量量是是的的一一致致估估計(jì)計(jì)量量是是下下：在在假假定定19大樣本推斷大樣本推斷大樣本推斷（大樣本推斷（large sample inference）o OLS估計(jì)量的漸近正態(tài)性告訴我們，如果樣本容量

15、足夠大，估計(jì)量的漸近正態(tài)性告訴我們，如果樣本容量足夠大，而且總體回歸模型滿足而且總體回歸模型滿足MLR.1-5，那么，那么t統(tǒng)計(jì)量近似地服從統(tǒng)計(jì)量近似地服從標(biāo)準(zhǔn)正態(tài)分布或標(biāo)準(zhǔn)正態(tài)分布或t分布，從而可以進(jìn)行分布，從而可以進(jìn)行t檢驗(yàn)。此時(shí)，不必要檢驗(yàn)。此時(shí)，不必要求滿足正態(tài)性假定求滿足正態(tài)性假定o 如果樣本容量足夠大，而且總體回歸模型滿足如果樣本容量足夠大，而且總體回歸模型滿足MLR.1-5，那，那么通常的么通常的F檢驗(yàn)也是適用的檢驗(yàn)也是適用的o 需要注意的是，進(jìn)行大樣本推斷的前提是需要注意的是，進(jìn)行大樣本推斷的前提是MLR.5（同方差（同方差假定）必須成立假定）必須成立20大樣本推斷大樣本推斷拉

16、格朗日乘數(shù)（拉格朗日乘數(shù)（Lagrange Multiplier, LM）檢驗(yàn)）檢驗(yàn)o 對于大樣本數(shù)據(jù)，可以使用對于大樣本數(shù)據(jù)，可以使用LM檢驗(yàn)對多個(gè)線性假設(shè)進(jìn)行檢驗(yàn)對多個(gè)線性假設(shè)進(jìn)行檢驗(yàn)，前提是高斯馬爾科夫假定（檢驗(yàn)，前提是高斯馬爾科夫假定（ MLR.1-5 ）成立）成立o 例題例題5_1：課本：課本p168，例，例5.3pHcLMcqnRLMReXXuuuXXYHHuXXY22u2ukkqkqkkqkkqkkk的的顯顯著著性性水水平平精精確確。當(dāng)當(dāng)然然也也可可計(jì)計(jì)算算出出，可可以以拒拒絕絕，如如果果臨臨界界值值以以及及相相應(yīng)應(yīng)的的平平。對對于于給給定定的的顯顯著著性性水水得得到到根根據(jù)據(jù)得得到到殘殘差差估估計(jì)計(jì)有有約約束束模模型型中中至至少少一一個(gè)個(gè)不不為為、對對于于總總體體回回歸歸函函數(shù)數(shù)01101101110110)()3()2()1(0:; 0: 21小結(jié)小結(jié)o 本講定性地討論了本講定性地討論了OLS估計(jì)量的漸近性質(zhì)，不要求同學(xué)們掌估計(jì)量的漸近性質(zhì)，不要求同學(xué)們掌握證明過程和細(xì)節(jié)問題。重要的是希望大家記?。杭幢阏龖B(tài)握證明過程和細(xì)節(jié)問題。重要的是希望大家記?。杭?/p>