多元回歸分析大樣本理論

多元回歸分析大樣本理論1第一頁，共四十一頁，2022年，8月28日ChapterOutline本章提綱Consistency一致性AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷AsymptoticEfficiencyofOLSOLS的漸近有效性

2第二頁，共四十一頁，2022年，8月28日LectureOutline本課提綱Whatdowemeanbysayingconsistency

一致性的含義是什么ConsistencyofOLSestimatorsOLS估計量的一致性TheInconsistencyofOLSwhenthezeroconditionalmeanassumptionfails

當零條件均值假設不成立時OLS沒有一致性。Whatdowemeanbyasymptoticnormalityandlargesampleinference

漸近正態(tài)性和大樣本推斷的含義是什么TheasymptoticnormalityofOLSOLS的漸近正態(tài)3第三頁，共四十一頁，2022年，8月28日Whyconsideringconsistency?

為什么考慮一致性Wehavediscussedthefollowingfinitesample(smallsample)propertiesoftheOLSestimatorsandteststatistics:

我們已經討論了有限樣本(小樣本）中OLS估計量和檢驗統(tǒng)計量具有的如下性質：UnbiasednessofOLSestimators(MLR.1-4)在MLR.1-4下OLS估計量具有無偏性BLUEofOLSestimators(MLR.1-5)在MLR.1-5下OLS估計量是最優(yōu)線性無偏估計量MVUEofOLSestimators(MLR.1-6)在MLR.1-6下OLS估計量是最小方差無偏估計量Thedistributionoft(F)statisticist(F)distributiont(F)統(tǒng)計量的分布為t(F)分布。Thesepropertiesholdforanysamplesizen.

樣本容量為任意n時，這些性質都成立。4第四頁，共四十一頁，2022年，8月28日Whyconsiderconsistency?

為什么考慮一致性Sinceinmanysituationstheerrortermisnotnormallydistributed,itisimportanttoknowtheasymptoticproperties(largesampleproperties),i.e.,thepropertiesofOLSestimatorandteststatisticswhenthesamplesizegrowswithoutbound.

由于在很多情形下誤差項可能呈現(xiàn)非正態(tài)分布，了解OLS估計量和檢驗統(tǒng)計量的漸近性，即當樣本容量任意大時的特性就是重要的問題。5第五頁，共四十一頁，2022年，8月28日WhatisConsistency

什么是一致性令是基于樣本的關于的估計量。如果對于任何，當時便是的一個一致估計量。當具有一致性時，我們也稱為的概率極限，寫作是6第六頁，共四十一頁，2022年，8月28日Consistencyv.s.unbiasedness

一致性與無偏性Isitpossibleforanestimatortobebiasedinfinitesamplebutconsistentinlargesample? 一個估計量是否有可能在有限樣本中是有偏的但又具有一致性？Supposetruevalueofz=0,arandomvariablex=zwithprobability(n-1)/n,andx=nwithprobability1/n.

假設Z的真值為0，一個隨機變量X以(n-1)/n的概率取值為Z，而以1/n的概率取值為n。E(x)=z*(n-1)/n+n*1/n=1X的期望為1plim(x)isthevalueofxasngoestoinfinity.Thereforeplim(x)=z=0.

記plim(x)為n趨向無窮大時x的取值。因此

plim(x)=z=0.7第七頁，共四十一頁，2022年，8月28日Consistencyv.s.unbiasedness

一致性與無偏性Isitpossibleforanestimatortobeunbiasedbutinconsistent?

是否有可能(一個估計量)是無偏卻不一致的？Supposetruevalueofz=0,arandomvariablex=0.5withprobability0.5,andx=-0.5withprobability0.5.ThenE(x)=0.Butasxalwaysfluctuatesaroundthelinex=0,itsvariancedoesnotvanishasngoestoinfinity.Therefore,itisaninconsistentestimatorofz.假設Z的真值為0，一個隨機變量X以0.5的概率取0.5，而以0.5的概率取-0.5，那么X的期望為0。但是

X總是在X=0這條線上下擺動，當n趨向無窮大時，它的方差并不會趨于0。因此，它是Z的不一致的估計量。8第八頁，共四十一頁，2022年，8月28日Consistencyv.s.unbiasedness

一致性與無偏性Unbiasedestimatorsarenotnecessarilyconsistent,butthosewhosevariancesshrinktozeroasthesamplesizegrowsareconsistent.無偏估計量未必是一致的，但是那些當樣本容量增大時方差會收縮到零的無偏估計量是一致的。9第九頁，共四十一頁，2022年，8月28日Consistency

一致性

UndertheGauss-MarkovassumptionsOLSisBLUE,butinothercasesitwon’talwaysbepossibletofindunbiasedestimators在高斯－馬爾可夫假定下OLS是最優(yōu)線性無偏估計量，但在別的情形下不一定能找到無偏估計量。Inthosecases,wemaysettleforestimatorsthatareconsistent,meaningasn∞,thedistributionoftheestimatorcollapsestothetrueparametervalue在那些情形下，我們只要找到一致的估計量，即當n∞時,這些估計量的分布退化為參數(shù)的真值。10第十頁，共四十一頁，2022年，8月28日SamplingDistributionsasnincreases

當n增加時樣本的分布b1n1n2n3n1<n2<n3Samplingdistri-butionofβ1例：n1:每次從班上抽取10人，抽若干次后，平均身高的分布；n2:每次從班上抽取100人，抽若干次后，平均身高的分布；n3:每次從班上抽取200人，抽若干次后，平均身高的分布。11第十一頁，共四十一頁，2022年，8月28日ConsistencyofOLS

OLS的一致性

Theorem5.1:UnderAssumptionsMLR.1throughMLR.4,theOLSestimatorisconsistentforboththeinterceptandslopeparameters.

定理5.1:在假設MLR.1到MLR.4下，OLS截距估計量和斜率估計量都是一致的估計量。Consistencycanbeprovedforthesimpleregressioncaseinamannersimilartotheproofofunbiasedness對簡單回歸而言，證明估計量的一致性和證明無偏性的方法是類似的。12第十二頁，共四十一頁，2022年，8月28日ProvingConsistency

證明一致性13第十三頁，共四十一頁，2022年，8月28日ProvingConsistency

證明一致性14第十四頁，共四十一頁，2022年，8月28日ProofofOLSConsistency

證明OLS的一致性AgeneralproofofconsistencyoftheOLSestimatorsfromthemultivariateregressioncasecanbeshownthroughmatrixmanipulations.多元回歸中OLS估計量的一致性的證明可以通過矩陣運算得到。15第十五頁，共四十一頁，2022年，8月28日AWeakerAssumption

一個更弱的假定

Forunbiasedness,weassumedazeroconditionalmean–E(u|x1,x2,…,xk)=0要獲得估計量的無偏性，我們假定零條件期望

–E(u|x1,x2,…,xk)=0Forconsistency,wecanhavetheweakerassumptionofzeromeanandzerocorrelation(MLR.3’)–E(u)=0andCov(xj,u)=0,forj=1,2,…,k

而要獲得估計量的一致性，我們可以使用更弱的假定：零期望和零相關性假定。Withoutthisassumption,OLSwillbebiasedandinconsistent!

如果這個較弱的假定也不成立，OLS將是有偏而且不一致的。16第十六頁，共四十一頁，2022年，8月28日DerivingtheInconsistency

推導不一致性

Definetheasymptoticbiasas , thenconsiderthefollowingtruemodelandestimatedmodel:定義漸近偏差為：，并考慮下面的真實模型和待估計模型。17第十七頁，共四十一頁，2022年，8月28日AsymptoticBias(cont)

漸近偏差(續(xù))

So,thinkingaboutthedirectionoftheasymptoticbiasisjustlikethinkingaboutthedirectionofbiasforanomittedvariable

所以，考慮漸近偏差的方向就像是考慮存在一個遺漏變量時偏差的方向。Maindifferenceisthatasymptoticbiasusesthepopulationvarianceandcovariance,whilebiasusesthesamplecounterparts

主要的區(qū)別在于漸近偏差用總體方差和總體協(xié)方差表示，而偏差則是基于它們在樣本中的對應量。Remember,inconsistencyisalargesampleproblem–itdoesn’tgoawayasadddata

記住，不一致性是一個大樣本問題。因此，當數(shù)據(jù)增加時候這個問題并不會消失。18第十八頁，共四十一頁，2022年，8月28日AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Consistencyofanestimatorisanimportantproperty,butitalonedoesnotallowustoperformstatisticalinference.估計量的一致性是一條重要性質，但我們并不能只靠它來進行統(tǒng)計推斷。RecallthatundertheClassicalLinearModelassumptions,thesamplingdistributionsarenormal,sowecouldderivetandFdistributionsfortesting

在經典線性模型假設下，樣本的分布是正態(tài)分布，因而我們能夠推出t分布和F分布用于檢驗。19第十九頁，共四十一頁，2022年，8月28日AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Thisexactnormalitywasduetoassumingthepopulationerrordistributionwasnormal

這種準確的正態(tài)分布來自于總體誤差的分布是正態(tài)分布的假定。Thisassumptionofnormalerrorsimpliedthatthedistributionofy,giventhex’s,wasnormalaswell這個正態(tài)誤差的假定意味著當x給定時，y的分布也是正態(tài)分布。20第二十頁，共四十一頁，2022年，8月28日AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Whynormalityassumptionisneeded?

為什么需要正態(tài)性假定？Forprovingunbiasedness?–No.

為了證明無偏性？-不是ForprovingBLUE?–No.

為了證明最優(yōu)線性估計量？不是FormakingexactinferencewhenusingtorFstatistics?–Yes.

為了能夠用t統(tǒng)計量和F統(tǒng)計量作精確的推斷？是的21第二十一頁，共四十一頁，2022年，8月28日AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷

Easytocomeupwithexamplesforwhichthisexactnormalityassumptionwillfail

很容易碰到一些例子，其中嚴格的正態(tài)性假定并不能成立Anyclearlyskewedvariable,likewages,arrests,savings,etc.can’tbenormal,sinceanormaldistributionissymmetric

任何一個明顯不對稱的變量，像工資，拘捕次數(shù)，儲蓄量，等等都不可能服從正態(tài)分布，因為正態(tài)分布是對稱的。22第二十二頁，共四十一頁，2022年，8月28日AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Whattodo?

我們要做些什么？Willestimatorsbecomeapproximatelynormallydistributedwhensamplesizegetslarge?

當樣本容量變大時是否估計量會漸近地趨向于正態(tài)分布？WearediscussingwhetherOLSestimatorsatisfyasymptoticnormality.

我們討論是否OLS估計量滿足漸近正態(tài)性。23第二十三頁，共四十一頁，2022年，8月28日CentralLimitTheorem中心極限定理

Basedonthecentrallimittheorem,wecanshowthatOLSestimatorsareasymptoticallynormal基于中心極限定理，我們能夠證明OLS估計量是漸近正態(tài)。AsymptoticNormalityimpliesthatP(Z<z)F(z)asn,orP(Z<z)F(z)漸近正態(tài)意味著當n時，P(Z<z)F(z)或者P(Z<z)Ф(z)Thecentrallimittheoremstatesthatthestandardizedaverageofanypopulationwithmeanmandvariances2isasymptotically~N(0,1),or

中心極限定理指出任何一個均值為μ而方差為σ2

的總體的標準化平均值的分布漸近趨向于N(0,1),或記作24第二十四頁，共四十一頁，2022年，8月28日Theorem5.2:AsymptoticNormalityofOLS

定理5.2:OLS的漸近正態(tài)性25第二十五頁，共四十一頁，2022年，8月28日Theorem5.2:AsymptoticNormalityofOLS

定理5.2:OLS的漸近正態(tài)性26第二十六頁，共四十一頁，2022年，8月28日WhatisassumedandnotassumedinTheorem5.2

在定理5.2中什么是我們的假定而什么不是ThenormalityassumptionMLR.6isdropped.

去掉了正態(tài)性假定MLR.6Stillassumed:

仍然假定：Thedistributionoftheerrorhasfinitevariance.誤差的分布具有有限的方差Zeroconditionalmean零條件期望Homoskedasticity同方差性Linearstructureandrandomsample線性結構和隨機樣本27第二十七頁，共四十一頁，2022年，8月28日AsymptoticNormality(cont)

漸近正態(tài)（續(xù)）

Becausethetdistributionapproachesthenormaldistributionforlargedf,wecanalsosaythat因為自由度df很大的t分布接近于正態(tài)分布，我們也可以得到

Notethatwhilewenolongerneedtoassumenormalitywithalargesample,wedostillneedhomoskedasticity

注意到盡管我們在大樣本中不再需要正態(tài)性假定，我們仍然需要同方差性28第二十八頁，共四十一頁，2022年，8月28日MultipleRegressionAnalysis

:Asymptotics

多元回歸分析：漸近性(2)

y=b0+b1x1+b2x2+...bkxk+u29第二十九頁，共四十一頁，2022年，8月28日LectureOutline本課提綱TheasymptoticnormalityofOLSOLS的漸近正態(tài)性Largesampletests

大樣本檢驗TheAsymptotictstatistict統(tǒng)計量的漸近性TheLMstatisticLM統(tǒng)計量TheAsymptoticEfficiencyofOLSOLS的漸近有效

30第三十頁，共四十一頁，2022年，8月28日LagrangeMultiplierstatistic

拉格朗日乘子統(tǒng)計量

Onceweareusinglargesamplesandrelyingonasymptoticnormalityforinference,wecanusemorethantandFstats

當我們使用大樣本并且依靠漸近正態(tài)性進行推斷時，除了t和F統(tǒng)計量，我們還可以使用別的統(tǒng)計量。TheLagrangemultiplierorLMstatisticisanalternativefortestingmultipleexclusionrestrictions

拉格朗日乘子或LM統(tǒng)計量是檢驗多重限定性約束的另一種選擇。BecausetheLMstatisticusesanauxiliaryregressionit’ssometimescalledannR2statLM統(tǒng)計量使用一個輔助性的回歸，因此它有時被叫做nR2

統(tǒng)計量。

31第三十一頁，共四十一頁，2022年，8月28日LMStatistic(cont)

LM統(tǒng)計量(續(xù))

Supposewehaveastandardmodel,

y=b0+b1x1+b2x2+...bkxk+uandournullhypothesisisH0:bk-q+1=0,...,bk=0

假設我們有一個標準模型y=b0+b1x1+b2x2+...bkxk+u

而我們的零假設為:H0:bk-q+1=0,...,bk=0First,wejustrunregressionontherestrictedmodel

首先，我們對被約束的模型進行回歸32第三十二頁，共四十一頁，2022年，8月28日LMStatistic

LM統(tǒng)計量IFtheHnullistrue,thenR-squaredshouldbeclosetozero,since shouldbeapproximatelyuncorrelatedwithalltheindependentvariables.

如果H0為真，那么R-平方應該接近零，因為應該近似地與所有自變量都不相關。Weneedtodecidehowcloseisclosetozero.

我們需要判斷接近零的程度。33第三十三頁，共四十一頁，2022年，8月28日LMStatistic

LM統(tǒng)計量

Thefollowingstepscanbeusedfortestingthejointsignificanceofasetofqindependentvariables.

接下去的步驟可以用來檢驗一組q個自變量的聯(lián)合顯著性。34第三十四頁，共四十一頁，2022年，8月28日StepsinvolvedinLMtest

LM檢驗中的步驟Regressyonrestrictedsetofindependentvariablesandsavetheresiduals,.

將y對被約束的自變量進行回歸，保存殘差。RegressonalloftheindependentvariablesandobtaintheR-squared,

將對所有自變量進行回歸，得到相應的R-平方。ComputeLM=n

計算

LM=nCompareLMtotheappropriatecriticalvalueinachi-squaredistribution.將LM值與卡方分布中相應的臨界值進行比較。35第三十五頁，共四十一頁，2022年，8月28日CharacteristicsofLMtest

LM檢驗的特性LMstatisticsissometimesreferredtoasn-R-squaredstatistic,orscorestatistic.LM統(tǒng)計量有時被稱作是n-R-平方統(tǒng)計量，或者得分統(tǒng)計量Allthatmattersare相關的因素只有Numberofrestrictions,q

約束q的個數(shù)ThesizeoftheauxiliaryR-squared輔助R-平方的大小Thesamplesize樣本容量Irrelevant:

不相關的因素:Degreeoffreedomoftheunrestrictedmodel

未約束模型中自由度的個數(shù)。Rsquaredfromtheunrestrictedmodeland

restrictedmodel(thefirst-stepregressionmodel)

未約束模型和被約束模型(第一步的回歸模型)的R-平方36第三十六頁，共四十一頁，2022年，8月28日LMtestPKFtest&ttest

LM檢驗與F檢驗和t檢驗的優(yōu)劣對比Withalargesample,theresultfromanFtestandfromanLMtestshouldbesimilar

在大樣本中，F(xiàn)檢驗和LM檢驗得到的結果相似。Unliket