多元回歸分析大樣本理論

多元回歸分析大樣本理論1第1頁，課件共41頁，創(chuàng)作于2023年2月ChapterOutline本章提綱Consistency一致性AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷AsymptoticEfficiencyofOLSOLS的漸近有效性

2第2頁，課件共41頁，創(chuàng)作于2023年2月LectureOutline本課提綱Whatdowemeanbysayingconsistency

一致性的含義是什么ConsistencyofOLSestimatorsOLS估計量的一致性TheInconsistencyofOLSwhenthezeroconditionalmeanassumptionfails

當(dāng)零條件均值假設(shè)不成立時OLS沒有一致性。Whatdowemeanbyasymptoticnormalityandlargesampleinference

漸近正態(tài)性和大樣本推斷的含義是什么TheasymptoticnormalityofOLSOLS的漸近正態(tài)3第3頁，課件共41頁，創(chuàng)作于2023年2月Whyconsideringconsistency?

為什么考慮一致性Wehavediscussedthefollowingfinitesample(smallsample)propertiesoftheOLSestimatorsandteststatistics:

我們已經(jīng)討論了有限樣本(小樣本）中OLS估計量和檢驗(yàn)統(tǒng)計量具有的如下性質(zhì)：UnbiasednessofOLSestimators(MLR.1-4)在MLR.1-4下OLS估計量具有無偏性BLUEofOLSestimators(MLR.1-5)在MLR.1-5下OLS估計量是最優(yōu)線性無偏估計量MVUEofOLSestimators(MLR.1-6)在MLR.1-6下OLS估計量是最小方差無偏估計量Thedistributionoft(F)statisticist(F)distributiont(F)統(tǒng)計量的分布為t(F)分布。Thesepropertiesholdforanysamplesizen.

樣本容量為任意n時，這些性質(zhì)都成立。4第4頁，課件共41頁，創(chuàng)作于2023年2月Whyconsiderconsistency?

為什么考慮一致性Sinceinmanysituationstheerrortermisnotnormallydistributed,itisimportanttoknowtheasymptoticproperties(largesampleproperties),i.e.,thepropertiesofOLSestimatorandteststatisticswhenthesamplesizegrowswithoutbound.

由于在很多情形下誤差項(xiàng)可能呈現(xiàn)非正態(tài)分布，了解OLS估計量和檢驗(yàn)統(tǒng)計量的漸近性，即當(dāng)樣本容量任意大時的特性就是重要的問題。5第5頁，課件共41頁，創(chuàng)作于2023年2月WhatisConsistency

什么是一致性令是基于樣本的關(guān)于的估計量。如果對于任何，當(dāng)時便是的一個一致估計量。當(dāng)具有一致性時，我們也稱為的概率極限，寫作是6第6頁，課件共41頁，創(chuàng)作于2023年2月Consistencyv.s.unbiasedness

一致性與無偏性Isitpossibleforanestimatortobebiasedinfinitesamplebutconsistentinlargesample? 一個估計量是否有可能在有限樣本中是有偏的但又具有一致性？Supposetruevalueofz=0,arandomvariablex=zwithprobability(n-1)/n,andx=nwithprobability1/n.

假設(shè)Z的真值為0，一個隨機(jī)變量X以(n-1)/n的概率取值為Z，而以1/n的概率取值為n。E(x)=z*(n-1)/n+n*1/n=1X的期望為1plim(x)isthevalueofxasngoestoinfinity.Thereforeplim(x)=z=0.

記plim(x)為n趨向無窮大時x的取值。因此

plim(x)=z=0.7第7頁，課件共41頁，創(chuàng)作于2023年2月Consistencyv.s.unbiasedness

一致性與無偏性Isitpossibleforanestimatortobeunbiasedbutinconsistent?

是否有可能(一個估計量)是無偏卻不一致的？Supposetruevalueofz=0,arandomvariablex=0.5withprobability0.5,andx=-0.5withprobability0.5.ThenE(x)=0.Butasxalwaysfluctuatesaroundthelinex=0,itsvariancedoesnotvanishasngoestoinfinity.Therefore,itisaninconsistentestimatorofz.假設(shè)Z的真值為0，一個隨機(jī)變量X以0.5的概率取0.5，而以0.5的概率取-0.5，那么X的期望為0。但是

X總是在X=0這條線上下擺動，當(dāng)n趨向無窮大時，它的方差并不會趨于0。因此，它是Z的不一致的估計量。8第8頁，課件共41頁，創(chuàng)作于2023年2月Consistencyv.s.unbiasedness

一致性與無偏性Unbiasedestimatorsarenotnecessarilyconsistent,butthosewhosevariancesshrinktozeroasthesamplesizegrowsareconsistent.無偏估計量未必是一致的，但是那些當(dāng)樣本容量增大時方差會收縮到零的無偏估計量是一致的。9第9頁，課件共41頁，創(chuàng)作于2023年2月Consistency

一致性

UndertheGauss-MarkovassumptionsOLSisBLUE,butinothercasesitwon’talwaysbepossibletofindunbiasedestimators在高斯－馬爾可夫假定下OLS是最優(yōu)線性無偏估計量，但在別的情形下不一定能找到無偏估計量。Inthosecases,wemaysettleforestimatorsthatareconsistent,meaningasn∞,thedistributionoftheestimatorcollapsestothetrueparametervalue在那些情形下，我們只要找到一致的估計量，即當(dāng)n∞時,這些估計量的分布退化為參數(shù)的真值。10第10頁，課件共41頁，創(chuàng)作于2023年2月SamplingDistributionsasnincreases

當(dāng)n增加時樣本的分布b1n1n2n3n1<n2<n3Samplingdistri-butionofβ1例：n1:每次從班上抽取10人，抽若干次后，平均身高的分布；n2:每次從班上抽取100人，抽若干次后，平均身高的分布；n3:每次從班上抽取200人，抽若干次后，平均身高的分布。11第11頁，課件共41頁，創(chuàng)作于2023年2月ConsistencyofOLS

OLS的一致性

Theorem5.1:UnderAssumptionsMLR.1throughMLR.4,theOLSestimatorisconsistentforboththeinterceptandslopeparameters.

定理5.1:在假設(shè)MLR.1到MLR.4下，OLS截距估計量和斜率估計量都是一致的估計量。Consistencycanbeprovedforthesimpleregressioncaseinamannersimilartotheproofofunbiasedness對簡單回歸而言，證明估計量的一致性和證明無偏性的方法是類似的。12第12頁，課件共41頁，創(chuàng)作于2023年2月ProvingConsistency

證明一致性13第13頁，課件共41頁，創(chuàng)作于2023年2月ProvingConsistency

證明一致性14第14頁，課件共41頁，創(chuàng)作于2023年2月ProofofOLSConsistency

證明OLS的一致性AgeneralproofofconsistencyoftheOLSestimatorsfromthemultivariateregressioncasecanbeshownthroughmatrixmanipulations.多元回歸中OLS估計量的一致性的證明可以通過矩陣運(yùn)算得到。15第15頁，課件共41頁，創(chuàng)作于2023年2月AWeakerAssumption

一個更弱的假定

Forunbiasedness,weassumedazeroconditionalmean–E(u|x1,x2,…,xk)=0要獲得估計量的無偏性，我們假定零條件期望

–E(u|x1,x2,…,xk)=0Forconsistency,wecanhavetheweakerassumptionofzeromeanandzerocorrelation(MLR.3’)–E(u)=0andCov(xj,u)=0,forj=1,2,…,k

而要獲得估計量的一致性，我們可以使用更弱的假定：零期望和零相關(guān)性假定。Withoutthisassumption,OLSwillbebiasedandinconsistent!

如果這個較弱的假定也不成立，OLS將是有偏而且不一致的。16第16頁，課件共41頁，創(chuàng)作于2023年2月DerivingtheInconsistency

推導(dǎo)不一致性

Definetheasymptoticbiasas , thenconsiderthefollowingtruemodelandestimatedmodel:定義漸近偏差為：，并考慮下面的真實(shí)模型和待估計模型。17第17頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticBias(cont)

漸近偏差(續(xù))

So,thinkingaboutthedirectionoftheasymptoticbiasisjustlikethinkingaboutthedirectionofbiasforanomittedvariable

所以，考慮漸近偏差的方向就像是考慮存在一個遺漏變量時偏差的方向。Maindifferenceisthatasymptoticbiasusesthepopulationvarianceandcovariance,whilebiasusesthesamplecounterparts

主要的區(qū)別在于漸近偏差用總體方差和總體協(xié)方差表示，而偏差則是基于它們在樣本中的對應(yīng)量。Remember,inconsistencyisalargesampleproblem–itdoesn’tgoawayasadddata

記住，不一致性是一個大樣本問題。因此，當(dāng)數(shù)據(jù)增加時候這個問題并不會消失。18第18頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Consistencyofanestimatorisanimportantproperty,butitalonedoesnotallowustoperformstatisticalinference.估計量的一致性是一條重要性質(zhì)，但我們并不能只靠它來進(jìn)行統(tǒng)計推斷。RecallthatundertheClassicalLinearModelassumptions,thesamplingdistributionsarenormal,sowecouldderivetandFdistributionsfortesting

在經(jīng)典線性模型假設(shè)下，樣本的分布是正態(tài)分布，因而我們能夠推出t分布和F分布用于檢驗(yàn)。19第19頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Thisexactnormalitywasduetoassumingthepopulationerrordistributionwasnormal

這種準(zhǔn)確的正態(tài)分布來自于總體誤差的分布是正態(tài)分布的假定。Thisassumptionofnormalerrorsimpliedthatthedistributionofy,giventhex’s,wasnormalaswell這個正態(tài)誤差的假定意味著當(dāng)x給定時，y的分布也是正態(tài)分布。20第20頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Whynormalityassumptionisneeded?

為什么需要正態(tài)性假定？Forprovingunbiasedness?–No.

為了證明無偏性？-不是ForprovingBLUE?–No.

為了證明最優(yōu)線性估計量？不是FormakingexactinferencewhenusingtorFstatistics?–Yes.

為了能夠用t統(tǒng)計量和F統(tǒng)計量作精確的推斷？是的21第21頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷

Easytocomeupwithexamplesforwhichthisexactnormalityassumptionwillfail

很容易碰到一些例子，其中嚴(yán)格的正態(tài)性假定并不能成立Anyclearlyskewedvariable,likewages,arrests,savings,etc.can’tbenormal,sinceanormaldistributionissymmetric

任何一個明顯不對稱的變量，像工資，拘捕次數(shù)，儲蓄量，等等都不可能服從正態(tài)分布，因?yàn)檎龖B(tài)分布是對稱的。22第22頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticNormalityandLargeSampleInference

漸近正態(tài)和大樣本推斷Whattodo?

我們要做些什么？Willestimatorsbecomeapproximatelynormallydistributedwhensamplesizegetslarge?

當(dāng)樣本容量變大時是否估計量會漸近地趨向于正態(tài)分布？WearediscussingwhetherOLSestimatorsatisfyasymptoticnormality.

我們討論是否OLS估計量滿足漸近正態(tài)性。23第23頁，課件共41頁，創(chuàng)作于2023年2月CentralLimitTheorem中心極限定理

Basedonthecentrallimittheorem,wecanshowthatOLSestimatorsareasymptoticallynormal基于中心極限定理，我們能夠證明OLS估計量是漸近正態(tài)。AsymptoticNormalityimpliesthatP(Z<z)F(z)asn,orP(Z<z)F(z)漸近正態(tài)意味著當(dāng)n時，P(Z<z)F(z)或者P(Z<z)Ф(z)Thecentrallimittheoremstatesthatthestandardizedaverageofanypopulationwithmeanmandvariances2isasymptotically~N(0,1),or

中心極限定理指出任何一個均值為μ而方差為σ2

的總體的標(biāo)準(zhǔn)化平均值的分布漸近趨向于N(0,1),或記作24第24頁，課件共41頁，創(chuàng)作于2023年2月Theorem5.2:AsymptoticNormalityofOLS

定理5.2:OLS的漸近正態(tài)性25第25頁，課件共41頁，創(chuàng)作于2023年2月Theorem5.2:AsymptoticNormalityofOLS

定理5.2:OLS的漸近正態(tài)性26第26頁，課件共41頁，創(chuàng)作于2023年2月WhatisassumedandnotassumedinTheorem5.2

在定理5.2中什么是我們的假定而什么不是ThenormalityassumptionMLR.6isdropped.

去掉了正態(tài)性假定MLR.6Stillassumed:

仍然假定：Thedistributionoftheerrorhasfinitevariance.誤差的分布具有有限的方差Zeroconditionalmean零條件期望Homoskedasticity同方差性Linearstructureandrandomsample線性結(jié)構(gòu)和隨機(jī)樣本27第27頁，課件共41頁，創(chuàng)作于2023年2月AsymptoticNormality(cont)

漸近正態(tài)（續(xù)）

Becausethetdistributionapproachesthenormaldistributionforlargedf,wecanalsosaythat因?yàn)樽杂啥萪f很大的t分布接近于正態(tài)分布，我們也可以得到

Notethatwhilewenolongerneedtoassumenormalitywithalargesample,wedostillneedhomoskedasticity

注意到盡管我們在大樣本中不再需要正態(tài)性假定，我們?nèi)匀恍枰讲钚?8第28頁，課件共41頁，創(chuàng)作于2023年2月MultipleRegressionAnalysis

:Asymptotics

多元回歸分析：漸近性(2)

y=b0+b1x1+b2x2+...bkxk+u29第29頁，課件共41頁，創(chuàng)作于2023年2月LectureOutline本課提綱TheasymptoticnormalityofOLSOLS的漸近正態(tài)性Largesampletests

大樣本檢驗(yàn)TheAsymptotictstatistict統(tǒng)計量的漸近性TheLMstatisticLM統(tǒng)計量TheAsymptoticEfficiencyofOLSOLS的漸近有效

30第30頁，課件共41頁，創(chuàng)作于2023年2月LagrangeMultiplierstatistic

拉格朗日乘子統(tǒng)計量

Onceweareusinglargesamplesandrelyingonasymptoticnormalityforinference,wecanusemorethantandFstats

當(dāng)我們使用大樣本并且依靠漸近正態(tài)性進(jìn)行推斷時，除了t和F統(tǒng)計量，我們還可以使用別的統(tǒng)計量。TheLagrangemultiplierorLMstatisticisanalternativefortestingmultipleexclusionrestrictions

拉格朗日乘子或LM統(tǒng)計量是檢驗(yàn)多重限定性約束的另一種選擇。BecausetheLMstatisticusesanauxiliaryregressionit’ssometimescalledannR2statLM統(tǒng)計量使用一個輔助性的回歸，因此它有時被叫做nR2

統(tǒng)計量。

31第31頁，課件共41頁，創(chuàng)作于2023年2月LMStatistic(cont)

LM統(tǒng)計量(續(xù))

Supposewehaveastandardmodel,

y=b0+b1x1+b2x2+...bkxk+uandournullhypothesisisH0:bk-q+1=0,...,bk=0

假設(shè)我們有一個標(biāo)準(zhǔn)模型y=b0+b1x1+b2x2+...bkxk+u

而我們的零假設(shè)為:H0:bk-q+1=0,...,bk=0First,wejustrunregressionontherestrictedmodel

首先，我們對被約束的模型進(jìn)行回歸32第32頁，課件共41頁，創(chuàng)作于2023年2月LMStatistic

LM統(tǒng)計量IFtheHnullistrue,thenR-squaredshouldbeclosetozero,since shouldbeapproximatelyuncorrelatedwithalltheindependentvariables.

如果H0為真，那么R-平方應(yīng)該接近零，因?yàn)閼?yīng)該近似地與所有自變量都不相關(guān)。Weneedtodecidehowcloseisclosetozero.

我們需要判斷接近零的程度。33第33頁，課件共41頁，創(chuàng)作于2023年2月LMStatistic

LM統(tǒng)計量

Thefollowingstepscanbeusedfortestingthejointsignificanceofasetofqindependentvariables.

接下去的步驟可以用來檢驗(yàn)一組q個自變量的聯(lián)合顯著性。34第34頁，課件共41頁，創(chuàng)作于2023年2月StepsinvolvedinLMtest

LM檢驗(yàn)中的步驟Regressyonrestrictedsetofindependentvariablesandsavetheresiduals,.

將y對被約束的自變量進(jìn)行回歸，保存殘差。RegressonalloftheindependentvariablesandobtaintheR-squared,

將對所有自變量進(jìn)行回歸，得到相應(yīng)的R-平方。ComputeLM=n

計算

LM=nCompareLMtotheappropriatecriticalvalueinachi-squaredistribution.將LM值與卡方分布中相應(yīng)的臨界值進(jìn)行比較。35第35頁，課件共41頁，創(chuàng)作于2023年2月CharacteristicsofLMtest

LM檢驗(yàn)的特性LMstatisticsissometimesreferredtoasn-R-squaredstatistic,orscorestatistic.LM統(tǒng)計量有時被稱作是n-R-平方統(tǒng)計量，或者得分統(tǒng)計量Allthatmattersare相關(guān)的因素只有Numberofrestrictions,q

約束q的個數(shù)ThesizeoftheauxiliaryR-squared輔助R-平方的大小Thesamplesize樣本容量Irrelevant:

不相關(guān)的因素:Degreeoffreedomoftheunrestrictedmodel

未約束模型中自由度的個數(shù)。Rsquaredfromtheunrestrictedmodeland

restrictedmodel(thefirst-stepregressionmodel)

未約束模型和被約束模型(第一步的回歸模型)的R-平方36第36頁，課件共41頁，創(chuàng)作于2023年2月LMtestPKFtest&ttest

LM檢驗(yàn)與F檢驗(yàn)和t檢驗(yàn)的優(yōu)劣對比Withalargesample,theresultfromanFtestandfromanLMtestshouldbesimilar

在大樣本中，F(xiàn)檢驗(yàn)和LM檢驗(yàn)得到的結(jié)果相似。Unlike