極大似然估計(jì)和廣義矩估計(jì)

第四講極大似然估計(jì)

和廣義矩估計(jì)MaximumLikelihoodestimateandGeneralizedMethodofMoments2/3/2023第一節(jié)極大似然估計(jì)法第二節(jié)似然比檢驗(yàn)、沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)第三節(jié)廣義矩(GMM)估計(jì)2/3/2023普通最小二乘法(OLS)是計(jì)量經(jīng)濟(jì)學(xué)中使用頻率最高的估計(jì)方法。建模者越來(lái)越多使用廣義矩估計(jì)和極大似然估計(jì)、貝葉斯估計(jì)等。極大似然估計(jì)(MLE)和廣義矩估計(jì)(GMM)已成為計(jì)量經(jīng)濟(jì)學(xué)中重要的估計(jì)方法，其中極大似然估計(jì)的使用頻率僅次于LS。極大似然估計(jì)法和廣義矩估計(jì)法適用于大樣本條件下參數(shù)的估計(jì)，在大樣本條件下它們具有優(yōu)良的性質(zhì)。2/3/2023第一節(jié)極大似然估計(jì)法

極大似然估計(jì)(MLE)的應(yīng)用雖然沒(méi)有OLS廣泛，但它是一個(gè)具有更強(qiáng)理論性質(zhì)的點(diǎn)估計(jì)方法，它以極大似然原理為基礎(chǔ)，通過(guò)(對(duì)數(shù))似然函數(shù)估計(jì)總體參數(shù)。極大似然估計(jì)量是一致的、漸近正態(tài)的，而且在所有具有這些性質(zhì)的估計(jì)量中又是有效的。其缺陷：要假設(shè)變量的分布，如正態(tài)分布。對(duì)一些特殊類型的計(jì)量經(jīng)濟(jì)模型，如后面將介紹的Logit和Probit模型，OLS不再適用，常采用極大似然估計(jì)。

2/3/2023一、極大似然法的思路極大似然估計(jì)的出發(fā)點(diǎn)是已知被觀測(cè)現(xiàn)象的分布，但不知道其參數(shù)。極大似然法用使得觀測(cè)值(樣本)最高概率的那些參數(shù)的值來(lái)估計(jì)該分布的參數(shù)，從而提供一種用于估計(jì)一個(gè)分布的參數(shù)的方法。例4.1設(shè)有一枚不均衡的硬幣，我們關(guān)心的是在每次拋擲該硬幣出現(xiàn)正面的概率p。拋擲該硬幣N次，假設(shè)得到N1次正面，N－N1

次反面。由于每次拋硬幣都是相互獨(dú)立的，根據(jù)二項(xiàng)分布，得到這樣一個(gè)樣本的概率為：2/3/2023上式可看作是未知參數(shù)p的函數(shù)，被稱為似然函數(shù)。對(duì)p的極大似然估計(jì)意味著選擇使似然函數(shù)達(dá)到最大的p值，從而得到p的極大似然估計(jì)量。實(shí)際計(jì)算中，極大化似然函數(shù)的對(duì)數(shù)往往比較方便，這給出對(duì)數(shù)似然函數(shù)上式達(dá)到極大的一階條件是解之得到p的極大似然估計(jì)量2/3/2023

二、極大似然原理未知

觀測(cè)值隨機(jī)變量Y的概率密度函數(shù)，隨機(jī)樣本似然函數(shù)對(duì)數(shù)似然函數(shù)更方便、更容易極大似然估計(jì)的思想：的極大似然估計(jì)是使得產(chǎn)生樣本的最高概率的那個(gè)值，(使得觀測(cè)到該樣本可能性最大的那個(gè))；即的極大似然估計(jì)是使似然函數(shù)達(dá)到最大的值。記為

總體有離散型和連續(xù)型兩種，離散型總體通過(guò)分布列來(lái)構(gòu)造似然函數(shù)，而連續(xù)型總體通過(guò)密度函數(shù)來(lái)構(gòu)造似然函數(shù).似然方程Score向量，梯度向量2/3/2023離散型隨機(jī)變量極大似然原理若總體為離散型分布，分布列樣本取到觀察值的概率，亦即事件發(fā)生的概率為：其中是待估參數(shù)向量；似然函數(shù)為

這一概率隨的取值而變化，它是的函數(shù)。極大似然估計(jì)就是在的可能取值范圍內(nèi)尋找使似然函數(shù)達(dá)到最大的那個(gè)作為參數(shù)的估計(jì)值，即求，使得一般通過(guò)微分的方法求得，即令得到，有時(shí)也可通過(guò)迭代法來(lái)求，具體的計(jì)算方法根據(jù)隨機(jī)變量的分布來(lái)確定。2/3/2023連續(xù)型隨機(jī)變量極大似然原理若總體為連續(xù)型分布，密度函數(shù)為，形式已知，其中待估參數(shù)向量為。樣本的聯(lián)合概率密度為似然函數(shù)對(duì)數(shù)似然極大似然估計(jì)就是使得下式成立的具體求法：由解出極大值點(diǎn)，因函數(shù)ln單增,故常常由求解。對(duì)數(shù)似然函數(shù)的一階導(dǎo)數(shù)向量稱為score向量或梯度向量。似然方程即2/3/2023三、極大似然估計(jì)量的性質(zhì)極大似然估計(jì)量的優(yōu)勢(shì)在于其大樣本性質(zhì)(漸近性質(zhì))。參數(shù)向量的極大似然估計(jì)量

參數(shù)向量的真值如果極大似然函數(shù)被正確設(shè)定，可以證明，在較弱的正則條件下，極大似然估計(jì)量具有以下漸近性質(zhì)：

(1)一致性：是的一致估計(jì)量，即

(2)漸近正態(tài)性：

即近似服從正態(tài)分布，其中V是漸近方差—協(xié)方差矩陣

(3)漸近有效性：是漸近有效的且達(dá)到所有一致漸近正態(tài)估計(jì)量的Cramèr-Rao下界，即在所有一致漸近正態(tài)估計(jì)量中具有最小方差。

(4)不變性：設(shè)是任一連續(xù)可微的函數(shù)，則的極大似然估計(jì)為2/3/2023極大似然估計(jì)量的漸近協(xié)方差矩陣極大似然估計(jì)的漸近方差—協(xié)方差矩陣由對(duì)數(shù)似然函數(shù)決定.信息矩陣(InformationMatrix)Fisher可以證明：在適當(dāng)?shù)恼齽t條件下，極大似然估計(jì)量的漸近方差—協(xié)方差矩陣等于Fisher信息矩陣的逆矩陣，即上式很少用！因信息陣為復(fù)雜的非線性函數(shù)，期望總是未知的。實(shí)際中用漸近方差—協(xié)方差的估計(jì)梯度向量海賽矩陣2/3/2023四、線性回歸模型的極大似然估計(jì)線性回歸模型是計(jì)量經(jīng)濟(jì)學(xué)應(yīng)用最廣泛的模型，因此討論線性回歸模型的極大似然估計(jì)是非常必要的。在隨機(jī)誤差項(xiàng)服從正態(tài)分布的假設(shè)下分別討論一元線性回歸模型和多元線性回歸模型的極大似然估計(jì)。非線性模型的極大似然估計(jì)，將在第五章中介紹。注意:

比較線性回歸模型回歸系數(shù)的OLS和MLE的區(qū)別。2/3/2023一元線性回歸模型的極大似然估計(jì)一元線性回歸模型：假設(shè)隨機(jī)擾動(dòng)項(xiàng)即隨機(jī)擾動(dòng)項(xiàng)具有0均值、同方差、不相關(guān)和服從正態(tài)分布，密度函數(shù)似然函數(shù)對(duì)數(shù)似然函數(shù)似然方程2/3/2023極大似然估計(jì)的極大似然估計(jì)是一個(gè)有偏估計(jì)；但它是漸近無(wú)偏的。MLE的線性回歸模型的殘差平方和等于OLS的殘差平方和2/3/2023多元線性回歸模型的極大似然估計(jì)一般多元線性回歸模型矩陣形式：對(duì)隨機(jī)擾動(dòng)項(xiàng)作出如下假設(shè)：則的密度函數(shù)為：的密度函數(shù)為似然函數(shù)為：對(duì)數(shù)似然函數(shù)為：2/3/2023使對(duì)數(shù)似然函數(shù)達(dá)到極大的一階條件為(正規(guī)方程組)

解得:

因此，在隨機(jī)擾動(dòng)項(xiàng)滿足標(biāo)準(zhǔn)假設(shè)條件的情況下，的極大似然估計(jì)與普通最小二乘估計(jì)相同，的ML估計(jì)與OLS估計(jì)則不同。是無(wú)偏的，而是有偏的，但漸近無(wú)偏。對(duì)數(shù)似然函數(shù)的極大值：

2/3/2023為了得到的無(wú)偏估計(jì)量的Cramèr-Rao下界，需要先計(jì)算信息陣

Cramèr-Rao下界2/3/2023注意：達(dá)到了Cramèr-Rao下界。在正態(tài)性的假設(shè)下，回歸系數(shù)的OLS和ML估計(jì)是最小方差無(wú)偏估計(jì)量(MVU)，這表明,它們?cè)谒袩o(wú)偏估計(jì)量而不僅僅是線性無(wú)偏估計(jì)量中方差最小。在大多數(shù)情況下，無(wú)法由似然方程解得極大似然估計(jì)的顯式解，(盡管知道它是存在的)而只能借助迭代方法求得數(shù)值解。非線性回歸模型的極大似然估計(jì)(ch5)離散或受限因變量模型的極大似然估計(jì)(ch10)2/3/2023

例4.2以消費(fèi)函數(shù)為例，說(shuō)明極大似然估計(jì)法的估計(jì)過(guò)程。根據(jù)經(jīng)濟(jì)理論，消費(fèi)和收入與價(jià)格密切相關(guān)，因此建立以我國(guó)國(guó)內(nèi)生產(chǎn)總值gdp和消費(fèi)價(jià)格指數(shù)p為解釋變量，國(guó)內(nèi)總消費(fèi)tc為被解釋變量的消費(fèi)方程。數(shù)據(jù)區(qū)間為1988—2007年。消費(fèi)方程設(shè)定為：其中服從正態(tài)分布。普通最小二乘估計(jì)的結(jié)果為：

極大似然估計(jì)的結(jié)果為：對(duì)于線性回歸模型，用極大似然估計(jì)得到的系數(shù)估計(jì)值與用最小二乘法估計(jì)得到的結(jié)果完全相同。2/3/2023五、極大似然估計(jì)的計(jì)算方法除少數(shù)情況外(如正態(tài)線性回歸模型)，大多數(shù)時(shí)候無(wú)法由似然方程得到參數(shù)極大似然估計(jì)的顯示表達(dá)式。只能借助迭代方法得到其數(shù)值解。1.一階導(dǎo)數(shù)方法

Gauss-Newton/BHHH法(擬牛頓型)Marquardt法(擬牛頓型)2.二階導(dǎo)數(shù)方法

Newton-Raphson法(牛頓型)

Goldfeld-Quandt法

DFP法(擬牛頓型)BFGS法(擬牛頓型)2/3/2023第二節(jié)似然比檢驗(yàn)、沃爾德檢驗(yàn)

和拉格朗日乘數(shù)檢驗(yàn)似然比檢驗(yàn)(LikelihoodRatioTest,LR)

瓦爾德檢驗(yàn)(WaldTest,W)

拉格朗日乘數(shù)檢驗(yàn)(LagrangeMultiplierTest,LM)

是三種基于極大似然法的大樣本檢驗(yàn)方法。2/3/2023在第二章中介紹的F檢驗(yàn)適用于檢驗(yàn)經(jīng)典線性回歸(CLR)模型的線性約束條件且具有嵌套關(guān)系。如果施加于模型的約束是非線性的，模型存在參數(shù)非線性，F(xiàn)檢驗(yàn)就不再適用，通常需要采用LR、W和LM三個(gè)檢驗(yàn)方法。這三個(gè)檢驗(yàn)方法是漸近等價(jià)的，都漸近地服從自由度為約束條件個(gè)數(shù)的分布。但它們的小樣本性質(zhì)卻各不相同，除個(gè)別特殊情況外它們的小樣本性質(zhì)是未知的。2/3/2023一、三種檢驗(yàn)的基本原理(自看)三個(gè)檢驗(yàn)統(tǒng)計(jì)量基于三個(gè)不同的原理,用下圖來(lái)解釋。2/3/2023圖中，對(duì)數(shù)似然函數(shù)lnL由上面的那條曲線表示，它是要估計(jì)的參數(shù)的函數(shù)。無(wú)約束極大似然估計(jì)是使lnL達(dá)到極大的值。假設(shè)要檢驗(yàn)的約束條件是在這個(gè)約束下，lnL的極大值為，稱為有約束極大似然估計(jì)。從圖上看，這個(gè)點(diǎn)是函數(shù)與橫軸的交點(diǎn)。2/3/2023

1.LR檢驗(yàn)(對(duì)數(shù)似然函數(shù)角度進(jìn)行比較)

如果約束條件為真，則施加該約束條件后lnL的極大值lnLR

不應(yīng)當(dāng)顯著小于lnL的無(wú)約束極大值。因此，LR檢驗(yàn)基于lnL-lnLR是否顯著異于0，若這個(gè)差顯著異于0，拒絕原假設(shè).2.W檢驗(yàn)(從約束條件的角度比較)

如果約束條件為真，則不應(yīng)顯著異于0，其中是的無(wú)約束極大似然估計(jì)值。W檢驗(yàn)基于若它顯著異于0，則拒絕原假設(shè)。

3.LM檢驗(yàn)(從對(duì)數(shù)似然函數(shù)的斜率的角度比較)

對(duì)數(shù)似然函數(shù)在A點(diǎn)達(dá)到極大，在這點(diǎn)關(guān)于的斜率為0。如果約束條件為真，則lnL在B點(diǎn)的斜率應(yīng)近似為0。LM檢驗(yàn)基于對(duì)數(shù)似然函數(shù)在約束極大似然估計(jì)處的斜率,若該斜率顯著異于0，則拒絕原假設(shè)。2/3/2023二、似然比（LR）檢驗(yàn)設(shè)為待估計(jì)參數(shù)向量，原假設(shè)規(guī)定施加于這些參數(shù)上的約束。分別為的無(wú)約束和有約束極大似然估計(jì)。似然比為其值位于0和1之間，因?yàn)閮蓚€(gè)似然都是正的，并且約束似然不會(huì)大于無(wú)約束似然函數(shù)值(局部最大不可能大于全局最大)。如果過(guò)于小，則懷疑原假設(shè)的正確性。LR檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量是在大樣本情況下近似服從自由度為q的卡方分布。(q是約束條件造成的參數(shù)個(gè)數(shù)減少的數(shù)目)缺點(diǎn)：既要進(jìn)行約束回歸，又要進(jìn)行無(wú)約束回歸。(對(duì)數(shù)似然函數(shù)角度進(jìn)行比較)2/3/2023復(fù)雜模型中，有約束和無(wú)約束估計(jì)中可能有一個(gè)很難計(jì)算。有兩個(gè)可供選擇的方法，即沃爾德檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)。這兩個(gè)檢驗(yàn)只需要估計(jì)約束或無(wú)約束參數(shù)中的一個(gè)。設(shè)的無(wú)約束極大似然估計(jì)為，要檢驗(yàn)的原假設(shè)為：若約束條件成立，則若顯著不為0，則拒絕原假設(shè)。W檢驗(yàn)就是遵循這個(gè)思路構(gòu)建的。W統(tǒng)計(jì)量是從約束條件的角度大樣本時(shí)，W近似服從自由度為q的卡方分布。注意：W統(tǒng)計(jì)量只需要估計(jì)無(wú)約束模型。三、沃爾德（W）檢驗(yàn)2/3/2023四、拉格朗日乘數(shù)(LM)檢驗(yàn)拉格朗日乘數(shù)(LM)檢驗(yàn)，亦稱score檢驗(yàn)。該檢驗(yàn)只需估計(jì)約束模型，無(wú)需估計(jì)無(wú)約束模型。假設(shè)要在約束條件下極大化對(duì)數(shù)似然函數(shù)，令表示拉格朗日乘數(shù)向量，并定義拉格朗日函數(shù)約束最大化問(wèn)題就是求解方程組若約束成立，則加上它們不會(huì)造成對(duì)數(shù)似然函數(shù)極大值的顯著差異。這意味著在一階條件下，第二項(xiàng)應(yīng)該很小，特別是應(yīng)該很小，可以通過(guò)檢驗(yàn)2/3/2023直接檢驗(yàn)拉格朗日乘數(shù)向量比較困難，其等價(jià)而簡(jiǎn)單一些的方法:對(duì)數(shù)似然函數(shù)的導(dǎo)數(shù)在約束估計(jì)值處有如果約束條件成立，則應(yīng)有。即在約束估計(jì)值處對(duì)數(shù)似然的導(dǎo)數(shù)應(yīng)該近似為0。對(duì)數(shù)似然的一階導(dǎo)數(shù)向量是Score向量。由于LM檢驗(yàn)基于該向量，因而也被稱為Score檢驗(yàn)，但大多數(shù)文獻(xiàn)中還是稱之為拉格朗日乘數(shù)檢驗(yàn)。LM檢驗(yàn)統(tǒng)計(jì)量是2/3/2023實(shí)際應(yīng)用中，LM統(tǒng)計(jì)量有一個(gè)很簡(jiǎn)單的公式其中是通過(guò)一個(gè)輔助回歸計(jì)算得到的非中心可決系數(shù)輔助回歸：用元素均為1的列向量為因變量，對(duì)數(shù)似然函數(shù)在約束估計(jì)值處的導(dǎo)數(shù)為自變量進(jìn)行線性回歸,得到的非中心。非中心的含義是，在計(jì)算總平方和TSS時(shí)，因變量不減去其均值，即用這種方法計(jì)算LM統(tǒng)計(jì)量非常容易，但對(duì)于小樣本不可靠，犯第一類錯(cuò)誤的可能性很大。Davidson和MacKinnon(1983)提出了計(jì)算LM統(tǒng)計(jì)量的另一種方法，該方法克服了上述方法的缺點(diǎn)，而保持了其計(jì)算簡(jiǎn)便的優(yōu)點(diǎn)，盡管計(jì)算中需要執(zhí)行他們所稱的雙長(zhǎng)度回歸(double-lengthregression,DLR)。2/3/2023五、實(shí)踐中三種檢驗(yàn)法的選擇問(wèn)題

面臨具有相同漸近性質(zhì)的幾種統(tǒng)計(jì)量時(shí)，通常根據(jù)其小樣本性質(zhì)進(jìn)行選擇。由于這三個(gè)檢驗(yàn)的小樣本性質(zhì)未知，所以實(shí)踐中，通常都是根據(jù)計(jì)算的難易來(lái)選擇。計(jì)算LR統(tǒng)計(jì)量，需要計(jì)算約束和無(wú)約束估計(jì)，如果二者都容易計(jì)算，則LR檢驗(yàn)是三種檢驗(yàn)中最具吸引力的.計(jì)算W統(tǒng)計(jì)量只需要無(wú)約束估計(jì)。如果約束估計(jì)的計(jì)算比較困難，而無(wú)約束估計(jì)容易計(jì)算，則W統(tǒng)計(jì)量應(yīng)成為首選。計(jì)算LM統(tǒng)計(jì)量只需約束估計(jì)。如果約束估計(jì)值的計(jì)算比較容易，而無(wú)約束估計(jì)值的計(jì)算困難，則LM統(tǒng)計(jì)量應(yīng)成為最為可取。在計(jì)算方面的考慮不是問(wèn)題的情況下，應(yīng)選擇LR檢驗(yàn).2/3/2023第三節(jié)廣義矩(GMM)估計(jì)

OLS法和ML估計(jì)法等方法都有本身的局限性。

OLS法必須在遵循經(jīng)典假設(shè)的條件下才具有優(yōu)良的性質(zhì),在違背基本假設(shè)(異方差和序列相關(guān))時(shí),OLS估計(jì)不再是BLUE。應(yīng)用ML估計(jì)需要對(duì)隨機(jī)誤差項(xiàng)的分布做出某種假設(shè)。廣義矩估計(jì)(GMM)不需假定隨機(jī)誤差項(xiàng)的具體分布，且允許隨機(jī)誤差項(xiàng)存在異方差和自相關(guān)。

OLS估計(jì)、ML估計(jì)和IV估計(jì)等都是GMM的特例。當(dāng)不存在異方差和自相關(guān)時(shí)，2SLS是一致、漸近正態(tài)、有效估計(jì)；若存在異方差或自相關(guān)，GMM是最有效的。2/3/2023一、矩估計(jì)法矩估計(jì)法(MethodofMoments)是GMM法的基礎(chǔ)，GMM是MM估計(jì)的推廣，類似于GLS和OLS的關(guān)系。(一)矩估計(jì)原理總體的原點(diǎn)矩：樣本的原點(diǎn)矩：總體分布的參數(shù)是總體原點(diǎn)矩的函數(shù)。大數(shù)定律：樣本k階原點(diǎn)矩收斂到其總體k階原點(diǎn)矩(依概率)

Slutsky定理：樣本k階原點(diǎn)矩的函數(shù)收斂到其總體k階原點(diǎn)矩的相應(yīng)函數(shù)。(依概率)一般地，總體的各階原點(diǎn)矩都有其樣本原點(diǎn)矩的對(duì)應(yīng)物。很自然的想法：用樣本原點(diǎn)矩作為總體原點(diǎn)矩的估計(jì)，從而得到總體未知參數(shù)的估計(jì)！--矩估計(jì)2/3/2023例4.3

未知，是來(lái)自X的隨機(jī)樣本，試用矩估計(jì)法求參數(shù)的估計(jì)量。解：總體的1階和2階原點(diǎn)矩樣本一階和二階原點(diǎn)矩分別為：矩估計(jì)：總體矩等于樣本矩，所以矩條件2/3/2023(二)OLS和ML估計(jì)與矩估計(jì)經(jīng)典線性回歸模型OLS估計(jì)量的一個(gè)重要假設(shè)條件是：解釋變量與擾動(dòng)項(xiàng)無(wú)關(guān)(解釋變量外生)，即

總體這組矩條件的樣本對(duì)應(yīng)物

由上述矩條件解得矩估計(jì)。這些矩條件正好是OLS估計(jì)的正規(guī)方程，因此OLS估計(jì)是矩估計(jì)。2/3/2023極大似然估計(jì)是通過(guò)對(duì)數(shù)似然的導(dǎo)數(shù)等于0得到的。矩條件樣本對(duì)應(yīng)物極大似然估計(jì)也是矩估計(jì)。2/3/2023二、廣義矩法在矩估計(jì)中，矩條件的個(gè)數(shù)恰好等于要估計(jì)參數(shù)的數(shù)目，即方程個(gè)數(shù)等于未知參數(shù)的個(gè)數(shù)，所以存在未知參數(shù)的唯一解。如果矩條件的個(gè)數(shù)大于未知參數(shù)的個(gè)數(shù)，則不能解得唯一解，就引出了廣義矩法(GMM)。廣義矩估計(jì)直接從模型所施加的矩條件來(lái)估計(jì)模型，這些矩條件有時(shí)是線性的，但多數(shù)情況下是非線性的。GMM也可以看作是IV在非線性模型中的推廣，以解決非線性模型的內(nèi)生性問(wèn)題。2/3/2023矩條件的一般形式為：其中其中m表示有L個(gè)元素的向量函數(shù)，未知參數(shù);

為模型中全部變量，如為解釋變量，為工具變量.矩條件的樣本對(duì)應(yīng)物恰好識(shí)別：矩條件的個(gè)數(shù)等于未知參數(shù)的個(gè)數(shù)(唯一解)過(guò)度識(shí)別：矩條件的個(gè)數(shù)大于未知參數(shù)的個(gè)數(shù)(無(wú)唯一解)不可識(shí)別：矩條件的個(gè)數(shù)小于未知參數(shù)的個(gè)數(shù)(無(wú)解)若m是的非線性函數(shù)，則可能得不到解析解(顯式解)；2/3/2023(一)廣義矩估計(jì)方法概要矩條件的個(gè)數(shù)大于參數(shù)的個(gè)數(shù)()，則不能通過(guò)設(shè)定

的樣本矩來(lái)確定參數(shù)的估計(jì)。(沒(méi)有唯一解)為了充分利用L個(gè)矩條件的信息，有必要對(duì)可能的種不同的估計(jì)進(jìn)行加權(quán)平均。借助最優(yōu)化的思想，選擇使得樣本矩向量盡可能接近于0的的作為其估計(jì)量。這就是廣義矩估計(jì)的思路。具體的做法:將下面加權(quán)平方和(距離函數(shù))作為目標(biāo)函數(shù)，

加權(quán)平方和求使得該目標(biāo)函數(shù)達(dá)到最小的的值，就得到GMM估計(jì)量.

為任意的正定矩陣，稱為權(quán)矩陣，假設(shè)二次型性質(zhì)2/3/2023權(quán)矩陣可能依賴于數(shù)據(jù)，但不是的函數(shù)。權(quán)矩陣在某種意義上反映了諸矩條件在距離函數(shù)中所占的權(quán)重(重要性)。矩條件個(gè)數(shù)大于參數(shù)個(gè)數(shù)情況下參數(shù)的估計(jì)問(wèn)題化為如下的最小化問(wèn)題：求解此最優(yōu)化問(wèn)題，得到的估計(jì)量就是廣義矩估計(jì)(GMM)。在一般情況下無(wú)法得到它的解析解，常采用數(shù)值解法求解得到GMM估計(jì)量。在某些弱正則條件下，GMM估計(jì)量是一致、漸近正態(tài)估計(jì)量(可以證明)。不一定是方差最小的(有效的)。GMM的假設(shè)條件(正則條件)：略。2/3/2023不同的權(quán)矩陣會(huì)得到不同的一致估計(jì)量，其漸近協(xié)方差矩陣不同。OLS是GMM的特例;GLS和TSLS是其特例；ML也是GMM的特例。要想得到有效的GMM估計(jì)，即估計(jì)的協(xié)方差矩陣最小，必須選擇合適的權(quán)矩陣