計(jì)量經(jīng)濟(jì)學(xué)中7非線性似然估計(jì)2022優(yōu)秀文檔

高斯-馬爾科夫定理在滿足根本假定的前提下，對于線性回歸模型，普通最小二乘法得到的參數(shù)估計(jì)量，具有BLUE性質(zhì)〔最小方差線性無偏估計(jì)量〕第10章非線性估計(jì)與極大似然估計(jì)§10.1非線性估計(jì)§10.2極大似然估計(jì)法§10.3ARCH模型與GARCH模型§10.1非線性估計(jì)前面討論的一方程回歸模型中，它們都是關(guān)于參數(shù)線性的。通常利用普通LS法、加權(quán)LS法等估計(jì)這些參數(shù)。下面將參數(shù)線性模型拓寬到本質(zhì)上非線性的情形，如模型這些模型無法變換為線性模型，因此線性LS不再適用。但誤差平方和最小化原那么依然可以施行，所得到的參數(shù)估計(jì)，我們稱為非線性LS估計(jì)。思索普通模型其中f是k個自變量X1,X2,…,Xk和p個參數(shù)β1,β2,…,βp的非線性函數(shù)。假設(shè)具有Y與X1,X2,…,Xk的T個觀測，利用誤差平方和最小化可得參數(shù)的非線性LS估計(jì)：1、非線性估計(jì)的計(jì)算方法求解參數(shù)的非線性LS估計(jì)，要比線性模型的LS估計(jì)復(fù)雜的多，通常采用數(shù)值解法。以下三種方法較常見：⑴直接查找法：是指對不同的參數(shù)值比較誤差平方和S函數(shù)的值，使S最小的那組值就是參數(shù)的估計(jì)值。這種方法適用于一切參數(shù)僅有假設(shè)干取值的情形。⑵直接優(yōu)化法誤差平方和S關(guān)于各參數(shù)求偏導(dǎo)，得到相應(yīng)的正規(guī)方程經(jīng)過求解正規(guī)方程組，獲得參數(shù)估計(jì)。由于正規(guī)方程關(guān)于參數(shù)是非線性的，通常采用數(shù)值解法如梯度法(參數(shù)從初始數(shù)值集朝使函數(shù)值下降最快的方向逼近，亦稱最速下降法)⑶循環(huán)線性化法是指將非線性方程在某個參數(shù)的初始數(shù)值集附近線性化，然后用普通LS法得到參數(shù)的新數(shù)值集；再把非線性方程在新的數(shù)值集附近重新線性化，用普通LS法得到參數(shù)更新的數(shù)值集，如此循環(huán)反復(fù)直至數(shù)值集變化很小(即數(shù)值集收斂)，作為參數(shù)的最終取值。其中利用了關(guān)于以參數(shù)為變元函數(shù)的一階泰勒級數(shù)展開式上式可變形為這是關(guān)于參數(shù)的線性模型，用普通LS法可以得到參數(shù)的LS解，作為參數(shù)新的數(shù)值集，交換(10.1)式的初始數(shù)值集。如此循環(huán)下去直至這里δ為指定的一個正數(shù)，如0.01。2、非線性回歸方程的評價由于非線性回歸方程的殘差不再服從正態(tài)分布，因此殘差平方和也不再服從Χ2分布，原來線性模型中的F分布、t分布不在適用了。但擬合優(yōu)度R2依然是有用的3、非線性回歸方程的預(yù)測一旦得到了非線性方程的估計(jì)，就可以用它來預(yù)測。因此Y的點(diǎn)預(yù)測為但由于YT+1不再服從正態(tài)分布，因此其預(yù)測區(qū)間無法類似于第8章那樣給出。但經(jīng)過參數(shù)服從正態(tài)分布的假定，利用蒙特卡羅模擬方法，可以得到Y(jié)T+1的一個近似預(yù)測區(qū)間。下面闡明模型的預(yù)測區(qū)間產(chǎn)生方法。⑴確定蒙特卡羅模擬方程其中β0,β1,β2是最后一次循環(huán)線性回歸參數(shù)的數(shù)值解，利用殘差平方和及參數(shù)估計(jì)的規(guī)范差構(gòu)造相應(yīng)的正態(tài)隨機(jī)變量ε與η0,η1,η2，它們均值都等于0，規(guī)范差為對應(yīng)值。⑵產(chǎn)生ε與η0,η1,η2的正態(tài)隨機(jī)數(shù)，由上式可以計(jì)算YT+1的預(yù)測值。⑶反復(fù)第二步100至200次，獲得YT+1的預(yù)測值的樣本規(guī)范差，從而得到Y(jié)T+1的近似預(yù)測區(qū)間?！?0.2極大似然估計(jì)法參數(shù)極大似然估計(jì)，在普通情況下具有一致性和漸近有效性這兩個優(yōu)良性質(zhì)。1、極大似然估計(jì)法如今先從最簡單的一元線性模型闡明極大似然估計(jì)法Yi的密度函數(shù)為那么似然函數(shù)是密度函數(shù)在一切N個觀測取值的乘積，即極大似然估計(jì)的目的是尋覓最能夠生成樣本觀測Y1,…,YN的參數(shù)α,β,σ2的值，即使對數(shù)似然函數(shù)logL最大的參數(shù)值。對數(shù)似然函數(shù)關(guān)于參數(shù)求偏導(dǎo)可得

解出參數(shù)α,β,σ2的值，就得到了對應(yīng)參數(shù)的極大似然估計(jì)。不難發(fā)現(xiàn)方程組中含α,β的前兩個方程與普通LS估計(jì)是一樣的。σ2的極大似然估計(jì)為對普通非線性模型ε服從N(0,σ2)，其對數(shù)似然函數(shù)定義為類似于一元線性模型可以求出參數(shù)的極大似然估計(jì)，只是在許多情況下β只能得到數(shù)值解，但總有有趣的是可以得到各個參數(shù)β估計(jì)方差的近似值2、似然比檢驗(yàn)下面用極大似然比檢驗(yàn)?zāi)Ｐ椭幸恍﹨?shù)β=0的原假設(shè)。用L(βUR)表示沒有限制條件時對數(shù)似然函數(shù)的最大值，L(βR)表示有限制條件時對數(shù)似然函數(shù)的最大值，顯然有L(βUR)≥L(βR)，假設(shè)原假設(shè)成立，兩者應(yīng)非常接近。λ稱為似然比。通常更多地思索兩者的差，即統(tǒng)計(jì)量其中m為限制條件個數(shù)。假設(shè)統(tǒng)計(jì)量大于臨界值，就以為兩者存在較大的差別，即原假設(shè)不成立，這些參數(shù)不為0。對數(shù)似然函數(shù)關(guān)于參數(shù)求偏導(dǎo)可得不難發(fā)現(xiàn)方程組中含α,β的前兩個方程與普通LS估計(jì)是一樣的。而無條件模型有⑶反復(fù)第二步100至200次，獲得YT+1的預(yù)測值的樣本規(guī)范差，從而得到Y(jié)T+1的近似預(yù)測區(qū)間。再把非線性方程在新的數(shù)值集附近重新線性化，用普通LS法得到參數(shù)更新的數(shù)值集，如此循環(huán)反復(fù)直至數(shù)值集變化很小(即數(shù)值集收斂)，作為參數(shù)的最終取值。殘差對解釋變量X回歸：對于一元線性模型q=1，k=2，3、非線性回歸方程的預(yù)測由于正規(guī)方程關(guān)于參數(shù)是非線性的，通常采用數(shù)值解法如梯度法(參數(shù)從初始數(shù)值集朝使函數(shù)值下降最快的方向逼近，亦稱最速下降法)對q個變量中每一個系數(shù)都等于0的原假設(shè)，LM檢驗(yàn)法首先計(jì)算有條件模型的殘差，然后將殘差對無條件模型中的K個解釋變量(k-q+q)進(jìn)展回歸：5)就構(gòu)成了一個ARCH模型。5)式中又出現(xiàn)了誤差項(xiàng)方差的滯后項(xiàng)(相當(dāng)于第9章的幾何滯后模型)，那么稱模型為GARCH模型(廣義自回歸條件異方差模型)。這從另一個側(cè)面闡明最小誤差平方和的參數(shù)估計(jì)準(zhǔn)那么，具有很好的性質(zhì)。對于非線性模型來說，由于R2最大等價于誤差平方和最小，擬合優(yōu)度R2仍是評價一個模型好壞的規(guī)范。假設(shè)統(tǒng)計(jì)量大于臨界值，就以為兩者存在較大的差別，即原假設(shè)不成立，這些參數(shù)不為0。3、一個運(yùn)用：Box-Cox模型思索下面的Box-Cox模型當(dāng)參數(shù)λ=1時，模型化為線性模型當(dāng)λ趨于0時，有所以對X作類似處置，Box-Cox模型化為對數(shù)線性模型實(shí)踐上Box-Cox模型是廣義的非線性模型，參數(shù)λ當(dāng)然也不是隨意指定，通?？山?jīng)過極大似然法獲得。下面先思索Y的似然函數(shù)兩邊對yi求導(dǎo)數(shù)可得所以Y的對數(shù)似然函數(shù)為從這個對數(shù)似然函數(shù)最大化，可以求得λ的數(shù)值解。假設(shè)，Yg是Y值N個觀測的幾何平均；對Y的原始觀測進(jìn)展如下數(shù)據(jù)變換Y*=Y/Yg，那么線性模型λ=1：對數(shù)線性模型λ=0：顯然這樣兩者的對數(shù)似然函數(shù)方式(第一項(xiàng)都為0)就完全一致了，α,β的極大似然估計(jì)不僅方式一致且等價于LS估計(jì)。這從另一個側(cè)面闡明最小誤差平方和的參數(shù)估計(jì)準(zhǔn)那么，具有很好的性質(zhì)。對于非線性模型來說，由于R2最大等價于誤差平方和最小，擬合優(yōu)度R2仍是評價一個模型好壞的規(guī)范。4、拉格朗日乘數(shù)(LM)檢驗(yàn)法利用F分布對參數(shù)進(jìn)展結(jié)合檢驗(yàn)，這一方法也稱為Wald檢驗(yàn)法(其范圍更廣)。它從無限制條件模型開場，檢驗(yàn)給模型加上限制條件(某些參數(shù)β=0)能否減弱了回歸模型的解釋才干。而LM檢驗(yàn)法，卻是從限制條件出發(fā)，檢驗(yàn)假設(shè)向無條件限制方向變化能否能顯著提高模型的解釋才干。LM檢驗(yàn)法也以極大似然函數(shù)為根底。LM檢驗(yàn)法是最大化以下目的函數(shù)由極大化的一階偏導(dǎo)條件可得λ稱為拉格朗日乘數(shù)。假設(shè)限制條件是有效的，參與它們將不導(dǎo)致目的函數(shù)最大化值的顯著不同，即λ值將很小，因此有統(tǒng)計(jì)量為LM檢驗(yàn)法可以很容易地用于思索能否在回歸模型中參與另外解釋變量的情形。假設(shè)曾經(jīng)估計(jì)了有條件模型下面思索對另外q個變量全部或部分參與的無條件模型。對q個變量中每一個系數(shù)都等于0的原假設(shè)，LM檢驗(yàn)法首先計(jì)算有條件模型的殘差，然后將殘差對無條件模型中的K個解釋變量(k-q+q)進(jìn)展回歸：假設(shè)參與的q個解釋變量可以加強(qiáng)回歸方程的解釋才干，那么(10.3)式擬合優(yōu)度就應(yīng)在較高的程度，有統(tǒng)計(jì)量假設(shè)LM超出臨界值，那么就回絕有條件模型。第6章異方差的White檢驗(yàn)可以看作是LM檢驗(yàn)法的特例。5、Wald檢驗(yàn)、似然比檢驗(yàn)和LM檢驗(yàn)的比較它們是三個最普遍運(yùn)用的檢驗(yàn)過程。下面以一元線性模型為例，闡明三者間的關(guān)系。Wald檢驗(yàn)統(tǒng)計(jì)量為對于一元線性模型q=1，k=2，⑴Wald檢驗(yàn)簡化為這里有條件模型，LS估計(jì)所以⑵LM統(tǒng)計(jì)量有條件模型的殘差殘差對解釋變量X回歸：因此所以LM統(tǒng)計(jì)量為⑶似然比檢驗(yàn)統(tǒng)計(jì)量對極大對數(shù)似然函數(shù)，有有條件模型殘差因此而無條件模型有所以因此三種檢驗(yàn)是漸近等價的，即假設(shè)樣本容量充分大，它們得出同樣的檢驗(yàn)結(jié)果。但是在普通情況下，三個檢驗(yàn)確實(shí)是不同的，能夠會給出不同甚至相互矛盾的結(jié)果。對于線性模型，在一樣樣本情況下，Wald統(tǒng)計(jì)量總是最大的，而LM統(tǒng)計(jì)量總是最小的。因此LM檢驗(yàn)回絕有條件模型，其它兩種檢驗(yàn)也必然回絕?！?0.3ARCH與GARCH模型在第6章異方差問題的討論中，我們思索了誤差項(xiàng)方差直接隨一個或多個自變量變化的情形，經(jīng)過修正可以得到更有效的參數(shù)估計(jì)。這里將進(jìn)一步討論誤差項(xiàng)的方差隨著時間變化，依賴于過去誤差大小的問題。⑴ARCH模型(自回歸條件異方差)假定誤差項(xiàng)的方差滿足留意表達(dá)式中含有平方，與自回歸明顯不同。該式闡明方差由兩部分組成，一個常數(shù)項(xiàng)，另一項(xiàng)稱為ARCH項(xiàng)。ARCH項(xiàng)是前一時辰的誤差項(xiàng)的平方，因此εt存在著以εt-1為條件的異方差。下面以二元線性模型為例。(10.4)和(10.5)就構(gòu)成了一個ARCH模型。(10.5)式更普通的方式這里誤差項(xiàng)滯后p期，記為ARCH(p)。⑵GARCH模型(廣義自回歸條件異方差)假設(shè)(10.5)式中又出現(xiàn)了誤差項(xiàng)方差的滯后項(xiàng)(相當(dāng)于第9章的幾何滯后模型)，那么稱模型為GARCH模型(廣義自回歸條件異方差