eviews -第08章對(duì)數(shù)極大似然估計(jì)

1、1,第八章 對(duì)數(shù)極大似然估計(jì),極大似然估計(jì)法(maximum likelihood, ml)，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從極大似然原理發(fā)展起來(lái)的其他估計(jì)方法的基礎(chǔ)。雖然其應(yīng)用沒(méi)有最小二乘法普遍，但在計(jì)量經(jīng)濟(jì)學(xué)理論上占據(jù)很重要的地位，因?yàn)闃O大似然原理比最小二乘原理更本質(zhì)地揭示了通過(guò)樣本估計(jì)母體參數(shù)的內(nèi)在機(jī)理，計(jì)量經(jīng)濟(jì)學(xué)理論的發(fā)展更多的是以極大似然估計(jì)原理為基礎(chǔ)的，對(duì)于一些特殊的計(jì)量經(jīng)濟(jì)學(xué)模型，只有極大似然方法才是很成功的估計(jì)方法,2,eviews包含了一些常用方法，如最小二乘法、非線性最小二乘法、加權(quán)最小二乘法、tsls、gmm、arima、arch、garch等方法，這些方法可

2、以解決可能遇到的大多數(shù)估計(jì)問(wèn)題。但是，我們?cè)谘芯恐幸部赡軙?huì)碰到一些不在上述之列的特殊的模型，這些模型可能是現(xiàn)存方法的一個(gè)擴(kuò)展，也可能是一類全新的問(wèn)題。 為了能解決這些特殊的問(wèn)題，eviews提供了對(duì)數(shù)極大似然估計(jì)對(duì)象這一工具來(lái)估計(jì)各種不同類型的模型。對(duì)數(shù)極大似然估計(jì)對(duì)象提供了一個(gè)一般的，開(kāi)放的工具，可以通過(guò)這個(gè)工具極大化相關(guān)參數(shù)的似然函數(shù)對(duì)一大類模型進(jìn)行估計(jì),3,使用對(duì)數(shù)極大似然估計(jì)對(duì)象估計(jì)時(shí)，我們用eviews的序列生成器，將樣本中各個(gè)觀測(cè)值的對(duì)數(shù)似然貢獻(xiàn)描述為一個(gè)未知參數(shù)的函數(shù)。可以給出似然函數(shù)中一個(gè)或多個(gè)參數(shù)的解析微分，也可以讓eviews自動(dòng)計(jì)算數(shù)值微分。eviews將尋找使得指定的似

3、然函數(shù)最大化的參數(shù)值，并給出這些參數(shù)估計(jì)的估計(jì)標(biāo)準(zhǔn)差。 在本章，我們將詳細(xì)論述對(duì)數(shù)極大似然估計(jì)對(duì)象，說(shuō)明其一般特征。并給出了一些可以使用該方法的具體的例子,4,8.1 對(duì)數(shù)極大似然估計(jì)的基本原理,8.1.1 極大似然估計(jì)的基本原理 設(shè)總體的概率密度函數(shù)為p，其類型是已知的，但含有未知參數(shù)（向量）。我們的目的就是依據(jù)從該總體抽得的隨機(jī)樣本 y1, y2, , yt ，尋求對(duì) 的估計(jì)。 觀測(cè)值 y1, y2, , yt 的聯(lián)合密度函數(shù)被給定為 （8.1.1） 其中：y = ( y1, y2, , yt )。將這一聯(lián)合密度函數(shù)視為參數(shù) 的函數(shù)，稱為樣本的似然函數(shù)（likelihood functio

4、n,5,極大似然原理就是尋求參數(shù)的估計(jì)值 ，使得所給樣本值的概率密度（即似然函數(shù)）的值在這個(gè)參數(shù)值之下，達(dá)到最大。在當(dāng)前的情形下，就是尋求 的估計(jì)值，使得似然函數(shù) l(y ; ) 相對(duì)于給定的觀測(cè)值 y1, y2, , yt 而言達(dá)到最大值， 就被稱為極大似然估計(jì)量,6,在 l(y ; ) 關(guān)于i（i =1, 2, , n，n是未知參數(shù)的個(gè)數(shù)）的偏導(dǎo)數(shù)存在時(shí)，要使 l(y ; ) 取最大值， 必須滿足 , i =1, 2, , n （8.1.2） 由上式可解得 n1 向量 的極大似然估計(jì)值 ，而式(8.1.2)也被稱為似然函數(shù),7,因?yàn)?l(y ; ) 與 lnl(y ; ) 在同一點(diǎn)處取極值

5、，所以也可以由 , i =1, 2, , n （8.1.3） 求得，因?yàn)閷?duì)數(shù)可將乘積變成求和，所以，式(8.1.3)往往比直接使用式(8.1.2)來(lái)得方便。式(8.1.3)也被稱為對(duì)數(shù)似然函數(shù),8,考慮多元線性回歸模型的一般形式 , t =1, 2 , , t (8.1.4) 其中 k 是解釋變量個(gè)數(shù)，t 是觀測(cè)值個(gè)數(shù)，隨機(jī)擾動(dòng)項(xiàng) ， 那么 yt 服從如下的正態(tài)分布： 其中 (8.1.5,9,y 的隨機(jī)抽取的 t 個(gè)樣本觀測(cè)值的聯(lián)合概率函數(shù)為 （8.1.6） 這就是變量y的似然函數(shù)，未知參數(shù)向量=1, 2, k, 2。 對(duì)似然函數(shù)求極大值和對(duì)數(shù)似然函數(shù)求極大值是等價(jià) 的，式(8.1.6)的對(duì)數(shù)

6、似然函數(shù)形式為： （8.1.7,10,注意，可以將對(duì)數(shù)似然函數(shù)寫成 t 時(shí)刻所有觀測(cè)值的對(duì)數(shù)似然貢獻(xiàn)和的形式， （8.1.8） 這里對(duì)數(shù)似然的單個(gè)貢獻(xiàn)（用小寫字母表示）由下面的式子給出： （8.1.9,11,式（8.1.7）也可用標(biāo)準(zhǔn)正態(tài)分布的密度函數(shù) 表示 （8.1.10） 式中標(biāo)準(zhǔn)正態(tài)分布的對(duì)數(shù)似然函數(shù) 為 （8.1.11） 這里對(duì)數(shù)似然函數(shù)每個(gè)觀測(cè)值的貢獻(xiàn)式(8.1.9)又可以由下面的式子給出： （8.1.12,12,8.1.2 eviews極大似然對(duì)象概述 用對(duì)數(shù)極大似然估計(jì)來(lái)估計(jì)一個(gè)模型，主要的工作是建立用來(lái)求解似然函數(shù)的說(shuō)明文本。用eviews指定對(duì)數(shù)極大似然函數(shù)的說(shuō)明是很容易的，

7、因?yàn)樗迫缓瘮?shù)的說(shuō)明只是一系列對(duì)序列的賦值語(yǔ)句，這些賦值語(yǔ)句在極大化的過(guò)程中被反復(fù)的計(jì)算。我們所要做的只是寫下一組語(yǔ)句，在計(jì)算時(shí)，這些語(yǔ)句將描述一個(gè)包含每個(gè)觀測(cè)值對(duì)似然函數(shù)貢獻(xiàn)的序列,13,注意到，我們能將對(duì)數(shù)似然函數(shù)寫成所有觀測(cè)值 t 的對(duì)數(shù)似然貢獻(xiàn)和的形式， 這里單個(gè)貢獻(xiàn)由下面的式子給出,14,以只含一個(gè)解釋變量的一元線性回歸方程為例 , t =1, 2 , , t 假定知道模型參數(shù)的真實(shí)值，并且想用eviews產(chǎn)生一個(gè)包含每個(gè)觀測(cè)值的貢獻(xiàn)的序列,15,未知參數(shù)向量 =0, 1, 2, 可以將參數(shù)初值賦給系數(shù)向量的c(1)到c(3)元素，然后把下面的賦值語(yǔ)句作為eviews的命令或程序來(lái)執(zhí)行

8、。 series res = y-c(1)-c(2)*x series var = c(3) series logl1 = -log(2*3.14159*var)/2- (res2/var)/2 前面兩行語(yǔ)句描述了用來(lái)存儲(chǔ)計(jì)算時(shí)的中間結(jié)果的序列。第一個(gè)語(yǔ)句創(chuàng)建了殘差序列：res，而第二個(gè)語(yǔ)句創(chuàng)建了方差序列：var。而序列l(wèi)ogl1包含了每個(gè)觀測(cè)值的對(duì)數(shù)似然貢獻(xiàn)的集合,16,下面考慮2個(gè)變量的例子： 這里，y, x, w 是觀測(cè)序列，而 =1, 2, 3, 2是模型的參數(shù)。有t個(gè)觀測(cè)值的樣本的對(duì)數(shù)似然函數(shù)可以寫成： 這里， 是標(biāo)準(zhǔn)正態(tài)分布的密度函數(shù),17,將這一例子的對(duì)數(shù)極大似然函數(shù)過(guò)程寫成下面

9、的賦值語(yǔ)句： series res=y-c(1)-c(2)*x-c(3)*w series var=c(4) series logl1=log(dnorm(res/sqrt(var)-log(var)/2 前面兩行語(yǔ)句創(chuàng)建了殘差序列res和方差序列var，參數(shù)c(1), c(2), c(3)代表了回歸系數(shù)1, 2, 3，c(4)代表了 2，序列l(wèi)ogl1包含了每個(gè)觀測(cè)值的對(duì)數(shù)似然貢獻(xiàn)的集合,18,下面考慮稍復(fù)雜的例子，假設(shè)數(shù)據(jù)是由條件異方差回歸模型生成的： 這里，x, y, w 是觀測(cè)序列，而 =1, 2, 3, 2, 是模型的參數(shù)。有t個(gè)觀測(cè)值的樣本的對(duì)數(shù)似然函數(shù)可以寫成： 這里， 是標(biāo)準(zhǔn)正

10、態(tài)分布的密度函數(shù),19,將這一例子的對(duì)數(shù)極大似然函數(shù)過(guò)程寫成下面的賦值語(yǔ)句： series res=y-c(1)-c(2)*x-c(3)*w series var=c(4)*wc(5) series logl1=log(dnorm(res/sqrt(var)-log(var)/2 前面兩行語(yǔ)句創(chuàng)建了殘差序列res和方差序列var，參數(shù)c(1), c(2), c(3)代表回歸系數(shù)1, 2, 3，c(4)代表 2，c(5)代表 ，序列l(wèi)ogl1包含了每個(gè)觀測(cè)值的對(duì)數(shù)似然貢獻(xiàn)的集合,20,現(xiàn)在假定不知道模型參數(shù)的真實(shí)值，而想使用數(shù)據(jù)來(lái)估計(jì)它。參數(shù)的極大似然估計(jì)被定義為：使得樣本中所有隨機(jī)抽取的一組觀

11、測(cè)值的聯(lián)合概率密度，即似然函數(shù)取最大值的那組參數(shù)值。 而對(duì)數(shù)極大似然方法使得尋找這些極大似然估計(jì)變得容易了。只需創(chuàng)建一個(gè)對(duì)數(shù)似然對(duì)象，把上面的賦值語(yǔ)句輸入到logl的說(shuō)明窗口，然后讓eviews來(lái)估計(jì)這個(gè)模型,21,在輸入賦值語(yǔ)句時(shí)，只需對(duì)上面的文本做兩處微小的改動(dòng)就可以了。首先，把每行開(kāi)頭的關(guān)鍵字series刪掉（因?yàn)樗迫徽f(shuō)明暗含了假定序列是當(dāng)前的）。第二，必須在說(shuō)明中加入額外的一行（關(guān)鍵字logl為包含似然貢獻(xiàn)的序列命名）。 這樣，要在logl說(shuō)明窗口輸入下面的內(nèi)容： logl logl res = y-c(1)-c(2)*x-c(3)*w var = c(4)*wc(5) logl =

12、log(dnorm(res/sqrt(var)-log(var)/2 對(duì)數(shù)似然函數(shù)的第一行，logl logl，告訴eviews用logl序列來(lái)存儲(chǔ)似然貢獻(xiàn)。余下的行定義了中間結(jié)果的計(jì)算和實(shí)際的似然貢獻(xiàn)的計(jì)算,22,當(dāng)用eviews估計(jì)模型參數(shù)時(shí)，它將對(duì)不同參數(shù)值重復(fù)執(zhí)行說(shuō)明中的賦值語(yǔ)句，使用迭代法來(lái)求使得對(duì)數(shù)似然貢獻(xiàn)最大的一組參數(shù)值。當(dāng)eviews再不能提高全部似然貢獻(xiàn)時(shí)，它將停止迭代并在估計(jì)輸出中報(bào)告最終參數(shù)值和估計(jì)標(biāo)準(zhǔn)差。 本章下面的部分將更詳細(xì)地討論使用似然方法說(shuō)明，估計(jì)和檢驗(yàn)時(shí)要遵循的規(guī)則,23,要?jiǎng)?chuàng)建一個(gè)似然對(duì)象，選擇objects/new object./ logl或者在命令窗口

13、輸入“l(fā)ogl”。似然窗口將打開(kāi)一個(gè)空白說(shuō)明視圖。說(shuō)明視圖是一個(gè)文本窗口，在這個(gè)窗口里可以輸入描述統(tǒng)計(jì)模型的說(shuō)明語(yǔ)句，還可以設(shè)置控制估計(jì)程序各個(gè)方面的選項(xiàng),8.1.3 似然說(shuō)明,24,1似然的定義 正如上節(jié)中所描述的那樣，似然說(shuō)明的主線是一系列賦值語(yǔ)句，在計(jì)算時(shí)，這些賦值語(yǔ)句將產(chǎn)生一個(gè)包含樣本中每個(gè)觀測(cè)值的對(duì)數(shù)似然貢獻(xiàn)的序列。賦值語(yǔ)句的多少可以自己決定,25,每個(gè)似然說(shuō)明都必須包含一個(gè)控制語(yǔ)句，該語(yǔ)句命名了保存似然貢獻(xiàn)的序列。語(yǔ)句的格式為： logl series_name 這里logl是關(guān)鍵字，series_name是保存似然貢獻(xiàn)的序列的名字，可以寫在似然說(shuō)明的任何位置。 例如，對(duì)于一元線性

14、回歸方程的似然說(shuō)明來(lái)說(shuō)，第一行：logl logl是似然貢獻(xiàn)的序列的說(shuō)明。當(dāng)對(duì)模型進(jìn)行計(jì)算時(shí)，eviews將在現(xiàn)有參數(shù)值下執(zhí)行每個(gè)賦值語(yǔ)句，并將結(jié)果保存到指定名稱的序列里。如果序列不存在，系統(tǒng)將自動(dòng)創(chuàng)建，如果已經(jīng)存在，系統(tǒng)將使用現(xiàn)有的序列，并覆蓋序列原來(lái)的內(nèi)容,26,如果想在估計(jì)完成后刪除說(shuō)明中的一個(gè)或多個(gè)序列，可以使用temp語(yǔ)句： temp series_name1 sereis_name2 . 這個(gè)語(yǔ)句告訴eviews在對(duì)說(shuō)明的計(jì)算完成后，刪除列表中的序列。如果在logl中創(chuàng)建了許多中間結(jié)果，又不愿意工作文件因包含這些結(jié)果的序列而弄得混亂的話，刪除這些序列將是很有用的。例如，圖8.2中的

15、最后一行語(yǔ)句就是命令eviews在估計(jì)結(jié)束后，刪除估計(jì)產(chǎn)生的中間序列res、var和logl。 這里需要強(qiáng)調(diào)一點(diǎn)，在似然說(shuō)明的文本中可以加入說(shuō)明語(yǔ)句，說(shuō)明語(yǔ)句的前面加上撇號(hào)“”，則這個(gè)語(yǔ)句將不被執(zhí)行,27,2參數(shù)名 在上面的例子中，我們使用了系數(shù)c(1) 到c(5) 作為未知參數(shù)的名稱。更一般的，出現(xiàn)在說(shuō)明中一個(gè)已命名的系數(shù)向量中的每一個(gè)元素都將被視為待估參數(shù)。例如創(chuàng)建2個(gè)命名的系數(shù)向量： beta(2) sigma(1) 于是可以寫出下面的似然說(shuō)明： logl logl1 res=cs- beta(1)- beta(2)*inc var=sigma(1) logl1=log(dnorm(re

16、s/sqrt(var)-log(var)/2,28,由于說(shuō)明中的已命名的系數(shù)向量的所有元素都將被視為待估參數(shù)，必須確定所有的系數(shù)確實(shí)影響了一個(gè)或多個(gè)似然貢獻(xiàn)的值。如果一個(gè)參數(shù)對(duì)似然沒(méi)有影響，那么在試圖進(jìn)行參數(shù)估計(jì)時(shí)，將遇到一個(gè)奇異錯(cuò)誤。 應(yīng)該注意到除了系數(shù)元素外所有的對(duì)象在估計(jì)過(guò)程中都將被視為固定的，不可改變的。例如，假定omega是工作文件中一個(gè)已命名的標(biāo)量(scalar omega)，如果將子表達(dá)式var定義如下: var = omega eviews將不會(huì)估計(jì)omega 。omega的值將被固定在估計(jì)的開(kāi)始值上,29,3估計(jì)的順序 logl說(shuō)明包含了一個(gè)或多個(gè)能夠產(chǎn)生包含似然貢獻(xiàn)的序列的

17、賦值語(yǔ)句。在執(zhí)行這些賦值語(yǔ)句的時(shí)候，eviews總是從頂部到底部執(zhí)行，所以后面計(jì)算要用到的表達(dá)式應(yīng)放在前面。 eviews對(duì)整個(gè)樣本重復(fù)地計(jì)算每個(gè)表達(dá)式。eviews對(duì)模型進(jìn)行重復(fù)計(jì)算時(shí)采用方程順序和樣本觀測(cè)值順序兩種不同方式，這樣就必須指定采用那種方式，即觀測(cè)值和方程的執(zhí)行順序,30,1）觀測(cè)值順序（ byobs ） 默認(rèn)情形下，eviews用觀測(cè)值順序來(lái)計(jì)算模型，此種方式是先用第一個(gè)觀測(cè)值來(lái)計(jì)算所有的賦值語(yǔ)句，接下來(lái)是用第二個(gè)觀測(cè)值來(lái)計(jì)算所有的賦值語(yǔ)句，如此往復(fù)，直到估計(jì)樣本中所有觀測(cè)值都使用過(guò)。這是用觀測(cè)值順序來(lái)計(jì)算遞歸模型的正確順序，遞歸模型中每一個(gè)觀測(cè)值的似然貢獻(xiàn)依賴于前面的觀測(cè)值，

18、例如ar模型或arch模型,31,2）方程順序（ byeqn ） 可以改變計(jì)算的順序，這樣eviews就可以用方程順序來(lái)計(jì)算模型，先用所有的觀測(cè)值來(lái)計(jì)算第一個(gè)賦值語(yǔ)句，然后用所有的觀測(cè)值計(jì)算第二個(gè)賦值語(yǔ)句，如此往復(fù)，對(duì)說(shuō)明中每一個(gè)賦值語(yǔ)句都用同樣方式進(jìn)行計(jì)算。這是用中間序列的總量統(tǒng)計(jì)作為后面計(jì)算的輸入的模型的正確順序。 可以通過(guò)在說(shuō)明中加入一條語(yǔ)句來(lái)聲明所選擇的計(jì)算方法。要用方程順序來(lái)計(jì)算，僅加一行關(guān)鍵字“byeqn”。要用樣本順序來(lái)計(jì)算，可以用關(guān)鍵字“byobs”。如果沒(méi)有給出關(guān)鍵字，那么系統(tǒng)默認(rèn)為“byobs,32,例8.1 一元線性回歸方程的極大似然估計(jì) 以例3.1的消費(fèi)函數(shù)作為例子，分

19、析普通回歸方程的極大似然估計(jì)方法。消費(fèi)函數(shù)的被解釋變量cs為實(shí)際居民消費(fèi)，解釋變量為實(shí)際可支配收入inc，變量均為剔除了價(jià)格因素的實(shí)際年度數(shù)據(jù)，樣本區(qū)間為19782006年。那么凱恩斯消費(fèi)函數(shù)的方程形式就可以寫成： (8.2.5) 其中：ut服從標(biāo)準(zhǔn)正態(tài)分布，cs = cs/cpi，inc = yd / cpi ， cpi 代表1978年為1的居民消費(fèi)價(jià)格指數(shù)， 代表自發(fā)消費(fèi)， 代表邊際消費(fèi)傾向，則參數(shù)向量為=(，u2)，觀測(cè)值個(gè)數(shù)t =29,33,利用前面的式(8.2.2)，我們可以寫出這個(gè)方程的對(duì)數(shù)極大似然函數(shù) (8.2.6) (8.2.6)式中zt = (cst- -inct) / u,

20、34,利用極大似然方法求解，作為byobs語(yǔ)句的一個(gè)例子，考慮下面的說(shuō)明： eviews用觀測(cè)值順序來(lái)計(jì)算模型，此種方式是先用第一個(gè)觀測(cè)值來(lái)計(jì)算所有的賦值語(yǔ)句，接下來(lái)是用第二個(gè)觀測(cè)值來(lái)計(jì)算所有的賦值語(yǔ)句，如此往復(fù)，直到估計(jì)樣本中所有觀測(cè)值都使用過(guò)。本例將方差作為未知參數(shù)c(3)，一起求解,35,進(jìn)行極大似然求解之后，得到 和 的估計(jì)值: c(3)是方差的估計(jì)結(jié)果。這個(gè)結(jié)果與最小二乘法得到的結(jié)果完全相同,36,作為byeqn語(yǔ)句的一個(gè)例子，考慮下面的說(shuō)明： 進(jìn)行極大似然求解之后，得到 和 的估計(jì)值,37,例8.4 具有異方差的一元線性回歸模型的極大似然估計(jì),根據(jù)第4章例4.1，各省人均家庭交通及

21、通訊支出(cum)和可支配收入(in)的關(guān)系，樣本個(gè)數(shù)為30，考慮如下具有異方差性的方程： (8.2.40) 為消除方程中的異方差，利用加權(quán)最小二乘法求解，設(shè) t = cumt 0 1 int ，w=1/| ，可以寫出式(8.2.40)的對(duì)數(shù)極大似然函數(shù) (8.2.41) 它的未知參數(shù)向量為 = (0, 1,38,也可用同樣的處理方法利用極大似然方法求解，作為byeqn語(yǔ)句的一個(gè)例子，考慮下面的說(shuō)明： 這個(gè)說(shuō)明通過(guò)利用殘差res建立加權(quán)向量w=1/abs(res)來(lái)完成一個(gè)加權(quán)最小二乘回歸。res的賦值語(yǔ)句計(jì)算了在每次計(jì)算時(shí)的殘差，而這被用做構(gòu)造權(quán)重序列。byeqn語(yǔ)句指示eviews在一個(gè)給

22、定的迭代過(guò)程中，必須先算出所有的殘差res，然后再計(jì)算殘差的加權(quán)向量w。本例方差用樣本方差替代，也可將方差作為未知參數(shù)c(3)，一起求解,39,利用極大似然方法估計(jì)出未知參數(shù) 后，寫出方程為： (-392.6) (225.5,40,8.1.4 極大似然估計(jì)量的計(jì)算方法 極大似然估計(jì)量的計(jì)算方法有許多種，有解析方法，也有數(shù)值解法。設(shè) = (1, 2, , n )是待求的未知參數(shù)向量，如例8.1中 = (, , 2) , 異方差例子中 = ( , 2, )。首先求極大似然估計(jì)的迭代公式。為求極大似然估計(jì)，需要求解 (8.1.13) 設(shè) 是超參數(shù)向量的精確值，采用taylor展開(kāi)式，取一次近似，并設(shè)

23、 表示參數(shù)空間上的任意一點(diǎn)，則可將 lnl(y;)/ 表示成 (8.1.14,41,令其為0，可得 (8.1.15) 于是得到迭代公式 (8.1.16,42,求(l) ( l = 1, 2, ) ，它的收斂值 (8.1.17) 為所求的極大似然估計(jì)。式(8.1.16)中對(duì)數(shù)似然函數(shù)的二階導(dǎo)數(shù)矩陣 2lnl/ 被稱為海塞(hessian)矩陣，而對(duì)數(shù)似然函數(shù)的一階導(dǎo)數(shù) lnl/ 被稱為得分向量或jacobian向量。計(jì)算式(8.1.16)中的海塞(hessian)矩陣的逆矩陣，計(jì)算量是很大的。計(jì)算式(8.1.16)的方法有多種，近似的方法可節(jié)省時(shí)間但缺少嚴(yán)密性，而嚴(yán)密的方法又有計(jì)算時(shí)間長(zhǎng)的缺點(diǎn)。

24、實(shí)際應(yīng)用中要根據(jù)所用計(jì)算機(jī)的功能選擇適當(dāng)?shù)姆椒?43,1. 解析導(dǎo)數(shù) 默認(rèn)情形下，當(dāng)極大化似然函數(shù)和形成標(biāo)準(zhǔn)差的估計(jì)時(shí)，eviews計(jì)算似然函數(shù)關(guān)于參數(shù)的數(shù)值微分。也可以用deriv語(yǔ)句為一個(gè)或多個(gè)導(dǎo)數(shù)指定解析表達(dá)式，該語(yǔ)句格式為： deriv pname1 sname1 pname2 sname2 . 這里pname是模型中的一個(gè)參數(shù)名稱，而sname是由模型產(chǎn)生的對(duì)應(yīng)的導(dǎo)數(shù)序列的名稱。 例如 deriv c(1) grad1 c(2) grad2 c(3) grad3 grad1=xa/d grad2=grad1*x1 grad3=grad2*x2,44,2. 導(dǎo)數(shù)步長(zhǎng) 如果模型的參數(shù)沒(méi)有

25、指定解析微分，eviews將用數(shù)值方法來(lái)計(jì)算似然函數(shù)關(guān)于這些參數(shù)的導(dǎo)數(shù)。在計(jì)算導(dǎo)數(shù)時(shí)的步長(zhǎng)由兩個(gè)參數(shù)控制：r (相對(duì)步長(zhǎng))和 m（最小步長(zhǎng)）。用(i) 表示參數(shù) 在第 i 次迭代時(shí)的值，那么在第 i +1 次迭代時(shí)的步長(zhǎng)由下式定義： 雙側(cè)數(shù)值微分被定義為,45,而單側(cè)數(shù)值微分則由下式計(jì)算： (8.19) 這里 logl 是似然函數(shù)。雙側(cè)導(dǎo)數(shù)更加精確，但它要對(duì)似然函數(shù)進(jìn)行的計(jì)算量大概是單側(cè)導(dǎo)數(shù)的兩倍，運(yùn)行時(shí)間上也是如此,46,derivstep可以用來(lái)控制步長(zhǎng)和在每次迭代時(shí)計(jì)算導(dǎo)數(shù)的方法。關(guān)鍵字derivstep后面必須設(shè)置三項(xiàng)：參數(shù)名（或用關(guān)鍵字all代替）；相對(duì)步長(zhǎng)；最小步長(zhǎng)。默認(rèn)設(shè)置（近似

26、的）為： derivstep(1) all 1.49e-8 1e-10 這里括弧里的“”表示用的是單側(cè)導(dǎo)數(shù)，而all關(guān)鍵字表示設(shè)置的步長(zhǎng)適用于所有參數(shù)。all后面第一個(gè)數(shù)值是相對(duì)步長(zhǎng)，第二個(gè)數(shù)值是最小步長(zhǎng)。默認(rèn)的相對(duì)步長(zhǎng)為r1.4910-8 ，而最小步長(zhǎng)為 m10-10,47,8.1.5 估 計(jì),一旦定義了一個(gè)似然對(duì)象，可以用eviews來(lái)尋找使得似然函數(shù)取極大值的參數(shù)值。只需在似然窗口工具欄中單擊estimate就可以打開(kāi)估計(jì)對(duì)話框。 在這個(gè)對(duì)話框里有許多用來(lái)控制估計(jì)過(guò)程不同方面的選項(xiàng)。大多數(shù)問(wèn)題使用默認(rèn)設(shè)置就可以。單擊ok，eviews將用當(dāng)前的設(shè)置開(kāi)始估計(jì),48,1初值 由于eviews

27、使用迭代法來(lái)求極大似然估計(jì)，初值的選擇就顯得非常重要了。對(duì)于似然函數(shù)只有一個(gè)極大值的問(wèn)題，只是經(jīng)過(guò)多少次迭代使估計(jì)收斂的問(wèn)題。對(duì)于那些多個(gè)極大值的似然函數(shù)所面臨的問(wèn)題是決定選擇極大值中哪一個(gè)。在某些情況下，如果不給出合理的初值，eviews將無(wú)法作出估計(jì)。 默認(rèn)情況下，eviews使用存儲(chǔ)在系數(shù)向量的值。如果在說(shuō)明中用了param語(yǔ)句，那么就用語(yǔ)句指定的值來(lái)代替,49,在前述的例子中，為均值方程系數(shù)賦初值的一個(gè)方法是簡(jiǎn)單的ols法，這是因?yàn)榧词乖诋惙讲钚裕ㄓ薪纾┐嬖诘臈l件下，ols也提供了一致的點(diǎn)估計(jì)。為了用ols估計(jì)值作為初值，首先要估計(jì)ols方程： y c x z 在對(duì)這個(gè)方程進(jìn)行估計(jì)后，

28、c系數(shù)向量中的元素c(1)，c(2)，c(3)將包含ols估計(jì)的結(jié)果,50,要設(shè)置c(4)表示ols估計(jì)的殘差方差，可以在命令窗口中輸入下面的賦值語(yǔ)句：c(4)=eq1.se2。 可選擇地，可以利用簡(jiǎn)單的賦值語(yǔ)句任意設(shè)置參數(shù)值： c(4) = 0.005 如果在執(zhí)行了ols估計(jì)及其后面的命令后馬上估計(jì)logl模型的話，那么將用設(shè)置在c向量里的值作為初值。 象上面提到的那樣，將參數(shù)初始值賦值為已知值的另一種方法是在似然模型說(shuō)明中加入param語(yǔ)句。例如，如果在logl的說(shuō)明中加入了下面的行: param c(1) 0.1 c(2) 0.1 c(3) 0.1 c(4) 0.005 那么eviews

29、會(huì)將初值設(shè)置為: c(1) = c(2 )= c(3) = 0.1，c(4) = 0.005,51,2估計(jì)樣本 在估計(jì)對(duì)數(shù)似然函數(shù)的參數(shù)時(shí)，eviews就在estimation對(duì)話框里指定了將使用的觀測(cè)值的樣本。eviews在當(dāng)前參數(shù)值下，將使用觀測(cè)值順序或方程順序用樣本中的每一個(gè)觀測(cè)值來(lái)對(duì)logl中每個(gè)表達(dá)式進(jìn)行計(jì)算。所有這些計(jì)算都服從于eviews中關(guān)于序列表達(dá)式計(jì)算的規(guī)則。 如果在對(duì)數(shù)似然序列的初始參數(shù)值中有缺少值，eviews將發(fā)出錯(cuò)誤信息而估計(jì)過(guò)程也將終止。相對(duì)于其他的eviews內(nèi)部過(guò)程的處理方式，在估計(jì)模型參數(shù)時(shí)logl估計(jì)不能進(jìn)行終點(diǎn)調(diào)整或是去掉那些欠缺值的觀測(cè)值,52,8.1

30、.6 logl視圖,1) likelihood specification : 顯示定義和編輯似然說(shuō)明的窗口。 (2) estimation output : 顯示通過(guò)最大化似然函數(shù)得到的估計(jì)結(jié)果。 (3) covariance matrix : 顯示參數(shù)估計(jì)的協(xié)方差矩陣。這是通過(guò)計(jì)算在最優(yōu)參數(shù)值下一階導(dǎo)數(shù)的外積的和的逆求得的?？梢杂胏ov這個(gè)函數(shù)將其保存為(sym)矩陣。 (4) wald coefficient test : 執(zhí)行wald系數(shù)限制檢驗(yàn)。參看系數(shù)檢驗(yàn)，關(guān)于wald檢驗(yàn)的討論,53,5) gradients : 如果模型沒(méi)有被估計(jì)，顯示當(dāng)前參數(shù)值下logl的梯度（一階導(dǎo)數(shù)）視圖

31、，若模型已經(jīng)被估計(jì)，則顯示收斂的參數(shù)值下logl的梯度視圖。當(dāng)處理收斂問(wèn)題時(shí)，這些圖將成為有用的鑒別工具。 梯度表格視圖可以檢查似然函數(shù)的梯度。如果模型迭代尚未收斂，那么就在當(dāng)前參數(shù)值下計(jì)算梯度，若模型已經(jīng)估計(jì)出來(lái)了，就在收斂的參數(shù)值下計(jì)算,54,視圖在處理收斂性或奇異點(diǎn)問(wèn)題時(shí)是一個(gè)有用的鑒別工具。一個(gè)常見(jiàn)的問(wèn)題是，由于錯(cuò)誤的定義似然過(guò)程，不恰當(dāng)?shù)某踔?，或是模型不可識(shí)別等導(dǎo)致某個(gè)參數(shù)的導(dǎo)數(shù)為零可能產(chǎn)生奇異矩陣,55,6) check derivatives (檢查導(dǎo)數(shù)) 可以用check derivatives視圖來(lái)檢查數(shù)值微分或是解析微分表達(dá)式的是否有效。如果使用了param語(yǔ)句，顯示在初值

32、下數(shù)值微分和解析微分（如果可獲得）的值，如果沒(méi)有使用param語(yǔ)句，則給出在當(dāng)前值下數(shù)值微分和解析微分的值，以及用模型中所有樣本計(jì)算的每個(gè)系數(shù)數(shù)值微分的和,56,該視圖的第一部分列出了用戶提供的導(dǎo)數(shù)的名稱，步長(zhǎng)參數(shù)和計(jì)算導(dǎo)數(shù)時(shí)使用的系數(shù)值。本例中列出的相對(duì)步長(zhǎng)和最小步長(zhǎng)都是默認(rèn)設(shè)置。第二部分用模型中所有樣本計(jì)算了每個(gè)系數(shù)的數(shù)值微分的和，如果可能的話，還要計(jì)算解析微分的和,57,8.1.7 logl過(guò)程,1) estimate : 彈出一個(gè)設(shè)置估計(jì)選項(xiàng)的對(duì)話框，并估計(jì)對(duì)數(shù)似然函數(shù)的參數(shù)。 (2) make model : 建立一個(gè)估計(jì)對(duì)數(shù)似然函數(shù)說(shuō)明的未命名的模型對(duì)象。 (3) make gra

33、dient group : 在參數(shù)估計(jì)值下創(chuàng)建一個(gè)未命名的對(duì)數(shù)似然函數(shù)的梯度組（一階導(dǎo)數(shù)）。這些梯度常用來(lái)構(gòu)造拉格朗日乘數(shù)檢驗(yàn)。 (4) update coefs from logl : 用似然函數(shù)對(duì)象得出的估計(jì)值來(lái)更新系數(shù)向量。該過(guò)程可以將極大似然估計(jì)結(jié)果作為其他估計(jì)問(wèn)題的初始值。 大多數(shù)這些過(guò)程和eviews的其他估計(jì)對(duì)象相似。下面我們將著重介紹logl對(duì)象所獨(dú)有的特征,58,logl對(duì)象的標(biāo)準(zhǔn)輸出除了包含系數(shù)和標(biāo)準(zhǔn)差估計(jì)外，還描述了估計(jì)的方法，估計(jì)使用的樣本，估計(jì)的日期和時(shí)間，計(jì)算順序以及估計(jì)過(guò)程收斂的信息, eviews還提供了對(duì)數(shù)似然函數(shù)值，平均對(duì)數(shù)似然函數(shù)值，系數(shù)個(gè)數(shù)以及三個(gè)信息標(biāo)

34、準(zhǔn),59,8.1.8 問(wèn)題解答,由于logl對(duì)象的極大的靈活性，在使用對(duì)數(shù)似然方法進(jìn)行估計(jì)時(shí)比使用其他eviews的內(nèi)部估計(jì)方法更容易出錯(cuò)。如果在估計(jì)時(shí)遇到了困難，下面的建議將幫助解決這些問(wèn)題。 (1) 檢查似然說(shuō)明 一個(gè)簡(jiǎn)單錯(cuò)誤包括錯(cuò)誤符號(hào)就可以使估計(jì)過(guò)程停止工作。必須檢查模型的每個(gè)參數(shù)是否確實(shí)定義了（在某些說(shuō)明中可能不得不將參數(shù)標(biāo)準(zhǔn)化）。另外，模型中出現(xiàn)的每個(gè)參數(shù)必須直接的或間接的影響似然貢獻(xiàn)。check derivatives視圖可以部分的解決后者的問(wèn)題,60,2) 選擇初值 如果由于缺失值或數(shù)學(xué)運(yùn)算域錯(cuò)誤（對(duì)負(fù)數(shù)取對(duì)數(shù)或取平方根，除數(shù)為零等等）導(dǎo)致樣本中似然貢獻(xiàn)無(wú)法評(píng)價(jià)，那么將立刻停止

35、估計(jì)并給出錯(cuò)誤信息：“cannot compute logl due to missing values”。另外，選擇的初值不恰當(dāng)也可能使似然函數(shù)效果不理想。應(yīng)該給參數(shù)一個(gè)合理的初值。如果有一個(gè)近似求解該問(wèn)題的簡(jiǎn)單的估計(jì)技術(shù)，可以把由該方法得到的估計(jì)值作為極大似然估計(jì)的初值。 (3) 檢查導(dǎo)數(shù) 如果使用解析微分，使用check derivatives視圖來(lái)確認(rèn)是否已經(jīng)正確的標(biāo)記了導(dǎo)數(shù)。如果使用的是數(shù)值微分，就要考慮指定解析微分或是調(diào)整導(dǎo)數(shù)方法或步長(zhǎng)選項(xiàng),61,4) 估計(jì)前正確地處理滯后值問(wèn)題 和其他eviews估計(jì)程序相比，在估計(jì)一個(gè)對(duì)數(shù)似然模型時(shí)，logl估計(jì)程序不會(huì)用na或滯后形式從樣本中

36、自動(dòng)去掉某個(gè)觀測(cè)值。如果似然說(shuō)明包含滯后值，必須從估計(jì)樣本的開(kāi)始值中去掉一些觀測(cè)值，或者必須對(duì)說(shuō)明作出標(biāo)記從而使前面樣本中的錯(cuò)誤值不會(huì)影響到整個(gè)樣本（參見(jiàn)ar(1)和garch模型的示例）。 既然用來(lái)評(píng)價(jià)似然函數(shù)的序列包含在工作文件中（除非使用了temp語(yǔ)句刪除它們），那么可以利用這些中間結(jié)果序列來(lái)檢驗(yàn)對(duì)數(shù)似然和中間序列的值，以發(fā)現(xiàn)滯后和缺值的問(wèn)題,62,5) 修正模型參數(shù) 如果有導(dǎo)致數(shù)學(xué)錯(cuò)誤的參數(shù)值的問(wèn)題，可以考慮修正模型參數(shù)以將之限制在其有效域內(nèi)。 我們看到的大多數(shù)估計(jì)過(guò)程中的錯(cuò)誤信息本身具有解釋。而錯(cuò)誤信息“near singular matrix (近似奇異矩陣)”卻不是很明確的。當(dāng)e

37、views不能求由導(dǎo)數(shù)外積的和構(gòu)成的矩陣的逆以致不能決定最優(yōu)化過(guò)程下一步的方向時(shí)，就給出這個(gè)錯(cuò)誤信息。這個(gè)錯(cuò)誤可能意味著各種類型的錯(cuò)誤，其中包括不適當(dāng)?shù)某踔?，但是?dāng)在理論上或?qū)τ行?shù)據(jù)，模型不可識(shí)別時(shí)，幾乎總是出現(xiàn)這種錯(cuò)誤,63,8.1.9 限 制,必須注意對(duì)數(shù)似然中估計(jì)參數(shù)使用的算法并不是對(duì)任意的問(wèn)題都適用的。在似然貢獻(xiàn)的導(dǎo)數(shù)的外積的和的基礎(chǔ)上，該算法給出了對(duì)數(shù)似然函數(shù)的hessian矩陣的近似值。該近似值是建立在極大似然目標(biāo)函數(shù)的函數(shù)形式和統(tǒng)計(jì)特性的基礎(chǔ)之上的。此外，只有當(dāng)描述似然貢獻(xiàn)的序列，其單個(gè)貢獻(xiàn)都被正確的設(shè)定并具有好的理論時(shí)，對(duì)數(shù)似然定義的參數(shù)值的標(biāo)準(zhǔn)差才有意義,64,用來(lái)描述似然

38、貢獻(xiàn)的表達(dá)式必須遵守eviews關(guān)于序列表達(dá)式的規(guī)則。這些限制暗示我們不能在似然說(shuō)明中使用矩陣運(yùn)算。為了寫出聯(lián)立方程模型的似然函數(shù)，必須寫出行列式和二次型的表達(dá)式。對(duì)于那些多于三個(gè)方程的模型而言，這樣做盡管是可能的，但會(huì)很繁瑣。這種情況的例子參見(jiàn)多元garch程序。 另外，對(duì)數(shù)似然方法不能直接處理一般的不等式約束的最優(yōu)化問(wèn)題,65,8.2 實(shí) 例,一、ar(1)模型的極大似然函數(shù) 一階自回歸過(guò)程有如下形式，記作ar(1)： (8.2.8) 在此情形下，總體參數(shù)向量為 =(c, , 2)。 當(dāng)| | 1 時(shí)，存在一個(gè)滿足(8.2.8)的協(xié)方差平穩(wěn)過(guò)程， (8.2.8)可寫成ma()過(guò)程,66,上

39、式取期望： 所以平穩(wěn)ar(1)過(guò)程的均值為 其方差為,67,首先考察樣本中第一個(gè)觀察值 y1 的概率分布。由于在 | | 1 時(shí)，存在一個(gè)滿足(8.2.8)的協(xié)方差平穩(wěn)過(guò)程，此時(shí)， ， 所以，第一個(gè)觀察值的密度函數(shù)形如 (8.2.9,68,接下來(lái)考慮第二個(gè)觀察值 y2 在觀察到的 y1 = y1 條件下的分布。由(8.2.8) (8.2.10) 可以將隨機(jī)變量 y1 視做確定性常數(shù) y1 。在此情形下，(8.2.10) 給出y2作為常數(shù)(c + y1) 和隨機(jī)變量 u2 的和。因此 ， (8.2.11,69,一般地，y1 , y2 , 。, yt-1 只通過(guò) yt-1 對(duì) yt 起作用，第 t

40、 個(gè)觀察值以前 t - 1個(gè)觀察值為條件的分布為： (8.2.12,70,完全樣本的似然函數(shù)為 (8.2.13) 其對(duì)數(shù)似然函數(shù)可由(8.2.13)取對(duì)數(shù)求得： (8.2.14) 將(8.2.11)和(8.2.12)代入(8.2.14) ，由ar(1)過(guò)程得到一個(gè)樣本量為t 的樣本的對(duì)數(shù)似然為 (8.2.15,71,例8.2 ar (1 )模型的極大似然估計(jì) 我們用數(shù)據(jù)生成過(guò)程 生成y ，其中ut 是一個(gè)白噪聲過(guò)程，即ut i.i.d.n(0,2) 。根據(jù)ar(1)過(guò)程 的樣本量為t 的對(duì)數(shù)似然函數(shù)為(8.1.15)式,72,可以寫出式(8.2.16)的對(duì)數(shù)似然函數(shù)，總體參數(shù)向量為 。利用最小

41、二乘估計(jì)給出初值：c=-0.5, =0.85, 2 = eq1.se2 = 0.87,73,利用極大似然估計(jì)方法估計(jì)的ar(1)模型: logl logl1 param c(1) -0.5 phi(1) 0.85 s2(1) 0.87 res = recode( d1=1,y- c(1)/(1- phi(1),y- c(1)- phi(1)*y(-1) ) var = recode( d1=1, s2(1)/(1- phi(1)2),s2(1) ) sres = res/sqrt(var) logl1 = log(dnorm(sres) - log(var)/2 temp res var sres logl1 在這個(gè)說(shuō)明文本中，參數(shù)c(1)和phi(1)分別代表了式(8.3.5)中的未知參數(shù) c 和 ；s2就是對(duì)數(shù)似然函數(shù)(8.3.6)中的待估參數(shù)2；d1是一個(gè)序列，它的第一個(gè)值為1，其余的值均為0；recode函數(shù)的第一個(gè)參數(shù)是條件，如果滿足，執(zhí)行第一個(gè)表達(dá)式；否則執(zhí)行第二個(gè)表達(dá)式,74,ar(1)模型的表達(dá)式為： （-3.19) (17.34,75,二、garch (p, q)的極大似然函數(shù) 標(biāo)準(zhǔn)的 garch(p, q) 模型的形式為： (8.2.19) 要想寫出 garch(p, q) 模型的極大似然函數(shù)，首先要分析擾動(dòng)項(xiàng) ut 的密度函