最大似然估計及三大檢驗WaldLMLR資料

1、第二章 線性回歸模型回顧與拓展 （12-15學時）第四節(jié) 三大檢驗（LR Wald LM）一、極大似然估計法（）（一）極大似然原理假設對于給定樣本,其聯(lián)合概率分布存在，。將該聯(lián)合概率密度函數(shù)視為未知參數(shù)的函數(shù)，則稱為似然函數(shù)（Likelihood Function）。極大似然原理就是尋找未知參數(shù)的估計，使得似然函數(shù)達到最大，或者說尋找使得樣本出現(xiàn)的概率最大。（二）條件似然函數(shù)VS無條件似然函數(shù)若與沒有關(guān)系，則最大化無條件似然函數(shù)等價于分別最大化條件似然函數(shù)和邊際似然函數(shù)，從而的最大似然估計就是最大化條件似然函數(shù)。 （三）線性回歸模型最大似然估計，對數(shù)似然函數(shù)：于是 得到 （三）得分（Score

2、）和信息矩陣（Information Matrix）稱為得分；得分向量；（Gradient）海瑟矩陣（Hessian Matrix）:信息矩陣：三*、帶約束條件的最小二乘估計（拉格朗日估計） 在計量經(jīng)濟分析中，通常是通過樣本信息對未知參數(shù)進行估計。但有些時候可能會遇到非樣本信息對未知參數(shù)的約束限制（如生產(chǎn)函數(shù)中的規(guī)模報酬不變等）。在這種情況下，我們就可以采用拉格朗日估計法。 對于線性模型（1），若其參數(shù)具有某種線性等式約束： （6）其中是矩陣（，）?？梢暈槌至恳酝獾木仃?。上式表明未知參數(shù)之間的某些線性關(guān)系的信息。 現(xiàn)在的問題是尋求滿足上式又使達到最小的估計量。為此，構(gòu)造拉格朗日函數(shù)。（是的向

3、量） （7）于是 （8） （9）由（8）可得 （10）（10）式的是的估計量。兩邊再左乘，并結(jié)合（9）式有所以，代入（10）式，我們便得到估計量： （11）這就是拉格朗日估計，或稱為帶約束的最小二乘估計。它既利用了樣本信息，也利用了非樣本信息。另外，也是帶約束的極大似然估計量（證明從略）。四、廣義最小二乘估計（）1、數(shù)理過程 在實際經(jīng)濟問題的分析過程中，常常遇到古典假定中2的不滿足，即隨機擾動項存在異方差或自相關(guān)。比如利用截面數(shù)據(jù)進行分析時，隨機因素的方差會隨著解釋變量的增大而增大（即所謂的遞增異方差如在研究消費收入的關(guān)系時，隨著收入的增加，隨機因素的變化會增大）。而利用時間序列數(shù)據(jù)進行分析時

4、，由于經(jīng)濟變量的慣性作用，隨機擾動項之間也會有聯(lián)系，較為普遍的現(xiàn)象是擾動項的一階自相關(guān)。（即） 當存在異方差或自相關(guān)的情況下，傳統(tǒng)的OLS不再是有效估計，這時，我們應采用廣義最小二乘法來解決這類問題。具體地， （12）其中 時存在異方差， 時存在一階自相關(guān)。需要說明的是，無論是異方差還是自相關(guān)，矩陣是正定矩陣。于是，存在非奇異矩陣，使得 或 在模型 兩邊同時左乘，得或?qū)懗?（13）此時，即已無異方差和自相關(guān)。那么，對（13）式運用OLS可以得到 （14）這就是未知參數(shù)的廣義最小二乘估計量GLS。它同樣具有良好的統(tǒng)計性質(zhì)。即它是無偏的、一致的、漸近正態(tài)的估計量。換句話說，估計量是廣義模型中的最小

5、方差線性無偏估計。這就是所謂的定理，當時高斯馬爾科夫定理為其特例。2、和廣義差分法廣義最小二乘法是處理異方差和自相關(guān)問題的一般良好估計方法。當已知時，比如異方差時，各個已知，此時，矩陣 ，。這時由（13）式估計出來的，其實同加權(quán)最小二乘估計（）是相同的。換句話說，加權(quán)最小二乘實際上是廣義最小二乘的特例。再比如隨機擾動項有一階自相關(guān)且已知，此時，可以算得那么（13）式中的 ， 此時估計（13）式得出的，其實就是所謂的廣義差分法。也就是說廣義差分法也是的特例。所以，是一個普遍適用的方法。3、未知時的當然，上述情形只是已知的情況。而在現(xiàn)實應用時，往往是未知的。于是我們面臨一個問題如何確定？回答當然是

6、對中的未知量進行估計（比如自相關(guān)中的，異方差中的）。那么又該如何估計呢？在回答這個問題之前，我們先考察一下與最大似然估計的關(guān)系（可對照與的關(guān)系）一般來說，當或時，的對數(shù)似然函數(shù)為或者考慮到，而、，又有（經(jīng)過適當?shù)倪\算）最大化上式，對求導令其為0，可得到的極大似然估計量（它其實就是）。對或中的未知量求導令其為0，可得到中未知量（比如）的估計。這是一種理論上可行的方法，但實際操作可能會遇到障礙，尤其是在有異方差存在時。為此，我們介紹另一種方法可行廣義最小二乘法FGLS4、可行廣義最小二乘法（FGLS）異方差的具體形式是復雜多樣的，但總的來說都是與解釋變量有關(guān)的,隨解釋變量的變化而變化。以下三種假設

7、情況基本上涵蓋了文獻中討論過的大多數(shù)情形。（i）（ii）（iii） （或）我們稱這些方程為擾動項方差的輔助方程。式中的是原模型中部分或全部的或的函數(shù)（比如等等）?？尚袕V義最小二乘法的基本思想就是，先利用輔助函數(shù)求得參數(shù)估計值，然后得出估計值從而得到及最終的結(jié)果。的步驟如下：（1）Y對常數(shù)項和回歸，求得的估計值；（2）計算殘差（3）選擇上述方程的適當形式（3i）對常數(shù)項及回歸，求得的估計值。這是針對上述（i）的情況。式中的Z為原來的平方或交叉乘積。然后把這些的估計值代回（i）便得到的估計值。再使用GLS或WLS得出最終結(jié)果。需要指出的是，這種方式并不能保證所有的都為正，如果其中出現(xiàn)了0或負數(shù)，那

8、么我們就只能使用原來的代替了。（3ii）對應于上述方程（ii），讓對常數(shù)項及回歸，求得的OLS估計值，代入（ii）得到，然后使用GLS或WLS（此時選擇權(quán)數(shù)為，如為負，那么權(quán)數(shù)為）。（3iii）對應于方程（iii），讓對常數(shù)項及回歸，求出的OLS估計值，再代回（iii）求得或。然后利用GLS或WLS得出結(jié)果。這里值得一提的是，此時的只會產(chǎn)生正值，不存在0或負的情況，這也是此種方法很有吸引力的地方。以上便是可行廣義最小二乘法的一般步驟。由此得到的估計量是一致估計量。而且他們的方差和協(xié)方差也是一致的。同時漸近地（大樣本場合）比OLS估計更有效。五、矩估計 及GMM簡介事實上就參數(shù)估計方法來說，矩估

9、計是最簡便直觀的方法。即用樣本矩作為總體矩的估計。矩估計廣義矩估計綜上所述，我們將傳統(tǒng)的單一方程的估計方法總結(jié)如下： 回歸的其他形式（標準化，與量綱回歸，過原點回歸等）；第三節(jié)線性回歸模型的檢驗方法及拓展有個對檢驗的總體說明作為統(tǒng)計推斷的核心內(nèi)容，除了估計未知參數(shù)以外，對參數(shù)的假設檢驗是實證分析中的一個重要方面。對模型進行各種檢驗的目的是，改善模型的設定以確?；炯僭O和估計方法比較適合于數(shù)據(jù)，同時也是有關(guān)理論有效性的驗證。正態(tài)性JB檢驗、峰度、偏度檢驗一、假設檢驗的基本理論及準則假設檢驗的理論依據(jù)是“小概率事件原理”，它的一般步驟是：（1）建立兩個相對的假設（零假設和備擇假設）（2）在零假設條

10、件下，尋求用于檢驗的統(tǒng)計量及其分布（3）得出拒絕或接受零假設的判別規(guī)則。另一方面，對于任何的檢驗過程，都有可能犯錯誤，即所謂的第一類錯誤（拒真）和第二類錯誤（采偽）。而犯這兩類錯誤的概率（分別記為和）是一種此消彼長的情況，于是如何控制這兩個概率，使他們盡可能的小以滿足要求，就成了尋找優(yōu)良的檢驗方法的關(guān)鍵。下面先就假設檢驗的有關(guān)基本理論做一簡要介紹。參數(shù)顯著性檢驗的具體步驟是：已知總體的分布，其中是未知參數(shù)。總體真實分布完全由未知參數(shù)的取值所決定。對提出某種假設，從總體中抽取一個容量為n的樣本，確定一個統(tǒng)計量及其分布，決定一個拒絕域W，使得，或者對樣本觀測數(shù)據(jù)X，。即是顯著性水平，也是犯第一類錯

11、誤的概率。既然犯兩類錯誤的概率不能同時被控制，所以通常的做法是限制犯第一類錯誤的概率，使犯第二類錯誤的概率盡可能的小，即在的條件下，使得 ，達到最大。其中表示總體分布為時，事件的概率，為零假設集合（只含一個點時成為簡單原假設，否則稱為復雜原假設）。則表示備擇假設集合，為了方便描述，我們定義稱為該檢驗的勢函數(shù)。當時，是犯第一類錯誤的概率；而當時，是犯第二類錯誤的概率。 于是一個好的檢驗方程是： 為了理論上的深入研究和表達方便，我們常用函數(shù)來表示檢驗法。定義函數(shù)它是拒絕域的示性函數(shù)，僅取0、1兩個值。反之如果一個函數(shù)中只取0或1，則可作為一個拒絕域。也就是說，W和之間建立了一種對立關(guān)系，給出一個就

12、等價于給出了一個檢驗法，（我們稱為檢驗函數(shù)）。那么，對于檢驗法的勢函數(shù)為于是，一個好的檢驗法又可寫為我們稱滿足上式的檢驗法為最優(yōu)勢檢驗（如果是對于復雜原假設和備擇假設，則稱為一致最優(yōu)勢檢驗（）。 奈曼皮爾遜基本引理給出于是的充要條件。定理設是來自總體分布密度為的樣本，為未知參數(shù)，對于簡單假設檢驗問題，檢驗函數(shù)是顯著性水平為的最優(yōu)勢檢驗MPT的充要條件是，存在常數(shù)，使得滿足：這就是著名的奈曼皮爾遜基本引理，需要指出的是，上述定理中的檢驗函數(shù)通常也稱為似然比檢驗函數(shù)，若記稱為似然比統(tǒng)計量。如果較大，意味著較大，所以在為真時觀測到樣本點x的可能性比為真時觀察到樣本點x的可能性小，因而應拒絕原假設；反

13、之，如果較小則應接受。此外，利用，上述定理中的可寫為這說明對于簡單假設檢驗問題，似然比檢驗是最優(yōu)的，反之最優(yōu)勢檢驗法也一定是似然比檢驗法。而大量的文獻都已證明了傳統(tǒng)假設檢驗中的檢驗，檢驗，檢驗，檢驗都是最優(yōu)勢檢驗。于是，我們可以放心地回到這部份的主題計量經(jīng)濟模型的檢驗方法。二、一般線性框架下的假設檢驗 多元回歸模型的統(tǒng)計檢驗通常包括以下三種情況：（1）單個系數(shù)的顯著性檢驗；（2）若干個回歸系數(shù)的聯(lián)合檢驗；（3）回歸系數(shù)線性組合的檢驗。例如：考慮下面這些典型假設的例子。 、。即回歸元對Y沒有影響，這是最常見的參數(shù)顯著性檢驗。 、 。是某一具體值。例如表示價格彈性，我們也許希望它是-1。 、。這里

14、的表示生產(chǎn)函數(shù)中資本和勞動的彈性，此時檢驗是否規(guī)模報酬不變。 、或。即檢驗和的系數(shù)是否相同。 、。即檢驗全部回歸元都對Y沒有影響。 、。這里的含義是把向量分為兩個子向量和，分別含有和個元素。檢驗就是檢驗某一些回歸元（的一部分）對Y沒有影響。諸如以上的情形都可歸于一般的線性框架： （注意：這里）其中R是由已知常數(shù)構(gòu)成的矩陣（），r是各元素為常數(shù)（一般是0或1）的矩陣。于是，對于上述情形，具體的我們有：（i）（ii）（iii）（iv）（v）（vi）所以，上述問題的統(tǒng)一假設是：為了檢驗這個假設，應先估計出，計算，若其值較“小”，（接近于0），則不應否定原假設；而如果其值較大，那么應對提出懷疑。為此我

15、們先考察的分布。 對于OLS的，我們知道。（注意：這里的是所有解釋變量觀測值組成的矩陣不含全是1的第一列）而所以，于是，在成立的條件下，那么，由有關(guān)的數(shù)理統(tǒng)計知識可知： （1） 此外，我們還可以證明 （殘差平方和的分布）。因此，由上述兩式，得到在下的檢驗統(tǒng)計量： （2）（注意：）于是，檢驗的程序是，如果算出的F值大于某個事先選定的臨界值，則拒絕。具體描述如下：、此時為。為。即主對角線上的第i個元素（注：（是一K階對稱方陣）。因此：取平方根，這就是傳統(tǒng)的關(guān)于回歸參數(shù)顯著性的t檢驗法。、類似，這里此時也可以計算，比如的95%置信區(qū)間，而不用檢驗關(guān)于的具體假設，這個置信區(qū)間是。、給出了兩個估計系數(shù)的

16、和，而此時（注：，）。那么于是檢驗統(tǒng)計量為：或者，也可以計算的95%置信區(qū)間、類似，可推得此時的檢驗統(tǒng)計量為、此時 ，r=0，q=k，那么這就是我們熟悉的關(guān)于回歸方程顯著性的F檢驗。、這里對應于。把X分塊為，可以證明（過程略）此時 （3）其中是Y對做線性回歸的殘差平方和。是對所有回歸的。通過上述示例，我們看到一般線性框架下的假設檢驗，它涵蓋了傳統(tǒng)計量經(jīng)濟分析中的統(tǒng)計檢驗方法。有了它，我們可以方便地實現(xiàn)許多實證問題中線性意義下的統(tǒng)計檢驗。其重要性是顯而易見的。三、一般線性假設檢驗的另一種形式 上面第情況出現(xiàn)的統(tǒng)計量就是這里所說的另一種形式。顯然是的特殊情況，而事實上我們還將看到其它的情況也可歸于

17、。另外，這里還有一個問題，即類似于第種情況的檢驗與上一章所講的帶約束的最小二乘估計的關(guān)系是什么？也就是說，對未知參數(shù)有約束限制的模型進行回歸后的結(jié)果，與對沒有約束限制的模型回歸后的參數(shù)檢驗的結(jié)果是否一致？下面的具體分析就回答了這一問題。事實上，無論還是都可以認為用了兩種不同回歸的結(jié)果。第一種回歸可看作有約束的回歸，或者說中的約束條件實際上是估計方程施加的。即中有約束回歸是將從回歸式中省略掉，或等價地說，令為零；在中，有約束的回歸只用了前面一部分變量（個）。而、兩種情況的第二種回歸是無約束回歸，它們都用了所有的變量X。由于無約束模型的殘差平方和是，有約束模型的殘差平方和記為，因此對某些的顯著性檢

18、驗也就是問，對應的加入模型后，殘差平方和是否顯著減少。具體到第種情形，考慮離差形式的回歸方程對其施加約束，代入回歸方程或由變量對的回歸便可得到的受約束估計值，而這個回歸的就是有約束的，即。實際上這就是我們前面講到的帶約束條件的最小二乘估計。一般地，在約束條件下，求使達到最小的，構(gòu)造拉格朗日函數(shù)，運用前面所講的方法可得到（過程略） （4）其中是無約束的估計量，而受約束回歸的殘差為將其轉(zhuǎn)置，再與其自身相乘，有再把（4）式的代入并化簡可得 （5）這與（2）式中除外的分子完全相同，也就得到了檢驗假設的統(tǒng)計量的另一種形式為 （6）這也恰好說明前面所述的6種檢驗的情形都可以用上述方式進行，即擬合一個受約束

19、的回歸，用受約束模型的殘差平方和與無約束模型的殘差平方和之差的大?。ɑ蛴洖椋﹣硗茢嘣僭O是否成立。這也就是說一般的線性假設情形都是的特例，或者（6）式的F統(tǒng)計量是普遍適應于一般線性假設的一種重要檢驗方法。即其中和分別是受約束模型和無約束模型的殘差平方和,是約束條件個數(shù)。同時，這也就回答了本段開始的問題，即，對于未知參數(shù)有約束限制的模型進行回歸后的結(jié)果，與對沒有約束限制的模型回歸后的參數(shù)檢驗的結(jié)果應該是一致的。四、似然比檢驗（）如本節(jié)開頭所述，在統(tǒng)計推斷中，古典檢驗方法是建立在似然比的基礎之上的。由此可見似然比檢驗的重要性（當然它的實用性也會在應用中顯現(xiàn)出來）。一般而言，似然比被定義為原假設下似

20、然函數(shù)的最大值與無約束條件下似然函數(shù)的最大值的比率。上一節(jié)我們得到了線性回歸模型參數(shù)的極大似然估計量（上一節(jié)（4）式和（5）式）它們在無約束條件下，使似然函數(shù)最大化。把它們代入似然函數(shù)可得無約束的最大似然值（推導過程略） （7）（式中的常數(shù)與模型中的任何參數(shù)無關(guān)，是殘差平方和）另一方面，如果在約束條件下使似然函數(shù)最大化，令和表示所導致的估計值，那么便是約束條件下的最大似然值，有約束的最大值當然不會超過無約束的最大值，但如果約束條件“有效”，有約束的最大值應當“逼近”無約束的最大值，這正是似然比檢驗的基本思路。似然比定義為顯然，。如果原假設為真，我們會認為的值接近1?；蛘哒f，如果太小，我們則應該

21、拒絕原假設。似然比檢驗的建立就是要使得當時，拒絕原假設。即（為顯著性水平）。在某些情況下，拒絕域可以轉(zhuǎn)化為含有我們熟知的統(tǒng)計量或統(tǒng)計量的形式。不過，普遍適用的是大樣本檢驗?？梢宰C明，對大樣本來說，統(tǒng)計量（8）具體地，如果很大，則應拒絕原假設，或者說似然比檢驗的拒絕域為，其中為卡方分布的下側(cè)分位數(shù)。前面已得到無約束的最大似然值，為了保證的計算，我們還需要得出約束條件下的最大似然值。為此，最大化（式中的是的拉格朗日乘數(shù)向量，就是無約束的對數(shù)似然函數(shù)），可得約束條件下的。由于參數(shù)的極大似然估計量與最小二乘估計量實際上是相同的，那么此處得到的就與上一小節(jié)所得到即（4）式相同。與前面一樣，此時的殘差為，

22、而的帶約束的極大似然估計為，因此，（類似于（7）式） （9）（式中常數(shù)與（7）式相同）將（7）式和（9）式代入（8）式，就得到了似然比檢驗統(tǒng)計量的另一種形式， （10）由此可見，計算統(tǒng)計需要擬合無約束模型和有約束模型。而事實上，前面講的各種檢驗（檢驗，檢驗，（6）式）都可以根據(jù)似然比原理推導出來。這就再次說明似然比檢驗是統(tǒng)計檢驗的理論基礎。五、沃爾德檢驗（）在前面一般線性框架的假設檢驗的討論中，由估計量服從正態(tài)分布推出了（1）式。這里如果我們考慮的漸近正態(tài)性，也能得到前面的（1）式，即（11）這里是中約束條件個數(shù)，用的一致估計量代替式中的，漸近分布成立，或者說大樣本情形的沃爾德統(tǒng)計量為（12）

23、類似于前面的（6）式，上式的分子也可寫為（），于是檢驗的統(tǒng)計量具有另一種形式， （13）與檢驗的情況一樣，呈大樣本卡方分布。如果的值大于卡方分布的上側(cè)分位數(shù)，則拒絕原假設。而前面的（6）式也可歸為檢驗類。檢驗的一般公式：六*、拉格朗日乘數(shù)檢驗（）上述的檢驗，檢驗都涉及到了對數(shù)似然函數(shù)。檢驗是由漸近服從均值為，方差協(xié)方差陣為的正態(tài)分布，而導出在下，。其中。從而得出統(tǒng)計量的分布。一般地，如果是的極大似然估計量，由其大樣本性或漸近性知，其中稱為信息矩陣，它的定義如下：在線性模型的極大似然估計中，易知即上述檢驗的。拉格朗日乘數(shù)檢驗同樣依賴于對數(shù)似然函數(shù)及信息矩陣。記，稱為在處的得分。無約束估計量的得分

24、，而受約束的估計量的得分在約束條件有效的情況下，應接近于0。可以證明，得分向量的均值為零，方差協(xié)方差矩陣為信息矩陣，于是服從分布，所以大樣本時，在下，有 （14）此時，我們只需計算受約束的估計量的得分（注意：計算的是無約束的估計量）即由用和代替上式的和，以及，可得再通過適當?shù)倪\算和變換可得(過程略) （15） 具體的檢驗可分兩步完成。第一步，計算受約束的估計量，從而得到殘差向量，第二步，讓對所有的變量回歸，這個回歸的可決系數(shù)是，恩格爾(Engle 1982)證明了對于大樣本來說， （16）當(卡方分布的上側(cè)分位數(shù))時，則拒絕原假設。檢驗方法實際上是從一個較簡單的模型開始，檢驗是否可以增加新變量，第一步就是對簡單模型(變量較少)回歸，得到殘差。如果“真實”模型變量很多，則這些變量加入模型應對有影響。所以第二步對所有變量回歸而得到的的大小就將直接決定是否應該增加新變量，即約束是否成立。如果很大()，則說明新增變量對有顯著影響，即真實模型應含較多變量，或者說對參數(shù)的約束(比如某些為0)不成立。如果較小()，則說明新增變量對沒有顯著影響，真實模型就應是變量較少的簡單模型，即約束條件成立。這也是通常所說的“從簡單到一般”的模型設定方法。七、，的簡單比較 三種檢驗