異方差性、自相關(guān)以及廣義最小二乘(GLS)

異方差性、自相關(guān)以及廣義最小二乘〔GLS、FGLS〕蔣岳祥〔浙江大學(xué)經(jīng)濟(jì)學(xué)院〕古典模型中的b的非線性函數(shù)的分布及其檢驗(yàn)異方差性和自相關(guān)〔非球形擾動〕問題的提出廣義最小二乘〔GLS〕可行廣義最小二乘〔FGLS〕三、異方差不含自相關(guān)的檢驗(yàn)〔懷特檢驗(yàn)〕一、古典模型中的b的非線性函數(shù)的分布及其檢驗(yàn)b的函數(shù)的漸近分布——得爾塔方法斯拉茨基定理對一個(gè)不是n的函數(shù)的連續(xù)函數(shù)g(xn)，有如果f(b)是一組關(guān)于最小二乘估計(jì)量J個(gè)連續(xù)的線性或非線性的函數(shù)并令G是J×K矩陣，其中第j行是第j個(gè)函數(shù)關(guān)于b的導(dǎo)數(shù)。利用〔4-21〕的斯拉茨基〔Slutsky〕定理，并且，于是 〔0〕實(shí)際上，漸近協(xié)方差矩陣的估計(jì)量是如果某個(gè)函數(shù)是非線性的，那么b的無偏的性質(zhì)不會傳給f(b)。不過從〔0〕中可得f(b)是f(β)的一致估計(jì)量，而且漸近協(xié)方差矩陣很容易獲得。對f(β)的檢驗(yàn)也很容易。二、異方差性和自相關(guān)〔非球型擾動〕問題的提出多元化回歸模型擾動項(xiàng)違背古典假設(shè)的更一般的模型是廣義回歸模型，即假設(shè)〔1〕其中Ω是一般的正定矩陣，而不是在古典假設(shè)的情況下的單位矩陣。古典假設(shè)條件情況只是這種模型的一個(gè)特例。我們將仔細(xì)考察的兩種情況是異方差性和自相關(guān)。當(dāng)擾動項(xiàng)有不同的方差時(shí)，它們就是異方差的，異方差性經(jīng)常產(chǎn)生于橫截面數(shù)據(jù)，其中因變量的尺度〔scales〕和模型解釋能力在不同的觀察值之間傾向于變動。我們?nèi)匀患僭O(shè)不同觀測值之間擾動無關(guān)。因此σ2Ω是自相關(guān)經(jīng)常出現(xiàn)在時(shí)間序列數(shù)據(jù)中，經(jīng)濟(jì)時(shí)間序列經(jīng)常表現(xiàn)出一種“記憶〞，因?yàn)樽兓诓煌瑫r(shí)期之間不是獨(dú)立的。時(shí)間序列數(shù)據(jù)通常是同方差的，因此σ2Ω可能是非對角線上的值依賴于擾動項(xiàng)的模式。普通最小二乘法的結(jié)果具有球形干擾項(xiàng)和〔2〕重申前面的內(nèi)容，普通最小二乘估計(jì)量，〔3〕是最正確線性無偏的、一致的和漸近正態(tài)分布的〔CAN=Consistentandasymptoticallynormallydistributed〕，并且如果干擾項(xiàng)服從正態(tài)分布，在所有CAN估計(jì)量中它是漸近有效的?，F(xiàn)在我們考察哪些特性在〔1〕模型中仍然成立。有限樣本特性對〔3〕兩邊取期望，如果，那么〔4〕如果回歸量和擾動項(xiàng)是無關(guān)的，那么最小二乘法的無偏性不受〔2〕假設(shè)變化的影響。最小二乘法估計(jì)量的樣本方差是〔5〕在〔3〕中，b是的線性函數(shù)。因此，如果服從正態(tài)分布，那么由于最小二乘估計(jì)量的方差不再是，任何基于的推斷都可能導(dǎo)致錯(cuò)誤。不僅使用的矩陣是錯(cuò)誤的，而且s2也可能是的有偏估計(jì)量。通常無法知道是比b的真正方差大還是小，因此即使有的一個(gè)好的估計(jì)，Var[b]的傳統(tǒng)估計(jì)量也不會有用。最小二乘法的漸近特性如果Var[b]收斂于0，那么b是一致的。使用表現(xiàn)良好的回歸量，將收斂到一個(gè)常數(shù)矩陣〔可能是0〕，并且最前面的乘子將收斂于0。但不一定收斂，如果它收斂，那么普通最小二乘是一致的和無偏的。因此如果都是有限正定矩陣，那么b是β的一致估計(jì)量。上述結(jié)論成立的條件依賴于X和Ω。另一種別離這兩個(gè)組成局部的方法是：如果1、X′X最小的特征根當(dāng)時(shí)無限制地增加，這意味著；2、Ω最大的特征根對于所有n都是有限的。對于異方差模型，方差就是特征根。因此，要求它們是有限的。對于有自相關(guān)的模型，這要求Ω的元素有限并且非對角線元素與對角線元素相比不是特別大。那么，普通最小二乘法在廣義回歸模型中是一致的。說明普通最小二乘法是不一致的模型假定回歸模型是，其中的均值為0，方差為常數(shù)并且在不同觀測值之間具有相同的相關(guān)系數(shù)。于是矩陣X是一列1。μ的普通最小二乘估計(jì)量是。把Ω代入〔5〕，得 〔5a〕這個(gè)表達(dá)式的極限是而不是0。盡管OLS是無偏的，但它不是一致的。對于這個(gè)模型，不收斂。利用〔5a〕，X是一列1，因此是一個(gè)標(biāo)量，滿足條件〔1〕；但是，Ω的特征根是〔重?cái)?shù)是n-1〕和，不滿足條件〔2〕；這個(gè)例子中模型的困難是不同觀測值間有太多的相關(guān)。在時(shí)間序列情況下，我們一般要求觀測值之間關(guān)于時(shí)間的相關(guān)系數(shù)隨它們之間距離增加而減小。這里條件沒有被滿足。關(guān)于在簡介中曾討論的自相關(guān)擾動項(xiàng)的協(xié)方差矩陣上需要附加什么種類的要求，這給出一些很有意義的信息。如果 〔5b〕的極限分布是正態(tài)的，那么OLS估計(jì)量漸近地服從正態(tài)分布。如果，那么右邊項(xiàng)的極限分布與 〔5c〕的分布相同，其中是X的一行〔當(dāng)然假定極限分布確實(shí)存在〕?，F(xiàn)在，問題是中心極限定理是否可以直接應(yīng)用于v。如果擾動項(xiàng)只是異方差的而且仍是無關(guān)的，答案通常是肯定的。在這種情況下，很容易看到只要X表現(xiàn)良好，而且Ω對角元素是有限的，最小二乘估計(jì)量是漸近正態(tài)分布的，方差矩陣由〔5〕給出。對于大多數(shù)一般的情況，答案是否認(rèn)的，因?yàn)椤?c〕中的和不一定是相互獨(dú)立或是甚至無關(guān)的隨機(jī)變量的和。不過，雨宮〔1985，第187頁〕和安德森〔1971〕曾指出，自相關(guān)擾動項(xiàng)的模型中b的漸近正態(tài)性是足夠普遍的，以致于包括了我們在實(shí)際中可能遇到的大多數(shù)情況。我們可以得到結(jié)論，除了在特別不利的情況下，b漸近地服從均值為β，方差矩陣由〔5〕給出的正態(tài)分布?？傊琌LS在這個(gè)模型中只保存了它的一些可取性質(zhì)，它是無偏的、一致的和漸近正態(tài)分布的。不過，它不是有效。我們需要尋求b的有效估計(jì)。廣義最小二乘〔GLS〕在廣義回歸模型中，β的有效估計(jì)需要關(guān)于Ω的知識。我們只考察Ω是的、對稱正定矩陣的情況，這種情況偶爾會發(fā)生，但在大多數(shù)的模型中Ω包含必須估計(jì)的未知參數(shù)。由于Ω是正定對稱矩陣，它可以分解為〔6〕其中C的各列是Ω的特征向量經(jīng)過正交化而得到，即CC’=I，而且Ω的特征根被放在對角矩陣中。令是對角元素為的對角矩陣，并令，于是。另外，令，因此用P’前乘〔1〕中的模型可得或〔7〕的方差是因此，這個(gè)變換后的模型就是一個(gè)我們熟悉的古典回歸模型。由于Ω，所以，是可觀測數(shù)據(jù)。在古典回歸模型中，OLS是有效的；因此是的有效估計(jì)量。這是的廣義最小二乘〔GLS〕估計(jì)量。按照古典回歸模型，我們有以下結(jié)論：如果，GLS估計(jì)量是無偏的。這等價(jià)于，但由于P是常數(shù)的矩陣，我們回到熟悉的要求。我們必須要求回歸量與擾動項(xiàng)是無關(guān)的。如果〔8〕GLS估計(jì)量是一致的，其中Q*是有限正定矩陣。進(jìn)行替換可得〔9〕我們需要的是變換后的數(shù)據(jù)X*=P’X而不是原始數(shù)據(jù)X的數(shù)據(jù)。根據(jù)〔9〕的假設(shè)，GLS估計(jì)量是漸近正態(tài)分布的，均值為，樣本方差為〔10〕通過對〔7〕中的模型應(yīng)用高斯—馬爾科夫定理可得如下的艾特肯〔1935〕定理：GLS估計(jì)量是廣義回歸模型中的最小方差線性無偏估計(jì)量。有時(shí)被稱為艾特肯估計(jì)量。這是一個(gè)一般性結(jié)果，當(dāng)時(shí)高斯—馬爾科夫定理是它的一個(gè)特例。對于假設(shè)檢驗(yàn)，我們可以把所有結(jié)果應(yīng)用到變換后的模型〔7〕中。為了檢驗(yàn)J個(gè)線性約束Rβ=q，相應(yīng)的統(tǒng)計(jì)量是，其中殘差向量是而有約束的GLS殘差，基于〔11〕總之，對于古典模型的所有結(jié)果，包括通常的推斷過程，都適用于〔7〕中的模型。應(yīng)該注意的是：在廣義回歸模型中沒有R2的準(zhǔn)確對等物。不同的統(tǒng)計(jì)量有不同的意義，但使用它們時(shí)一定要謹(jǐn)慎?？尚械淖钚《斯烙?jì)〔FGLS〕上一節(jié)的結(jié)果是基于Ω必須是的條件根底上的。如果Ω含有必須估計(jì)的未知參數(shù)，那么GLS是不可行的。但在無約束的情況下，中有n(n+1)/2個(gè)附加參數(shù)。這對于用n個(gè)觀測值來估計(jì)這么多的參數(shù)是不現(xiàn)實(shí)的。只有當(dāng)模型中需要估計(jì)的參數(shù)較少時(shí)，即模型中Ω某種結(jié)構(gòu)要簡化，才可以找到求解的方法?？尚械淖钚《斯烙?jì)〔FGLS〕具有代表性的問題涉及到一小組參數(shù)，滿足。例如，只有一個(gè)未知數(shù)，其常見的表達(dá)形式是，其中，也只有一個(gè)附加的未知參數(shù)。一個(gè)也只包含一個(gè)新參數(shù)的異方差模型是接下來，假定是的一致估計(jì)量〔如果我們知道如何求得這樣的估計(jì)量〕為了使GLS估計(jì)可行，我們將使用替代真正的。我們所考慮的問題是利用是否要求我們改變上節(jié)的某些結(jié)果。如果，利用似乎漸近等價(jià)于利用真正的。然而，并非如此。令可行廣義最小二乘〔或FGLS〕估計(jì)量記為那么，漸近等價(jià)于的條件是〔18〕和〔19〕如果〔7〕中變換后的回歸量表現(xiàn)良好，那么〔19〕右邊效勞從極限正態(tài)分布。這正是我們求最小二乘估計(jì)量的漸近分布時(shí)所利用的條件。因此，當(dāng)替時(shí)〔19〕要求同樣的條件成立。這些是必須逐個(gè)情況進(jìn)行核實(shí)的條件。但在大多數(shù)情況中，它們確實(shí)成立。如果我們假設(shè)它們成立，基于的FGLS估計(jì)量與GLS估計(jì)量具有同樣的漸近性質(zhì)。這是一個(gè)相當(dāng)有用的結(jié)果。特別地，注意以下結(jié)論：1、一個(gè)漸近有效的FLGS估計(jì)量不要求我們有的有效估計(jì)量，只需要一個(gè)一致估計(jì)量。2、除了最簡單的情況，F(xiàn)GLS估計(jì)