時間序列模型

1、Wold 分解定理：任何協(xié)方差平穩(wěn)過程 x t都可以被表示為xt - - dt = ut + 1 ut-1 + 2 Ut-2 + + =jUt jj 0其中表示xt的期望。dt表示xt的線性確定性成分，如周期性成分、時間t的多項(xiàng)式和指數(shù)形式等，可以直接用Xt的滯后值預(yù)測。0 = 1 , j 0 j < X。ut為白噪聲過程。ut表示用xt的滯后項(xiàng)預(yù)測 xt時的誤差。ut = xt - E(xt xt-1, xt-2 ,)j 0 jUt j稱為xt的線性非確定性成分。當(dāng)dt = 0時，稱xt為純線性非確定性過程。Wold分解定理由 Wold在1938年提岀。Wold分解定理只要求過程2階平

2、穩(wěn)即可。從原理上講，要得到過程的Wold分解，就必須知道無限個j參數(shù)，這對于一個有限樣本來說是不可能的。實(shí)際中可以對j做另一種假定，即可以把(L)看作是2個有限特征多項(xiàng)式的比，(L) = jLjj o(L)1丄2L2 qLq(L) = 11L2L2.pLP注意，無論原序列中含有何種確定性成分，在前面介紹的模型種類中，還是后面介紹的自相關(guān)函數(shù)、偏自相關(guān)函數(shù)中都假設(shè)在原序列中已經(jīng)剔除了所有確定性成分，是一個純的隨機(jī)過程(過程中不含有任 何確定性成分)。如果一個序列如上式，xt = + dt + ut + 1 ut-1+ 2 ut-2 + +則所有研究都是在 yt = xt - - dt的基礎(chǔ)上進(jìn)行

3、。例如前面給岀的各類模型中都不含有均值項(xiàng)、 時間趨勢項(xiàng) 就是這個道理。2.3自相關(guān)函數(shù)以上介紹了隨機(jī)過程的幾種模型。實(shí)際中單憑對時間序列的觀察很難確定其屬于哪一種模型，而自 相關(guān)函數(shù)和偏自相關(guān)函數(shù)是分析隨機(jī)過程和識別模型的有力工具。1. 自相關(guān)函數(shù)定義在給岀自相關(guān)函數(shù)定義之前先介紹自協(xié)方差函數(shù)概念。由第一節(jié)知隨機(jī)過程xt中的每一個元素 xt，t= 1,2,都是隨機(jī)變量。對于平穩(wěn)的隨機(jī)過程，其期望為常數(shù)，用 表示，即E(x t) = , t = 1, 2,隨機(jī)過程的取值將以為中心上下變動。平穩(wěn)隨機(jī)過程的方差也是一個常量Var(x t) = E ( xt - E(xt)2 = E ( xt - )

4、2 = x2 , t = 1,2,x2用來度量隨機(jī)過程取值對其均值的離散程度。相隔k期的兩個隨機(jī)變量 x t與xt - k的協(xié)方差即滯后 k期的自協(xié)方差，定義為k = Cov (xt , x t - k ) = E( xt - ) (xt - k -)自協(xié)方差序列k, k = 0, 1,K,稱為隨機(jī)過程Xt的自協(xié)方差函數(shù)。當(dāng)k = 0時0 = Var (xt) = x2自相關(guān)系數(shù)定義()()Cov(xt ,xt k)k =Var(xt) . Var(xt k )因?yàn)閷τ谝粋€平穩(wěn)過程有2Var (xt) = Var ( xt - k) = x所以()可以改寫為Cov(xt ,xt k)2當(dāng)k =

5、 0時，有o = 1。以滯后期k為變量的自相關(guān)系數(shù)列k, k = 0,1, K,稱為自相關(guān)函數(shù)。因?yàn)閗 = - k即COV (xt - k , xt ) = COV ( xt , x t + k )，自相關(guān)函數(shù)是零對稱的，所以實(shí)際研究中只給岀自相關(guān)函數(shù)的正半部分即可。2. 自回歸過程的自相關(guān)函數(shù)(1) 平穩(wěn)AR(1)過程的自相關(guān)函數(shù)AR(1)過程如下xt = xt-1 + ut ,1用xt- k同乘上式兩側(cè)xt xt- k = xt-1 xt- k + ut xt- k兩側(cè)同取期望，k =1 k -1其中E(xt- k ut) = 0 ( ut與其t - k期及以前各項(xiàng)都不相關(guān))。兩側(cè)同除o得

6、，kk =1 k -1 =11 k -2 =10因?yàn)?。=1。所以有k = 1k ,(k 0)對于平穩(wěn)序列有。所以當(dāng)1為正時，自相關(guān)函數(shù)按指數(shù)衰減至零(過阻尼情形)，當(dāng)1為負(fù)時，自相關(guān)函數(shù)正負(fù)交錯地指數(shù)衰減至零。見圖。因?yàn)閷τ诮?jīng)濟(jì)時間序列，1一般為正，所以第一種情形常見。指數(shù)衰減至零的表現(xiàn)形式說明隨著時間間隔的加長，變量之間的關(guān)系變得越來越弱。0 (經(jīng)濟(jì)問題中常見)0 (經(jīng)濟(jì)問題中少見)圖 AR(1)過程的自相關(guān)函數(shù)(2) AR( p)過程的自相關(guān)函數(shù)用xt - k, (k同乘平穩(wěn)的 p階自回歸過程x t =1 x t - 1+2 x t - 2+ +p x t - p + u t的兩側(cè)，得x

7、t - k xt =1 xt - k xt -1 +2 xt - k xt -2 + p xt - k xt - p + xt - k ut對上式兩側(cè)分別求期望得k =1k - 1+2k-2+pk-p ,k0上式中對于 k 0,有E(xt_ k ut) = 0。因?yàn)楫?dāng)k 0時，xt - k發(fā)生在ut之前，所以 xt - k與ut不相關(guān)。用0分別除()式的兩側(cè)得k =1k - 1+2k - 2+pk - p ,k0令(L) = (1 - 1 L - 2 L2 -p Lp)其中L為k的滯后算子，則上式可表達(dá)為(L) k = 0因(L)可因式分解為，p(L) =(1-GiL),i 1則()式的通解(

8、證明見附錄)是k = A 1 G 1 k + A 2 G 2 k + A p Gpk.其中Ai, i = 1, 為待定常數(shù)。這里Gi-1, i = 1, 2,是特征方程(L) = (1 -1 L - 2 L2 -p Lp ) = 0的根。為保證隨機(jī)過程的平穩(wěn)性，要求| Gi | 1, i = 1, 2,。,這會遇到如下兩種情形。 當(dāng)Gi為實(shí)數(shù)時，式中的Ai Gik將隨著k的增加而幾何衰減至零，稱為指數(shù)衰減(過阻尼情形)。 當(dāng)Gi和Gj表示一對共軛復(fù)根時，設(shè)Gi = a + bi, Gj = a -bi, ya2 b2 = R，則Gi, Gj的極座標(biāo)形式是 Gi = R (Cos + i Sin

9、 ), Gj = R (Cos - i Sin )。若 AR(p)過程平穩(wěn)，則 G < 1，所以必有 R <1。那 么隨著k的增加，Gik= Rk (Cosk + i Sink )，Gjk= Rk (Cosk - i Sink )，自相關(guān)函數(shù)()式中的相應(yīng)項(xiàng) Gik, Gjk將按正弦振蕩形式衰減(欠阻尼情形)。實(shí)際中的平穩(wěn)自回歸過程的自相關(guān)函數(shù)常是由指數(shù)衰減和正弦衰減兩部分混合而成。 從()式可以看岀，當(dāng)特征方程的根取值遠(yuǎn)離單位圓時，k不必很大，自相關(guān)函數(shù)就會衰減至零。 有一個實(shí)數(shù)根接近 1時，自相關(guān)函數(shù)將衰減的很慢，近似于線性衰減。當(dāng)有兩個以上的根取值接近1時，自相關(guān)函數(shù)同樣會衰

10、減的很慢。a.兩個特征根為實(shí)根b.兩個特征根為共軛復(fù)根圖 AR(2)過程的自相關(guān)函數(shù)3. 移動平均過程的自相關(guān)函數(shù)(1) MA(1)過程的自相關(guān)函數(shù)。對于 MA(1)過程 xt = ut + 1 ut-1有k = E(xt xt- k) = E ( ut+ 1 ut -1) (ut - k + 1 ut -k -1)當(dāng)k = 0時，0 = E(xt xt) = E ( ut+ 1 ut -1) (ut + 1 ut -1)22222=E (ut + 1 ut ut-1 + 1 ut ut-1 + 1 ut-1 ) = (1 + 1 )當(dāng)k = 1時1 = E(xt xt- 1) = E ( u

11、t+ 1 ut -1) (ut -1 + 1 ut -2 )222=E (ut ut -1 + 1 ut -1 + 1 ut ut -2 + 1 ut -1 ut -2) = 1 E (ut -1) = 1當(dāng)k 1時,k = E ( ut+ 1 ut-1)(ut -k + 1 ut -k -1) = 0綜合以上三種情形，MA(1)過程自相關(guān)函數(shù)為121 10 ,見圖?？梢奙A(1)過程的自相關(guān)函數(shù)具有圖 MA(1)過程的自相關(guān)函數(shù)截尾特征。當(dāng)k 1時，k = 0。MA( q)過程的自相關(guān)函數(shù)MA( q)過程的自相關(guān)函數(shù)是k1 k 12 k 2q k q,k= 1, 2,q-,21 122 2

12、q0k q ,當(dāng)k q時，k = 0,說明 k , k = 0, 1,具有截尾特征。(注意：模型移動平均項(xiàng)的符號以及這里k的符號正好與Box-Je nkins書中的符號相反，這樣表示的好處是保持與計(jì)算機(jī)輸出結(jié)果一致。)4. ARMA (1, 1)過程的自相關(guān)函數(shù)ARMA (1, 1)過程的自相關(guān)函數(shù)k從1開始指數(shù)衰減。1的大小取決于 1和1,1的符號取決于(1 - 1 )。若1 > 0，指數(shù)衰減是平滑的，或正或負(fù)。若1 < 0，相關(guān)函數(shù)為正負(fù)交替式指數(shù)衰減。對于ARMA (p, q)過程,p, q 2時，自相關(guān)函數(shù)是指數(shù)衰減或正弦衰減的。5.相關(guān)圖(correlogram)對于一個

13、有限時間序列(X1, X2,XT)用樣本平均數(shù)1 TX=XtT t 1估計(jì)總體均值，用樣本方差Ts2 = 1 (Xt X)2估計(jì)總體方差X2。當(dāng)用樣本矩估計(jì)隨機(jī)過程的自相關(guān)函數(shù)，則稱其為相關(guān)圖或估計(jì)的自相關(guān)函數(shù)，記 為k = 0,1 , 2,K, ( K < T ).X)(xt k X), k = 0, 1,2,K ,X)2rk=c。rk是對k的估計(jì)。其中T k1Ck = (XtTtt 1是對k的估計(jì)C0= 1 (xtT t 1是對0的估計(jì)，T是時間序列數(shù)據(jù)的樣本容量。實(shí)際中 T不應(yīng)太小，最好能大于60。注意：式分母為T,不是T-k。Ck為有偏估計(jì)量。但在小樣本條件下更有效。注：2個標(biāo)準(zhǔn)

14、差=2 T -1/2 = 2 (1/7)=。圖中虛線表示到中心線 2個標(biāo)準(zhǔn)差寬度。相關(guān)圖是對自相關(guān)函數(shù)的估計(jì)。由于 MA過程和ARMA過程中的MA分量的自相 關(guān)函數(shù)具有截尾特性，所以通過相關(guān)圖可以估計(jì) MA過程的階數(shù)q。相關(guān)圖是識別MA 過程階數(shù)和ARMA過程中MA分量階數(shù)的一個重要方法。實(shí)際應(yīng)用中相關(guān)圖一般取k = 15就足夠了。rk的方差近似為T-1。所以在觀察相關(guān)圖時，若rk的絕對值超過2 T-1/2 (2個標(biāo)準(zhǔn) 差)，就被認(rèn)為是顯著地不為零。當(dāng) T充分大時，近似有(rk -0) / T-1/2 = rkT1/2 N (0, 1)2.4偏自相關(guān)函數(shù)偏自相關(guān)函數(shù)是描述隨機(jī)過程結(jié)構(gòu)特征的另一

15、種方法。用kj表示k階自回歸式中第j個回歸系數(shù)，則k階自回歸模型表示為xt =k 1 Xt-1 +k 2 Xt-2 + + kk Xt-k + Ut其中kk是最后一個回歸系數(shù)。若把k = 1,2的一系列回歸式kk看作是滯后期k的函數(shù)，則稱kk,k = 1,2為偏自相關(guān)函數(shù)。它由下式中的紅項(xiàng)組成。xt = 11 xt-1 + utxt= 21 xt-1 + 22 xt-2 + ut。xt = k 1 xt-1 + k 2 xt-2+ + kk xt-k + ut因偏自相關(guān)函數(shù)中每一個回歸系數(shù)kk恰好表示xt與xt-k在排除了其中間變量xt-1,xt-2, xt-k +1 影響之后的相關(guān)系數(shù)，xt

16、 - k 1 xt-1 - k 2 xt-2 - - kk-1 xt-k +1 = kk xt-k + ut所以偏自相關(guān)函數(shù)由此得名。對于 AR(1)過程，xt= iixt-i + ut，當(dāng) k = 1 時，ii 0，當(dāng) k > 1 時，kk = 0，所以AR(1)過程的偏自相關(guān)函數(shù)特征是在 k = 1出現(xiàn)峰值(ii = 1)然后截尾。11 > 0對于AR(2)過程，當(dāng)kAR(1) 過程的偏相關(guān)圖11 < 0kk= 0。偏自相關(guān)函數(shù)在滯后期2時，kk0，當(dāng) k >2時，2 以后有截尾特性。對于AR(p)過程，當(dāng)kP時，kk0，當(dāng)k > p時，kk= 0。偏自相關(guān)函

17、數(shù)在滯后期p以后有截尾特性，因此可用此特征識別 AR(p)過程的階數(shù)。MA(1) 過程的偏自相關(guān)函數(shù)呈指數(shù)衰減特征。若 1 > 0, 偏自相關(guān)函數(shù)呈交替改變符 號式指數(shù)衰減；若 1 0，偏自相關(guān)函數(shù)呈負(fù)數(shù)的指數(shù)衰減。因?yàn)槿魏我粋€可逆的 MA(q) 過程都可以轉(zhuǎn)換成一個無限階的系數(shù)按幾何遞減的AR 過程，所以 MA(q) 過程的偏自相關(guān)函數(shù)呈緩慢衰減特征。MA(1) 過程的偏自相關(guān)函數(shù)例 5：對于 xt = ut + 1 ut-1 過程，有 1/ (1+ 1 L) xt = ut , 當(dāng) 1 > 0，(1- i L + i2 L2 -)xt = ut ,xt = 1 x t-1 -

18、12x t-2 + 13 x t-3 -+ ut ,對于 xt = ut - i ut-i 過程，有 i/ (i- i L) xt = ut ，當(dāng) i > 0,22(1+ 1 L + 1 L + )xt = ut ,xt = - 1 x t-1 - 12x t-2 - 13x t-3 - + ut ,對于 MA(2) 過程，若 (L) = 0的根是實(shí)數(shù)，偏自相關(guān)函數(shù)由兩個指數(shù)衰減形式疊加 而成。若 (L) = 0的根是虛數(shù)，偏自相關(guān)函數(shù)呈正弦衰減形式。ARMA( p, q)過程的偏自相關(guān)函數(shù)也是無限延長的， 其表現(xiàn)形式與MA(q)過程的偏 自相關(guān)函數(shù)相類似。根據(jù)模型中移動平均部分的階數(shù)

19、q以及參數(shù)i的不同，偏自相關(guān)函 數(shù)呈指數(shù)衰減和(或)正弦衰減混合形式。對于時間序列數(shù)據(jù)，偏自相關(guān)函數(shù)通常是未知的?？捎脴颖居?jì)算 11, 22, 的估計(jì) 量 ?11, ?22, 。估計(jì)的偏自相關(guān)函數(shù)?kk, k= 1,2,，稱為偏相關(guān)圖。因?yàn)?AR 過程和 ARMA 過程中 AR 分量的偏自相關(guān)函數(shù)具有截尾特性， 所以可利用偏相關(guān)圖估計(jì)自回歸過程的階數(shù) p。實(shí)際中對于偏相關(guān)圖取k = 15就足可以 了。?kk的方差近似為T-10當(dāng)T充分大時，近似有(?kk -0) / T-1/2 = T1/2?kk N (0, 1)所以在觀察偏相關(guān)圖時，若?kk的絕對值超過2 T-1/2 (2個標(biāo)準(zhǔn)差)，就被認(rèn)

20、為是顯著地 不為零。2.5時間序列模型的建立與預(yù)測ARIMA過程yt用(L) A dyt = o + (L) ut表示，其中(L)和(L)分別是p, q階的以L為變數(shù)的多項(xiàng)式，它們的根都在單位圓之 外。o為位移項(xiàng)，A d yt表示對yt進(jìn)行d次差分之后可以表達(dá)為一個平穩(wěn)的可逆的 ARMA 過程。這是隨機(jī)過程的一般表達(dá)式。它既包括了 AR, MA和ARMA過程，也包括了 單整的AR , MA和ARMA過程。建立時間序列模型通常包括三個步驟。（1）模型的識別，（2）模型參數(shù)的估計(jì)，（3） 診斷與檢驗(yàn)。模型的識別就是通過對相關(guān)圖的分析，初步確定適合于給定樣本的ARIMA模型形式，即確定d, p, q

21、的取值。模型參數(shù)的估計(jì)就是待初步確定模型形式后對模型參數(shù)進(jìn)行估計(jì)。診斷與檢驗(yàn)就是以樣本為基礎(chǔ)檢驗(yàn)擬合的模型，以求發(fā)現(xiàn)某些不妥之處。如果模型 的某些參數(shù)估計(jì)值不能通過顯著性檢驗(yàn)， 或者殘差序列不能近似為一個白噪聲過程， 應(yīng) 返回第一步再次對模型進(jìn)行識別。如果上述兩個問題都不存在，就可接受所建立的模型。 建摸過程用圖表示。下面對建摸過程做詳細(xì)論述。1. 模型的識別模型的識別主要依賴于對相關(guān)圖與偏相關(guān)圖的分析。在對經(jīng)濟(jì)時間序列進(jìn)行分析之 前，首先應(yīng)對樣本數(shù)據(jù)取對數(shù)，目的是消除數(shù)據(jù)中可能存在的異方差， 然后分析其相關(guān) 圖。識別的第1步是判斷隨機(jī)過程是否平穩(wěn)。由節(jié)知，如果一個隨機(jī)過程是平穩(wěn)的，其 特征方

22、程的根都應(yīng)在單位圓之外。由節(jié)知，如果（L） = 0的根接近單位圓，自相關(guān)函數(shù)將衰減的很慢。所以在分析相關(guān)圖時，如果發(fā)現(xiàn)其衰減很慢，即可認(rèn)為該時間序列是非 平穩(wěn)的。這時應(yīng)對該時間序列進(jìn)行差分，同時分析差分序列的相關(guān)圖以判斷差分序列的 平穩(wěn)性，直至得到一個平穩(wěn)的序列。對于經(jīng)濟(jì)時間序列，差分次數(shù)，即模型（）中的參 數(shù)d通常只取0，1或2。三.診斷與檢驗(yàn)包括參數(shù)的顯著性檢驗(yàn)和 殘差的隨模型可取嗎不可取可取圖建立時間序列模型程序圖實(shí)際中也要防止過度差分。一般來說平穩(wěn)序列差分得到的仍然是平穩(wěn)序列，但當(dāng)差分次數(shù)過多時存在兩個缺點(diǎn)，(1)序列的樣本容量減小；(2)方差變大；所以建模過程中要防止差分過度。對于一

23、個序列，差分后若數(shù)據(jù)的極差變大，說明差分過度第2步是在平穩(wěn)時間序列基礎(chǔ)上識別ARMA模型階數(shù)p, q。表給岀了不同 ARMA模型的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)。當(dāng)然一個過程的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)通常是未知的。用樣本得到的只是估計(jì) 的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)，即相關(guān)圖和偏相關(guān)圖。 建立ARMA模型，時間序列的相關(guān)圖與偏相關(guān)圖可為識別模型參數(shù) p, q提供信息。相關(guān)圖和偏相關(guān)圖(估計(jì)的自相關(guān)系數(shù)和偏自相關(guān)系數(shù))通常比真實(shí) 的自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的方差要大，并表現(xiàn)為更高的自相關(guān)。實(shí)際中相關(guān)圖，偏相關(guān)圖的特征不 會像自相關(guān)函數(shù)與偏自相關(guān)函數(shù)那樣“規(guī)范”，所以應(yīng)該善于從相關(guān)圖，偏相關(guān)圖中識別岀模型的

24、真實(shí) 參數(shù)p, q。另外，估計(jì)的模型形式不是唯一的，所以在模型識別階段應(yīng)多選擇幾種模型形式，以供進(jìn)一 步選擇。表 ARIMA過程與其自相關(guān)函數(shù)偏自相關(guān)函數(shù)特征模型自相關(guān)函數(shù)特征偏自相關(guān)函數(shù)特征ARIMA(1,1,1)xt = 1 Xt-1 + ut + 1Ut-1緩慢地線性衰減AR (1)xt = 1 Xt-1 + ut若1 > 0,平滑地指數(shù)衰減 若1 < 0,正負(fù)交替地指數(shù)衰減若11 > 0，k=1時有正峰值然后截尾 若11 < 0，k=1時有負(fù)峰值然后截尾MA (1)Xt = ut + 1 Ut-1若1 > 0，k=1時有正峰值然后截尾 若1 < 0，

25、k=1時有負(fù)峰值然后截尾若1 > 0，交替式指數(shù)衰減 若1 < 0，負(fù)的平滑式指數(shù)衰減AR (2)Xt = 1 Xt-1 + 2 xt-2 + Ut指數(shù)或正弦衰減(兩個特征根為實(shí)根)(兩個特征根為共軛復(fù)根)k=1,2時有兩個峰值然后截尾(1 > 0， 2 > 0)(1 > 0， 2 < 0)MA (2)xt = ut + 1 Ut-1+ 2 Ut-2k=1,2有兩個峰值然后截尾(1 > 0， 2 < 0)(1 > 0， 2 > 0)指數(shù)或正弦衰減(1 > 0， 2 < 0)(1 > 0， 2 > 0)ARMA

26、(1，1)xt = 1 xt-1 + Ut + 1 Ut-1k=1有峰值然后按指數(shù)衰減(1 > 0， 1 > 0)(1 > 0， 1 < 0)k=1有峰值然后按指數(shù)衰減(1 > 0， 1 > 0)(1 > 0， 1 < 0)ARMA ( 2，1)xt = 1 xt-1 + 2 xt-2+ Ut + 1 Ut-1k=1有峰值然后按指數(shù)或正弦衰減(1 > 0， 2 < 0， 1 > 0)k=1,2有兩個峰值然后按指數(shù)衰減 (1 > 0， 2 < 0， 1 > 0)ARMA (1，2)xt = 1 xt-1+ Ut

27、+ 1 Ut-1+ 2 Ut-2k=1,2有兩個峰值然后按指數(shù)衰減(1 > 0， 1 > 0， 2 < 0)(1 > 0， 1 > 0， 2 >0)k=1有峰值然后按指數(shù)或正弦衰減(1 > 0，1 > 0， 2 < 0)(1 > 0，1 > 0， 2 > 0)ARMA ( 2，2)xt= 1xt-1 + 2xt-2+ Ut + 1Ut-1+ 2Ut-2k=1,2有兩個峰值然后按指數(shù)或正弦 衰減(1 > 0， 2 < 0， 1 > 0， 2 < 0 )(1 > 0， 2 < 0， 1 &g

28、t; 0， 2 > 0 )k=1,2有兩個峰值然后按指數(shù)或正弦 衰減(1 >0，2 < 0，1 > 0，2 < 0)(1 >0，2 < 0，1 > 0，2 > 0)F面通過一些相關(guān)圖和偏相關(guān)圖識別模型結(jié)構(gòu)2. 模型參數(shù)的估計(jì)對于時間序列模型，一般采用極大似然法估計(jì)參數(shù)。對于一組相互獨(dú)立的隨機(jī)變量xt, (t = 1,2,T),，當(dāng)?shù)玫揭粋€樣本(X1, X2,XT)時，似然函數(shù)可表示為TL ( | X1 , X2,XT) = f (xi| ) f (X2| ) - - f (XT | ) = f(Xt | )t 1其中=(1, 2，,k)是一

29、組未知參數(shù)。對數(shù)似然函數(shù)是Tlog L = log f (Xt | )t 1通過選擇使上式達(dá)到最大，從而求得極大似然估計(jì)值？。具體步驟是用上述對數(shù)似然函數(shù)對每個未知參數(shù)求偏導(dǎo)數(shù)并令其為零，即r旦=01* .旦=0,(k個方程聯(lián)立)k一般來說似然函數(shù)是非線性的，必須采用迭代計(jì)算的方法求參數(shù)的極大似然估計(jì)值。極大似然估計(jì)量(MLE)具有一致性和漸近有效性。首先討論怎樣對如下線性回歸模型yt = 0 + 1 Xt1 + 2 Xt 2 + + k-1 Xt k -1 + ut , t = 1,2, T；, 進(jìn)行極大似然估計(jì)。假定ut N(0, 2 )，則yt也服從正態(tài)分布。yt N(E(yt), 2

30、)，其中E(yt) = o + 1 Xt1 + 2 Xt 2 + k -1 Xt k -1。若yt是相互獨(dú)立的，則對于樣本(y1, y2, -yT)，似然函數(shù)是2 L( ,| y1, ,y2,yr) = f( y1) f( y2) -f( yT)其中 表示未知參數(shù)0, 1,k -1的集合。由()式每個yt的概率密度函數(shù)為2f ( yt ) =Vexp (yt E<2yt).(2 2) 2 2對于樣本(yi,申，yr),對數(shù)似然函數(shù)為logL =log f ( yt) = -flog 2T2logyt- E( yt ) 2上式右側(cè)前兩項(xiàng)是常量。第三項(xiàng)的符號為負(fù)，所以對logL極大化等同于選

31、擇值從而使平方和：- e( yt)2極小化，即選擇使TT 2 2(yt - 0 - i xt 1 - 2 xt 2 -k iXt k -1) =Utt 1t 1極小化。上式中t表示殘差。這種估計(jì)方法恰好與OLS法相同，所以在這個例子中的MLE估計(jì)量與OLS估計(jì)量？完全相同，即二？。與OLS法不同的是極大似然估計(jì) 法在估計(jì)的同時，還得到ut方差的估計(jì)量。對()式求 2的偏導(dǎo)數(shù)并令其為零。logL T 丄 1 T2r=-尹+廠七yt- E(於)=0用代替上式中E(yt)中的 得T2 = T-1t2t 1現(xiàn)在討論怎樣對時間序列模型的參數(shù)進(jìn)行極大似然估計(jì)。對于非平穩(wěn)過程 yt，假定經(jīng)過d次差分之后可以

32、表達(dá)為一個平穩(wěn)、可逆的自回歸移動平均過程xt，(L) d yt =(L) xt =(L) ut.對于yt假定可以觀測到 T + d個觀測值，即y-d+1,yo, y1,yT，則經(jīng)過d次差分之后， xt的樣本容 量為T。以X1,x為樣本估計(jì)ARMA ( p, q)模型參數(shù)(1,，p, 1，,q )。對隨機(jī)過程xt的參 數(shù)估計(jì)就如對回歸模型的參數(shù)估計(jì)一樣，目的是使xt與其擬合值 ?的殘差平方和(xt xt)=i?ttt最小。把式改寫為ut =斗.(L)若用？，?和U?分別表示對i, i和ut的估計(jì)，則使下式最小?2 = S ( ?，,?p , ?1，,?,)t假定utN (0, u2),t = 1

33、,log L = -T log uT，且不存在自相關(guān)，則條件對數(shù)似然函數(shù)為?t2t2 u2之所以稱之為條件對數(shù)似然函數(shù)是因?yàn)??依賴于過去的不可知觀測值xo, x-1,x- p+1和uo, u-1,u - q +1。比如對()式求極大即等同于對?t2求極小。對ut2求極小時需要先確定xo,X -,X-P+1和U0,u-1 ,u-q +1的值。此問題的一般處理方法是取這些變量等于他們的無條件期望值。U0, U-1,U- q +1的無條件期望值為零。若模型()中不含有漂移項(xiàng)，則xo, X-1，X- p +1的無條件期望值也為零。當(dāng)樣本容量T與滯后長度p, q值相比充分大，且1,p的值不接近1時，這

34、種近似非常理想。若 式中不含有移動平均項(xiàng)，對于自回歸參數(shù)來說式是一個線性函數(shù)?？梢杂?OLS法估計(jì)參數(shù)。如果式中含有移動平均項(xiàng)，那么對于移動平均參數(shù)來說，式是一個非線性函數(shù)。對式必須采用非線性估計(jì)方法。首先假定模型為純自回歸形式，(L) xt = ut或xt = 1 Xt-1 + + pXt-p + ut .這是一個線性回歸模型，極大似然估計(jì)與OLS估計(jì)結(jié)果近似相同。當(dāng)模型中含有移動平均成分時Ut =-1(L)(L) Xt對于參數(shù)來說，模型是非線性的。對于非線性模型，通常由三種估計(jì)方法。直接搜索法。通過改變參數(shù)的取值，反復(fù)計(jì)算殘差平方和I?2的值。然后從中選擇最小的那個值所對應(yīng)的參數(shù)值作為對參

35、數(shù)的估計(jì)值。這種方法只有在參數(shù)個數(shù)較少時才是可行的。當(dāng)參數(shù)個數(shù)較多 時，計(jì)算量將非常大。例如當(dāng)含有四個被估參數(shù)，每個參數(shù)需選擇20個計(jì)算值時，則需要計(jì)算(20) 4 = 160000 次。直接優(yōu)化法。求誤差平方和函數(shù)對每一個參數(shù)的偏導(dǎo)數(shù)并令其為零，從而求得正規(guī)方程 (Ut2)t=0, i =1,p + q其中(1,p+q) = ( 1,，p, 1,q)o因?yàn)閜 + q個方程中都含有 p + q個參數(shù)，所以必須聯(lián)立求 解。由于計(jì)算上的困難，這種方法很少直接采用。線性迭代法。對任何非線性函數(shù)通常都可以按泰勒級數(shù)展開。首先為參數(shù)選一組初始值(1, 0，,p+q, 0)后將xt = f (xt-1,X

36、t-p)按泰勒級數(shù)在(1, 0 ,f (x) = f(X0)+ f (X0) (x X0)+=(X0)- f (X0) X0 + f ( X0) X +(下標(biāo)零表示初始值。怎樣確定初始值并不重要。)，然",p+q, 0 )點(diǎn)展開。(i1 i 0i,0)p+q, 0時的值。取上式右側(cè)的前兩項(xiàng)對原非線pxt = f (xt-1,Xt-p, 1, 0 ,p+q, 0 ) +i,p q p q 2，-i,0)( jj,0)+1 f +2i 1 j 1 i j1 = 1, 0 ,p+q =其中偏導(dǎo)數(shù)的下標(biāo)寫為零表示偏導(dǎo)數(shù)在性函數(shù)Xt進(jìn)行近似。去掉右側(cè)第三項(xiàng)及以后各項(xiàng)得p qf _ pqxt -

37、 f (xt-1,- , xt-p,1, 0 ,p+q, o ) +i,0 -i 1i oi 1f+ Ut.i 0i , i = 1,p + q。利用OLS法對上式上式為線性回歸方程形式。左側(cè)為已知量，右側(cè)含有一組未知量進(jìn)行估計(jì)。設(shè)所得估計(jì)值用(1, 1，,p+q, 1 )表示。以此作為第二組估計(jì)值，對非線性函數(shù)再一次線性化，從而得到一個新的線性方程。xt - f (Xt-1,xt-p,1, 1 ,f+ Utp q，p+q，1 ) +i,1i 1對上式再次應(yīng)用 OLS法估計(jì)參數(shù)，并把(1,2,p+q, 2)作為待估參數(shù)的第三組估計(jì)值。重復(fù)上述過程,直至滿足如下要求為止。< ,i = 1,

38、-p, + q,ij其中i表示參數(shù)序號，j表示迭代次數(shù)。是預(yù)先給定的精度標(biāo)準(zhǔn)如果最后次的參數(shù)估計(jì)值用(1, k ,p+q, k)表示，并且 (1, k ,p+q, k)接近真值(1p+q)，則必有,p qp qffi,kii 1i ki 1i k所以有xt = f (xt-1,xt-p, 1, k,，p+q, k) + l?t(1, k,p+q, k)是對(1,p+q )的最終估計(jì)。這種迭代計(jì)算一般都是通過計(jì)算機(jī)完成。評價線性模型的一些統(tǒng)計(jì)量例F, t等都不能直接用于評價非線性模型。原因是盡管ut是正態(tài)分布的且均值為零，但殘差l?t= xt-Xt =xt -f (Xt-1,xt-p,1, k

39、,p + q, k)不服從正態(tài)分布，則c?2不服從 2分布，參數(shù)估計(jì)量不服從正態(tài)分布。所以不能使用F和t檢驗(yàn)。然而對迭代中的最后一步可以進(jìn)行F, t檢驗(yàn)。如果估計(jì)量 ？=i, k, (i = 1, -p, + q)，接近真值i,那么F, t檢驗(yàn)將會對非線性模型有很滿意的解釋作用。3. 診斷與檢驗(yàn)完成模型的識別與參數(shù)估計(jì)后，應(yīng)對估計(jì)結(jié)果進(jìn)行診斷與檢驗(yàn)，以求發(fā)現(xiàn)所選用的 模型是否合適。若不合適，應(yīng)該知道下一步作何種修改。這一階段主要檢驗(yàn)擬合的模型是否合理。 一是檢驗(yàn)?zāi)Ｐ蛥?shù)的估計(jì)值是否具有顯著性；二是檢驗(yàn)?zāi)Ｐ偷臍埐钚蛄惺欠駷榘自肼暋?shù)估計(jì)值的顯著性檢驗(yàn)是通過t檢驗(yàn)完成的，而模型的殘差序列是否為白

40、噪聲的檢驗(yàn)是用 Box-Pierce (1970)提出的Q統(tǒng)計(jì)量完成的。Q檢驗(yàn)的零假設(shè)是即模型的誤差項(xiàng)是一個白噪聲過程。 Q統(tǒng)計(jì)量定義為KQ = Trk2k 1近似服從2( K - p - q)分布，其中T表示樣本容量，rk表示用殘差序列計(jì)算的自相關(guān)系數(shù)值，K表示自相關(guān)系數(shù)的個數(shù)，p表示模型自回歸部分的最大滯后值，q表示移動平均 部分的最大滯后值。Ljung和Box認(rèn)為式定義的Q統(tǒng)計(jì)量的分布與2( k - p - q)分布存在差異(相應(yīng)值偏小)， 于是提出修正的Q統(tǒng)計(jì)量。Q = T (T+2)K 2rkk i T k其中rk，K，p，q的定義如式。修正的Q統(tǒng)計(jì)量 近似服從2( k - p -

41、q)分布。且它的近似性比原Q統(tǒng)計(jì)量的近似性更好。(EViews中給出的Q統(tǒng)計(jì)量就是按式定義的。)用殘差序列計(jì)算Q統(tǒng)計(jì)量的值。顯然若殘差序列不是白噪聲，殘差序列中必含有其 他成份，自相關(guān)系數(shù)不等于零。則 Q值將很大，反之Q值將很小。判別規(guī)則是：若 Q < 2 ( K - p - q)，則接受 HO。若 Q > 2 ( K - p - q)，則拒絕 H0。其中 表示檢驗(yàn)水平。4. 時間序列模型預(yù)測下面以ARMA (1, 1)模型為例具體介紹預(yù)測方法。其他形式時間序列模型的預(yù)測方法與此類似。設(shè)對時間序列樣本xt, t = 1,2,，T，所擬合的模型是xt = 1 xt-1 + ut+ 1

42、 ut-1則理論上T + 1期xt的值應(yīng)按下式計(jì)算xT+1 = 1 xT + uT+1 + 1 uT用估計(jì)的參數(shù)?, ?和?T分別代替上式中的1, 1和UT 0上式中的UT+1是未知的，但知E(UT+1)= 0,所以取UT+1 = 00 XT是已知的(樣本值)。對XT+1的預(yù)測按下式進(jìn)行x?T 1 = ?1 xT + ?1 U?T由式，理論上XT+2的預(yù)測式是XT+2 =1 XT+1 + UT+2 +1 UT+1仍取UT+1 = 0, UT+2 = 0,貝U XT+2的實(shí)際預(yù)測式是X?T 2 = ?1 X?T 1其中 X?T 1是上一步得到的預(yù)測值，與此類推 XT+3 的預(yù)測式是X?T 3 =

43、?1 X?T 2由上可見，隨著預(yù)測期的加長，預(yù)測式 中移動平均項(xiàng)逐步淡出預(yù)測模型，預(yù)測式變成 了純自回歸形式0若上面所用的 Xt 是一個差分變量，設(shè)yt = Xt ，則得到的預(yù)測值相當(dāng)于y?t, (t = T +1,T+2 ,。)因?yàn)閥t = yt-1 + yt所以原序列 T+1 期預(yù)測值應(yīng)按下式計(jì)算y?T 1= yT+y?T 1對于 t > T +1，預(yù)測式是y?t = y?t 1 + y?t , t = T +2, T+3, 其中 y?t 1是相應(yīng)上一步的預(yù)測結(jié)果0用 EViews 計(jì)算相關(guān)圖和偏相關(guān)圖附錄：對式(自相關(guān)函數(shù)通解表達(dá)式)的證明對于 AR( p) 過程xt =1 xt

44、-1 +2 Xt-2 + + p Xt- p + ut它的自相關(guān)函數(shù)滿足下式，k =1 k -1 +2 k -2+ pkp k 0(見計(jì)量經(jīng)濟(jì)分析第 77 頁)即有(1 - 1 L - 2 L2 - - p Lp ) k = 0 則( 2)式的自相關(guān)函數(shù)有如下形式通解，k = A1 G1k + A2 G2k+ +Ap Gpk.其中Ai, i = 1, 為待定系數(shù)。Gi-1, i = 1,2, 是(3)式特征方程(1 - 1 L - 2 L2 -p Lp ) = 0的根。證明( 1)：首先以 AR(2) 過程為例xt =1 xt -1 +2 xt -2 + ut由上式可知k =1 k -1 +2 k -2 , k 0即有(1 - G1