時(shí)間序列分析方法 第04章 預(yù)測(cè)

1、時(shí)間序列分析方法講義 第4章 預(yù)測(cè)第四章 預(yù) 測(cè)在本章當(dāng)中我們討論預(yù)測(cè)的一般概念和方法，然后分析利用模型進(jìn)行預(yù)測(cè)的問(wèn)題。§4.1 預(yù)期原理利用各種條件對(duì)某個(gè)變量下一個(gè)時(shí)點(diǎn)或者時(shí)間階段內(nèi)取值的判斷是預(yù)測(cè)的重要情形。為此，需要了解如何確定預(yù)測(cè)值和度量預(yù)測(cè)的精度。4.1.1 基于條件預(yù)期的預(yù)測(cè)假設(shè)我們可以觀察到一組隨機(jī)變量的樣本值，然后利用這些數(shù)據(jù)預(yù)測(cè)隨機(jī)變量的值。特別地，一個(gè)最為簡(jiǎn)單的情形就是利用的前個(gè)樣本值預(yù)測(cè)，此時(shí)可以描述為：假設(shè)表示根據(jù)對(duì)于做出的預(yù)測(cè)。那么如何度量預(yù)測(cè)效果呢？通常情況下，我們利用損失函數(shù)來(lái)度量預(yù)測(cè)效果的優(yōu)劣。假設(shè)預(yù)測(cè)值與真實(shí)值之間的偏離作為損失，則簡(jiǎn)單的二次損失函數(shù)

2、可以表示為(該度量也稱為預(yù)測(cè)的均方誤差)：定理4.1 使得預(yù)測(cè)均方誤差達(dá)到最小的預(yù)測(cè)是給定時(shí)，對(duì)的條件數(shù)學(xué)期望，即：證明：假設(shè)基于對(duì)的任意預(yù)測(cè)值為：則此預(yù)測(cè)的均方誤差為：對(duì)上式均方誤差進(jìn)行分解，可以得到：其中交叉項(xiàng)的數(shù)學(xué)期望為(利用數(shù)學(xué)期望的疊代法則)：因此均方誤差為：為了使得均方誤差達(dá)到最小，則有：此時(shí)最優(yōu)預(yù)測(cè)的均方誤差為： End我們以后經(jīng)常使用條件數(shù)學(xué)期望作為隨機(jī)變量的預(yù)測(cè)值。4.1.2 基于線性投影的預(yù)測(cè)由于上述條件數(shù)學(xué)期望比較難以確定，因此將預(yù)測(cè)函數(shù)的范圍限制在線性函數(shù)當(dāng)中，我們考慮下述線性預(yù)測(cè)：如此預(yù)測(cè)的選取是所有預(yù)測(cè)變量的線性組合，預(yù)測(cè)的優(yōu)劣則體現(xiàn)在系數(shù)向量的選擇上。定義4.1

3、如果我們可以求出一個(gè)系數(shù)向量值，使得預(yù)測(cè)誤差與不相關(guān)：則稱預(yù)測(cè)為基于的線性投影。定理4.2 在所有線性預(yù)測(cè)當(dāng)中，線性投影預(yù)測(cè)具有最小的均方誤差。證明：假設(shè)是任意一個(gè)線性預(yù)測(cè)，則對(duì)應(yīng)的均方誤差可以分解為：由于是線性投影，則有：因此均方誤差為：為了使得均方誤差達(dá)到最小，線性預(yù)測(cè)滿足：這是一個(gè)線性投影。 End我們將線性投影預(yù)測(cè)表示為：或者簡(jiǎn)化為：顯然線性投影的預(yù)測(cè)誤差仍然不小于條件期望預(yù)測(cè)，因此有：當(dāng)條件中包含常數(shù)的時(shí)候，此時(shí)線性投影當(dāng)中就含有常數(shù)，為此使用表示含有常數(shù)項(xiàng)的線性投影預(yù)測(cè)，即：4.1.3 線性投影的性質(zhì)根據(jù)線性投影的定義，我們可以求出投影的系數(shù)向量：如果是可逆的，則有：命題4.1 線

4、性預(yù)測(cè)滿足下述性質(zhì)：(1) 最優(yōu)線性預(yù)測(cè)的均方誤差為：(2) 線性投影滿足線性平移性質(zhì)：證明：(1) 根據(jù)投影向量的表達(dá)式，可以得到：化簡(jiǎn)就可以得到命題表達(dá)式。(2) 需要證明是的線性投影。顯然，它是線性函數(shù)，其次，可以證明它滿足正交性質(zhì)。 End 4.1.4 線性投影和普通最小二乘回歸線性投影與最小二乘估計(jì)緊密相關(guān)，這兩種概念之間存在聯(lián)系。例如，將基于建立線性回歸方程，得到：對(duì)于給定和的T個(gè)樣本，樣本殘差平方和定義為：使得殘差平方和達(dá)到最小的系數(shù)最小二乘估計(jì)為：如果過(guò)程是協(xié)方差平穩(wěn)過(guò)程且關(guān)于二階矩是遍歷的，則有：因此上述OLS估計(jì)按概率收斂到線性投影系數(shù)：4.1.5 向量預(yù)測(cè)上述結(jié)果可以推廣

5、到利用維向量預(yù)測(cè)維向量，記為：其中為投影系數(shù)的一個(gè)階矩陣，滿足正交條件：上式說(shuō)明預(yù)測(cè)誤差的每一個(gè)分量與條件變量的每一個(gè)分量都無(wú)關(guān)。命題4.2 假設(shè)是的最小均方誤差線性預(yù)測(cè)，則對(duì)任意的線性組合，它的最小均方誤差線性預(yù)測(cè)為：證明：只需證明是線性投影即可，這時(shí)需要驗(yàn)證相應(yīng)的正交性。 End類似地，投影矩陣為：與此對(duì)應(yīng)的均方誤差矩陣為：§4.2 基于無(wú)限個(gè)觀測(cè)值的預(yù)測(cè)無(wú)論是條件期望預(yù)測(cè)還是正交線性預(yù)測(cè)，都是基于有限個(gè)條件變量的，下面我們分析基于無(wú)限個(gè)觀測(cè)值情形下的預(yù)測(cè)。4.2.1 基于滯后誤差的預(yù)測(cè)考察一個(gè)無(wú)限階移動(dòng)平均過(guò)程：，假設(shè)已經(jīng)知道過(guò)去所有時(shí)間階段的殘差觀測(cè)值，也知道模型中各種參數(shù)的

6、值?，F(xiàn)在我們要預(yù)測(cè)個(gè)階段以后的，根據(jù)模型它應(yīng)該是：對(duì)此最優(yōu)線性預(yù)測(cè)形式為：這個(gè)預(yù)測(cè)值的對(duì)應(yīng)誤差為：這個(gè)預(yù)測(cè)值的均方誤差為：例4.1 試求過(guò)程的最優(yōu)線性預(yù)測(cè)。解：過(guò)程為：，則它的最優(yōu)線性預(yù)測(cè)為：對(duì)應(yīng)的均方誤差為： 上述預(yù)測(cè)具有清楚的含義，在時(shí)間間隔以后，使用過(guò)程的均值進(jìn)行預(yù)測(cè)，而方差是過(guò)程的無(wú)條件方差。4.2.2 基于滯后Y的預(yù)測(cè)一般情況下，我們僅僅可以觀察到Y(jié)的值，為此假設(shè)移動(dòng)平均過(guò)程具有可逆表示：其中：，假設(shè)上述AR過(guò)程與MA過(guò)程之間滯后算子多項(xiàng)式的關(guān)系：1. 協(xié)方差平穩(wěn)的過(guò)程為：表示成為算子多項(xiàng)式形式：滿足：，2. 一個(gè)過(guò)程可以表示成為：也可以表示成為算子多項(xiàng)式形式：在可逆性假設(shè)條件下，則

7、有：，如果給出了觀測(cè)值，可以在模型當(dāng)中構(gòu)造出殘差序列，例如在過(guò)程當(dāng)中：對(duì)于給定系數(shù)和，由上式可以計(jì)算出：在可逆的過(guò)程當(dāng)中，可以得到：最后，可以得到給定條件下的預(yù)測(cè)公式為：或者：w-k公式上述公式也被稱為Wiener-Kolmogorov預(yù)測(cè)公式。上述公式當(dāng)中的算子是截?cái)嘈问降乃阕颖磉_(dá)式，算子表達(dá)式中將滯后算子的負(fù)指數(shù)項(xiàng)省略。4.2.3 預(yù)測(cè)一個(gè)過(guò)程對(duì)于一個(gè)平穩(wěn)的過(guò)程，可以將算子多項(xiàng)式表示成為：利用上述公式，可以得到階段后的最優(yōu)線性預(yù)測(cè)為：上述預(yù)測(cè)公式說(shuō)明，隨著預(yù)測(cè)階段的增加，預(yù)測(cè)值將趨于長(zhǎng)期均值。對(duì)應(yīng)的預(yù)測(cè)誤差為：隨著預(yù)測(cè)階段的增加，預(yù)測(cè)誤差也趨于無(wú)條件方差。4.2.4 預(yù)測(cè)一個(gè)過(guò)程對(duì)于一個(gè)平

8、穩(wěn)的過(guò)程，可以利用Wiener-Kolmogorov預(yù)測(cè)公式進(jìn)行預(yù)測(cè)。該公式的主要特點(diǎn)在于：它可以利用過(guò)去的過(guò)程觀測(cè)值和未來(lái)的殘差值表示預(yù)測(cè)值，然后未來(lái)的殘差值利用期望去掉。其中表示矩陣中第行、第列元素，矩陣為： 這時(shí)階段的最優(yōu)預(yù)測(cè)為：顯然上述預(yù)測(cè)是均值基礎(chǔ)上加上觀測(cè)值的一個(gè)線性組合，是觀測(cè)值的線性函數(shù)。相應(yīng)的預(yù)測(cè)誤差為：下面我們給出具體的預(yù)測(cè)推導(dǎo)過(guò)程：(1) 進(jìn)行1個(gè)時(shí)期的預(yù)測(cè)，它滿足：(2) 將時(shí)間開始階段換為，得到：根據(jù)多重投影定理斷言，如果的期預(yù)測(cè)是期信息的投影，則該預(yù)測(cè)也是期進(jìn)行的最優(yōu)線性預(yù)測(cè)，則有：將1期預(yù)測(cè)代入得到：(3) 過(guò)程的前期預(yù)測(cè)根據(jù)疊代可以得到：，其中：，4.2.5 預(yù)

9、測(cè)一個(gè)過(guò)程繼續(xù)考察一個(gè)過(guò)程，可以利用滯后算子表示為：，利用Wiener-Kolmogorov預(yù)測(cè)公式進(jìn)行預(yù)測(cè)，得到：向前預(yù)測(cè)1期時(shí)有：則預(yù)測(cè)值為：當(dāng)預(yù)測(cè)步長(zhǎng)超過(guò)1時(shí)：則預(yù)測(cè)值為：4.2.6 預(yù)測(cè)一個(gè)過(guò)程繼續(xù)考察一個(gè)可逆的過(guò)程：利用Wiener-Kolmogorov預(yù)測(cè)公式進(jìn)行預(yù)測(cè)，得到：其中：對(duì)于比較近期的預(yù)測(cè)()有：其中可以利用下述遞推表示：對(duì)于比較遠(yuǎn)期的預(yù)測(cè)()比較簡(jiǎn)單：4.2.7 預(yù)測(cè)一個(gè)過(guò)程過(guò)程可以表示為：假設(shè)該過(guò)程是平穩(wěn)的()和可逆的()，則：其中：代入到預(yù)測(cè)公式中：注意到對(duì)于任意，預(yù)測(cè)值滿足遞推公式：這意味著預(yù)測(cè)值按照幾何方式以速度收斂到無(wú)條件均值。前1期預(yù)測(cè)由下式給出：上式可以等

10、價(jià)地表示為：其中：或者：4.2.8 預(yù)測(cè)一個(gè)過(guò)程綜合上述各種預(yù)測(cè)情形，我們可以得到預(yù)測(cè)平穩(wěn)過(guò)程的方法。過(guò)程可以表示為：最優(yōu)線性預(yù)測(cè)方程可以表示為： 其中可以利用下述遞推表示：前期預(yù)測(cè)為：其中：，§4.2 基于無(wú)限個(gè)觀測(cè)值的預(yù)測(cè)下面我們假設(shè)已知模型的參數(shù)，但是只獲得了有限樣本情形下的預(yù)測(cè)問(wèn)題。4.3.1 最優(yōu)預(yù)測(cè)的近似基于有限個(gè)觀察值的預(yù)測(cè)方法是假設(shè)樣本之前的殘差都為零，這是因?yàn)橛邢旅娴慕乒酱嬖冢?.3.2 有限樣本情形下的精確預(yù)測(cè)利用線性投影可以得到有限樣本情形下的精確預(yù)測(cè)：§4.7 ARMA(1)過(guò)程之和下面我們考慮兩個(gè)ARMA過(guò)程相加所得到的時(shí)間序列性質(zhì)。4.7.1

11、 MA(1)過(guò)程與白噪聲之和假設(shè)一個(gè)序列是零均值的過(guò)程：其中是白噪聲序列，滿足：此時(shí)過(guò)程自協(xié)方差函數(shù)為：假設(shè)隨機(jī)過(guò)程是另外一個(gè)白噪聲過(guò)程，滿足：假設(shè)兩個(gè)白噪聲序列之間在任何時(shí)點(diǎn)都是不相關(guān)的，也即有：，這是也有：，目前的問(wèn)題是，如何觀測(cè)到一個(gè)序列是上述移動(dòng)平均過(guò)程和白噪聲過(guò)程的和，那么這個(gè)和過(guò)程的性質(zhì)如何？顯然，上述過(guò)程仍然具有零均值，它的自協(xié)方差函數(shù)可以表示為：由此可見，隨機(jī)過(guò)程也是平穩(wěn)過(guò)程，它的自協(xié)方差函數(shù)與過(guò)程是類似的。此時(shí)，我們?cè)O(shè)想是否有一個(gè)過(guò)程：其中白噪聲滿足：它具有與和過(guò)程一致的自協(xié)方差函數(shù)？如何是這樣，則要求白噪聲的方差滿足：對(duì)于給定的參數(shù)：，滿足上述要求的值為：在特殊情形下，如果

12、，則上式變?yōu)椋簩?duì)于其他情形，可以分析具有相同自協(xié)方差函數(shù)的自回歸系數(shù)的要求。4.7.2 兩個(gè)移動(dòng)平均過(guò)程之和假設(shè)是過(guò)程，是過(guò)程，并且兩個(gè)過(guò)程的殘差在任何時(shí)點(diǎn)都不相關(guān)，則可以證明，他們的和過(guò)程滿足過(guò)程。4.7.2 兩個(gè)自回歸過(guò)程之和假設(shè)隨機(jī)過(guò)程和是兩個(gè)過(guò)程，滿足：其中和是兩個(gè)在任何時(shí)點(diǎn)上都不相關(guān)的白噪聲序列。假設(shè)我們可以觀察到并且想利用來(lái)對(duì)進(jìn)行預(yù)測(cè)。為此，我們需要分析時(shí)間序列的結(jié)構(gòu)。在特殊情形下，如果一旦自回歸系數(shù)相同，或，則直接得到的自回歸表示：如果，則有：可以等價(jià)地表示為：對(duì)應(yīng)的要求為：因此可以知道：更為一般地，對(duì)于兩個(gè)殘差序列不相關(guān)的自回歸過(guò)程而言：它們相加可以得到一個(gè)過(guò)程：，§

13、4.8 Wold分解和Box-Jenkins建模思想平穩(wěn)時(shí)間序列具有類似的性質(zhì)，那么如果表示平穩(wěn)時(shí)間序列的一般結(jié)構(gòu)呢？Wold分解定理給出了一般的結(jié)論。4.8.1 Wold分解定理4.3 (Wold分解定理) 任何零均值協(xié)方差平穩(wěn)過(guò)程可以表示成為如下形式：其中：，是利用預(yù)測(cè)時(shí)產(chǎn)生的誤差：對(duì)于任意，與不相關(guān)，并且也可以利用利用進(jìn)行預(yù)測(cè)：稱為過(guò)程的線性確定性成分，而稱為過(guò)程的線性非確定性成分。如果，則稱該過(guò)程是純線性不確定性的。4.8.2 Box-Jenkins建模思想任何時(shí)間序列數(shù)據(jù)都有自己的生成機(jī)制，但是如何揭示和描述時(shí)間序列的數(shù)據(jù)生成機(jī)制呢？這需要利用時(shí)間序列模型對(duì)數(shù)據(jù)生成機(jī)制進(jìn)行逼近或者近

14、似，這就需要尋求建立時(shí)間序列模型的基本過(guò)程。(1) 建立模型一個(gè)基本出發(fā)點(diǎn)是，所采用的模型越節(jié)儉越好，所要估計(jì)的參數(shù)越多，模型出現(xiàn)錯(cuò)誤的可能性就越大。(2) 即使一個(gè)復(fù)雜的模型描述和模擬歷史數(shù)據(jù)的能力很好，但是有時(shí)進(jìn)行預(yù)測(cè)時(shí)的誤差卻很大。以前大型經(jīng)濟(jì)計(jì)量模型的失敗則說(shuō)明了這一點(diǎn)。Box-Jenkins提出并倡導(dǎo)的預(yù)測(cè)方法主要步驟為：(1) 如果有必要，可以對(duì)數(shù)據(jù)進(jìn)行變化，使得數(shù)據(jù)的協(xié)方差平穩(wěn)性變得更為合理。(2) 對(duì)于描述平穩(wěn)性數(shù)據(jù)的模型的階數(shù)做出一個(gè)初始的數(shù)值比較小的猜測(cè)。(3) 估計(jì)自回歸和移動(dòng)平均算子多項(xiàng)式中的系數(shù)。(4) 對(duì)模型進(jìn)行診斷分析以確定所得到的模型確實(shí)與觀測(cè)到的數(shù)據(jù)具有類似的

15、特征。其中數(shù)據(jù)變化主要根據(jù)經(jīng)濟(jì)時(shí)間序列的特征，對(duì)數(shù)序列的差分是非常常用的變換方法。時(shí)間序列模型的估計(jì)與診斷是后面討論的主要內(nèi)容。4.8.3 樣本自相關(guān)函數(shù)為了確定模型的階數(shù)，我們首先討論自相關(guān)函數(shù)的估計(jì)問(wèn)題。一般情況下可以利用樣本的矩估計(jì)進(jìn)行：，根據(jù)和過(guò)程的性質(zhì)，我們可以根據(jù)上述樣本自協(xié)方差函數(shù)收斂到零的性質(zhì)，區(qū)分出兩類過(guò)程。如果數(shù)據(jù)由一個(gè)高斯過(guò)程生成，則估計(jì)的方差近似為：，特別地，如果認(rèn)為該數(shù)據(jù)是由高斯白噪聲數(shù)據(jù)生成的，則對(duì)于任意的，應(yīng)該在95%的時(shí)間內(nèi)落在之間。這是因?yàn)榈臐u近分布為，而標(biāo)準(zhǔn)正態(tài)分布的5%臨界值為1.96。4.8.4 偏自相關(guān)函數(shù)為了識(shí)別自回歸過(guò)程的階數(shù)，一個(gè)有用的度量方法是采用偏自相關(guān)函數(shù)。第階偏自相關(guān)系數(shù)(表示為)定義為關(guān)于它的最近個(gè)值的線性投影的最后一個(gè)系數(shù)：其中向量可以利用下述方程計(jì)算：上述命題將線性投影的系數(shù)與