隨機(jī)過程平穩(wěn)隨機(jī)過程

隨機(jī)過程平穩(wěn)隨機(jī)過程第1頁，共85頁，2023年，2月20日，星期日第八章時間序列分析時間序列是指按時間先后順序排列的隨機(jī)序列,或者說是定義在概率空間(Ω,F,P)上的一串有序隨機(jī)變量集合{Xt,t=0,±1,…},簡記為{Xt};它的每一個樣本(現(xiàn)實(shí))序列,是指按時間先后順序?qū)t所反映的具體隨機(jī)現(xiàn)象或系統(tǒng)進(jìn)行觀測或試驗(yàn)所得到的一串動態(tài)數(shù){Xt,t=0,±1,…}.所謂時間序列分析,就是根據(jù)有序隨機(jī)變量或者觀測得到的有序數(shù)據(jù)之間相互依賴所包含的信息,用概率統(tǒng)計(jì)方法定量地建立一個合適的數(shù)學(xué)模型,并根據(jù)這個模型對相應(yīng)序列所反映的過程或系統(tǒng)作出預(yù)報或進(jìn)行控制.

本章主要以平穩(wěn)時間序列為討論對象,著重介紹一類具體的,在自然科學(xué)、工程技術(shù)及社會、經(jīng)濟(jì)學(xué)的建模分析中起著非常重要作用的平穩(wěn)時間序列模型--自回歸滑動平均模型,簡稱ARMA模型.第2頁，共85頁，2023年，2月20日，星期日ARMA模型8.1ARMA模型1.自回歸模型設(shè){Xt}為零均值的實(shí)平穩(wěn)時間序列,定義階數(shù)為p的自回歸模型為

Xt=φ1Xt-1+φ2Xt-2+…+φpXt-p+at,(☆)E[at]=0,E[atXt]=0,s＞t,E[asat]=

模型(☆)簡記為AR(p).AR(p)是一個動態(tài)模型,是時間序列{Xt}自身回歸的表達(dá)式,所以稱自回歸模型.滿足AR(p)模型的隨機(jī)序列稱為AR(p)序列,其中{yk,k=1,2,…,p}稱為自回歸系數(shù).從白噪聲序列{at}所滿足的條件看出,at之間互不相關(guān),且at與以前的觀測值也不相關(guān),{at}亦稱為新信息序列,在時間序列分析的預(yù)報理論中有重要應(yīng)用.,t=s,0,t≠s.第3頁，共85頁，2023年，2月20日，星期日ARMA模型為方便起見,引進(jìn)延遲算子概念.令

BXt=Xt-1,B2Xt=B(BXt)=Xt-2.一般有BkXt=Xt-k(k=1,2,3,…),稱B為一步延遲算子,Bk為k步延遲算子.

于是(☆)式可以寫成

φ(B)Xt=at,(☆)其中φ(B)=1-φ1B-φ2B2-…-φpBp.(☆)對于(☆)式的AR(p)模型,若滿足條件:φ(B)=0的根全在單位圓外,即所有根的模都大于l,則稱此條件為AR(p)模型的平穩(wěn)性條件.當(dāng)模型(☆)滿足平穩(wěn)性條件時,φ-1(B)存在且一般是B的冪級數(shù),于是(☆)式又可寫作

Xt=φ-1(B)at.第4頁，共85頁，2023年，2月20日，星期日ARMA模型稱為逆轉(zhuǎn)形式.模型(☆)可以看做是把相關(guān)的{Xt}變?yōu)橐粋€互不相關(guān)序列{at}的系統(tǒng).2.滑動平均模型設(shè){Xt}為零均值的實(shí)平穩(wěn)時間序列,定義階數(shù)為q的滑動平均模型為

Xt=at-θ1at-1-…-θqat-q,(☆)其中(θk,k=1,2,…,q}.θt稱為滑動平均系數(shù)并簡記(☆)模型為MA(q).滿足MA(q)模型的隨機(jī)序列稱為MA(q)序列.用延遲算子表示,(☆)式可以寫成

Xt=θ(B)at,(★)其中θ(B)=1-θ1B-…-θqBq.(★)

對于(★)式的MA(q)模型,若滿足條件:θ(B)=0的根全第5頁，共85頁，2023年，2月20日，星期日ARMA模型在單位圓外,即所有根的模都大于1,則稱此條件為MA(q)模型的可逆性條件.當(dāng)模型(★)滿足可逆性條件時,θ-1(B)存在,此時(★)式可以寫成

at=θ-1(B)Xt,稱它為逆轉(zhuǎn)形式.模型(★)中的Xt可以看做是白噪聲序列{at}輸入線性系統(tǒng)中的輸出.3.自回歸滑動平均模型設(shè){Xt}是零均值的實(shí)平穩(wěn)時間序列,定義p階自回歸q階滑動平均混合模型為

Xt-φ1Xt-1+φ2Xt-2+…+φpXt-p=at-θ1at-1-…-θqat-q,(★)或φ(B)Xt=θ(B)at.(△)其中φ(B)和θ(B)分別由(☆)式和(★)式所表示,且φ(B)和第6頁，共85頁，2023年，2月20日，星期日ARMA模型θ(B)無公共因子,φ(B)滿足平穩(wěn)性條件,θ(B)滿足可逆性條件.模型(★)記為ARMA(p,q).滿足ARMA(p,q)模型的隨機(jī)序列,稱為ARMA(p,q)序列.

顯然當(dāng)q=0時,ARMA(p,0)就是AR(p);當(dāng)p=0時,ARMA(0,q)就是MA(q).

如平穩(wěn)過程的時域分析與頻域分析有對應(yīng)關(guān)系一樣,這里介紹ARMA(p,q)序列與具有有理譜密度的平穩(wěn)序列之間存在著對應(yīng)關(guān)系,并且指出一個平穩(wěn)序列在什么條件下是ARMA(p,q)序列.定義8.1

設(shè){Xt}是零均值平穩(wěn)序列,它的譜密度f(λ)是

e-i2πλ的有理函數(shù):f(λ)=第7頁，共85頁，2023年，2月20日，星期日模型的識別其中φ(λ)和θ(λ)是形如(☆)和(★)式的多項(xiàng)式,且它們無公共因子,φ(λ)滿足平穩(wěn)性條件,θ(λ)滿足可逆性條件.則稱{Xt}是具有有理譜密度的平穩(wěn)序列.定理8.1

均值為零的平穩(wěn)時間序列{Xt}滿足(△)式的充要條件是:{Xt}具有形如定義8.1中表式的有理譜密度.從定理8.1看出,只要平穩(wěn)序列的譜密度是有理函數(shù)形式,則它一定是一個ARMA(p,q)序列.因此,總可以找到一個ARMA(p,q)序列,滿足預(yù)先給定的精度去逼近所研究的平穩(wěn)序列.8.2模型的識別對于一個平穩(wěn)時間序列預(yù)測問題,首先要考慮的是尋求與它擬合最好的預(yù)測模型.而模型的識別與階數(shù)的確定則第8頁，共85頁，2023年，2月20日，星期日模型的識別是選擇模型的關(guān)鍵.本節(jié)先對AR(p),MA(q)與ARMA(p,q)序列作相關(guān)分析,討論其理論自相關(guān)函數(shù)和偏相關(guān)函數(shù)所具有的特性,以求找到識別模型的方法.在8.3節(jié)再討論模型階數(shù)的確定.1.MA(q)序列的自相關(guān)函數(shù)用Xt-k乘以(☆)式兩邊,再取均值(由于序列的均值為零,所以自相關(guān)函數(shù)與協(xié)方差函數(shù)相同),為了不致混淆,記所得協(xié)方差函數(shù)為γk:γk=E[XtXt-k]=E[(at-θ1at-1-…-θqat-q)(at-k-θ1at-k-1-…-θqat-k-q)]=E[atat-k]-θjE[atat-k-j]-θiE[at-iat-k]+

θiθjE[at-iat-k-j].第9頁，共85頁，2023年，2月20日，星期日模型的識別由階數(shù)為p的自回歸模型定義中的E[asat]的取值知,上頁等式右端第2項(xiàng),對一切k都為0,而其余各項(xiàng)的值依賴于k.(1)當(dāng)k=0時,γ0=E[]+E[]=+;(2)1≤k≤q,γk=-θkE[]+θiθi-kE[]=-θk+θiθi-k;(3)當(dāng)k＞q時,等式右端4項(xiàng)都為0,此時γk=0.

用γ0除以γk得標(biāo)準(zhǔn)化自相關(guān)函數(shù)ρk=γk/γ0,簡稱為自相關(guān)函數(shù).

綜上便得MA(q)序列的協(xié)方差函數(shù)γk和自相關(guān)函數(shù)ρk:γk=(1++…+),k=0,0,k＞q;(-θk+θk+1

θ1

+…+θqθq-k),1≤k≤q,第10頁，共85頁，2023年，2月20日，星期日模型的識別

ρk=從上式看出,MA(q)序列的自相關(guān)函數(shù)ρk在k＞q時全為零.這種性質(zhì)稱為q步截尾性.這表明MA(q)序列只有q步相關(guān)性,即當(dāng)|t-s|＞q時,Xs與Xt不相關(guān).這是MA(q)模型所具有的本質(zhì)特性,截尾處的k值就是模型的階數(shù).定理8.2

設(shè)零均值平穩(wěn)時間序列{Xt}具有譜密度f(λ)>0,

則{Xt}是MA(q)序列的充要條件,是它的自相關(guān)函數(shù)q步截尾(定理的必要性由以上的討論可得,充分性證明略).例8.1

已知MA(2)模型Xt=at+0.5at-1-0.3at-2,試驗(yàn)證模型滿足可逆性條件,并求自相關(guān)函數(shù).1,k＞q.1,k=0,,1≤k≤0,第11頁，共85頁，2023年，2月20日，星期日模型的識別解:

因?yàn)棣?B)=1+0.5B-0.3B2,令其為零,得

1+0.5B-0.3B2=0.

解得B1=1.17,B2=-2.84.

由于|B1|＞1,|B2|＞1,所以模型滿足可逆性條件.

將θ1=-0.5,θ2=0.3代入ρk的等式,得自相關(guān)函數(shù)

ρ0=1,ρ1==0.2612,ρ2==0.2239,ρk=0(k＞2).2.AR(p)序列的自相關(guān)函數(shù)用Xt-k乘階數(shù)為p的自回歸模型的兩邊,再取均值,得

γk=φlγk-1+…+φpγk-p,k＞0.

除以γ0得:ρk=φlρk-1-…-φpρk-p=0,(

)即第12頁，共85頁，2023年，2月20日，星期日模型的識別

φ(B)ρk=0,k＞0.(

)令(

)式的k=1,2,…,p,得

ρ1=φl+φ2ρ1+…+φpρp-1,ρ2=φlρ1+φ2+φ3ρ1+…+φpρp-2,(

)

…

…

…

…

…ρp=φlρp-1+φ2ρp-2+…+φp.寫成矩陣式有ρ11ρ1ρ2

…ρp-1φlρ2ρ11ρ1…ρp-2φ2

…

…

…

…

…

…ρpρp-1ρp-2ρp-3

…1φp此矩陣式稱為尤爾-瓦爾克方程.而(

)式是ρk所滿足的差分方程.參數(shù)由下式給出

=γ0-φjγj.(▲)=.(△)第13頁，共85頁，2023年，2月20日，星期日模型的識別這是因?yàn)?E[]=E[Xt-φtXt-1-…-φpXt-p]2=γ0-2φjγj+φiφjγj-i

=γ0-2φjγj+φj(φiγj-i)=γ0-2φjγj+φjγj-i=γ0-φjγj.定理8.3AR(p)序列{Xt}的自相關(guān)函數(shù)滿足(△)式,白噪聲序列{at}的方差滿足(▲)式.定理指出了AR(p)序列{Xt}的自相關(guān)函數(shù)所滿足的方程,但尚未討論其求解方法.不過應(yīng)當(dāng)了解:由線性差分方程第14頁，共85頁，2023年，2月20日，星期日模型的識別理論可以證明,AR(p)序列的自相關(guān)函數(shù),不能在某步之后截尾,而是隨k增大逐漸衰減,其衰減的速度受負(fù)指數(shù)函數(shù)控制.這種特性稱為拖尾性.如何理解拖尾性?例8.2

求AR(1)序列的自相關(guān)函數(shù).解:

因?yàn)锳R(1〉模型為Xt-φlXt-1=at,由(

)式得

ρ1=φl,ρ2=φlρ1=φl2,…,ρk=φlρk-1=φlk.

由φ(B)=1-φl(B)=0知,B=1/φl.

在滿足平穩(wěn)性條件下,|φl|＜1,所以當(dāng)k→∞時,有

ρk→0.

考慮到φlk=且|φl|＜1,即ln|φl|＜0,故存在c1

＞0,c2＞0使|ρk|＜c1

,∴{ρk}被負(fù)指數(shù)函數(shù)控制.第15頁，共85頁，2023年，2月20日，星期日模型的識別例8.3AR(2)模型為

Xt=0.1Xt-1+0.2Xt-2+at.

驗(yàn)證它滿足平穩(wěn)性條件,并求自相關(guān)函數(shù).解:由伊φ(B)=1-0.1B-0.2B2=0,解得B1=2,B2=-2.5.由于

|B1|>1,|B2|>1,所以模型滿足平穩(wěn)性條件.

由(

)式得

ρ1=,ρk=φ1ρk-1+φ2ρk-2,k≥2.

代入φ1=0.1,φ2=0.2得

ρ1=0.125,ρ2=0.213,ρ3=0.046,ρ4=0.047,ρ5=0.014,ρ6=0.011,ρ7=0.004,ρ8=0.003,ρ9=0.001,…

….

從例中的數(shù)值看出,ρk具有拖尾性.第16頁，共85頁，2023年，2月20日，星期日模型的識別3.ARMA(p,q)序列的自相關(guān)函數(shù)根據(jù)自回歸滑動平均模型中的φ(B)Xt=θ(B)at式,若φ(B)滿足平穩(wěn)性條件,則Xt的平穩(wěn)解為

Xt=φ-1(B)θ(B)at·將φ-1(B)寫成B的級數(shù)形式,令

G(B)=φ-1(B)θ(B)=GiBi,G0=1,(□)其中系數(shù)序列{Gi}稱為格林函數(shù).于是Xt可用{at}的現(xiàn)在和過去的值表示為

Xt=(GiBi)ai=Giat-i.(□)上式稱為(Xt}的傳遞形式,它的系數(shù)Gi是at-i的權(quán)重,表示i個單位時間以前的at對現(xiàn)在Xt的影響,稱為Wold系數(shù).上式也可以看做是無窮階的MA序列.第17頁，共85頁，2023年，2月20日，星期日模型的識別與(□)式相反,若θ(B)滿足可逆條件,則Xt的另一種逆轉(zhuǎn)形式表達(dá)式為

at=θ-1(B)φ(B)Xt.寫成級數(shù)形式,得

at=I(B)Xt=-IjBjXt=Xt-IjXt-j,I0=-1.(●)其中I(B)=1-IjBj=θ-1(B)φ(B),Ij稱為逆函數(shù).因而逆轉(zhuǎn)形式可以看做是將at表示成Xt的歷史值的加權(quán)和.

現(xiàn)在將φ(B)G(B)=θ(B)的兩邊展開成多項(xiàng)式,有

(

Bi)·(GiBi)=Bi.比較系數(shù)得Gi的遞推式

Gi=-Gi-j,G0=1.第18頁，共85頁，2023年，2月20日，星期日模型的識別式中φj,1≤j≤pθj,1≤j≤q0,j＞p;0,j＞q.

現(xiàn)在利用(□)式來導(dǎo)出ARMA(p,q)序列的自相關(guān)函數(shù)關(guān)系式.為此,將p階自回歸q階滑動平均混合模型(★)式

Xt-φ1Xt-1+φ2Xt-2+…+φpXt-p=at-θ1at-1-…-θqat-q的兩邊同乘Xt-k并取均值,得

γk-Xt-φ1γk-1-…-φpγk-p=γk(X,a)-θ1γk-1(X,a)-

…-θqγk-q(X,a),即φ(B)γk=θ(B)γk(X,a),(

)其中γk(X,a)=E[Xtat+k]=E[Gjat-jat+k],GjE[at-jat+k]=(◆)==G-k,k≤0,0,k＞0.第19頁，共85頁，2023年，2月20日，星期日模型的識別將(◆)式代入(

)式并除以γ0,寫成自相關(guān)函數(shù),注意到ρk為偶函數(shù),可得

k=0時,有(1-φ1ρ1-…-φpρp)=(1-θ1G1-…-θqGq),k=1時,有(ρ1-φ1φ0-φ2ρ1-…-φpρp-1)=(θ1-θ2G1-…-θqGq-1),k=q時,有(ρq-φ1ρq-1-…-φpρp-q)=θq,k＞q時,有ρk-φ1ρk-1-…-φpρp-q=0,即φ(B)ρk=0.若令上式之k=q+1,…,q+p,可得矩陣式

ρqρq-1

…ρq-p+1φ1ρq+1ρq+1ρq

…ρq-p+2φ2ρq+2

…

…

…

…

…

…ρq+p-1ρq+p-2

…ρq

φpρq+p=☆(◎)第20頁，共85頁，2023年，2月20日，星期日模型的識別定理8.4

零均值平穩(wěn)時間序列{Xt}為ARMA(p,q)序列的充要條件是其自相關(guān)函數(shù)滿足☆式.比較☆式和2.AR(p)序列的自相關(guān)函數(shù)項(xiàng)下的(

)式知,ARMA(p,q)序列與AR(p)序列的自相關(guān)函數(shù),滿足相同的差分方程以φ(B)ρk=0(k>q).因此和AR(p)序列類似,ARMA(p,q)序列的自相關(guān)函數(shù)也是拖尾的,且受負(fù)指數(shù)函數(shù)控制.例8.4

求ARMA(1,1)模型Xt-φ1Xt-1=at-θ1at-1的自相關(guān)函數(shù).解:設(shè)ai的方差為,|φ1|<1,則

Xi=G(B)ai=.

所以G0+G1+G2B2+…=(1-θ1B)(1+φ1B+B2+…)=[1+(φ1-θ1)B+(-φ1θ1)B2+…].第21頁，共85頁，2023年，2月20日，星期日模型的識別比較系數(shù)得

G0=1,G1=φ1-θ1,G2=-φ1θ1,…由☆式得

(1-φ1ρ1)=(1-θ1G1)=[1-θ1(φ1-θ1)],k=0,(ρ1-φ1)=θ1,k=1,ρk=φ1ρk-1,k=2,3,….解得=,ρ1=.故有ρk=,k=1,2,3,….例8.5

求ARMA(2,1〉的自相關(guān)函數(shù).解:

因?yàn)锳RMA(2,1)模型為

Xt-φ1Xt-1-φ2Xt-2=at-θ1at-1,(1-φ1B-φ2B2)=(1-θ1B)at.第22頁，共85頁，2023年，2月20日，星期日模型的識別設(shè)模型滿足平穩(wěn)性、可逆條件,且冉的方差為σ2,于是

G(B)==1+(φ1-θ1)B+[φ1(φ1-θ1)+φ2]B2+….

得格林函數(shù)

G0=1,G1=φ1-θ1,G2=φ1(φ1-θ1)+φ2,…

由☆式得

(1-φ1ρ1-φ2ρ2)=(1-θ1G1)=(1+

-φ1θ1),k=0,(ρ1-φ1-φ2ρ1)=-θ1,k=1,ρk-φ1ρk-1-φ2ρk-2=0,k=2,3,….

將ρ2=φ1ρ1+φ2代入上面第一式得

[1-+φ1(φ2-1)ρ1]=(1+-φ1θ1).第23頁，共85頁，2023年，2月20日，星期日模型的識別

將此式與上面第二式聯(lián)立得

1-φ1θ1+-φ1(φ2-1)1--φ1(φ2-1)-θ11-φ2-φ11-φ2

1-1-φ1θ1+1-φ1θ1+-φ1(φ2-1)-φ1-θ1-θ11-φ2

ρ1,ρ2,…通過遞歸方法或者齊次差分方程方法可求得.4.偏相關(guān)函數(shù)從上面的討論知,對于自相關(guān)函數(shù),只有MA(q)序列是截尾的,AR(p)和ARMA(p,q)序列則是拖尾的.為了進(jìn)一步區(qū)分AR(p)序列和ARMA(p,q)序列,以下引入偏相關(guān)函數(shù)的概念.=,ρ1=,第24頁，共85頁，2023年，2月20日，星期日模型的識別從概率論知,在給定隨機(jī)變量W的條件下,隨機(jī)變量U與V的聯(lián)合條件密度函數(shù)為f(u,v|w),此時,定義U與V的偏相關(guān)函數(shù)為

=.類似地,在零均值平穩(wěn)時間序列中,給定義Xt-1,Xt-k+1,…,Xt與Xt-k之間的偏相關(guān)函數(shù)定義為

=.(★)其中,E表示關(guān)于條件密度函數(shù)f(xt,xt-k|xt-1,xt-2,…,xt-k+1)的條件期望.

第25頁，共85頁，2023年，2月20日，星期日模型的識別(1).AR(p)序列的偏相關(guān)函數(shù)設(shè){Xt}是零均值的平穩(wěn)序列,它滿足AR(k)模型,即

Xt=φk1Xt-1+φk2Xt-2…+φkkXt-k+at.用Xt-k乘上式兩邊,當(dāng)給定Xt-1=xt-1,…,Xt-k+1=xt-k+1時,取條件期望得

E[XtXt-k]=φk1xt-1E[Xt-k]+…+φkk-1xt-k+1E[Xt-k]+φkkE[]+E[atXt-k].因k＞0時,E[atXt-k]=0,且

E[XtXt-k]=φkkD[Xt-k]=φkk,所以φkk=,k=1,2,….(★)根據(jù)(★)式知,φkk即為AR(p)序列的偏相關(guān)函數(shù),同時它又第26頁，共85頁，2023年，2月20日，星期日模型的識別是AR(k)模型的最后一個自回歸系數(shù)φk.

為了探討AR(p)序列的偏相關(guān)函數(shù)的特性,考慮Xt-1,…,Xt-k對Xt的最小方差估計(jì),即要求確定φk1,…,φkk,使

Q=minE[Xt-φkjXt-j]2.根據(jù)AR(p)模型定義,有

Q=E[(φjXt-j+at-φkjXt-j)2]=E[(at+(φj-φkj)Xt-j-φkjXt-j)2]=E[]+2E[at((φj-φkj)Xt-j-φkjXt-j)]+E[((φj-φkj)Xt-j-φkjXt-j)2].因E[atXt-j]=0(j＞0),故有

Q=+E[((φj-φkj)Xt-j-φkjXt-j)2].第27頁，共85頁，2023年，2月20日，星期日模型的識別這里,欲使Q=min,因取φkj=這說明AR(p)序列有φkj=φj(j=1,…,p),且由(★)式,φpp=φp即為偏相關(guān)函數(shù).當(dāng)是k>p時,有φkk=0.換句話說,AR(p)序列的偏相關(guān)函數(shù)為:φ11,φ22,…,φpp,0,…,0.即偏相關(guān)函數(shù)在k步截尾,其截尾的k值就是模型的階數(shù).這是AR(p)序列具有的本質(zhì)特性.(2).ARMA(p,q)序列和MA(q)序列的偏相關(guān)函數(shù)類似(l)的討論,考慮用Xt-1,…,Xt-k對Xt作最小方差估計(jì)來求ARMA(p,q)序列(把MA(q)看做p=0的特例){Xt}的偏相關(guān)函數(shù)φkk,同時推出偏相關(guān)函數(shù)與自相關(guān)函數(shù)的關(guān)系.

為了使Q=min,φk1,…,φkk應(yīng)滿足方程組

=0,j=1,2,…,k.φj,1≤j≤p,0,p+1≤j≤k.第28頁，共85頁，2023年，2月20日，星期日模型的識別由Q=E[Xt-φkjXt-j]2=E[]-2φkjE[XtXt-j]+φkjφkiE[Xt-jXt-i]=γ0-2φkjγj+φkjφkiγj-i,于是=-γj+φkiγj-i=0,j=1,2,…,k.這等價于-ρj+φkiρj-i=0,j=1,2,…,k.ρ1=φk1ρ0+φk2ρ1+…+φkkρk-1,ρ2=φk1ρ1+φk2ρ0+…+φkkρk-2,

…

…

…

…

…ρk=φk1ρk-1+φk2ρk-2+…+φkkρ0.寫成矩陣形式,即或(☆)第29頁，共85頁，2023年，2月20日，星期日模型的識別

1ρ1

…ρk-1φk1

ρ1ρ11…ρk-2φk2

ρ2

…

…

…

…

…

…ρk-1ρk-2

…1φkkρk(☆)式說明,由自相關(guān)函數(shù)的值可以求出偏相關(guān)函數(shù)φkk.系數(shù)φkj(j=1,2,…,k)可以由(☆)式直接求解.

以下給出求解φkj的常用遞推式:

φ11=ρ1,(

)φk+1,k+1=(ρk+1-

ρk+1-jφkj)(1-ρjφkj)-1,

φk+1,j=φkj-φk+1,k+1φk,k+1-j,j=1,2,…,k.事實(shí)上,以k=1替代(☆)式的k,即有以下矩陣式·=.(☆)第30頁，共85頁，2023年，2月20日，星期日模型的識別

1ρ1

…ρk-1ρkφk+1,1

ρ1ρ11…ρk-2ρk-1φk+1,2

ρ2

…

…

…

…

…

…

…ρkρk-1

…ρ11φk+1,k+1ρk+1取前k個方程得

1ρ1

…ρk-1φk+1,1

ρ1ρkφk+1,1ρ11…ρk-2

φk+1,2

ρ2ρk-1φk+1,2

…

…

…

…

…

…

…ρk-1ρk-2…1φk+1,kρkρ1φk+1,k

1ρ1

…ρk-1

ρ11ρ1

…ρk-1

ρkρ11…ρk-2

ρ2ρ11…ρk-2

ρk-1

…

…

…

…

…

…

…

…

…

…

ρk-1ρk-2…1ρk+1ρk-1ρk-2…1ρ1·=.·=-φk+1,k+1

·

-φk+1,k+1

-1-1=第31頁，共85頁，2023年，2月20日，星期日模型的識別

φk1

φkk

φk2

φk,k-1

…

…

φkkφk1于是:φk+1,j=φkj-φk+1,k+1,j=1,2,…,k.再用(☆)式有

ρk+1=φk+1,jρk+1-j=φk+1,k+1+φk+1,jρk+1-j=φk+1,k+1+(φkj-φk+1,k+1φk+1,k+1-j)ρk+1-j=φk+1,k+1+φkjρk+1-j-φk+1,k+1φk,k+1-jρk+1-j

=φk+1,k+1(1-φklρkl)+φkjρk+1-j.

=-φk+1,k+1.第32頁，共85頁，2023年，2月20日，星期日模型的識別所以φk+1,k+1=(ρk+1-ρk+1-jφkj)(1-ρjφkj)-1.例8.6

求下列模型的偏相關(guān)函數(shù):

(1)Xt+0.5Xt-1-0.4Xt-2=at;

(2)Xt-0.5Xt-1=at-0.3at-1.解:(1)因?yàn)槭茿R(2)模型,例8.3中已求得自相關(guān)函數(shù)為

ρ0=1,ρ1=φ1/(1-φ2),ρk=φ1ρk-1+φ2ρk-2,k≥2.

其中φ1=0.5,φ2=0.4.由(

)式得

φ11=ρ1=-0.833.對(

)式取k=1,得

φ22=(ρ2-ρ1φ11)(1-ρ1φ11)-1=0.4,φkk=0,k≥2.

(2)因?yàn)槭茿RMA(1,1)模型,例8.4已推出自相關(guān)系數(shù)

ρk=,k≥1.第33頁，共85頁，2023年，2月20日，星期日模型的識別其中φ1=0.5,θ1=0.3.代入上式得

ρk=0.215·0.5k-1,k≥1.由(

)式得φ11=ρ1=0.215.

對(

)式取k=1,得φ22=(ρ2-ρ1φ11)(1-ρ1φ11)-1=0.113,

φ21=φ11-φ22φ11=0.191.對(

)式取k=2,并代入ρ2=0.108,ρ3=0.054得

φ31=φ21-φ33φ22=0.19,φ32=φ22-φ33φ21=0.111.對(

)式取k=3,可依次遞推求出φ44,φ41,φ42,φ43,…等偏相關(guān)函數(shù)的值.對于ARMA(p,q)模型,φ(B)Xt=θ(B)at,由(●)式的逆轉(zhuǎn)第34頁，共85頁，2023年，2月20日，星期日模型的識別

at=I(B)Xt=(-Ii)BiXt,I0=-1,看出:有限階的ARMA(p,q)序列或MA(q)序列可以轉(zhuǎn)化為無限階的AR(p)序列.因此,它們的偏相關(guān)函數(shù)將是拖尾的.

以上對平穩(wěn)時間序列的特性進(jìn)行了理論的分析,上述結(jié)果對初步識別平穩(wěn)時間序列的類型提供了依據(jù).下面是這些結(jié)果的匯總表:

模型類別模型方程φ(B)Xt=atXt=θ(B)at

φ(B)Xt=θ(B)atφ(B)=0的根φ(B)=0的根全在全在單位圓單位圓外自相關(guān)函數(shù)拖尾截尾拖尾偏相關(guān)函數(shù)截尾拖尾拖尾AR(p)MA(q)ARMA(p,q)平穩(wěn)條件無條件平穩(wěn)第35頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定8.3模型階數(shù)的確定在8.2節(jié)中討論了模型的識別,是通過理論自相關(guān)函數(shù)或偏相關(guān)函數(shù)是否截尾來判斷的.但是,在實(shí)際中人們所獲得的觀測數(shù)據(jù)只是一個有限長度N的樣本值x1,x2,…,xN,由它們算出的樣本自相關(guān)函數(shù),樣本偏相關(guān)函數(shù)只是ρk和φkk的估計(jì)值.由于樣本的隨機(jī)性,其估計(jì)總可能有誤差.故對于AR(p)序列,當(dāng)k>p時,可能不會全為零,而是在零附近波動.同理,對于MA(q)序列,當(dāng)k>q時,也可能不會全為零.本節(jié)討論的問題,就是如何用樣本自相關(guān)函數(shù)和樣本偏相關(guān)函數(shù)來推斷模型的階.1.樣本自相關(guān)函數(shù)和樣本偏相關(guān)函數(shù)設(shè)有零均值平穩(wěn)時間序列{Xt}的一段樣本觀測值x1,x2,第36頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定…,xN,樣本協(xié)方差函數(shù)定義為

==xixi+k,k=0,1,…,N-1.一般,是γk的無偏估計(jì),但不一定是非負(fù)定的.因而常用估計(jì)式

=xixi+k,k=0,1,…,N-1(□)代替.樣本自相關(guān)函數(shù)定義為=,k=0,1,…,N-1.(□)(□)式是的有偏估計(jì),但{}是非負(fù)定的.不過,設(shè)當(dāng)t＞N或t≤0時,xt=0,則對任意的m個實(shí)數(shù)λ1,λ2,…,λm有

λiλj=λiλjxtxt+|j-i|=λiλjxtxt+|j-i|第37頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定

=

λiλjxtxt+j-i

=λiλjxt+ixt+j=(λixt+i)2≥0.實(shí)際問題中,N一般取得較大(不少于50),故(□)式看做是漸近無偏的.由于(□)式的估計(jì)誤差隨k增大而增大,一般取k<N/4(常取k=N/10左右).

由(□)式計(jì)算得后,代入(

)式即得的值.2.和的漸進(jìn)分布及模型的階下面不加證明地給出{}和{}的漸近分布.

(1)設(shè){Xt}是正態(tài)的零均值平穩(wěn)MA(q)序列,則對于充分第38頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定大的N,的分布漸近于正態(tài)分布

N(0,(1+2)).由正態(tài)分布的性質(zhì)知,有

P{||≤(1+2)}≈0.683,P{||≤(1+2)}≈0.955.實(shí)際應(yīng)用中,因?yàn)閝一般不很大,而N很大,此時常取

(1+2)≈.即認(rèn)為的分布漸近于正態(tài)分布N(0,()2),于是有

P{||≤}≈0.683,或P{||≤}≈0.955.第39頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定于是,的截尾性判斷如下:首先計(jì)算,,…,,(取M≈N/10),因?yàn)閝值未知,故令q取值從小到大,分別檢驗(yàn)

,,…,滿足||≤,或||≤的比例是否占總個數(shù)M的68.3%或95.5%.第一個滿足上述條件的q就是的截尾處,即MA(q)模型的階數(shù).

(2)設(shè){Xt}是正態(tài)的零均值的平穩(wěn)AR(p)序列,則對于充分大的N,的分布也漸近于正態(tài)分布N(0,()2),所以,可類似于(1)的步驟對的截尾性進(jìn)行判斷.

(3)若{}和{}均不截尾,但收斂于零的速度較快,則{Xt}可能是ARMA(p,q)序列.此時階數(shù)比較難以確定,一第40頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定般采用由低階到高階逐個試探,如取(p,q)為(1,1),(1,2),(2,1),…直到經(jīng)檢驗(yàn)認(rèn)為模型合適為止.例8.7

設(shè)從觀測樣本大小N=150的時間序列數(shù)據(jù)計(jì)算得樣本自相關(guān)函數(shù)值和偏相關(guān)函數(shù)值如下表:

k123456780.800.590.420.320.250.170.100.050.80-0.1500.08-0.03-0.06-0.020.02k9101112131415160.030.030.030-0.05-0.07-0.08-0.0400.04-0.02-0.09-0.040.0100.09因?yàn)?/N=0.163,從表中數(shù)據(jù)看出,隨k增大趨于零,但不能認(rèn)為是截尾的.而有截尾性,從k=2起它取值的絕對值都小于0.16,故初步識別該序列屬于AR(1)模型.由于第41頁，共85頁，2023年，2月20日，星期日模型階數(shù)的確定||=0.15很接近于0.16,故也可以考慮它是AR(2)模型.

例中看出模型的識別有一定的靈活性,同一序列可以考慮不同的模型擬合.但是,在樣本大小N一定時,模型的階數(shù)盡量定低,因階數(shù)越高,各種參數(shù)估計(jì)精度會降低.在實(shí)際應(yīng)用中,應(yīng)根據(jù)實(shí)際效果的好壞進(jìn)行考核模型是否可以接受.當(dāng)然,在理論上也可以探討較精確的識別模型方法,或?qū)δＰ瓦M(jìn)行理論考核的方法.下面來做進(jìn)一步討論.3.模型定階的AIC準(zhǔn)則現(xiàn)在給出AIC準(zhǔn)則,其定義是

AIC(k)=ln+2k/N,k=0,1,…,L.其中=-,N為樣本大小,L為預(yù)先給定的最高階數(shù).第42頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)若AIC(p)=minAIC(k),則確定AR模型的階數(shù)為p.

同理,定義ARMA序列的AIC準(zhǔn)則為

AIC(n,m)=ln+2(n+m+1)/N.若AIC(p,q)=minAIC(n,m),則確定ARMA模型的階數(shù)為(p,q).其中是相應(yīng)的ARMA序列的極大似然估計(jì).8.4模型參數(shù)的估計(jì)當(dāng)選定模型及確定階數(shù)后,進(jìn)一步的問題是要估計(jì)出模型的未知參數(shù).參數(shù)估計(jì)方法有矩法、最小二乘法及極大似然法等.這里僅介紹矩法.它雖然較粗糙,但較簡單,且在有些情況下,矩法與其它比較精確的估計(jì)很接近.1.AR(p)模型的參數(shù)估計(jì)0≤k≤L第43頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)設(shè){Xt}的擬合模型為

Xt=φ1Xt-1+φ2Xt-2+…+φpXt-p+at.此時要估計(jì)的參數(shù)為φ1,φ2,…,φp和.利用尤爾-瓦爾克方程及對估計(jì)的(▲)式,將各參數(shù)換成相應(yīng)的估計(jì),得

1…

1…

…

…

…

…

…

…

…1=-=(1-).

以上兩式是AR(p)模型全部參數(shù)的估計(jì)公式.2.MA(q)模型的參數(shù)估計(jì)設(shè){Xt}的擬合模型為=-1第44頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)

Xt=at-θ1at-1-θ2at-2-…-θqat-q.此時要估計(jì)的參數(shù)為θ1,θ2,…,θq和.利用MA(q)序列的協(xié)方差函數(shù)式,將各參數(shù)換成估計(jì),得

(1++…+),k=0,(-++…+),1≤k≤q.上式是參數(shù)的非線性方程組,可以直接求解,也可以用其它方法求解.以下介紹用迭代法求解的步驟.為此首先將

=(1++…+)-1,=-/++…+,=-/++…+,=-/+,=-/.=(▲)第45頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)然后,選取一組初始值,如(O)=…=(O)=0,(O)=(0)(或記(O)=/2),代入上式右邊,可得一步迭代值

(1)=,(1)=-,k=1,2,…,q.再將它們代入這一式,可得二步迭代值

(2)=/(1+),(2)=-++…+,(2)=-++…+,(2)=-+,(2)=-.如此重復(fù)迭代,直至(m)與(m-1),(m)與(m-1)變化不大,達(dá)到精度要求為止.此時參數(shù)的估計(jì)值為=(m),=(m),k=1,2,…,q.第46頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)3.ARMA(p,q)模型的參數(shù)估計(jì)設(shè){Xt}的擬合模型為

Xt-φ1Xt-1-φ2Xt-2-…+φpXt-p=at-θ1at-1-θ2at-2-…-θqat-q.此時要估計(jì)的參數(shù)為φ1,φ2,…,φp,θ1,θ2,…,θq,.它們按下列步驟進(jìn)行估計(jì).

第一步,先求AR部分的參數(shù)估計(jì)值.

利用ARMA(p,q)的自相關(guān)函數(shù)(◎)式,將參數(shù)換成相應(yīng)的估計(jì),得這里由于未考慮MA部分的作用,故所得的是近似值.=……………………-1第47頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)第二步,令Yt=Xt-Xt-1-…-Xt-p,得Yt的協(xié)方差函數(shù)

(Y)=E[YtYt+k]=E[Xt-iXt-j-k]=,=-1.用Xt的協(xié)方差估計(jì)代替,得(y)的表達(dá)式

(y)=.

第三步,把{Yt}近似看做MA(q)序列,將ARMA(p,q)模型改寫成

Yt≡at-θ1at-1-…-θqat-q.此時可用MA(q)模型參數(shù)估計(jì)法得,,…,.

利用以上介紹的模型參數(shù)估計(jì)方法和公式,一般可以在計(jì)算機(jī)上進(jìn)行各種參數(shù)估計(jì).作為例題,對較低階數(shù)模型,可以采用解方程的方法,直接求出參數(shù)估計(jì)的表達(dá)式.第48頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)例8.8

求AR(1)模型和AR(2〉模型的參數(shù)估計(jì)式.解:利用AR(p)序列自相關(guān)函數(shù)(

)式和(▲)式,對于AR(1)

模型有

=,=-=(1-).

對AR(2)模型,有

=+,=+,

解得

=(1-)/(1-),=(-)/(1-),=(1--).例8.9

求MA(1)模型和MA(2)模型的參數(shù)估計(jì)式.解:利用(▲)式,對于MA(1)模型,有第49頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)

=(1+),=(-).于是

=-.代入第一式得

()2-+=0.解得

=.將代入式中,得

=.注意到可逆性條件,應(yīng)取||<1.因?yàn)榈?0頁，共85頁，2023年，2月20日，星期日模型參數(shù)的估計(jì)故取

=,=.對于MA(2),可類似MA(1)進(jìn)行推導(dǎo),但較繁,只給出結(jié)果:=--±,其中“±”號依>0或

<0分別取“-”或“+”.·=1,||≤1,=,=-.第51頁，共85頁，2023年，2月20日，星期日模型的檢驗(yàn)8.5模型的檢驗(yàn)

由樣本觀測序列{xt,t=1,2,…,N},經(jīng)過模型的識別、階數(shù)的確定和參數(shù)估計(jì),可以初步建立{Xt}的模型.這樣建立的模型一般還需要進(jìn)行統(tǒng)計(jì)檢驗(yàn),只有經(jīng)檢驗(yàn)確認(rèn)模型基本上能反映{Xt}的統(tǒng)計(jì)特性時,用它進(jìn)行預(yù)測才能獲得良好的效果.模型的所謂自相關(guān)函數(shù)檢驗(yàn)法,其基本思想是,如果模型是正確的,則模型的估計(jì)值與實(shí)際觀測值所產(chǎn)生的殘差序列at=xt-(t=1,2,…,N)應(yīng)是隨機(jī)干擾產(chǎn)生的誤差,即{at}應(yīng)是白噪聲序列.否則,模型不正確.

設(shè)x1,x2,…,xN為觀測序列,不妨設(shè)初步選定為ARMA(p,q)模型

at=Xt-φ1Xt-1-φ2Xt-2-…+φpXt-p+θ1at-1+θ2at-2+…+θqat-q.第52頁，共85頁，2023年，2月20日，星期日模型的檢驗(yàn)代入?yún)?shù)估計(jì)值和觀測值得

ai=Xi-Xi-1-…+Xi-p+ai-1+…+ai-q,i=1,2,…,N.若t=0作為開始時刻,則上式中對于i≤p,i≤q的下標(biāo)為零或負(fù)的項(xiàng),其值規(guī)定取為零,由上式得

a1=x1,a2=x2-x1+a1=x2-(-)x1,a3=x3-x2+a2

=x3-(-)x2-[(-)+(-)]x1,aN=xN-xN-1+aN-1.現(xiàn)在的問題是要檢驗(yàn)假設(shè)H0:{at,t=1,2,…,N}為白噪聲序列.第53頁，共85頁，2023年，2月20日，星期日模型的檢驗(yàn)

由a1,a2,…,aN計(jì)算序列的協(xié)方差函數(shù)和自相關(guān)函數(shù)估計(jì)值,記

(a)=atat+k,k=0,1,…,M.其中M取N/10左右.(a)=(a)/(a),k=0,1,…,M.可以證明當(dāng)H0為真時,對于充分大的N,((a),(a),…,(a))的聯(lián)合分布漸近于M維獨(dú)立標(biāo)準(zhǔn)正態(tài)分布N(0,IM).于是,統(tǒng)計(jì)量QM=N(a)服從自由度為M的X2分布.由假設(shè)檢驗(yàn)理論知,對于給定的顯著性水平α,查表得Xa2(M),若計(jì)量得QM＞Xa2(M),則在水平α上否定假設(shè)H0,即所選擇的估計(jì)模型不合適,應(yīng)重新選擇較合適的模型;否則,就認(rèn)為估計(jì)模型選擇合適.第54頁，共85頁，2023年，2月20日，星期日平穩(wěn)時間序列預(yù)報8.6平穩(wěn)時間序列預(yù)報根據(jù)時間序列觀測數(shù)據(jù),建立了一個與實(shí)際問題相適應(yīng)的模型后,就可以利用過去和現(xiàn)在的觀測值,對該序列未來時刻的取值進(jìn)行估計(jì),即預(yù)報.關(guān)于預(yù)報效果優(yōu)劣的標(biāo)準(zhǔn),下面采用的是在平穩(wěn)線性最小方差意義下的預(yù)報.1.最小方差預(yù)報設(shè){Xt}是零均值平穩(wěn)序列,并假定它是正態(tài)的.令(l)表示用時刻t及它之前的全部觀測數(shù)據(jù),即{Xt,Xt-1,…}的取值對未來t+l時刻的Xt+l(l>0)的取值所作的預(yù)報.

現(xiàn)在的問題是,要找出一個如下形式的線性函數(shù)

(l)=c0Xt+c1Xt-1+c2Xt-2+…使預(yù)報的誤差均方值第55頁，共85頁，2023年，2月20日，星期日平穩(wěn)時間序列預(yù)報

E[ek(l)]2=E[Xt+l–(l)]2=min.(○)這樣的(l)稱為Xt+l的線性最小方差預(yù)報.

由于{Xt,Xt-1,…}一般是相關(guān)的,故(l)用它們的線性組合形式表示不便于研究,為此先介紹幾個定理.

對于零均值正態(tài)ARMA(p,q)序列,利用其等價的傳遞形式和逆轉(zhuǎn)形式,令

Xk={X|X=cjXk-j,cj是實(shí)數(shù),＜∞},

Ak=[a|a=djak-j,dj是實(shí)數(shù),＜∞},則有Xk=Ak.事實(shí)上,對任何Y∈Ak,必存在實(shí)數(shù)uj,<∞,使Y=ujak-j.利用ARMA(p,q)序列自相關(guān)函數(shù)的逆轉(zhuǎn)形式(●)式,ak-j均可表示成Xk的線性組合形式,故Y∈Xk;反之,對任意Y∈Xk,利用ARMA(p,q)序列自相關(guān)函數(shù)第56頁，共85頁，2023年，2月20日，星期日平穩(wěn)時間序列預(yù)報的傳遞形式(□),Xk-j均可表示成ak的線性組合形式,故Y∈Ak.

對于正態(tài)平穩(wěn)序列,滿足(○)式的平穩(wěn)線性最小方差預(yù)報(l)就是Xk+l在給定{Xk,Xk-1,…}時的條件均值,且可表示為

(l)=E[Xk+l|Xk-j=xk-j,j=0,1,…]=E[Xk+l|Xk]=E[Xk+l|Ak].最小方差預(yù)報具有性質(zhì):(1)E[cjXk-j|Xk]=cjE[Xk-j|Xk];(2)E[Xk+l|Xk]=E[Xk+l|Ak]=(◎)(3)E[ak+l|Ak]=E[ak+l|Xk]=

(l),l＞0,Xk+l

,l≤0;0,l＞0,ak+