ARMA模型的參數(shù)估計(jì)1

第四章ARMA模型的參數(shù)估計(jì)ARMA模型的參數(shù)估計(jì)求和模型與季節(jié)模型的處理方法回歸與自回歸混合模型的處理方法其它時(shí)序模型的統(tǒng)計(jì)方法模型參數(shù)估計(jì)一般分兩步：1、找出模型參數(shù)的初估計(jì)。常見三種方法（矩估計(jì)直接法，矩估計(jì)的逆函數(shù)法，矩估計(jì)的逆相關(guān)函數(shù)法）2、在初估計(jì)的基礎(chǔ)上，根據(jù)一定準(zhǔn)則求得模型參數(shù)的精估計(jì)。常見兩種方法（線性和非線性最小二乘方法，近似極大似然估計(jì)）

第一節(jié)自回歸模型的擬合如果時(shí)間序列是平穩(wěn)AR序列，根據(jù)此序列的一段有限樣本值對的模型進(jìn)行統(tǒng)計(jì)，稱為自回歸模型擬合自回歸模型擬合主要包括：(1)判斷自回歸模型AR的階數(shù)；(2)估計(jì)模型的參數(shù)；(3)對擬合模型進(jìn)行檢驗(yàn)。

一.AR(p)模型的參數(shù)估計(jì)目的：為觀測數(shù)據(jù)建立AR(p)模型(1.1)假定自回歸階數(shù)p已知，考慮回歸系數(shù)和零均值白噪聲的方差的估計(jì)。數(shù)據(jù)的預(yù)處理：如果樣本均值不為零，需將它們中心化，即將它們都同時(shí)減去其樣本均值

再對序列按(1.1)式的擬合方法進(jìn)行擬合。

假定數(shù)據(jù)適合于以下模型(1.2)其中，p為給定的非負(fù)整數(shù)，為未知參數(shù)，記為系數(shù)參數(shù)，為獨(dú)立同分布序列，且，與獨(dú)立，參數(shù)滿足平穩(wěn)性條件。

1.AR(p)模型參數(shù)的Yule-Walker估計(jì)對于AR(p)模型，自回歸系數(shù)由AR(p)序列的自協(xié)方差函數(shù)通過Yule-Walker方程

唯一決定，白噪聲方差由

決定。

AR(p)模型的自回歸系數(shù)和白噪聲方差的矩估計(jì)就由樣本Yule-Walker方程(1.3)

和(1.4)決定。

令

則(1.3),(1.4)式可寫為

實(shí)際應(yīng)用中，對于較大的p,為了加快計(jì)算速度可采用如下的Levison遞推方法

遞推最后得到矩估計(jì)上式是由求偏相關(guān)函數(shù)的公式：導(dǎo)出。

定理1.1如果AR(p)模型中的是獨(dú)立同分布的，則當(dāng)時(shí)(1)(2)依分布收斂到p維正態(tài)分布。

注：用表示的第元素時(shí)，可知依分布收斂到，于是的95%的漸近置信區(qū)間是

在實(shí)際問題中，未知，可用的元素代替，得到的近似置信區(qū)間

2.AR(p)模型參數(shù)的最小二乘估計(jì)如果是自回歸系數(shù)的估計(jì)，白噪聲的估計(jì)定義為

通常為殘差。我們把能使(1.6)達(dá)到極小值的稱為的最小二乘估計(jì)。

記

則，于是的最小二乘估計(jì)為

即

相應(yīng)地，白噪聲方差的最小二乘估計(jì)

式中為的p個(gè)分量。

定理1.2設(shè)AR(p)模型中的白噪聲是獨(dú)立同分布的，是自回歸系數(shù)的最小二乘估計(jì)，則當(dāng)時(shí)，依分布收斂到p維正態(tài)分布

注：對于較大的n，最小二乘估計(jì)和矩估計(jì)(Yule-Walker)估計(jì)的差別不大。

3.AR(P)模型的極大似然估計(jì)假定模型AR(p)中的為正態(tài)分布，則觀測向量的高斯似然函數(shù)為

相應(yīng)的對數(shù)似然函數(shù)為

其中，為的協(xié)方差陣，表示的行列式，使得對數(shù)似然函數(shù)達(dá)到極大值的和稱為和的極大似然估計(jì)。從另一角度考慮：

注：當(dāng)n充分大時(shí)，AR(p)模型參數(shù)的極大似然估計(jì)、最小二乘估計(jì)和矩估計(jì)(Yule-Walker估計(jì))三者都非常接近，即三者漸近相等，它們都可以作為AR(p)模型的參數(shù)估計(jì)，這是AR(p)模型的獨(dú)有的優(yōu)點(diǎn)。

例1.1.由下列AR(1)序列產(chǎn)生長度為n=300的樣本，計(jì)算出前5個(gè)樣本自協(xié)方差函數(shù)值為求參數(shù)的矩估計(jì)和最小二乘估計(jì)。(1)參數(shù)的矩估計(jì)分別為將樣本自協(xié)方差函數(shù)值代入得

(2)參數(shù)的最小二乘估計(jì)分別為

例1.2求AR(2)模型

參數(shù)的估計(jì)，這里n=300,

(1)AR(2)模型的矩估計(jì)為

計(jì)算出的前5個(gè)樣本協(xié)方差函數(shù)值為將其值代入上式得：(2)最小二乘估計(jì)

注：一般在求高階AR(p)模型參數(shù)的矩估計(jì)時(shí)，為了避免求高階逆矩陣，可采用求偏相關(guān)函數(shù)的遞推算法，求出

即為的矩估計(jì)，將它們代入的表達(dá)式可得。

二.AR(p)模型的定階1.偏相關(guān)函數(shù)的分析方法一個(gè)平穩(wěn)序列是AR(p)序列當(dāng)且僅當(dāng)它的偏相關(guān)函數(shù)是p步截尾的。如果p步截尾：當(dāng)時(shí)，；而，就以作為p的估計(jì)。

定理1.3設(shè)由

定義，如果AR(p)模型中的白噪聲是獨(dú)立同分布的，，則對確定的k>p,當(dāng)時(shí)，

依分布收斂到k維正態(tài)分布。

推論：在定理1.3的條件下，對k>p,依分布收斂到標(biāo)準(zhǔn)正態(tài)分布N(0,1)。根據(jù)推論，對于AR(p)序列和k>p，當(dāng)樣本量n比較大時(shí)，以近似于0.95的概率落在區(qū)間之內(nèi)。于是對于某個(gè)固定的k，以

作為p的估計(jì)。

或者根據(jù)推論有如下的檢驗(yàn)方法：對于某個(gè)正整數(shù)p,

顯著地異于零，而

近似等于零,其滿足(或)的個(gè)數(shù)占的比例近似地為68.3%(或95.5%),則近似地認(rèn)為在p步截尾，初步判定為AR(p)。

例1.3（例1.1續(xù)）使用樣本偏相關(guān)函數(shù)對AR(p)的模型階數(shù)作初步的判定。結(jié)果：取上限，樣本自相關(guān)函數(shù)呈拖尾狀，而從15個(gè)偏相關(guān)函數(shù)來看,除顯著異于零之外，其余14個(gè)中絕對值不大于的有10個(gè)，于是結(jié)論：初步判定為AR(1)模型。

前15個(gè)樣本偏相關(guān)函數(shù)

例1.4（例1.2續(xù)）使用樣本偏相關(guān)函數(shù)對AR(p)的模型階數(shù)作初步的判定。結(jié)果：取上限，樣本自相關(guān)函數(shù)呈拖尾狀，而從15個(gè)偏相關(guān)函數(shù)來看，除顯著異于零之外，其余14個(gè)中絕對值不大于的有9個(gè),于是結(jié)論：初步判定為AR(2)模型。

前15個(gè)樣本偏相關(guān)函數(shù)

2.AIC準(zhǔn)則方法(A-InformationCriterion)為了使擬合殘差平方和盡量小，而又不至于引入過多的虛假參數(shù)的估計(jì)，Akaike于1973年引入如下的準(zhǔn)則函數(shù)，假定已有階數(shù)p的上階，

AIC(k)的最小值點(diǎn)(若不唯一，應(yīng)取小的)稱為AR(p)模型的AIC定階，即

具體步驟：1.取定p=k時(shí)，根據(jù)數(shù)據(jù)使用前一小節(jié)所提的任何一種參數(shù)的估計(jì)方法，給出噪聲方差的估計(jì)；2.再找出AIC取極小值時(shí)，所對應(yīng)的階數(shù)p.注：AIC定階并不相合，AIC定階通常會對階數(shù)略有高估。故在應(yīng)用中，當(dāng)樣本量不是很大時(shí)，使用AIC定階方法。

為了克服AIC定階的不相合性，可使用BIC準(zhǔn)則方法。設(shè)為AR序列，則BIC準(zhǔn)則函數(shù)為

將此準(zhǔn)則函數(shù)達(dá)到最小值的解作為p的估計(jì)，就是BIC準(zhǔn)則方法。注：1.理論上已證明BIC準(zhǔn)則的定階具有相合性。2.當(dāng)n不是很大時(shí)，用BIC定階有時(shí)會低估階數(shù)p，造成模型的較大失真，故在實(shí)際問題中，特別當(dāng)樣本量不是很大時(shí),BIC的定階效果并不如AIC定階準(zhǔn)則。

例1.5（例1.1續(xù)）n=300個(gè)觀測，定階。方法：觀察偏相關(guān)函數(shù)，確定上界是P=10，對p=1,2,…,10分別解Yule-Walker方程得到的Yuler-Walker估計(jì)，再對p=1,2,…,10分別計(jì)算出AIC和BIC函數(shù)，計(jì)算結(jié)果如下：p12345AIC(p)2.98392.99393.00383.00023.0050BIC(p)2.99963.02523.05083.06293.0834

結(jié)果：AIC(1)和BIC(1)分別是AIC和BIC函數(shù)的最小值。

結(jié)論：由AIC和BIC定階可知階數(shù)p=1.p678910AIC(P)3.01103.01733.02663.02833.0308BIC(P)3.10513.12713.15203.16943.1876

AIC函數(shù)圖

BIC函數(shù)圖

例1.6（例1.2續(xù)）n=300個(gè)觀測，定階。方法：觀察偏相關(guān)函數(shù)，確定上界是P=10,對p=1,2,…,10分別求出的估計(jì)，再對p=1,2,…,10，計(jì)算AIC和BIC函數(shù)，計(jì)算結(jié)果如下：p12345AIC(p)2.84702.72772.73682.72812.7377BIC(p)2.86272.75912.78382.79382.8161

結(jié)果：AIC(2)和BIC(2)分別是AIC和BIC函數(shù)的最小值。結(jié)論：由AIC和BIC定階可知階數(shù)p=2。

p678910AIC(p)2.74652.75672.75922.76272.7688BIC(p)2.84062.86652.88462.90382.9256

AIC函數(shù)圖

BIC函數(shù)圖

例1.7：獨(dú)立重復(fù)1000次實(shí)驗(yàn)，每次產(chǎn)生符合模型AR(4)

的300個(gè)觀測，得到AIC和BIC定階情況如下：12345678910AIC定階052256741136129211411BIC定階145559476720000

在1000次模擬計(jì)算中AIC將階數(shù)定為4的有674次，而BIC階數(shù)定為4的有476次。BIC定階對階數(shù)低估的比率為51.5%增大樣本量n=1000，獲得如下結(jié)果：12345678910AIC定階0007391244537251218BIC定階041990500000

AIC定出的平均階數(shù)是Avc(AIC)=4.593，BIC定出的平均階數(shù)是Avc(BIC)=3.996，故對于較大的樣本量有必要綜合考慮AIC定階和BIC定階。

三.擬合模型的檢驗(yàn)

現(xiàn)有數(shù)據(jù)，欲判斷它們是否符合以下模型式中被假定為獨(dú)立序列,且與獨(dú)立。原假設(shè)：數(shù)據(jù)符合AR(p)。故在成立時(shí)，下列序列

為獨(dú)立序列的一段樣本值序列。

步驟：1.首先，根據(jù)公式

計(jì)算出殘差的樣本自相關(guān)函數(shù)，2.利用上一章關(guān)于獨(dú)立序列的判別方法，判斷是否為獨(dú)立序列的樣本值3.根據(jù)判斷結(jié)果，如果接受它們?yōu)楠?dú)立序列的樣本值，則接受原假設(shè)，即接受符合AR(p),否則，應(yīng)當(dāng)考慮采用新的模型擬合原始數(shù)據(jù)序列。

例1.8（例1.5續(xù)）擬合后，給出殘差頭15個(gè)數(shù)據(jù)，有11個(gè)落在之間，

故不能否定原假設(shè)，即符合AR(1)模型。

殘差的圖形

殘差的自相關(guān)函數(shù)

例1.9（例1.6續(xù)）擬合后，給出殘差頭15個(gè)數(shù)據(jù)，有15個(gè)落在之間，故不能否定原假設(shè)，即符合AR(2)模型。

殘差的圖形

殘差的自相關(guān)函數(shù)

第二節(jié)滑動平均模型擬合對于已給的時(shí)間序列數(shù)據(jù)，用MA(q)式的滑動平均模型去擬合它們，稱為滑動平均模型擬合?；瑒悠骄Ｐ蛿M合主要包括：(1)判斷滑動平均模型MA的階數(shù)；(2)估計(jì)模型的參數(shù)；(3)對擬合模型進(jìn)行檢驗(yàn)。

一.參數(shù)估計(jì)假定數(shù)據(jù)序列適合以下模型

(2.1)其中為獨(dú)立同分布的序列,且,q為給定的非負(fù)整數(shù)，為未知參數(shù)，并滿足可逆性條件。

1.參數(shù)的矩估計(jì)方法MA(q)序列的自協(xié)方差函數(shù)與MA(q)的模型參數(shù)有如下公式：

故，和的矩估計(jì)和，為

(2.2)

(1)解析法對于階數(shù)較低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。對于MA(1)模型：,和滿足可得和的矩估計(jì)分別為

例4.11由MA(1)模型產(chǎn)生長度n=300的樣本，計(jì)算出前兩個(gè)樣本自協(xié)方差函數(shù)值,由上述討論

對于MA(2)模型：,其中

滿足

可得的估計(jì)為:當(dāng)時(shí)

當(dāng)時(shí)，從而可得，

例4.12求MA(2)模型的n=950的樣本的參數(shù)的矩估計(jì)。解：已知前三項(xiàng)的樣本自相關(guān)函數(shù)分別為使用上述公式，可得到如下估計(jì)值

(2).線性迭代算法將(2.2)式表示為(2.3)在可逆域內(nèi)，給定的初值,代入(2.3)式右邊，得到一步迭代值，再將它們代入(2.3)式右邊，得出(2.3)式左邊的第二不迭代值，同法重復(fù)直到某步，

設(shè)有精度,當(dāng)同時(shí)成立時(shí)，就停止迭代（否則繼續(xù)迭代下去），以作為的矩估計(jì)。

(3)Newton-Raphson算法優(yōu)點(diǎn)：方法簡便、收斂速度快缺點(diǎn)：使用該算法得到的解不能保證滿足屬于可逆域，需要采用調(diào)整方法才可做到。詳見《時(shí)間序列的分析與應(yīng)用》或《應(yīng)用時(shí)間序列分析》。

2.極大似然估計(jì)若(2.1)中，為正態(tài)分布，則服從分布，其中是的協(xié)方差矩陣。于是有似然函數(shù)：其中，。使似然函數(shù)達(dá)到極大值之解的和，即為和的極大似然估計(jì)。

近似極大似然估計(jì)方法：假定(2.1)式中的初值給定，不妨設(shè)為零值。則由(2.1)式和數(shù)據(jù)可以求出(2.4)

于是可得到如下近似似然函數(shù)為：

(2.5)

記

由(2.5)式?jīng)Q定的近似極大似然估計(jì)和滿足以下方程于是為以下方程的解而

3.自回歸逼近方法原理：可逆的MA(q)模型有逆轉(zhuǎn)形式模型，且逆轉(zhuǎn)形式中的無窮階自回歸系數(shù)滿足以指數(shù)衰減到零的趨勢，故一個(gè)可逆的MA模型可用適當(dāng)高階的AR模型近似。用一個(gè)高階的AR模型擬合一個(gè)較低的MA序列稱為自回歸逼近擬合方法。

步驟：1.對原始數(shù)據(jù)進(jìn)行自回歸模型擬合。可用AIC定階，求參數(shù)的Yule-Walker估計(jì)，在進(jìn)行檢驗(yàn)；或直接擬合AR(p)模型。其中，當(dāng)n不太大時(shí)，?。划?dāng)n很大時(shí)，取。將擬合后模型記為

(2.6)

2.利用(2.6)式，計(jì)算擬合殘差：于是(2.1)式的模型可近似寫為

記(2.7)

于是，(2.7)可簡記為故，和的最小二乘估計(jì)分別為和優(yōu)點(diǎn)：不涉及非線性代數(shù)方程，易于實(shí)際應(yīng)用。

二.階數(shù)的估計(jì)1.自相關(guān)函數(shù)估計(jì)方法依據(jù)：一個(gè)平穩(wěn)序列為MA(q)序列的充要條件是它的自協(xié)方差函數(shù)q步截尾。對于MA(q)模型，當(dāng)k>q，n充分大時(shí)，的分布漸近正態(tài)，于是當(dāng)k>q，n充分大時(shí)，下列等式近似成立

方法：對于每一個(gè)正整數(shù)q,計(jì)算樣本自相關(guān)函數(shù)(M一般取為左右),考察其中滿足

的個(gè)數(shù)是否占M的68.3%(或95.5%)左右,如取某顯著地異于零，而近似等于零，并滿足上述不等式的個(gè)數(shù)達(dá)到了68.3%(或95.5%)左右比例，則初步認(rèn)為在步截尾，初步判定為

例2.3設(shè)為MA(1)序列：由它產(chǎn)生長度為n=300樣本值，計(jì)算出前17個(gè)樣本自相關(guān)函數(shù)為，計(jì)算出：

2.AIC準(zhǔn)則定階方法給出模型階數(shù)q的上界，對于按前述的方法逐個(gè)擬合MA(m)模型。并給出白噪聲方差的估計(jì)量，定義AIC函數(shù)其中，n是樣本個(gè)數(shù)，AIC(m)的最小值點(diǎn)(如不唯一，應(yīng)取小的)稱為MA(q)模型的AIC定階。

例2.3的定階問題，使用AIC準(zhǔn)則，有q123456AIC2.8852.8912.8982.9022.8952.901

三.擬合模型的檢驗(yàn)如果一段時(shí)間序列數(shù)據(jù)符合(2.1)式，則當(dāng)給定初始值，由(2.2)式計(jì)算出，它應(yīng)當(dāng)是獨(dú)立序列的一段樣本值。故檢驗(yàn)問題就轉(zhuǎn)化為檢驗(yàn)是否為獨(dú)立序列的一段樣本值的問題方法：檢驗(yàn)和正態(tài)檢驗(yàn)。

四.建模例題：產(chǎn)生模型

的n=300個(gè)樣本數(shù)據(jù)，建立模型。(1)求出樣本均值、樣本自協(xié)方差函數(shù)、樣本自相關(guān)函數(shù)

樣本自相關(guān)函數(shù)

(2)觀察樣本自相關(guān)函數(shù)為1步結(jié)尾，或使用前述的兩種定階方法，初步判定MA(1)(3)使用第二小節(jié)的矩估計(jì)的解析方法可得(4)檢驗(yàn)：給出我們使用檢驗(yàn)，給出，計(jì)算出

取值圖

第三節(jié)ARMA模型的擬合根據(jù)數(shù)據(jù)序列，擬合以下ARMA(p,q)模型：(3.1)其中，為獨(dú)立同分布的序列，且對一切s<t成立，參數(shù)和滿足平穩(wěn)性和可逆性條件，且與無公共根。

一.模型參數(shù)的估計(jì)1.矩估計(jì)方法步驟1.的矩估計(jì)，滿足如下方程：(3.2)其中，，由(1.19)可知p元線性方程組。

記于是(3.2)可簡寫為若滿秩，則(3.3)

步驟2.和滿足以下的方程式

(3.4)式中其中，(3.4)式關(guān)于的非線性代數(shù)方程組。當(dāng)q=1,2可求出顯示解，當(dāng)，可用數(shù)值解法。

2.近似極大似然估計(jì)方法方法:取初始值對于任意給定的一組參數(shù),由(3.1)迭代算出相應(yīng)值，即(3.5)定義關(guān)于的函數(shù)則，近似似然函數(shù)為

使得上式取到極大值的，稱它們?yōu)榈慕茦O大似然估計(jì)，也稱最小平方和估計(jì)。當(dāng)q=0，上述極值問題簡化為Yule-Walker估計(jì)。當(dāng)p=0，上述極值問題與第三節(jié)的近似極大似然估計(jì)方法一致。(3.1)式中的的估計(jì)為

3.自回歸逼近方法基本思路：(1)為數(shù)據(jù)建立AR模型，取自回歸階數(shù)的上界，采用AIC定階方法得到AR模型的階數(shù)估計(jì)P和自回歸系數(shù)的估計(jì).。(2)計(jì)算殘差

寫出近似的ARMA(p,q)模型

(3)對目標(biāo)函數(shù)

(2.6)極小化,得到最小二乘估計(jì),的最小二乘估計(jì)由下式定義

具體算法定義：

則目標(biāo)函數(shù)(2.6)可寫成，可解出最小二乘估計(jì)為相應(yīng)地，的估計(jì)為

二.模型階數(shù)的估計(jì)1.相關(guān)分析法用于ARMA模型的定階方法：(1)給定初值(一般取初值為零)將的估計(jì)代入(3.2)遞推得到殘差估計(jì)

(2)作假設(shè)檢驗(yàn)

來自于白噪聲序列長度為n的樣本。不是白噪聲序列的長度為n的樣本。令檢驗(yàn)等價(jià)于檢驗(yàn)是否來自于N(0,1)總體的k個(gè)獨(dú)立抽樣問題。

a.檢驗(yàn)的絕對值是否有68.3%左右小于1.b.檢驗(yàn)法：在成立條件下，當(dāng)n充分大時(shí)，是k個(gè)相互獨(dú)立N(0,1)隨機(jī)變量，則

服從自由度為k的中心分布，則以顯著水平為的否定域?yàn)?/p>

2.AIC準(zhǔn)則方法給定ARMA模型階數(shù)的上界和。對于每一對(k,j)，,計(jì)算AIC函數(shù)取，使

此時(shí)稱為ARMA模型的階的估計(jì)，其中一般取或中的整數(shù)。

具有相合性的定階準(zhǔn)則BIC,使上式達(dá)最小的為ARMA模型的階。

中的整數(shù)。

三.擬合模型的檢驗(yàn)ARMA模型的檢驗(yàn)是檢驗(yàn)其擬合殘差序列是否為獨(dú)立序列。方法：取初值計(jì)算的樣本值，即

檢驗(yàn)是否為獨(dú)立序列的樣本值。

四.例子：kejian2由計(jì)算機(jī)產(chǎn)生模擬時(shí)間序列數(shù)據(jù)。(1)計(jì)算出樣本均值、自相關(guān)函數(shù)、自協(xié)方差函數(shù)和偏相關(guān)函數(shù)

樣本自相關(guān)函數(shù)

樣本偏相關(guān)函數(shù)

(2)取定階數(shù)

由AIC準(zhǔn)則：p=q=1(3)估計(jì)參數(shù)：(4)檢驗(yàn)

結(jié)論：數(shù)據(jù)符合ARMA(1,1)模型。

補(bǔ)充：ARMA(p,q)階數(shù)判定的方法

---推廣樣本自相關(guān)函數(shù)法基本思路：首先，觀察樣本自相關(guān)函數(shù)和樣本偏相關(guān)函數(shù)是否有截尾性。若均無，則將原序列擬合AR(1)模型后,觀察其殘差序列的樣本自相關(guān)函數(shù)是否截尾，若步截尾，則原序列為,否則，再擬合AR(2)后，觀其殘差序列的樣本自相關(guān)函數(shù)，若步截尾，則原序列為，否則再增大p的階數(shù)，重復(fù)上述步驟，直至得到樣本的殘差序列截尾為止。

一.推廣的自相關(guān)函數(shù)(extendedACF)考慮ARMA(1,1)模型：

我們定義為下式的解和過程于是對ARMA(1,1)有總之：

考慮ARMA(1,2)模型：

我們定義為下式的解和過程于是對ARMA(1,2)有

考慮ARMA(1,q)模型：

于是對ARMA(1,q)我們有

定義為的第個(gè)自相關(guān)函數(shù)如果模型為ARMA(1,1)，則

如果模型為ARMA(1,2)，則

一般地，ARMA(1,q)模型，有

稱之為1階推廣的自相關(guān)函數(shù)(1STEACF)

考慮ARMA(2,q)模型：

我們有：

我們定義為下式的解和過程于是對ARMA(2,q)有

定義為的第q個(gè)自相關(guān)函數(shù)，我們有稱之為2階推廣的自相關(guān)函數(shù)(2stEACF)

對于第m階推廣