基于平穩(wěn)時間序列模型的鞅變換參數(shù)估計問題

1、摘要 # I摘要消費者信心指數(shù)在一定程度上反應(yīng)了經(jīng)濟發(fā)展的現(xiàn)狀，論文基于這一指數(shù)建立的平穩(wěn)時間序列模型，研究了該模型的參數(shù)估計問題論文主要內(nèi)容如下：首先，介紹了一種新的估計平穩(wěn)時間序列模型的參數(shù)估計方法，給出了擬積分函數(shù)是積分函數(shù)到鞅變換估計空間的投影以及當(dāng)核函數(shù)從可數(shù)集中選取時，變換積分函數(shù)可以逼近積分函數(shù)的證明，為最優(yōu)化鞅變換估計函數(shù)提供了理論依據(jù)然后，針對鞅變換估計函數(shù)的優(yōu)化問題提出了一種猜想其次，分析了消費者信心指數(shù)的時序圖，通過平穩(wěn)時間序列模型的識別方法，得出其為AR模型然后，計算出該數(shù)據(jù)的自相關(guān)和偏相關(guān)系數(shù)值，并通過SAS軟件，選擇了階數(shù)適當(dāng)?shù)钠椒€(wěn)時間序列模型進行擬合和優(yōu)化處理再次

2、，使用實值核函數(shù)，構(gòu)造出鞅變換擬積分函數(shù)，并利用MATLAB,對構(gòu)造的函數(shù)進行了漸近逼近分析，得出該參數(shù)的擬最大似然估計針對消費者滿意指數(shù)和消費者期望指數(shù)模型，通過對不同鞅變換擬積分函數(shù)的漸近逼近分析，得出這些參數(shù)的擬最大似然估計最后，通過SAS軟件，對三種不同的模型進行了預(yù)測，從而驗證了該方法用于AR模型參數(shù)估計的有效性關(guān)鍵詞核函數(shù)；積分變換；鞅變換估計函數(shù)；投影；最優(yōu)鞅變換合并大學(xué)理學(xué)碩士學(xué)位論文目錄Abstract IIIAbstractToacertainextent,consumerconfidenceindexisareflectionofthestatusofeconomicde

3、velopment.Thispaperresearchestheparametersofthemodelestimationproblembasedonthisindexestablishedbystationarytimeseriesmodel.Thesisasfollows:Firstly,paperintroducesanewestimateoftheparametersofstationarytimeseriesmodelestimationmethodandgivestheproofoftwo.Ontheonehand,integralfunctionisafunctiontobei

4、ntegraltothemartingaletransformatetheorthogonalprojectionofspace.Ontheotherhand,whenthekernelfunctionselectedfromacountableconcentration,thetransformfunctioncanapproximateintegralfunctionintegral.Theseproovestooptimizethemartingaletransformestimationfunctionprovidesatheoreticalbasis.Thenpaperpropose

5、saconjectureforthemartingaletransformestimatefunctionoptimizationproblems.Secondly,paperanalyzestheconsumerconfidenceindexofthetimingdiagram.Throughthestationarytimeseriesmodelidentificationmethods,paperchoicesARmodel.ThenthroughSASsoftware,papercalculatesthedataautocorrelationandpartilcorrelationco

6、efficientandselectestheorderoftheTTtappropriatestationarytimeseriesmodelfittingandoptimization.Thirdly,byusingthereal-valuedkernelfunction,paperconstructsamartingaletransformtobeintegralfunctionandbyusingMATLAB,paperanalyzestheasymptoticapproximationonthesructuredfunction.Itobtainsthequasi-maximumli

7、kelihoodparameterestimation.Fortheconsumersatisfactionindexmodelandtheconsumerexpectationsindexmodel,paperobtainsthequasi-maximunlikelihoodparameterestimationthroughtheanalysisofapproximtiontobedifferentmartingaletransformationintegralfunction.Finally,throughtheSASsoftware,threedifferentmodelsarepre

8、dictedandthenpapervalidatesthemethodwhichusedtoestimatetheeffectivenessofARmodelparameters.KeywordsKernalfunction;Integraltransform;Martingaletransformestimatefunction;projection;Optimalmartingaletransformcombined目錄TOC o 1-5 h z HYPERLINK l bookmark0 摘要IAbstractII第1章緒論1 HYPERLINK l bookmark6 1.1課題背景

9、1 HYPERLINK l bookmark8 1.2國內(nèi)外研究的現(xiàn)狀和趨勢2 HYPERLINK l bookmark10 1.3選題意義與文章的結(jié)構(gòu)4 HYPERLINK l bookmark12 1.4小結(jié)4 HYPERLINK l bookmark20 第2章預(yù)備知識5 HYPERLINK l bookmark22 2.1ARMA模型及特征5 HYPERLINK l bookmark24 AR模型5 HYPERLINK l bookmark28 MA模型6 HYPERLINK l bookmark40 ARMA模型7 HYPERLINK l bookmark48 2.2用自回歸AR模型

10、擬合平穩(wěn)時間序列8 HYPERLINK l bookmark50 2.3ARMA模型的參數(shù)估計8 HYPERLINK l bookmark52 ARMA模型的極大似然估計8AR模型的矩估計（尤爾-瓦爾克估計）及漸近性質(zhì)9 HYPERLINK l bookmark68 AR模型的最小二乘估計12 HYPERLINK l bookmark92 2.4自相關(guān)函數(shù)和偏自相關(guān)函數(shù)13 HYPERLINK l bookmark126 2.5小結(jié)14 HYPERLINK l bookmark128 第3章基于積分變換的鞅估計153.1基本結(jié)構(gòu)153.1.1基本符號153.1.2基本概念153.1.3選擇有效

11、積分函數(shù)的規(guī)則20 HYPERLINK l bookmark153 3.2把基于變換的的鞅估計函數(shù)代入擬似然框架21 HYPERLINK l bookmark205 3.3最優(yōu)鞅變換估計函數(shù)22 HYPERLINK l bookmark207 3.3.1最優(yōu)化和投影22 HYPERLINK l bookmark223 3.3.2獲取鞅變換估計函數(shù)的方法253.3.3核函數(shù)類和計算問題303.4比較鞅擬積分函數(shù)函數(shù)333.4.1比較G*（t，,t）和G*（1,.,k）33n1kn3.4.2選擇變換擬積分函數(shù)35 HYPERLINK l bookmark271 3.5小結(jié)36 HYPERLINK

12、l bookmark273 第4章對消費者信心指數(shù)模型參數(shù)估計及預(yù)測37 HYPERLINK l bookmark277 4.1平穩(wěn)序列建模步驟38 HYPERLINK l bookmark279 4.2通過ACF,PACF對模型識別和定階39 HYPERLINK l bookmark285 4.3使用鞅變換估計方法對模型參數(shù)估計41 HYPERLINK l bookmark287 4.4模型檢驗42 HYPERLINK l bookmark289 4.4.1模型的顯著性檢驗42 HYPERLINK l bookmark291 4.4.2參數(shù)的顯著性檢驗434.4.3模型優(yōu)化43 HYPERL

13、INK l bookmark293 4.5序列預(yù)測43 HYPERLINK l bookmark297 4.6小結(jié)49 HYPERLINK l bookmark299 結(jié)論51 HYPERLINK l bookmark301 參考文獻52攻讀碩士學(xué)位期間承擔(dān)的科研任務(wù)與主要成果56致謝57作者簡介58大學(xué)理學(xué)碩士學(xué)位論文第1章緒論 第1章緒論1.1課題背景時間序列分析是數(shù)理統(tǒng)計中的一個重要分支，其在經(jīng)濟領(lǐng)域中的應(yīng)用一直是人們關(guān)注的焦點，目前已經(jīng)擴展到航天、水利、信息、生物工程等高端技術(shù)領(lǐng)域中.如生物工程中的dna序列分析和生物醫(yī)學(xué)信號序列分析、噪聲型號的時序分析等時間序列還可用來預(yù)報將來的趨勢

14、，通過干預(yù)來控制將來的事件早在古埃及時，古埃及人開始關(guān)注尼羅河泛濫的規(guī)律，把漲落情況按時間順序記錄下來，進行分析和處理數(shù)據(jù)，為古埃及人民服務(wù)如今隨著科學(xué)技術(shù)日新月異的發(fā)展，伴隨著計算機的使用，挖掘時間序列中包含的信息有待于改進和提高，以便更真實的模擬規(guī)律這就需要對時間序列模型本身進行細(xì)致入微的研究.時間序列的模型從非參數(shù)模型發(fā)展到參數(shù)模型是廣義時間序列分析發(fā)展中的一個突破.1931年，Walker1在預(yù)測領(lǐng)域使用了AR模型此后，逐步發(fā)展了時間序列模型，比如ARMA模型、多維ARMA模型、非平穩(wěn)時間序列模型4、非線性時間序列模型等等.在擬合平穩(wěn)時間序列過程中，對模型識別以后，還需要定階，這些步驟

15、既粗糙，工作量又相當(dāng)?shù)拇?因此，目前人們對平穩(wěn)時間序列模型擬合時，常采用AR模型，一方面，用此模型進行擬合平穩(wěn)時間序列有許多良好的性質(zhì)，另一方面，很容易識別模型，并從理論角度可以證明其合理性.目前，對于時間序列的模型，其參數(shù)估計，一般采用矩法6和最小二乘估計7法，但是在處理生活中的一些數(shù)據(jù)時，碰到的問題，大概包括以下三種情形：首先，用無限方差線性過程模擬特定的時間序列現(xiàn)象，特別地，在經(jīng)濟學(xué)和有誤差線性時間序列的信息處理中具有平穩(wěn)分布的模型，一般情況下，沒有閉合解表達式適合域過程的密度似然方法.參考McCulloch和Nikias和Shao.其次，有豐富的離散類和非高斯連續(xù)型變量時間序列模型，其

16、中一類包含指數(shù)鞅分布或伽馬分布a,另一類包含諸如泊松分布，幾何分布和負(fù)二項分布10的適用于獨立隨機變量模擬計數(shù)的離散邊際分布的平穩(wěn)過程.這些非高斯模型有難處理的似然函數(shù)，因為它的復(fù)雜或內(nèi)在不連續(xù)性.參考Grunwald討論的一階回歸過程，以及Billardi2和Alzaid13討論的高階回歸的情形.第三，有一些集合模型，如馬爾可夫鏈集和在經(jīng)濟人口理論等許多領(lǐng)域中使用到的相關(guān)的區(qū)間模型，參考Mcleish/和Leitnakerlzaidm這些模型涉及到卷積，他們的密度函數(shù)很難表示出來.而且以上這些模型參數(shù)的最大似然估計是不可行的，即使在其他的估計模型中，通常也是僅使用分布的前兩矩.但是，我們發(fā)現(xiàn)

17、以上這些模型卻可以用可積變換(比如：特征函數(shù)is,拉普拉斯變換I概率母函數(shù)18)特殊表示.很自然的，要求離散時間隨機過程的估計方法應(yīng)能很方便的由條件積分變換來描述.本文正是從條件積分變換入手，采用擬似然函數(shù)對參數(shù)進行估計.這方法涉及到把鞅變換估計函數(shù)類代入擬似然框架的構(gòu)造.在離散時間隨機過程的參數(shù)估計中，把得不到的積分函數(shù)應(yīng)用到這些函數(shù)類構(gòu)成的特定線性空間中，獲得了變換擬積分函數(shù).任何一個主積分變換的特定過程使積分函數(shù)在鞅變化擬積分函數(shù)的優(yōu)化組合的無限維的希爾伯特空間中任意逼近成為可能.還指出擬似然函數(shù)方法在無條件限制的二階矩過程應(yīng)用的域中的推廣.1.2國內(nèi)外研究的現(xiàn)狀和趨勢自時間序列模型的參

18、數(shù)估計方法在勒讓德提出的最小二乘理論以及高斯i9(G.F.Gauss)提出的最大似然理論基礎(chǔ)上，給出了最小二乘法和最大似然估計方法以來，在時間序列模型參數(shù)估計研究方面，許多學(xué)者都進行了深入的研究并取得了許多成果.姚琦偉教授首次建立了在空間域上ARMA過程的最大似然估計理論，這一工作Hanna20給出的關(guān)于時間序列的最大似然估計理論，首次給出了一個完整的時域上的證明；趙莉等利用差分最小二乘法對信息技術(shù)增長及擴散模型進行參數(shù)估計；熊淵博21提出了一種ARMA模型的擬線性估計方法，通過兩次AR模型的估計實現(xiàn)了ARMA模型的精確參數(shù)估計；黃雁勇提出一種ARMA模型估計方法，通過DEP算法構(gòu)造具有遺傳對

19、稱正定性的矩陣來近似Hesse矩陣的逆，從而實現(xiàn)對該模型的參數(shù)估計；朱慧明針對ARMA模型建模過程中模型識別和參數(shù)估計易受觀測值異常點影響問題，運用貝葉斯方法估計模型的參數(shù)目前，在工程應(yīng)用方面，人們更多的是用AR模型來擬合實際序列.在力覺臨場感遙控機器人系統(tǒng)中，為解決力覺臨場感遙控機器人系統(tǒng)的時延問題，把預(yù)測器引入該系統(tǒng)，在時延條件下實現(xiàn)了對機械手較為準(zhǔn)確的控制，該預(yù)測器就是基于AR模型對從手與環(huán)境間的作用力進行預(yù)測的24；在隨機信號處理方面，功率譜25是描述隨機型號基本特征的重要參數(shù)，用擬牛頓法血的AR模型對產(chǎn)生的潛漂移現(xiàn)象、譜分裂現(xiàn)象和頻率分辨能力進行模擬，得到了很好的估計另外，在超導(dǎo)重力

20、數(shù)據(jù)信號檢測27，在車型自動分類技術(shù)，在反輻射導(dǎo)彈檢測算28等一系列高端技術(shù)中有著廣泛的應(yīng)用但是，在以上模型中，密度函數(shù)有時很難找到，甚至涉及到卷積，后來，人們發(fā)現(xiàn)這些模型可以用他們的概率母函數(shù)簡單表示出來于是基于積分變換的一些統(tǒng)計方法先繼提出.這個方法最早源于Merkouris】29的早期工作，他介紹了基于條件積分變換的離散時間半鞅序列的擬似然估計.Feuervergera討論了單變量平穩(wěn)時間序列模型中基于單特征函數(shù)的漸近有效估計方法.Brockwell31使用經(jīng)驗特征函數(shù)估計穩(wěn)定更新的線性過程.Shulue,Feigin】33,Hoetinge把拉普拉斯變換用于多階模型的級數(shù)時間分布參數(shù)估

21、計中.Abrahams使用經(jīng)驗拉普拉斯變換估計一階逆高斯自回歸過程的參數(shù).Yaoe使用基于經(jīng)驗變換的最小二乘方法估計一類索引隨機模型.隨著高新技術(shù)的發(fā)展，在機器人的控制領(lǐng)域，手部運動模式的識別方面，車型的自動分類技術(shù)方面，在神經(jīng)網(wǎng)絡(luò)估計針電極肌電信號方面，此方法對于模型的參數(shù)估計，起著越來越重要的作用.1.3選題意義與文章結(jié)構(gòu)對AR模型的參數(shù)估計方法，涉及到密度函數(shù)，有時很難得到，有時還涉及到卷積，這給參數(shù)估計帶來了很大的不方便，基于積分變換的函數(shù)可以很容易的得到，比如拉普拉斯變換，概率母函數(shù)，特征函數(shù)等.從積分變換入手對于參數(shù)的統(tǒng)計在計算上更加適用.文章結(jié)構(gòu)如下：第1章緒論.介紹時間序列AR

22、模型的課題背景及國內(nèi)外的研究現(xiàn)狀和趨勢，闡明論文的研究意義和文章結(jié)構(gòu)第2章自回歸滑動平均模型，自回歸模型和滑動和模型.從三種模型的參數(shù)估計及漸近性質(zhì)，分析它們的不同特點及其應(yīng)用范圍，重點介紹使用自回歸模型對實際序列進行擬合.第3章鞅變換估計函數(shù)參數(shù)估計法.在條件積分變換理論基礎(chǔ)上建立了擬似然估計參數(shù)的方法，使任何一個主積分變換的特定過程使積分函數(shù)在鞅變化擬積分函數(shù)的優(yōu)化組合的無限維的希爾伯特空間中任意逼近成為可能第4章鞅變換估計函數(shù)參數(shù)估計法對上證指數(shù)數(shù)據(jù)模型的檢驗，證明了該參數(shù)估計方法在解決自回歸滑動平均模型的有效性.1.4小結(jié)作為首章緒論，本章的主要目的是介紹課題背景和鋪墊全文，主要包括以

23、下幾個小節(jié).第一節(jié)課題背景部分，闡述了課題的來源，其所屬領(lǐng)域與該領(lǐng)域的應(yīng)用，為本篇論文做一個全局的定位.第二節(jié)介紹了時間序列AR模型的國內(nèi)外研究現(xiàn)狀和趨勢，使對該領(lǐng)域的研究有一個大體的了解.第三節(jié)中介紹了選題的意義和本篇論文的結(jié)構(gòu)安排，給讀者呈現(xiàn)一個清晰的層次.有了本章的基奠，后面章節(jié)的論述才能言之有據(jù)，據(jù)理成章.大學(xué)理學(xué)碩士學(xué)位論文第2章預(yù)備知識 第2章預(yù)備知識2.1ARMA模型及特征ARMA模型的全稱是自回歸滑動平均(autoregressionmovingaverage)模型，它是目前最常用的擬合平穩(wěn)序列的模型它又細(xì)分為AR(autoregressionmodel)模型、MA模型(mov

24、ingaveragemodel)和ARMA模型(autoregressionmovingaveragemodel)三大類.AR模型定義2.1.137具有如下結(jié)構(gòu)的模型稱為p階自回歸模型，簡記為AR(p)x=x+x+x+8t1t-12t-2pt-pt2-1）豐0E（8）=0,Var（8）=2,E（88）=0,s豐tttEtsEx8=0,VststAR(p)模型有三個限制條件：條件一：鼻0，這個限制條件保證了模型的最高階數(shù)為p.條件二：(8)=0,Var(8)=Q2,E(88)=0,s豐t.這個限制條件實tt8ts際上是要求隨機干擾序列8為零均值白噪聲序列.條件三：E(88)=0,Vst，這個限制

25、條件說明當(dāng)期的隨機干擾與過ts去的序列值無關(guān).通常會缺省默認(rèn)方程(2-1)的限制條件，把AR(p)模型簡記為TOC o 1-5 h zx=x+x+x+8(2-2)t1t-12t-2pt-pt為簡記模型(2-2),現(xiàn)引進延遲算子B,使得Bx=xtt-1Bmx=xtt-m則AR(p)模型又可以簡記為S=8(2-3)式中，(B)=1-B-B2-Bp,，稱為p階自回歸系數(shù)多項式.12p稱(B)=0為AR(p)模型的特征方程.特征方程的p個根九(i二1,2,p)被稱為AR(p)模型的特征根.如果p個特征根全在單位i圓外，即和1i=1,2,.,p(2-4)則稱該AR(p)模型為平穩(wěn)的AR模型，滿足該模型的

26、序列被稱為平穩(wěn)的AR序列.式(2-4)被稱為AR模型的平穩(wěn)條件.由于(B)=0是關(guān)于延遲算子B的多項式，因此AR模型是否平穩(wěn)取決于參數(shù)e,e,.12pMA模型定義2.1.237具有如下結(jié)構(gòu)的模型稱為q階滑動平均(movingaverage)模型，簡記為MA(q)X=E000tt1t12t2qtqTOC o 1-5 h z1k=1,2,.,q(2-8)k式(2-8)稱為MA(q)序列的可逆性條件.稱滿足MA(q)的序列x為可逆的MA(q)序列模型MA(q)為t可逆模型由于0(B)=0是關(guān)于延遲算子B的多項式.因此MA模型是否可逆取決于參數(shù)0,0，,0.12qARMA模型定義2.1.3具有如下結(jié)構(gòu)

27、的模型稱為自回歸滑動平均(autoregressionmovingaverage)模型，簡記為ARMA(p,q)：X+X+X+8001t12t2ptpt1t1qtq豐0,0豐0E（）=0,Var（）=2,E（）=0,s豐tttEtEx8=0,VststARMA（p,q）模型可以簡寫為）x+x+x+808081t12t2ptpt1t1qtqfx=2-9）2-10）2-11）t缺省默認(rèn)條件，xt引進延遲算子，ARMA(p,q)模型簡記為(B)x=(B)s式中，(B)=1QBB2BP，為p階自回歸系數(shù)多項式.0(B)=1-0B0B20Bq，為q階滑動平均系數(shù)多項式.12q顯然，當(dāng)p=0時，ARMA(

28、p,q)模型就退化成了AR(p)模型；當(dāng)q=0時，ARMA(p,q)模型就退化成了MA(q)模型所以，AR(p)模型和MA(q)模型實際上是ARMA(p,q)模型的特例，它們都統(tǒng)稱為ARMA模型.ARMA模型是否平穩(wěn)可逆取決于參數(shù),，,0,0，,0.12p12q因此有37當(dāng)(B)=0的根的模全大于1時，稱ARMA(p,q)為平穩(wěn)的自回歸滑動平均模型當(dāng)0(B)=0的根的模全大于1時，稱ARMA(p,q)為可逆的自回歸滑動平均模型(3)當(dāng)(B)=0與冋(B)=0的根的模全大于1時，稱ARMA(p,q)為平穩(wěn)可逆的自回歸滑動平均模型2.2用自回歸AR模型擬合平穩(wěn)時間序列自回歸模型的參數(shù)估計問題，實際

29、上是用自回歸模型去擬合時間序列的簡單情形，即假定實際序列社（n）本身滿足自回歸模型，而且p,q假定已知的情況下進行的，此時的擬合問題就成了參數(shù)估計問題在實際中，人們較多的是使用AR（p）模型去擬合平穩(wěn)時間序列模型.文獻中從工程學(xué)角度闡述了這一問題2.3ARMA模型的參數(shù)估計2.3.1ARMA模型的極大似然估計在極大似然準(zhǔn)則下，認(rèn)為樣本來自使該樣本出現(xiàn)概率最大的總體.因此未知參數(shù)的極大似然估計就是使得似然函數(shù)（即聯(lián)合密度函數(shù)）達到最大的參數(shù)值.使用極大似然估計必須已知總體的分布函數(shù).Lp,0，0;x,x，,x）=maxip（x,x，,x）;P,P，P（2-12）12k12n12n12k極大似然估

30、計充分應(yīng)用了每一個觀察值所提供的信息，因而它的估計精度高，同時還具有估計的一致性、漸近正態(tài)性和漸近有效性等許多優(yōu)良的統(tǒng)計性質(zhì)，是一種非常優(yōu)良的參數(shù)估計方法.在時間序列分析中，序列總體的分布通常是未知的，為了便于分析和計算，通常假設(shè)序列服從多元正態(tài)分布10.考慮平穩(wěn)可逆的ARMA（p，q）模型x-x+x+-99t1t-1pt一pt1t-1qt一q其中是零均值，方差為b2的白噪聲.t記x-(x，x，.x)12n0-Q，,，9，9，912p12q工E(xx)0b2n式中藝G2ii=0藝GGii+n-1i=0丿藝GGii+n+1i=0那么，的似然函數(shù)為,.,LV（J;X丿=pXX1（2兀）-n工n12

31、exp12exp2lnS)-2對數(shù)似然函數(shù)為X；Q-iXilnQ-_2C2L對對數(shù)似然函數(shù)中的未知參數(shù)求偏導(dǎo)數(shù),得到似然方程2-13)丄1C;免）=丄-型=0亦22c22c4式中S）=Q-1.理論上，求解方程組（2-13）即得到未知參數(shù)的極大似然估計值.但是,由于SG）和InQ|都不是&的顯示表達式，因而似然方程組（2-13）實際上4心；X）=1普+丄啤=0祁2那c22那是由p+q+1個超越方程構(gòu)成，通常需要經(jīng)過復(fù)雜的迭代算法才能求出未知參數(shù)的極大似然估計值.目前，隨著計算機技術(shù)的發(fā)達，有許多軟件可以輔助分析，使得求ARMA模型的極大似然估計值成為一件很容易實現(xiàn)的事情.2.3.2AR模型的矩估

32、計（即尤爾-瓦爾克估計）及漸近性質(zhì)設(shè)（n）為滿足下列自回歸模型的平穩(wěn)序列Ypg(nj)=(n),p三1ioj=o其中)為白噪聲序列.其的自協(xié)方差函數(shù)B(n)及自相關(guān)函數(shù)R(n)滿足尤爾-瓦爾克方程即2-14）并有YpB（nj）=（n）,jj=oYpR（nj）=（n）,jj=oa2=E乙）2=YpB（j）0jj=o2-15）2-16）2-17）這樣，我們便可得到此模型參數(shù)估計的全部公式.具體做法是：先由K)的觀測值求得B(k)(或R(k)的估計值B(k)二-1豉吐(+|k|)(2-15)式求出p的估計量p，由式(2-17)i或R(k)，再由,okp求出a2的估計量b2.oo求解6.的具體方程組為

33、YpBGj)=BG),jj=12-18）YpRGj）=RG）,jj=11ip2-19）其中上述方程組的系數(shù)矩陣為B(0)BC1)BCp+1)BGB(0)B(-p+2)B(p-1)B(p-2)B(0)1R(1)R(-1)R(-p+1)1B(-p+2)R(p-1)R(p-2)1所以上述方程組有已知當(dāng)0，有l(wèi)imP(p-p|8)=0(1jNK00川2是Q2的漸近無偏估計且是漸近最小方差估計,00C)2C4D&2丿U00N2.3.3AR模型的最小二乘估計設(shè)(n),n=0,1,滿足AR(p)模型g(n)+pg(n-1)+p(n-p)=(n)并設(shè)Eg(n)=0(2-23)(2-24)(2-25)分布，而(

34、2-26)(2-27)當(dāng)N充分大(2-28)9=sT，T)12p則申的最小二乘估計0是下列殘差平方和：Ln=p+1sG)=s(n=g(n)(qg(n1)pg(np)3n=p+1由得正規(guī)方程其中A=ming(p)g(p-1)gG-g(p+1)g(p)g(2)g(N1)g(N2)g(Np)記則p的最小二乘估計為g=lg(p+1)g(p+2)g(N)p=CtA1AgL當(dāng)N充分大時，最小二乘估計Q與矩估計6是非常接近的，因此，關(guān)L于矩估計6的漸近性質(zhì)對p;也同樣成立.L2.4自相關(guān)函數(shù)和偏自相關(guān)函數(shù)定義2.4.13對于平穩(wěn)時間序列x，任取t,t+kGT,定義Y為時間序列tkx的延遲k自協(xié)方差函數(shù)：Y=

35、Y=E(x-y)G-卩)kt,t+ktt+k容易推出平穩(wěn)序列一定具有常數(shù)方差Y=Y，又可推出延遲k自相關(guān)函tt0數(shù)為P=.ky0定義2.4.237對于k=1,2,，我們分別來考慮用x,x，,x對x作t-1t-2t-ktk1k212xkit-i丿最小方差估計，即選擇系數(shù)p,p，,p，使得J=Ex工p則稱序列/(kkk=y-2工py+工ppy(2-29)0kiikikji-ji=1i=1j=1達到極小值.貝U稱序列p(k=1,2,)為序列x的偏自相關(guān)函數(shù)(PACF).kkt為了求p(k=1,2,)，分別對p(=1,2,k)求J的偏導(dǎo)數(shù)f乙，并令kkkiki=-y+Xpy=0ikji-jj=1其為零

36、，即得到P所應(yīng)滿足的方程Opki等價于-p+ipp=0kji-jj=1矩陣形式為P1Pk-1Pk-21(p1k1pk2(p11p22-30)IPk-1Pk-2IPk丿由上式可得偏自相關(guān)函數(shù)p的遞推公式如下:kkp=kkrP1p-pki=1丫1邏k1,iki丿i=1p=p-ppkik-1,ikkk-1,k-i-1,p1丿k-1,ii丿k=1,2,k-1-1k=2,3,2-31)2.5小結(jié)本章介紹了ARMA、AR、MA模型，指出在平穩(wěn)時間序列中通常使用AR模型進行模擬最后對ARMA模型極大似然估計，重點對AR模型的矩估計和最小二乘估計做了介紹，為后文作了一個必要的理論準(zhǔn)備和鋪墊大學(xué)理學(xué)碩士學(xué)位論文

37、第3章基于積分變換的鞅估計 第3章基于積分變換的鞅估計3.1基本結(jié)構(gòu)基本符號Y,1j是從離散時間隨機過程中取得的樣本，概率為t,9e,(0,F,耳)是完備的概率空間.分布函數(shù)依賴于參數(shù)9e,為p維歐幾里得空間的開集，條件密度函數(shù)為fSY,Y,Y),梯度s用()9j12j-1jlogf9VY,Y,Y壊示，由Y,Y,Y生成的F的子b域記為F，積9j12j-112jj分函數(shù)用Ss表示.E(sF)=0且,F平方可積.njjj-1nnj=1積分變換和鞅估計函數(shù)類為了方便敘述，假設(shè)Y,Y，,Y為實值變量，其分布函數(shù)取決于參數(shù)矢12j量9e(.第j個時間的函數(shù)記為F,IF)=PYyIF丿F(y)=jj-1j

38、j-1j其中I為示性函數(shù).積分變換為1jn基本概念c(t)=ig(y;t)dF(|F)=E(YfJ(3-1)和。(t)在9相互獨其中，gt()為核函數(shù)，在實值或復(fù)值函數(shù)如(Y),teT匸R索引集中選取，對所有的9e和teT，g()可積且有限.F(yIF立.特征函數(shù)，矩母函數(shù)和概率母函數(shù)分別以in(tY),cos(tY),teT,exp(tY),teT和y,teT作為核函數(shù).cC)的估計量記為3-2)TOC o 1-5 h zCC)=Jg(y)d(y)=g(Y)c(t)估計量與c(t)的差值用下式表示7h(t)=c(t)c(t)=g(Y)E(g(Y)IF),1jn.(3-3)jjjtjtjj-1

39、鞅估計函數(shù)類M記為tG(t):G(t)=工wh(t),w=wnnjjjj、j=1式(3-4)中，由于對固定的teT,E(h(t)|F)=0jj-1那么，,Y,0/1j-1(3-4)且(h(t),F為零均值鞅,M=1,有工wE(亠h(t)IF)2TOC o 1-5 h zj09jj-1-j=工E(wh(t)21F)jjj-1對于G(t)，式(3-9)可以由G(t)的鞅信息量表示，公式如下表示nn憶wE(孑h(t)IF)2耐)j09jj-1工E(wh(t)21F)jjj-1j=1是G(t)中的鞅信息量.n條件有效性選擇不同的鞅h(t)產(chǎn)生不同的M=M,teT類，以及與此相一致的擬jt積分函數(shù)族=G

40、*(t),teT和擬積分估計族9*,teT如鞅nntH=h,Fnj=1其中E(hIFjj-i可以在多種方法中選擇，隨著積分函數(shù)的不同產(chǎn)生不同的鞅估計函數(shù)類.特別的，一類鞅估計函數(shù)類，其離散時間過程&,F由半鞅表達式nn工Y上E(YIF)+h,h二Y-E(YIF)jjj-1jjjjj-1j=ij=1j=1為了區(qū)分有效性，以下給出條表示，產(chǎn)生鞅估計函數(shù)類時取決于鞅h.jj=1件有效性規(guī)則.對于擬積分函數(shù)G*(t)相對于積分函數(shù)S的條件有效性由下式給出TOC o 1-5 h zn(、nef(G*(t),S)=I/1cnnG；(t)S”同樣的，對于G*(t)eM相對于G*(t)eM的條件有效性也可以類

41、似”1t1”2t2給出，由下式表示eff(G*(t),G*(t)=I/1C”1”2G*(t)G*(t)由于擬積分函數(shù)G*(t)與其信息量I僅用它們的條件函數(shù)表示，且；G*(t)E(I)甚至可能不存在(比如，平穩(wěn)分布的模型)，比起非條件部分E(I)G*G*I更容易計算.所以，擬積分函數(shù)G*的有效性通常由O-optimality求解.G*nFn結(jié)論可以參考McLeishe和Merkouris29.擬積分函數(shù)信息量擬積分函數(shù)信息量反映的是擬似然估計的漸近分布的變量范圍，其值為在G(t)=G*(t)最大值，由下式給出nnI=He(w*h(t)21F)G*(t)jjj-1”1j=1擬似然估計由G*(t)

42、=0可以求得參數(shù)6的估計，得出的估計稱為擬似然估計，擬似n然概念的全面解釋可參考GodambeandHeyde和Heydea.對于多維矢量的基本形式p維矢量參數(shù)6，以及k維矢量h(t)的鞅估計函數(shù)有一般的混合形jG(t)=wh(t)”jjj=1其中wj是pXk權(quán)重矩陣，其值取決于,Yj_1和e此時抑制t，得到Gn的最優(yōu)值G*(t)=工w*hnjjj=1其中w*=(E(hlF)(E(hhlF)-1jjj-1jjj-1h=E(亠h)jQejiJi在偏序非正定矩陣中，信息矩陣I=G，：；GtG,對于每一個Gnnnnn1,：G1和G都假定非退化的，且有nnI=.；G*=He(w*h)(w*h)|FG*

43、;njjjjj-1n/=1參考McLeishe.j丄通過分析有效性的概念得知的有效性是度量O信息矩陣的大小，其FTOC o 1-5 h zef(G*(t),G*(t)的條件有效性為比率III/III.Merkouris討論了基于cn1n2G*Snn鞅信息矩陣的有效性值的詳細(xì)結(jié)果.當(dāng)把單個變量推廣到多元變量時，對于r維隨機變量jrY=(Y，,Y),1jnjj1其核函數(shù)由普通核函數(shù)(3-10)gC)=HgC)tjtjii=1構(gòu)成.選擇有效的擬積分函數(shù)的規(guī)則在鞅估計函數(shù)估計類中，通過最大化I,teT,在j中就可以選擇G*(t)nn最有效的擬積分函數(shù).這個最有效的積分函數(shù)的判斷可以由下面的兩個不等式給

44、出，即對一些t*eT有IIG*(t)G*(t*)nn且ef(G*(t),S)ef(G*(t*),S)cnncnn3.2基于變換的鞅估計函數(shù)代入擬似然框架最大似然估計方法中，已知密度函數(shù)，代入對數(shù)函數(shù)中，然后通過對參數(shù)求導(dǎo)數(shù)可以得到參數(shù)估計，基于這種思想，把基于變換的鞅估計函數(shù)納入擬似然框架中.特別的，如果對于每一個teT，GC)關(guān)于9是平方可積且可微的，把n基于變換的鞅估計函數(shù)類代入一般擬似然框架中的方法可以參考GodambeandHeyde39.以下給出特殊的變換(傅立葉變換)可以代入一般擬似然框架的變換.積分函數(shù)S=Ys由下式表示jj=1工s(FwC)exp(ty)7t(3-11)其中jj

45、=1jj=1w(t)=Js(yFf牛j=s(y;F)的傅立葉反變換.jj-1()F丿容易,j-1j-1)expCity)dy,1jnjw.(t)是s由于wC)處理起來比s=sjjj數(shù)丈w(t)exp(tY)任意漸近逼近，其中,l=1Y,Y,12且式(3-10)可以由累積函=w(t)是關(guān)于9,t和函數(shù)lljjljl,Y的系數(shù)，所以，積分函數(shù)可以用下式表示j-1工Js(yIf)dF(y)jj-1-j=1wexp(ity)dF(y)F(yIF)jlljjj-1在式(3-11)中，與F(y|F丿有關(guān)的值是恒等于0的.那么變換式(3-11)jj-1的右邊可以寫成下面的形式工為wjl-j=11=1當(dāng)隨機變

46、量是獨立同分布時，j-1jexpitY-Eljwjl3-12)j-1-3-13)利用上式可以得出核函數(shù)為g（Y）=exp（itY）tjj的廣義矩方法，可以參考FeuervergerandMcDunnoughw,42，而且，一般核函數(shù)類的積分函數(shù)可以線性逼近，參考FeuervergerandMcDunnougkM,更多詳細(xì)的討論可以參考Brant4）.當(dāng)核函數(shù)為g（Y）=expCtY）時，式（3-12）可由下式表示tj乙乙wjiLj=1i=1=1l為wj=1i=1由上可知，傅立葉變換函數(shù)和一類基于變換的線性逼近積分函數(shù)可代入到一般的擬似然框架中最優(yōu)鞅變換估計函數(shù)樣本Iy,1jn和特殊核Hg（Y）

47、所包含的信息，已遍布t值的范jtj圍.在t值的選取中，給出選擇最優(yōu)化積分函數(shù)丁的規(guī)則，目的是減少信息n量的損失，提取更多的點，獲取盡可能大的信息量.這就涉及到鞅變換估計函數(shù)的合并問題（參考Heybe】4o）.從而構(gòu)造基于變換的混合鞅估計函數(shù).這種變換方法的優(yōu)勢是使用任意點t,teT形成形如工為wh（t）=Hwh（t）的合并，可以產(chǎn)生更多有1kjlj1jjj=11=1j=1效地變換擬積分函數(shù)，而且這種混合鞅估計函數(shù)是可以計算的.以下構(gòu)建了一種鞅變換的最優(yōu)化合并代入非退化且條件有效的擬積分函數(shù)中的方法.為了使鞅變換的最優(yōu)化能夠得以實現(xiàn)，首先給出擬似然估計函數(shù)是估計函數(shù)到鞅估計函數(shù)類的投影的證明.3

48、.3.1最優(yōu)化和投影首先考慮任意隨機變量希爾伯特空間L=L2（0,F,P）,此空間平方可0積.A是L2的閉子空間.內(nèi)積為模為則稱E*(3-14)IIX11=(X,X)12(3-15)定義3.3.1對于XeL2，E*(XIA)是A中唯一的元素，如果IIXE*(XIA)ll2=infIIXZlb=infE(XZ)2(3-16)ZeAZeA丿是X到A的投影.定理3.3.1鞅擬積分函數(shù)G*=gw*h，其中njjIfChf)jI/1/11j-1w*=jj是積分函數(shù)S到空間M的投影.n證明用M表示形式為g=wh,1jn函數(shù)的子空間.則MuB.由于函數(shù)h是正交的，所以對于i豐j,E(hh)=0空間M是子空間

49、M的直和.即，jj-1M=MMM(3-17)12n考慮希爾伯特空間L2(0,F,Pj),1jn,其中Pj是限制到F上的概率值.關(guān)于9,Y,Y的所有可測平方可積函數(shù)的子空間Bu2(6,F,Pj,1jjj9第j個積分函數(shù)seB.jj因為E(hIF)=E(shIF)所以在弱對稱條件下，w*是seB中g(shù)*=w*h投影到子空間Mjjjjjj的系數(shù).特別的，定義HI是在條件F上由Pj引進的范數(shù).F-1j-19常數(shù)對于所有的9G0,元素g*eM為jj2Fj-1=gnMi卜一gj2Fj-1(3-18)通過正交條件E(s一wh)h*IF=0得出w*的值，同時對jIIsII2=IIg*II2+IIs一g*II2j

50、Fj-1jFj-1jj-求和，那么條件Fisher信息量I=zSnjIIS1|2jF-1F-1分解成擬積分函數(shù)信息I丄G*njIIg*II2jj=HE(w*h)(w*jjjj=1和最小化剩余和工IIS-g*I|2j又因為s和h是L2(Q,F,P)中的元素，通過IIs-gjj9jIIs一g*II2=infIIs一gII2jjgwMjj6jj*II2的期望得到j(luò)Fj-1其中,g*=E*(sIM)然后，使用線性投影算子，利用(3-17)的分解式和鞅差分s和h,i豐jjj是相互正交的性質(zhì)，有E*(SIM)=HE*(sIM)=HE*(sIM)=工g*=G*njjjjnj=1j=1j=1成立.從而證明了鞅

51、擬積分函數(shù)是積分函數(shù)到空間M的投影.以下說明空間M是一個線性空間.形式為G=工whnjjj=1的一般鞅估計函數(shù)類M，是由基本鞅函數(shù)類H=Hh,Fnjnj=1其中,h=(h，h)jj1jkw=(w，w)jj1jk分別為k維鞅差分和k元系數(shù)生成的.那么，G=whnjj就是取決于參數(shù)矢量9的F可測函數(shù)且M類是由h擴張成函數(shù)類的線性j-ij子空間.那么，M類是一個線性空間.特別的，當(dāng)內(nèi)積定義為：對所有的X,YeLp,2(X,Y)二trE(X,Y)且這個空間是希爾伯特空間時，G*可以看作是S到nnMp=MpMp1n的射影.3.3.2獲取鞅估計函數(shù)方法不同的鞅生成不同的鞅估計函數(shù)族，合并鞅估計函數(shù)可以有效

52、的增加相關(guān)鞅擬積分函數(shù)的信息，雖然由它的元素生成的空間的維數(shù)也相應(yīng)的增加，但是，通過最大化I(teT)，可以得到有效的擬積分函數(shù)G*(t*).其中,G*(t)nnG*(t*)是屬于擬積分函數(shù)族和與離散空間M=M,teT相一致的族.nt由于使用teT中的點構(gòu)造混合鞅變換估計函數(shù)涉及到基本鞅變換的維數(shù)增加和相關(guān)的鞅變換估計函數(shù)空間維數(shù)的增加，在這里，給出一種擬積分函數(shù)的方法，這樣方法既有利于來自不用空間的鞅擬積分合并的比較，而且可以確保隨著點teT的增加，使得有效性增加.為了方便起見，記t*,1l2，首先保留先前步驟得出的優(yōu)化l點teT，然后代入其他的點，通過比較擬積分函數(shù)的有效性，逐步生成鞅變換

53、估計函數(shù)的增序列.由于T中的優(yōu)化點取決于前k-1步.所以在近似第k步的時候，讓t*固l定，然后選取一個新點t豐t*，得到M的估計函數(shù)與kx1矢量鞅的形klt*t*t1k-lk式分別如下M的估計函數(shù)形式為t1，k-i,tkG(t*，,t*,t)=whn1k-1kjjj=1二工藝whC*)+wh(t)Ijlj1jkjk)j=11=1丿以及kX1矢量鞅的形式為H(t*，t*,t)=工h(t*),.,工1k-1kj1jj=1j=1的擬積分函數(shù)的表達式為L*，,t*,t)=工w1k-1kh(t*)k-1那么，M,乞h(t)；Fjknj=1j=1其中W*=E5j-ij-ijjG(t*，,t*,t*)的信息

54、表達式為n1k-1kI=工(E(hIF)(E(hhlF)-1E(hIF)G；(t*，,S)jj-1jjj-1jj-1j=1很明顯，對于任何teT，kMuM*，,t*,t)是S1k-1kt*t*tt*t*t1k-ll1k-lk到M的投影，那么t*，,仁1,tkIIG；(t；,.以丿G*(t*,.,t*-1,tk)這個可以根據(jù)鞅估計函數(shù)空間M的增序列和與此相關(guān)的擬積分函數(shù)的序k列G*=E*(SIM)n,k+1nk+1和射影性質(zhì),E*(G*IM)=E*(E*(SIM)IM)=E*(SIM)=G*,k+1knk+1knkn,k得到G*是G*到M的投影的類似證明中得到G*匕，,t*,t)是S到n1k-1

55、kn而且還可以在n,kn,k+1kM的投影的證明t*SkIISn-G*n,k+12勒|S-G*kI2的條件下得到IG*,kG*,k+1nn的類似證明中得到IGn(t;a)Gn(t;仁山)的證明.那么，在G(t*，,t*,t),teT中，通過最大化I，就可以選n1k-1kkG*(t*，,t*,?)n1k-1k擇最有效的擬積分函數(shù).納入一個新點t*eT的依據(jù)為條件有效性，k對于t;eT，如果有3-19)G(*,t*，,t*)=e*5Im=2s1n12knt*.t*jljl1kj=1l=13-20)滿足：*(*,(*,t*)n1k-1keffd*，,t*)S)effd*，,t)Gcn1k-1G”(；

56、,.,J仃(；,)0，存在無窮合并g(t,t，,t)仝wh(t)j12kjljl且對于M的子空間M/_1j，込.j,，2*.滿足IIs-g(t,t，t)l|2jj12kFTOC o 1-5 h z根據(jù)JIIs-g*II2=infIIs-gII2jjgeM丿丿6jj可知，IIs-g*(t,t，,t)II2IIs-g(t,t，,t)II2jj12KF._jj12KF._和IIs-g*(t,t，,t)II2KJIIs-g*(t,t，t)II2jj12kFj-1即，當(dāng)kT8IIs-g*(t,t，t)II2T0jj12k片_1而且通過分解式JIIsII2=IIg*(t,t，,t)II2+IIs-g*(t

57、,t，,t)II2jFj-1j12kFj-1jj12kFj-1得到IIg*(t,t，,t)II2tIIsII2(3-22)j12kjjj又由于L2(Q,F,Pj)中元素s.和g*(t,t，,t)的條件平方可積性，有jejj12kIIs-g*(t,t，t)II2t0kt8(3-23)jj12k或者s=g*(t,t,.)=w*h(t)jj12jlj1i=1則有下式成立其中G*(t,t,.)是空間M三n12t/,是唯一的投影E*(SIM)n込,這樣，積分函數(shù)S可由不完全和nS=G*(t,t,.)=w*h(t)nn12jljl_j=1l=1_MM中的擬積分函數(shù)，且1；2n;込G*(t,t，,t)w*h

58、(t)n12kjljlj=1l=1任意閉逼近.由于=limISnkSGn(I,(2，,)那么limef(G*(t,t，t),S)二1cn12knkT8定理中要求的完備性保證變換擬積分函數(shù)G*(t,t,.)的完全有效性，但n12是不是完全有必要的.完備性需要滿足對于一些k和T中點t，,t或者_1kSGM，使得SGM.對于主要變換的核函數(shù)集合的完備性可以n”2,nt1，t2，tk參考FeuervergerandMcKunnough43.概率值為pj的無限集合中的點a，,aj.空間L2(Q,F,住)是N維的,核函數(shù)線性獨立，其有限集合g，,g是完備的.核函數(shù)的線性獨立性要t1tN求矢量(g(a),.

59、，g(a),1l2t*t*t*t*tk-11k-1k中的前k-1個點固定其值為t*t*Q，Q1k-1然后關(guān)于t使kIGn(t;,t*-1,tk)最大化，形成上述空間的增序列.最大化一個時間的一個點的信息可能導(dǎo)致一些有效性的損失，這點在許多例子中隨著k的增加可忽略.由于t的漸近值逐漸取決于未知的參數(shù).現(xiàn)在提出兩步方法l首先用I得出一些參數(shù)的初步估計(例如，條件最小二乘估計)，在G*(t)漸近第k階的時候估計I，其值可以從式子G；(t；S)G*(t*，,t*)二0n1k-1得到.然后使用最優(yōu)化點t*的值處理估計式kG*（t*，t*,t*）二0n1k-1k獲得變換擬似然估計和信息量的值.隨著點數(shù)量的

60、增加，這種迭代收斂的更快，估計函數(shù)的有效性也會增加.鑒于此，在第一步很容易計算的情況下，引入更多的點t直到迭代結(jié)束.3.4比較鞅估計函數(shù)下面比較基于矩的多項式擬積分函數(shù)和基于變換，特征函數(shù)（CF）,矩母函數(shù)（MGF）和概率母函數(shù)（PGF）的擬積分函數(shù).這種比較是理論上的和方法上的.3.4.1比較g*（t，,t）和G*（1,.,k）TOC o 1-5 h zn1kn定理給出.定理3.4.1CF，MGF，PGF的擬積分函數(shù)和矩（M）擬積分函數(shù)的關(guān)系通過下列假設(shè)E（Y2k|F）存在，那么對于CF變換與其復(fù)值核函數(shù)jj-1exp（itY）和MGF變換，有如下的關(guān)系：limG*（t，t）=G*（1,.,