非線性時間序列第六章

1、第六章時間序列的平滑6.1 引論上一章我們引進非參數(shù)函數(shù)估計的基本概念，現(xiàn)在將它應(yīng)用到時間序列別的重要平滑問題上對估計慢變化時間趨勢，平滑技術(shù)是有用的圖示工具，它產(chǎn)生了時域平滑（§6.2）.對將來事件和與之相聯(lián)系的現(xiàn)在與過去變量之間的關(guān)系的非參數(shù)統(tǒng)計推斷導(dǎo)致了§6.3的狀態(tài)域平滑.§4引入的樣條方法是對§6.3引入的局部多項式方法的有用替代.這此方法能夠容易地推廣到時間序列的條件方差（波動性）的估計，甚至整個條件分布的估計，參閱§6.5.6.2 時域平滑6.2.1趨勢和季節(jié)分量分析時間序列的第一步是畫數(shù)據(jù)圖.這種方法使得人們可以從視覺上檢查一個

2、時間序列是否像一個平穩(wěn)隨機過程.如果觀察到趨勢或季節(jié)分量，在分析時間序列之前通常要將它們分離開來.假定時間序列Yt能夠分解成Y=ft+st+X，（6.1）其中ft表示慢變函數(shù)，稱為“趨勢分量”，st是周期函數(shù)，稱為“季節(jié)分量”，Xt是隨機分量，它Box-Cox變換.這類（6.2）被假定是零均值的平穩(wěn)序列.在使用這種分解之前，可以先用方差穩(wěn)定變換或g（x）川1噸）,幕變換有如下以參數(shù)為指標的形式或具有在=0點處連續(xù)的變換形式g（u）=（u九-1".這類變換由Box和Cox（1964）給出.注意，由在幕變換中數(shù)據(jù)必須是非負的，因此，在使用幕變換之前，可能必須先實施平移變換.我們的目的是估

3、計和提取確定性分量ft和色.我們希望殘差分量Xt是平穩(wěn)的，且能夠用線性和非線性技術(shù)做進一步的分析.通過推廣Box和Jenkins（1970）而發(fā)展的一個替代方法是對時間序列Y重復(fù)應(yīng)用差分算子，直到被差分的序列表現(xiàn)為平穩(wěn)為止.這時，被差分的序列可以進一步平衡時間序列技術(shù)來處理.作為說明Box和Jenkins方法的一個例子，我們先取S&P500指數(shù)的對數(shù)變換，然后計算一階差分.圖6.1給出了這個預(yù)處理序列.所得序列基本上是該指數(shù)中變化的每日價格的百分比.除了幾個異常值（即1987年10月19日20.47%的市場崩盤，金融市場稱之為“黑色星期一”）夕卜，這個序列顯示出平穩(wěn)性.這個變換與金融工

4、程中常用資產(chǎn)定價的幾何布朗運動模型的離散化有關(guān).圖6.11972年1月3日至1999年12月31日（上圖）和1999年1月4日至1999年12月31日（下圖）S&P500指數(shù)對數(shù)變換的差分我們首先把注意力集中在沒有季節(jié)分量的情形，即Y=ftXt,EXt=0.(6.3)然后，我們再在§6.3.8中估計趨勢和季節(jié)分量歡迎共閱歡迎共閱622滑動平均平均是最常用的消除隨機噪聲的技術(shù).假定趨勢是慢變化的，使得其能夠在大小為h的局部時間窗中用常數(shù)來逼近，即Yt.iftXt卅-吃ih(6.4)這時ft能夠用該窗周圍的局部平均來估計：hft=(2h1廣丫i，(6.5)隨著中心t的改變，局部窗

5、也在移動.例如，在圖6.2中，t=50處h=20所得的估計是落在第一個窗內(nèi)的那些數(shù)據(jù)的平均.窗的中心移動到新的點處以構(gòu)成在這些點處的估計隨著局部窗從左向右滑動，它的軌跡就是所得的滑動平均曲線這是滑動平均平滑的最簡單的例子它常常被用來驗證時間序列的趨勢圖6.2描繪的是從1999年1月4日到1999年12月1日S&P500指數(shù)一個月和兩個月的滑動平均圖6.21999年1月4日至12月31日S&P500指數(shù)和它的21個交易日(粗線)和41個交易日(虛線)的滑動平均在邊界處，滑動平均估計的習慣做法是忽略超出觀察時間范圍的那些數(shù)據(jù)例如，f2是用數(shù)據(jù)Y1J|,Y2h的平均所得的簡單估計(時

6、間點2右邊的數(shù)據(jù)比左邊更多).這種不對稱平均可能會產(chǎn)生邊界偏倚當邊界處趨勢陡峭且?guī)捰执髸r，這種邊界效應(yīng)更為明顯正如圖6.2所示那樣，在右邊界處的滑動平均低估了趨勢該問題能夠通過使用局部線性平滑(參見§6.2.6)或別的邊界改善方法，比如，邊界核方法(Gasse和Muller1979;Muller1993)和數(shù)據(jù)削尖方法(Choi,Hall和Bousson2000)來減弱.滑動平均數(shù)列(6.5)利用了時間t周圍兩邊的數(shù)據(jù).這樣它還依賴于時間t之后的數(shù)據(jù).為便于預(yù)報，單變滑動平均數(shù)列*h1ft=h為Y(6.6)也常被用來驗證時間趨勢.數(shù)列僅用直到時間t-1的過去的數(shù)據(jù).6.2.3 核平

7、滑.這允許對所給時間點附近的數(shù)據(jù)給予較大滑動平均估計的一個改善方法是引進一個加權(quán)設(shè)計的權(quán)數(shù).這也就得到了核回歸估計，定義為壬kL0(6.7)這個估計還被稱為Nadaraya-Watson估計.參閱Nadaraya(1964)和Watson(1964).當我們使用均勻核K(u)=0.5l(|u#1)時，上述核估計就變成滑動平均估計(6.5).當核函數(shù)有有界支撐-1,1時,核回歸估計就是一個局部(2h1)數(shù)據(jù)的加權(quán)平均.當核K(t)是模在零點的單峰函數(shù)時，t。附近的數(shù)據(jù)點獲得更多的權(quán).一般地，核函數(shù)不要求有一個有界的支撐，只要它薄尾的(如它是一個有二階矩的密度函數(shù)).K的非負性要求還能被減弱.帶寬

8、h也不必是整數(shù).注意，在高斯核定義中的標準化常數(shù)和核的對稱Beta族只是用來保證函數(shù)K是一個概率密度函數(shù).在核回歸估計中它們并不起作用.在計算時，我們常常標準化各種核函數(shù)使得它們?nèi)鐖D5.2那樣有相同的最大值1.由于這種標準化，(6.7)可以直觀地理解為盯/(t-tj/h數(shù)據(jù)點的有效平均.當核函數(shù)有在(-：,0)中的支撐時(這樣的核還可看作是單邊核)，核回歸估計所使用的數(shù)據(jù)僅到時間to-1.這是單邊滑動平均(6.6)的推廣.如同在核密度估計中那樣，在核回歸估計中帶寬h是一個重要參數(shù).如同在圖6.2中所顯示的那樣，大的帶寬h產(chǎn)生過度平滑的估計，遺漏趨勢和所估計的峰和谷的度量上的一些可能的細節(jié).特別

9、地，當使用大的帶寬時，估計可能產(chǎn)生大的偏差.當使用小的帶寬時，僅有幾個局部的數(shù)據(jù)被使用，降低了估計的方差，卻導(dǎo)致所得估計是一條波動的曲線.例如，用帶寬h=0,滑動平均估計(6.5)簡單地復(fù)制原始數(shù)據(jù).為了得到滿意的結(jié)果需要反復(fù)嘗試和修正.帶寬的數(shù)據(jù)驅(qū)動選擇能夠幫助我們確定所要的平滑度.正如在§.2.9所看到的那樣，漸近方差本質(zhì)上依賴于所研究的過程的相關(guān)結(jié)構(gòu).因此，針對獨立數(shù)據(jù)的由數(shù)據(jù)驅(qū)動選擇的帶寬在時域平滑中效果不佳.實際上，Altman(1990)，Chu和Marron(1991a)以及Hart(1991)指出，對相依數(shù)據(jù)，通常的留一在外(leave-one-ou)交叉核實方法效果

10、不好.這些作者提出了幾個修正的方法.對帶寬選擇的嵌入方法由Ray和Tsay(1997，以及Beran和Feng(2000)提出.以上考慮能夠通過計算核回歸估計的偏倚和方差得到理解.經(jīng)過直接計算，在模型(6.3，下，核估計得偏倚為粘(ft-ft°)K(J)Ef,t0二h_豈K(：t0)h它不依賴于誤差過程.它實際上是一個逼近誤差.當帶寬取得小時，逼近誤差ft-札小，從而偏倚也小.另一方面，當h取得大時，大多數(shù)逼近誤差ft-ft0是大的歸因于t和t0間的距離是大的，因此,偏倚可能是大的.這個線性估計的方差還能夠被計算.令x(t)是過程X(t)的自協(xié)方差函數(shù)，則TTVar(ft0)=瓦瓦？

11、x(|ij|)WiWj.(6.8)該方差依賴于自相關(guān)函數(shù).進一步簡化需要漸近分析.我們將在§.2.9中討論.在那里我們將看到當k：時方差x(k)的漸近行為.但我們現(xiàn)在可以指出，當帶寬小時，核平滑的方差增大，這歸因于在局部領(lǐng)域中數(shù)據(jù)點數(shù)太小的緣故6.2.4 核平滑的變種核平滑有許多變種.(6.7)中的分母對相對于t求導(dǎo)數(shù)和數(shù)學(xué)上的分析是不方便的.代替用核函數(shù)的高度作為權(quán)，我們還可用核函數(shù)下方的面積作為權(quán).由于核函數(shù)下方的總面積是1,分母不需要.這就是隱含在Gasser-Miller估計中的基本思想.在現(xiàn)在的框架下，令st=(2t1)/2(t=1,T-1)，其中s0-和可.Gasse和M

12、uller(1979)提出了以下的估計：Tstft。八.sKh(u-t°)duY.t#J由于總的權(quán)T§oOsKh(u-t°)duKh(u-t°)du=1，t#s丄一所以沒有分母.Gasser-Miller估計是對Priestley和Chao(1972)早期版本的一種修正.Priestley和Chao(1972，給出的估計定義為ft。八Kh(t-t°)Y.t=1這個估計簡單地去掉了Nadaraya-Watson估計的分母.通過積分和變量變換逼近黎曼和，對適當選擇的h，我們得到總的權(quán)TT(T_to)/hKh(t-t。)：-jKh(t-t°

13、)du(tK(u)du，如果t°不太接近邊界，且h相對于T小，并使得(t°-1)/h和仃-t°)/h大，則上述積分近似地等同于"K(u)d1.事實上，只要K的支撐限制在區(qū)間_(t°-1)/h,(T-t°)/h內(nèi)，等式就精確地成立.換句話，對不在邊界區(qū)域的點t°，總的權(quán)近似于1.以上觀點依賴于設(shè)計點為等間隔的.事實上，Priestley和Chao估計僅能用于等間隔情形.它不能用于§6.3所討論的狀態(tài)域平滑.6.2.5 濾波核回歸是用于工程的卷積濾波的一種特殊形式.一般地，一個長度為2h1的線性濾波定義為hft八wYt

14、.i.(6.9)當K有支撐-1,1時，核回歸對應(yīng)Wi二K(i/h)£iK(j/h).濾波能夠被設(shè)計為擁有各種性質(zhì).例如，它能夠被設(shè)計成可以去掉高頻信號(低通濾波)，或低頻信號(高通濾波)或超出某個頻率范圍的信號(帶通濾波)；見§33.核平滑是一種低通濾波.線性濾波變換可以用遞推方式來定義.例如，單邊滑動平均ft可以對某個b：1，利用下式來定義ft=bYt+(1b)f.,t=2,川,T,這等價于用Y,川,Y的如下的加權(quán)滑動平均：ftwbY+b(1b)Yt+lil+b(1b)5(1b)Y.由于權(quán)以指數(shù)速度快速衰減，以上濾波實際上僅用了時刻t附近的局部數(shù)據(jù).平滑的有效性依賴于參數(shù)

15、b.這種方法稱為指數(shù)平滑.指數(shù)平滑是用1/h-b的Kh(x)="I(x一0)的一種特殊的核平滑.這是一種單邊平滑.它僅使用直到現(xiàn)大時刻t的數(shù)據(jù).關(guān)于這方面內(nèi)容的進一步討論可參見Gijbels、Pope和Wand(1999).I'6.2.6 局部線性平滑局部常數(shù)逼近(6.4)能夠通過使用局部線性逼近來改善.我們把趨勢fi通過如下線性函數(shù)局部地近似為i的函數(shù)Y嚴ft+ft(i-t)+Xi,|it戶h.這樣，ft就近似地看做上述局部線性模型的截距.可見圖6.3中時刻t二200處的圖示.窗內(nèi)的數(shù)據(jù)用一個線性回歸來擬合.對局部窗附件的數(shù)據(jù)用最小二乘方法，我們通過相對于a和b極小化下式可

16、得到局部截距的估計T'Y-a-b(i-t)2Kh(i-t).i=1這里引進核權(quán)是為了減少距離給定時間點t較遠的數(shù)據(jù)的貢獻.令at和bt是最小二乘解.這里用下標t是為了表示所得的解依賴于給定的時間點t.這時，ft用局部截距at來估計，它有如下的精確表歡迎共閱示TTft=a=遲WtjYj/送wti,Wti,=Kh(it)Sy,住)(it)S,(6.1°)i4y其中Sy,j(t)=f4Kh(t)(t)j.當t從1取到T時就得到整個趨勢函數(shù)這樣，局部線性平滑實際上是一種移動線性回歸方法.正如圖6.3所示那樣，在t=80處的估計由一個新的局部最小二乘問題得到.在每個數(shù)據(jù)窗中擬合的直線用

17、實線表示.估計的局部截距的值位于虛垂直線和局部直線的交叉處.局部斜率是時間趨勢導(dǎo)數(shù)的估計此外，這些局部窗還可以互相重疊(見圖6.2).S-Plus函數(shù)“l(fā)ls.s”已寫成程序差可用于計算圖6.3中的平滑曲線.這個S-Plus函數(shù)能夠從本書的網(wǎng)址獲得.圖6.3使用Epanechnikov核和帶寬h=20所得的1999年1月4日至1999年12月31日S&P500指數(shù)局部線性擬合.在每個窗中的虛拋物線表示每個局部數(shù)據(jù)點所得的權(quán)局部線性平滑能夠很容易地堆廣到局部多項式平滑.局部多項式擬合和它的應(yīng)用的全面介紹可參閱Fan和Gijbels(1996).局部多項式擬合的優(yōu)點總結(jié)在§33中

18、.注意，(6.11)中的權(quán)w滿足T'Wt,i(it)=S,1(t)S,2(t卜S,2(t)S,1(t0.(6.11)i4這就蘊涵了如果趨勢是線性的，ft，則局部線性平滑是無偏的：TTEft=送wt,i(ai+P)/wt=at+P.換句話，無論趨勢函數(shù)多以陡峭，只估計線性趨勢時，局部線性平滑就是無偏的.這對在內(nèi)部以及邊界處的點t的同樣成立.也就是說對于估計陡峭趨勢，局部線性估計將有小的偏倚.另一方面，因為類似于(6.11)的方程即便是近似地也都不成立，因此，對估計邊界區(qū)域附近的點估計陡峭趨勢，核平滑將有較大的偏差.6.2.7 其他的平滑方法核局部線性平滑有許多別的方法.例如，Gasser

19、和Muller(1979)使用了不同于核和局部線性平滑的權(quán)形式，Jones(1997)介紹了局部線性平滑的各種形式.Fan和Gijbels(1996)給出了各種平滑技術(shù)的概述，包括樣本和正交級數(shù)方法.核回歸和局部多項式建模是基于在許多格子點上的局部近似.諸如樣條這樣的全局逼近方法還能夠用于對時間域的平滑.這些思想將在關(guān)于狀態(tài)域平滑的§.4中介紹.對諸如時域平滑這樣的等間隔設(shè)計，正交級數(shù)方法也非常容易使用.其基本思想是先用正交矩陣對數(shù)據(jù)進行變換，然后，在高頻點向零點有選擇地調(diào)整系數(shù)(或向零點收縮它們).平滑估計能夠通過tapered系數(shù)的逆變換來獲得.常用的正交變換包括傅里葉變換和小波

20、變換.它們的統(tǒng)計應(yīng)用可參閱Ogden(1997)、Efromovich(1999)和Vidakovic(1999)等近期出版的專著.6.2.8 季節(jié)分量修正有許多實用的修正季節(jié)分量的方法.在此我們概要地介紹一個方法以說明其基本大意.假定(6.1)中的季節(jié)分量的周期是p，即psjp=Sk,72=0.(6.12)k#后一個約束是一個可識別條件.若此約束不成立時，只要加一個常數(shù)到趨勢分量ft，并在季節(jié)分量歡迎共閱修正中減去相同的常數(shù).歸因于約束(6.12),當p是一個奇數(shù)時，趨勢能夠方便地用具有h=(p一1)/2的滑動平均(6.5)來估計.在(6.5)中季節(jié)分量平均掉，因而對趨勢估計沒有貢獻.當周期

21、p是偶數(shù)時，用如下稍加修改的形式估計趨勢ft-(0.5Yt_d'/IJ|l'dd'O.5d)/p,d=p/2.季節(jié)分量能夠按如下步驟來估計.就一個例子來說，我們假定要處理的月度數(shù)據(jù)，且周期P=12.在3月的季節(jié)分量的值能用在3月所得一切觀測值的移去趨勢分量后的平均來很好地近似.這就得到估計*(T_dJs)/pSk二、(%jp-fkjp)/(T-d-k)/p-(d-k)/p1，j£d_k)/p1其中a表示a的整數(shù)部分，d二p/2.在上述求和中對上下限所作的限制是為了保證數(shù)據(jù)不要太接近邊界使得在趨勢估計中邊界影響達到最小.這種初步估計可能不能精確地滿足約束(6.1

22、2).但這能夠容易地通過用下式估計季節(jié)分量Sk來作修正Sk=Skd八S,k=11,p.iA以上方法還被用于沒有趨勢分量ft的情形.在這種情形，不需要移去趨勢，即令ft二0.6.2.9 理論概況*問題(6.3)的理論表述應(yīng)該得到注意.一個簡單的方式是把所得的時間序列Yt看作是來自如下連續(xù)過程的離散化樣本路徑這種表述常常被用在金融時間序列建模中.時間單位通常取年，每星期數(shù)據(jù)被看作是以：=1/52的速度抽自連續(xù)過程.對金融中的期權(quán)定價和風險管理，這種表述是非常有效的.然而，在時域平滑方面，這種述有一些缺點.首先，為了能夠相容地估計f(t)，我們需要在給定的時間t。的周圍用大小為h>0的窗局部化

23、數(shù)據(jù).但是，只要過程X(t)是連續(xù)的，所有的局部數(shù)據(jù)Y(t)：rto_h都是高度相關(guān)的，且當h>0時，相關(guān)系數(shù)趨于1.這就蘊涵了局部數(shù)據(jù)變化不大，因而也就不需要局部平滑.正如在圖6.2中所看到的那樣，局部數(shù)據(jù)變化很大，局部平滑就能改善趨勢估計.這樣，以上表述從理論的觀點來看似乎是病態(tài)的.其次，在以上的表述下，趨勢f(t)和隨機誤差X(t)有相似的光滑度(兩者都是連續(xù)的).因此，在Y(t)中沒有希望將隨機部分與趨勢部分分離開來.I'一個代替的表述是推廣等間隔設(shè)計的非線性回歸模型到時間序列框架.假定所得到的時間序列是來自模型Y=g(t/T)+Xt,t=1,T,(6.13)其中g(shù)是平滑

24、時間趨勢函數(shù)，Xt是隨機過程，EXt=0.在這種表述下，我們現(xiàn)在能夠利用平滑技術(shù)從隨機噪聲中分離出平滑趨勢.一個小的缺點是平滑趨勢f(t)二g(t/T)依賴于觀測數(shù)量T.這個問題早就出現(xiàn)在具有固定設(shè)計的非參數(shù)回歸文獻中.實際上它不是一個嚴重問題.漸近理論畢竟只是一個工具，為我們理解理論性質(zhì)提供簡化的結(jié)構(gòu).用g(t/T)建模趨勢是捕捉趨勢比噪聲變化更慢這一特征的簡單的技術(shù)手段.在以上兩種表述之間選擇哪一個依賴于所研究的問題.在縱向數(shù)據(jù)和泛函數(shù)據(jù)分析中，Hart和Wehrly(1986)以及Silverman(1996)基本上是用前一種表述：人們通過模型Y(t)二f(t)X(t)觀測到大量獨立序列

25、.這種表述對他們的問題是適合的.對時域平滑，模型(6.13)常被假定.例如見Hall和Hart(1990)，Robinson(1997)，以及Johnstone和Silverman(1997).這就保證了能捕捉到時間趨勢比隨機噪聲更光滑這一特征.進一步，它也保證了能相容地估計時間趨勢.由公式(6.13)能夠獲得核和局部線性平滑的漸近性質(zhì).估計g的偏倚與具有均勻設(shè)計的獨立樣本情形是相同的.核和局部線性平滑的方差經(jīng)繁瑣的計算也可得到.它們依賴于噪聲過程XJ的協(xié)方差結(jié)構(gòu).一般地，我們假定Xt的自方差函數(shù)滿足x(k)二Cov(Xt,Xtk)Cxk=,k：:，(6.14)其中:0,Cx是常數(shù).在2.5.

26、2中定義的分式ARIMA過程就滿足(6.14).我們將估計(6.10)重寫為g(t/T).對任何u=t/T(0,1)，使用EY=g(i/T)和(6.11)，我們得到偏倚MWru,ig(i/Tg(ug(u)(i/u)Eg(u)-g(u)二t(6.15)-iWru注意，這個偏倚不依賴于誤差過程X(t).它完全是局部線性擬合的近似誤差.為理論敘述的簡單，我們假定K有有界支撐.這個假定可以冗長的敘述為代價而得到減弱.特別地，可以使用像高斯核這樣的輕尾核.由j表示vjK(v)dv.*-jod在下面的定理中我們總結(jié)了漸近偏倚和方差，定理的證明放在§6.6.1.注意，由于時間單位的尺度，h/T和用

27、在一般的非參數(shù)回歸中的帶寬是相同的.I定理6.1假定K有有界支撐，滿足(K)d和S(K)=0，且當h/T>0時，帶寬h>：.(a) 如果g()存在，且在點u處連續(xù)，則Eg(u)-g(u)J2(K)g(x)(x/T)3o(h/T)2.2(b) 如果自方差函數(shù)滿足(6.14)，我們有©xJjK(x)K(y)|xyldxdyh勺0vot<1,Varg(u)才2Cx|K|2h'log(h),«=1,(6.16)復(fù)?x(j)|K|；h二«>1.定理6.1表明，過程Xt的協(xié)方差結(jié)構(gòu)對漸近方差有強烈的影響.反過來這也影響到漸近最優(yōu)帶寬，并解釋了為

28、什么獨立數(shù)據(jù)的數(shù)據(jù)驅(qū)動帶寬選擇不能直接應(yīng)用到相依數(shù)據(jù)對核估計的類似于定理6.1的結(jié)果由Hall和Hart(1990)證明.最近，這些結(jié)果被Beran和Feng(2000)用不同于§61給出的方法推廣到局部多項式擬合.他們還證明了對anti-persistent過程，漸近方差具有階h"d.局部線性估計的漸近正態(tài)性也可以被建立.如果誤差過程Xt是高斯的，則它的加權(quán)平均估計(6.10)還是高斯的.這樣，局部線性估計的漸近正態(tài)性直接由定理6.1得到.此外，在正態(tài)假定下，Cs?rg?和Mielniczuk(1995)建立了類似于定理5.4的最大偏差的漸近分布.然而，對Xt的正態(tài)假定并

29、不是本質(zhì)的.正如在Robinson(1997)中所證明的那樣，這個條件可以去掉.我們在此概要地敘述用于本章的技術(shù).令訃是相對于它自身二域的鞅差序列，即假定Xt是一雙邊無窮階滑動平均過程：歡迎共閱歡迎共閱且；2是一致可積的，并滿足分式ARIMA過程滿足這三個假定.考慮加權(quán)和T°°T)缶='WtXt='''WT,tat，y丿它是鞅差序列的和.由鞅的性質(zhì)，2QOfQ0=Var(SJ=瓦lZWp®，jJ假定這個方差存在.下面的定理由Robinson(1997)給出.類似的結(jié)果還可在Ibragimov和Linnik(1971)中發(fā)現(xiàn).定理6.

30、2在上面所述的條件下，倘若=o（Var（Sr）/2），則有/2DVar(St)StN(0,1).對于局部線性估計(6.10)，易見這時漸近正態(tài)性變?yōu)轵炞C定理6.2中所敘述的條件.我們略去細節(jié)6.3 狀態(tài)域平滑6.3.1 非參數(shù)自回歸狀態(tài)域平滑與非參數(shù)預(yù)報密切相關(guān).考慮一個平穩(wěn)時間序列Xt.為了簡單起見，我們考慮僅基于變量Xti的預(yù)報.基于Xt二x的Xt的最優(yōu)預(yù)報是給定Xt二x時，Xt的條件期望m(x)=E(Xt|Xx)，它在所有的預(yù)報函數(shù)g中極小化MSEEXt-g(Xt)2.這個函數(shù)還稱為階為1的自回歸函數(shù).當Xt是零均值平穩(wěn)高斯過程時，這個條件均值是線性函數(shù)m(x)二ax，條件方差是常數(shù).這

31、就得到一個AR(1)模型Xt仔“勺.一般地，函數(shù)m(x)不必是線性的，條件方差也不必是常數(shù).然而，總是能夠以如下方式表示數(shù)據(jù)Xt=m(XP(X£t，(6.17)其中二2(x)二Var(Xt|Xt=x).這里，.的條件均值為零，條件方差為1,即卩E(,|Xt4)=0,Var(；t|Xt：)=1.非參數(shù)平滑技術(shù)還能夠用于包括自回歸函數(shù)的估計以外的領(lǐng)域.考慮一個雙變量序列(Xt,Yt):t=1,T，它可以被看作是來自平穩(wěn)過程的一個實現(xiàn).我們的興趣是估計回歸函數(shù)m(x)二E(YjXt=x).為便于對問題的理解，我們記Yt=m(Xt)+Xt)習，(6.18)其中二2(x)二Var(Y|Xt=x

32、),丫滿足E（；t|Xt）=0,Var（；t|Xt）=1.顯然，這個結(jié)構(gòu)包括通過取Y=Xt斗而把估計的自回歸函數(shù)作為一個特定的例子.下面是三個有用的例子例6.1考慮平穩(wěn)時間序列Zt.對給定的k，我們?nèi)t=(Zt)k,Xt二Ztj.則目標函數(shù)變?yōu)閙k(x)=E(Z；|Zt廠x).條件方差可以通過用m2(x)mi(x)2來估計.特別地，當m(x)小得如例1.1中所給的利率差分數(shù)據(jù)，m2(x)基本上就如同條件方差.換句話，對下面圖6.4中所給的數(shù)據(jù)，均值回歸函數(shù)是波動函數(shù)的平方二(x)Var(Xt|Xt=x).這就是由Stanton(1997)以及Fan和Yao(1998)所給出的波動估計的基礎(chǔ).

33、圖6.4對12個月國庫券回報用局部線性擬合估計條件方差.(a)具有Epanechnikov核和帶寬索h=3.06的局部線性擬合的圖示；(b)估計條件標準差用局部線性擬合(實曲線)，F(xiàn)an和Yao(1998)的基于殘差的方法(短虛曲線)和具有：.=0.143和7=1.324的參數(shù)模型；(x)=,x：(長虛曲線)例6.2再考慮平穩(wěn)時間序列Zt.我們?nèi)t二I(a:乙乞b)，它是區(qū)間(a,b上的示性函數(shù)，XtZt.則目標函數(shù)變?yōu)閙(x)二P(a：Zt_b|Zt=x).特別地，如果a=，我們就得到條件分布估計.進一步，如果a=y-和b=y，則當取值小時，m(x)/(2、J基本上就如同給定Ztx時乙的條

34、件密度.這個條件密度函數(shù)對了解給定Zt二x時乙分布的全貌是非常有用的.特別地，自回歸函數(shù)是這個分布的中心，波動函數(shù)是這個分布的擴展.這個思想形成了Fan、Yao和Tong(1996)估計條件密度(§6.5)和與它們相關(guān)的泛函(§0.3)，以及Hall，Wolff和Yao(1999)估計條件分布函數(shù)(§0.3)，Polonik和Yao(2000)估計最小量預(yù)報區(qū)域(§0.4)等所用方法的起源.例6.3對給定的時間序列Zt，多步預(yù)報能夠通過令Y=Zt七和Xt=Zt來完成，其中d是預(yù)報步長數(shù).對這種情形，我們用非參數(shù)方法，基于變量乙來估計最優(yōu)d步預(yù)報m(x)=

35、E(Zt-d|乙=x)，下面的圖6.6畫出了山貓數(shù)據(jù)的一步和兩步預(yù)報.把這個方法和例6.1和例6.2中的技術(shù)結(jié)合起來，我們能夠估計多步預(yù)報的條件方差和條件密度.I,1 -|./-6.3.2局部多項式擬合I'局部多項式擬合是一個用途廣泛的非參數(shù)技術(shù).它擁有多種好的統(tǒng)計性質(zhì).關(guān)于這些內(nèi)容可參閱Fan和Gijbels(1996).令m(v)(x)是定義在(6.18)中的回歸函數(shù)v階導(dǎo)數(shù).局部多項式技術(shù)可非常方便地用來估計m(v)(x)，包括回歸函數(shù)本身m(x)二m(0)(x).由于回歸函數(shù)的形式?jīng)]有被指定，因而距離X。遠的數(shù)據(jù)點對m(x0)提供了很少的信息.因此，我們只能使用X。附近的局部數(shù)

36、據(jù)點.假定m(x)在X。點處有(P1)階導(dǎo)數(shù).由泰勒展開，對局部鄰域的X,我們有IIIm一(x-x°)PO(x-x°)P1.(6.19)P!在統(tǒng)計建模方面，對X0周圍的局部點，我們建模m(x)為P_m(x)八：j(xx).(6.20)j=0參數(shù)j依賴于X。，故稱之為局部參數(shù)顯然，局部參數(shù)、二m（v）（X0）/v!.用局部數(shù)據(jù)擬合局部模型（6.20）可極小化Tp'YXt-x°)j2Kh(Xt-X。)，(6.21)yj=0其中h是控制局部鄰域大小的帶寬.作為一個說明的例子，我們?nèi)t=（Xt-Xy）2，其中Xt是12個月國庫券回報.帶寬為h=3.06，它是由預(yù)

37、漸近代入法（見§635）用C-程序“l(fā)ls.c”計算得到的.在xo=12點處（百分數(shù)），線段（p=1）用來擬合在陰影區(qū)域x0_h中的局部數(shù)據(jù)，在此對每個數(shù)據(jù)，權(quán)用虛曲線（對應(yīng)于Epanechnikov核）表示在X0點處局部截距p是擬合的線段和垂直線段間的交點.這就構(gòu)成了在點x°=12處的回歸函數(shù)（v=0）的估計.沿著水平軸滑動這個窗，我們就獲得在區(qū)間3,14上要估計的曲線.條件標準差被展示在圖6.4（b）中.基于殘差來估計條件方差的方法由Fan和Yao（1998）提出，其計算通過C程序“autovar.C'來實現(xiàn)（還可見§m（x）=：x:常被用來對生產(chǎn)率動

38、態(tài)的波動進行建模，它用長的虛曲線表示.正如人們所看到的那樣，在參數(shù)和非參數(shù)方法之間還存在本質(zhì)差異，這對參數(shù)擬合是否合適提出了疑問選擇帶寬預(yù)漸近代入方法由Fan和Gijbels（1995）提出，見§用j=0，HI,p，表示最小二乘問題（6.21）的解.m（X。）的局部多項式估計是（V）mv（x0）=v!：v（v=0,1川1,p）.這里，我們不用記號m（x°）是為了避免由估計回歸m（x0）的v階導(dǎo)函數(shù)所帶來的混淆.事實上，導(dǎo)數(shù)m（x）是用局部斜率來估計，而不是用估計的回歸函數(shù)的導(dǎo)數(shù)來估當p=0，局部多項式擬合退化為該回歸估計m(x)二入YgXt-x)T©(Xt-x)它

39、還被稱為Nadaraya-Watson估計.因此，從局部逼近的觀點來看，核回歸估計是基于局部常數(shù)逼近的.見（6.19）.使用矩陣記號來表示局部多項式回歸更為方便.用X表示相應(yīng)于（6.21）的設(shè)計矩陣：(X1-X0)III(X1-x)p'X=+1-FhFjj丨J(XtX°)III(Xt-X°)卩且令'Y、r0y=+417J®丿則加權(quán)最小二乘問題（6.21）能夠?qū)憺閙in（y-XJTW（y-XJ，（6.22）其中=（S,lHp）T，W是對角矩陣，它的第i個元素為Kh（Xi-x°）.解向量為匕-（XTWX）*XTWy.（6.23）為了實現(xiàn)局部多

40、項式估計，我們需要選擇階p，帶寬h和核K.當然，這些參數(shù)相互關(guān)聯(lián).當h：時，局部多項式擬合就變成全局多項式擬合，階p決定模型的復(fù)雜性.與參數(shù)模型不同，局部多項式擬合的復(fù)雜性主要是由帶寬來控制.因此，p通常是較小的，故而選擇p的問題就變得不重要了.如果目的是估計m（v），則當p-v是奇數(shù)，局部多項式擬合自動修正邊界偏倚.進一步，當P-V是奇數(shù)，與p-1階擬合(則P-V1是偶數(shù))相比較，p階擬合包含了一個多余參數(shù)，但沒有增加估計m(v)的方差.不過這個多余參數(shù)創(chuàng)造了一個降低偏倚的機會，特別是在邊界區(qū)域.見Fan(1992)、Fan和Gijbels(1992)、Hastie和Loader(1993)

41、、Ruppert和Wand(1994).因為這些理由，奇數(shù)階擬合(選擇p使和p-v是奇數(shù))比偶數(shù)階擬合(選擇p-1使得p-v是偶數(shù))更好.基于理論和實際的考慮，在Fan和Gijbels(1996)中推薦階p二v1.如果主要目的是估計回歸函數(shù)，我們使用局部線性擬合，如果目標函數(shù)是一階導(dǎo)數(shù)，我們就使用局部平方擬合，等等.另一方面，帶寬h的選擇在多項式擬合中起著重要作用.太大的帶寬引起過度平滑，產(chǎn)生過大的建模偏倚，而太小的帶寬會導(dǎo)致不足平滑，獲得受干擾的估計.帶寬可由使用者通過目測檢查所得到的估計曲線來主觀選擇，或由數(shù)據(jù)通過極小化的估計理論風險來自動選擇(見6.3.5).由于估計基于局部回歸(6.2

42、1)，我們有理由要求一個非負權(quán)函數(shù)K.Fan,Gasser,Gijbels,Brockman和Engel(1995)已證明，對所有p的選擇和v，最優(yōu)權(quán)函數(shù)是K(z)=2(1_z2)+，它被稱為Epanechnikov核.這樣，它是4一個萬能的加權(quán)方式，并對比較其他核提供了一個有用的基準.正如在5.5所證明的那樣，對實際中使用的p和v,其他核具有幾乎相同的有效性.因此，核函數(shù)的選擇并不是至關(guān)重要的.將局部多項式估計與其他估計進行比較，包括Nadaraya-Watson估計、Gasser和Muller估計和Priestley和Chao估計.實際上，由Fan(1993a)可知，局部線性擬合在所有線性

43、估計中是漸近最小最大的，而在所有可能的估計中幾乎是最小最大的.這種最小最大性質(zhì)由Fan,Gasse，Gijbels，Brockmann和Engel(1995)推廣到更一般的局部多項式擬合.6.3.3 局部多項式估計的性質(zhì)k整個這一節(jié)中，我們假定(X1,YJ川,(Xt,Y7)是平穩(wěn)序列.令Fi是有隨機變量(Xj,Yj),仁j<k生成的事件的二域.令(k)和邇)是它們相應(yīng)的和匸混合系數(shù).用ev1表示單位向量，其(v1)位置的元素為1.令T和=送心伙-x°)(Xt-x°)i(6.24)和St=XtWX是(p1)(p1)矩陣，它位于(i,j)的元素是Si2.首先，我們?nèi)菀鬃C明

44、估計能夠?qū)憺镻eTZW：Y，(6.25)yIh丿其中有效核W；是核K和一個多項式函數(shù)的乘積，其定義如下W：(t)=eS1,th,川,(th)pTK(t)/h.(6.26)以上表達式顯示除了“核”W：依賴于設(shè)計點X川,Xt和位置X。外，估計看起來就像傳統(tǒng)的核估計.這就解釋了為什么局部多項式擬合能夠自動地適應(yīng)各種設(shè)計框架和邊界估計.圖6.5給出了局部常數(shù)擬合(p0)的有效核函數(shù)和對Epanechnikov核K在點x。=0.05和x。=0.5處的局部線性擬合(p=1).它們滿足如下矩性質(zhì).圖6.5對局部常數(shù)擬合(p=0)和具有核K為Epanechnikov核的局部線性擬合(p=1)在內(nèi)點x0=0.5

45、處(權(quán)由表示)和邊界點X0=0.05(權(quán)由表示)分配給局部數(shù)據(jù)點的有效權(quán).水平實線和虛線分別是真實函數(shù)和估計的函數(shù)在點X0=0.05和x0=0.5的高度.它們的差是在這兩個點處的偏倚.(a)Nadaraya-Watson估計；(b)局部線性擬合.為清楚起見，數(shù)據(jù)(?)不包含噪聲命題6.1有效權(quán)W；滿足如下有限矩性質(zhì)：0<y,q<p,其中如果V=q，則v,q=0,否則為1.證明由ST的定義=q1STsQqi=y.q從而得到所要的結(jié)論作為命題6.1的結(jié)果，當真實的回歸函數(shù)m(x)是階為p的多項式時，的局部多項式估計的無偏倚的為了獲得更多有關(guān)有效核的知識，我們提供它的漸近形式我們首先引進

46、一些記號令S是(p1)(p1)矩陣，它的第(i,j)元素為叫心，其中j=：ujK(u)du.定義等價核如下p*t1pTvll仏二巳禹(1,t,|(,tp)K(t)YSt)K(t)，(6.27)0其中Svl是SA的(V+1,l+1)元素.命題6.2在定理5.5的條件下，如果X的邊緣密度f在點xo處有連續(xù)的導(dǎo)數(shù)，貝U在對Xo引a,b和t一致地有T1*321Kv(t)1Op(aJ，Thf(X。)其中aT-h(logT/Th)1/2.對高階核而言，等價核滿足如下矩條件：'q*.uKv(u)du二'v,q0豈V,q空p.-O證明注意到ST,j/(Thj)基本上和具有誘導(dǎo)核K*(x)=xj

47、K(x)的核密度估計是相同的.因此，由定理5.5,對x0a,b一致地有(Thj)ST,j=f(xo)氣+Op(qJ，(6.28)把(6.28)代入St的每一個元素就立即得到111THStH=f(Xo)S1+Opt)，或等價地有St=Tf(Xo)HSH1+Op(aT)，其中H二diag(1,hl(,hp)，因此，把這個式子代入WTv的定義，我們得到1W：(t)=”卄一嘉S(1,t|,tp)TK(t)1+op(aj.Thf(xo)這就證明了第一個結(jié)果.第二個結(jié)果用與命題6.1相同的證明可得.由(6.25)和命題6.2,有vK；Yt1Op(aJ.(6.29)Thf(xo)td.h因此，使用局部多項式

48、估計就像使用具有已知設(shè)計密度f的核回歸估計一樣.這就解釋了為什么局部多項式擬合適應(yīng)于多種設(shè)計密度.反過來，核回歸估計在f的導(dǎo)數(shù)偏大的區(qū)域有大的偏倚，即它不能適應(yīng)高偏斜設(shè)計.為了搞清楚這一點，想象真實的回歸函數(shù)在這樣的區(qū)域內(nèi)有大的斜率.對給定的xo，由于設(shè)計密度的導(dǎo)數(shù)是大的，故而在xo的一邊比另一邊有更多的點.當使用局部平均時，由于局部數(shù)據(jù)呈現(xiàn)對稱狀態(tài)，故Nadaraya-Watson古計向著有更多局部數(shù)據(jù)點的那一邊產(chǎn)生偏倚.由于局部數(shù)據(jù)多是非對稱的，故而這個問題在邊界區(qū)域更顯著，見圖6.5.另一方面，如果需要，局部多項式擬合造出非對稱權(quán)以補償這類設(shè)計偏倚(圖6.5(b).因此，它適合于各種設(shè)計

49、密度和邊界區(qū)域.我們現(xiàn)在給出局部多項式估計的漸近偏倚和方差表達式.對獨立數(shù)據(jù)，我們通過在設(shè)計矩陣X上加條件來獲得偏倚和方差表達式.然而，對諸如在例6.1-6.3中所給出的時間序列，加在X上的條件將意味著幾乎是加在整個序列上.因此，我們用漸近正態(tài)性而不是用條件期望來導(dǎo)出漸近偏倚和方差.正如在§.3所解釋的那樣，狀態(tài)局部化減弱了局部數(shù)據(jù)的相依結(jié)構(gòu).因此，人們期望對獨立數(shù)據(jù)的結(jié)果對具有某種混合條件的平穩(wěn)序列依然成立.混合條件和窗的大小是有關(guān)系的.這點的嚴格敘述由在S.6.2中的條件1(iv)給出.下面屬于Masry和Fan(1997)的定理的證明將在§定理6.3在§6.

50、6.2的條件1下，如果h=O(T1/(2p®)，且m(p1()在點x處是連續(xù)的，則當T>:時，D>N0,；2(x)SSS/f(x)，其中5(x)=(m(x),|山m(p)(x)/p!)T，S*是(p1)(p1)矩陣，它的第(i,j)vij-2二tij，K2(t)dt,cp是(p1)維向量，其第i個元素為Jp2_i.-cd注意，由等價核的定義易見和因此，定理6.1的直接推論是導(dǎo)數(shù)估計mv(x)是漸近正態(tài)的：dI(v!)%2(x)JK；2(t)dt.亠Ng卜元素是(6.30)當v=0時，(6.30)給出m(x)本身的漸近正態(tài)性.局部多項式估計的漸近偏倚和漸近方差被自然地定義為

51、AB(x)=tp*K；(t)dtv!m(x)hp4，(p+1)!22*2(v!)(x)(仏(t)dtAV(x)=存十一.Thf(x)(pi)(6.31)(6.32)f(x)j對給定的權(quán)函數(shù)w，理想的帶寬h應(yīng)極小化這就得到漸近最優(yōu)帶寬!Jb2(x)w(x)/f(x)dxhopt=Cv,p(K)LJm"pM(x)2w(x)dx1/(2p-3)|T-J/(2p3)*?(6.33)1/(2p3)其中Cv,p(K)二(p+1)!2(2v+1)(K：2(t)dt2(p+1-v)JtpS；2(t)dt2_然而，由于這種理想帶寬依賴于未知函數(shù)，故它不是直接可用的.我們將在§6.3.5中提出

52、方法來估計它.正如在上一節(jié)所敘述的那樣，當p-v是奇數(shù)時，局部多項式擬合自動地適應(yīng)邊界區(qū)域.為了說明這一點，我們沿用Gasser和Muller(1979)的公式表示.假定Xt有有界支撐，記為0,1.則當核K有有界支撐0,1時，x=ch(0：1)是右邊界點.我們現(xiàn)在考慮mv(x)在邊界點x=ch處的行為.為此，令4j,c=JjK(u)du,vj,c=fjjK2(u)du.在定義S,S*和cp中，我們用和,c,vj,c分別代替Jj和vj，這就得到了Sc,Sc和cp,c.類似地，在邊歡迎共閱界定義等價核為則我們有下列結(jié)果，它的證明非常類似于定理6.3的證明.定理6.4假定§6.6.2中條件

53、1成立，且f(0)0.如果h=O(T1/(2p")，m(p'1)和二2f在點0處是右連續(xù)的，則當T>:，D21*1>N0,匚(0)ScSeSc1/f(0)，其中'o(O)=(m(O),|H，m(p)(O)/p!)T.作為定理6.4的推論，在邊界點x=ch處，我們有如下漸近偏倚和方差:和(v!)2<t2(o+)jK；c(t)dtAV(x)二-CTh2v41f(0+)Ruppert將它們與(6.31)和(6.32)相比較.注意，當K是對稱的且p-v是偶數(shù)時，可以證明(和Wand1994)(6.31)中的系數(shù)是零.在此，偏倚在內(nèi)點比在邊界點有較小的階.這就

54、是所謂的邊界效應(yīng).當p-v是奇數(shù)時，偏倚在內(nèi)點和邊界點具有相同的階.實際上，它們在c1點處甚至是連續(xù)的，該點是內(nèi)點和邊界點之間的界.因此，當p-v是奇數(shù)時，局部多項式擬合并沒有產(chǎn)生額外的邊界偏倚.假定p-v奇數(shù)，且K是對稱的.可以證明，對階p-1和階p的局部多項式擬合有相同的漸近方差(參閱Fan和Gijbels，1996的§.3).但后者有更多的參數(shù)以減少建模偏倚，特別是在邊界區(qū)域.這就是我們推薦適用奇數(shù)階擬合的理論背景.這真是一個奇妙的世界！下面引理對導(dǎo)出局部多項式估計是非常有用的.它是Mack和Silverman(1982)的結(jié)果的推廣.引理6.1令(Xi"),(XYt

55、)是平穩(wěn)序列，滿足混合條件|(l)Fcl，其中c0和一：512.進一步假定對某個s2和區(qū)間a,b，有E|Y|s且supf|y|sf(x,y)dyv30，X哥a,b'其中f表示(X,Y)的聯(lián)保密度.此外，我們假定§6.6.2中條件1(ii)和(iii)成立.令K為具有界支撐的有界函數(shù)，滿足Lipschitz條件.則倘若h>0，且對某個：.0,丁丄乂卄:和T(P*5)(s丄審申2舟/4人申2二/40我們有tsup|T八Kh(Xt-x)Y-EKh(Xt-x)Y|=OpTh/log(T)/2.X電a,bt=1注意，由于才仏丄巾:，當混合系數(shù)指數(shù)衰減，則引理6.1的最后一個條件自

56、動成立.一般地，當相當大時，上述引理中的最后一個條件成立.我們現(xiàn)在敘述和證明局部多項式估計結(jié)果的一致收斂性.定理6.5假定引理6.1的條件成立，設(shè)計密度f在a,b上是一致連續(xù)的，且infxamf(x)0.則=0Th/log(1W卅.在定理6.5中取第(v1)元素，我們有=0pTiiv4i/logT)/2特別地，局部多項式估計有如下的一致收斂性：sup|m(x)-m(x)|=0Php1-Th/log(1/h)，/2.xa,b6.3.4 標準誤差和估計偏度局部多項式估計的標準誤差對構(gòu)造置信區(qū)間是有用的.為了導(dǎo)出它們，我們暫時假定(Xi,Y)歡迎共閱是來自某總體的獨立樣本則由(6.23)有Var：|

57、X)=(XTWX尸XTWVar(y|X)WX(XTWX)J.注意，Var(Y|XJ'(Xi).由于所有運算都是對Xx。局部地進行，故而上述條件方差幾乎是常數(shù)二2(Xo).使用這種局部同方差性，我們有222Var(y|X)=diag(<i(XJ,川衛(wèi)(X.)"(x°)ln.當然，這個近似僅對那些XiXo成立，但是，那些點實際是用于計算方差的數(shù)據(jù)點.由此，我們有Var：|X)：-2(x0)(XTWX)JXTW2X(XTWX尸.2*2條件方差(Xo)可以用一個先導(dǎo)帶寬h和平方殘差(Xt,；t)通過平滑來估計，其中:t二Y-m(Xt).這就得到協(xié)方差矩陣的一個估計(6.34)1(x0c-2(x)(XTWX)XTW2X(XTWX)'這是在Fan和Gijbels(1995)中提出的估計條件方差的