粒子群_神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報(bào)建模研究

1、第24卷 第6期 熱 帶 氣 象 學(xué) 報(bào) Vol.24, No.6 2008年12月 JOURNAL OF TROPICAL METEOROLOGY Dec., 2008文章編號(hào)：1004-4965（2008）06-0679-08粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報(bào)建模研究吳建生1， 劉麗萍2， 金龍3（1. 柳州師范高等專科學(xué)校數(shù)學(xué)與計(jì)算機(jī)科學(xué)系，廣西 柳州 545004；2. 畢節(jié)地區(qū)氣象局，貴州 畢節(jié) 551700；3. 廣西區(qū)氣象減災(zāi)研究所，廣西 南寧 530022）摘 要：針對(duì)BP神經(jīng)網(wǎng)絡(luò)在實(shí)際氣象預(yù)報(bào)應(yīng)用中，網(wǎng)絡(luò)結(jié)構(gòu)難以確定以及網(wǎng)絡(luò)極易陷入局部解問(wèn)題，提出一種基于神經(jīng)網(wǎng)絡(luò)的粒子群集

2、成學(xué)習(xí)算法的氣象預(yù)報(bào)模型，以BP算法為基本框架，在學(xué)習(xí)過(guò)程中引入粒子群算法，優(yōu)化設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)，獲得一組合適網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)，再進(jìn)行新一輪BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，獲得一批獨(dú)立的神經(jīng)網(wǎng)絡(luò)個(gè)體，以“誤差絕對(duì)值和最小”為最優(yōu)準(zhǔn)則，采用線性規(guī)劃方法計(jì)算各集成個(gè)體的權(quán)系數(shù)，生成神經(jīng)網(wǎng)絡(luò)的輸出結(jié)論，以此建立短期氣候預(yù)測(cè)模型。以廣西的月降水量進(jìn)行實(shí)例分析，計(jì)算結(jié)果表明該方法學(xué)習(xí)能力強(qiáng)、泛化性能高，能夠有效提高系統(tǒng)預(yù)測(cè)的準(zhǔn)確率。 關(guān) 鍵 詞：神經(jīng)網(wǎng)絡(luò)集成；粒子群優(yōu)化； 最優(yōu)組合 中圖分類號(hào)：P456.7 文獻(xiàn)標(biāo)識(shí)碼：A1 引 言旱澇災(zāi)害的氣候預(yù)測(cè)問(wèn)題是減災(zāi)防災(zāi)的重要研究課題，隨著我國(guó)國(guó)民經(jīng)濟(jì)

3、的高速發(fā)展，科技水平的日益提高，人們對(duì)災(zāi)害性氣候的預(yù)測(cè)精度要求越來(lái)越高。在大氣科學(xué)研究中，雖然氣候動(dòng)力學(xué)方法有了很大進(jìn)展，但是天氣系統(tǒng)的動(dòng)力學(xué)模型往往難以客觀描述和構(gòu)造，由于天氣系統(tǒng)受眾多因素的相互作用和影響，其變化有著很強(qiáng)的無(wú)序性，具有顯著的非線性、時(shí)變性特征，利用傳統(tǒng)的統(tǒng)計(jì)方法很難揭示其變化規(guī)律11990年，Hansen等7開(kāi)創(chuàng)性地提出神經(jīng)網(wǎng)絡(luò)集成方法，通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)模型并將其結(jié)果合成，其目的是利用多個(gè)模型間的差異來(lái)提高系統(tǒng)的泛化能力，即使是缺乏神經(jīng)計(jì)算經(jīng)驗(yàn)的普通工程技術(shù)人員也可以從中受益，被視為一種非常有效的工程化神經(jīng)計(jì)算方法8。目前神經(jīng)網(wǎng)絡(luò)集成技術(shù)已經(jīng)被成功地應(yīng)用到很多領(lǐng)域中，如

4、圖像處理、醫(yī)學(xué)等領(lǐng)域913。神經(jīng)網(wǎng)路的集成主要集中在兩個(gè)方面，（1） 集成中神經(jīng)網(wǎng)絡(luò)個(gè)體的生成，（2） 多個(gè)神經(jīng)網(wǎng)絡(luò)輸出結(jié)論的生成。個(gè)體的生成以Boosting和Bagging技術(shù)為主14152。而迅速發(fā)展起來(lái)的神經(jīng)網(wǎng)絡(luò)（Neutral，輸出結(jié)論的生成有絕對(duì)多數(shù)投票法、相對(duì)多Network，簡(jiǎn)稱ANN）方法大大優(yōu)于統(tǒng)計(jì)方法，由于它具有很強(qiáng)的處理非線性問(wèn)題的能力，比一般的線性統(tǒng)計(jì)預(yù)測(cè)方法具有更好的預(yù)測(cè)能力34，它為大氣科學(xué)和氣候分析提供了新技術(shù)、新方法。但由于神經(jīng)網(wǎng)絡(luò)方法缺乏嚴(yán)密理論體系指導(dǎo)，其應(yīng)用效果完全取決于使用者的經(jīng)驗(yàn)。在氣象預(yù)報(bào)應(yīng)用中，由于對(duì)影響天氣系統(tǒng)的各種因素?zé)o法客觀確定，研究人員往

5、往要經(jīng)過(guò)大量費(fèi)力耗時(shí)的實(shí)驗(yàn)摸索或者依據(jù)經(jīng)驗(yàn)，確定合適的神經(jīng)網(wǎng)絡(luò)輸入變量、網(wǎng)絡(luò)模型以及各種參數(shù)的設(shè)置，這成為神經(jīng)網(wǎng)絡(luò)方法在氣象預(yù)報(bào)應(yīng)用中的重要技術(shù)障礙56。數(shù)投票法16，線性組合集成17，選擇性集成等18。粒子群優(yōu)化（Particle Swarm Optimization，PSO）是一種基于群體智能方法的進(jìn)化計(jì)算技術(shù)，它是通過(guò)個(gè)體之間的互動(dòng)協(xié)作來(lái)搜尋全局最優(yōu)解，其概念簡(jiǎn)單、易于實(shí)現(xiàn)，既適合科學(xué)研究，又適合工程應(yīng)用19。利用粒子群優(yōu)化算法提高神經(jīng)網(wǎng)絡(luò)的泛化性能是一個(gè)十分活躍的研究領(lǐng)域2021，本文利用粒子群算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)，以優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)作為新的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接權(quán)

6、，再進(jìn)行新一輪的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，生成神經(jīng)網(wǎng)絡(luò)集成個(gè)體，以“誤差絕對(duì)值和最小”為最優(yōu)準(zhǔn)則進(jìn)行集成，收稿日期：2007-06-04；修訂日期：2007-11-26基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（40675023）；國(guó)家科技部社會(huì)公益性研究專項(xiàng)（2004DIB3J122）共同資助通訊作者：吳建生，男，陜西咸陽(yáng)人，碩士，副教授，主要從事神經(jīng)網(wǎng)絡(luò)應(yīng)用及智能優(yōu)化算法的研究。E-mail：wjsh2002168680 熱 帶 氣 象 學(xué) 報(bào) 24卷用線性規(guī)劃方法確定集成個(gè)體的權(quán)重系數(shù)，生成的神經(jīng)網(wǎng)絡(luò)集成的輸出結(jié)論，以此建立氣候預(yù)測(cè)模型。則為0；權(quán)重系數(shù)矩陣為浮點(diǎn)數(shù)矩陣，取11上的均勻分布隨機(jī)數(shù)，它是控制網(wǎng)

7、絡(luò)的權(quán)值和閾值的大小。（2） 輸入訓(xùn)練樣本，依據(jù)式(1)計(jì)算每個(gè)粒子的適應(yīng)度，并且初始化個(gè)體經(jīng)歷最好位置Pbest(t)，以及群體經(jīng)歷的最好位置Pgbest(t)。（3） 對(duì)于每個(gè)個(gè)體，將其適應(yīng)度與所經(jīng)歷的最好位置的適應(yīng)度比較，若較好，則將其作為當(dāng)前最好位置；并將其適應(yīng)度與全局最好位置的適應(yīng)度比較，若較好，則將其作為全局的最好位置。（4） 粒子的速度進(jìn)化方程為vij(t+1)=vij(t)+c1r1Pbest(t)xij(t)+c2r2Pgbest(t)xij(t)2 粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法BP算法是最普遍的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，由于基于梯度下降的BP算法依賴于初始權(quán)值的選擇22，加之實(shí)際問(wèn)

8、題往往是極其復(fù)雜的多維曲面，所以BP算法收斂速度慢而且極易陷入局部最優(yōu)；另外在神經(jīng)網(wǎng)絡(luò)應(yīng)用中，網(wǎng)絡(luò)結(jié)構(gòu)的確定基本上依賴經(jīng)驗(yàn)，主要是采用遞增或遞減的試探方法來(lái)確定的網(wǎng)絡(luò)隱節(jié)點(diǎn)23，這些缺陷使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本和檢測(cè)樣本的輸出具有不一致性和不可預(yù)測(cè)性，極大地限制了神經(jīng)網(wǎng)絡(luò)在實(shí)際氣象預(yù)報(bào)中的應(yīng)用。而粒子群算法的速度-位移搜索模型操作簡(jiǎn)單，計(jì)算復(fù)雜度低，并通過(guò)慣性權(quán)重協(xié)調(diào)全局搜索和局部搜索，能以較大概率保證最優(yōu)解，克服BP算法局部最優(yōu)的缺陷，又可以提高局部區(qū)域的收斂速度，避免局部搜索過(guò)程中的收斂停滯現(xiàn)象。粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法的基本思想是：以BP算法為主框架，利用粒子群算法全局性搜索的特點(diǎn)，求

9、解一個(gè)基于神經(jīng)網(wǎng)絡(luò)方法的二次非線性規(guī)劃方程，即尋找合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)初始連接權(quán)，使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)被控制在一個(gè)有效的范圍內(nèi)，同時(shí)也使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練對(duì)初始連接權(quán)不再異常敏感，然后再進(jìn)行新一輪BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練生成神經(jīng)網(wǎng)絡(luò)的集成個(gè)體。粒子群-神經(jīng)網(wǎng)絡(luò)的優(yōu)化問(wèn)題數(shù)學(xué)描述如下1N1nk(t)2<1=Min(,)yk(t)yEwvN1k=1t=1pmk(t)=vjkfxwij+j+tyj=1i=11f(x)=1+exm×pp×npns.twR,vR,R,R(3)(t)=maxmaxminitermaxiter (4)其中max、min分別是慣性權(quán)重的最大值和

10、最小值，iter、itermax分別是當(dāng)前迭代次數(shù)和最大迭代次數(shù)。（5） 為保證連接結(jié)構(gòu)矩陣進(jìn)化后仍取0或1，依據(jù)文獻(xiàn)24，連接結(jié)構(gòu)位置進(jìn)化方程取為0xij(t+1)=1rr<11+expvij(t+1)11+expvij(t+1)(5)其中r為0,1均勻分布的隨機(jī)數(shù)。連接權(quán)位置進(jìn)化方程為xij(t+1)=xij(t)+vij(t+1)(6)（6） 反復(fù)進(jìn)行（2）（5）步，直到適應(yīng)度滿足要求或達(dá)到總的進(jìn)化代數(shù)(總的進(jìn)化代數(shù)K)。（7） 把進(jìn)化后的最后一代L個(gè)體全部解碼，得到L組神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和網(wǎng)絡(luò)連接權(quán)，以其作為新的神經(jīng)網(wǎng)絡(luò)初始連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)，再次利用訓(xùn)練樣(1)本進(jìn)入新的BP神經(jīng)網(wǎng)絡(luò)

11、訓(xùn)練，以此生成神經(jīng)網(wǎng)絡(luò)的集成個(gè)體。k(t)為網(wǎng)絡(luò)的實(shí)際輸出，yk(t)為其中x為訓(xùn)練樣本，y3 集成結(jié)論生成設(shè)N個(gè)訓(xùn)練樣本的實(shí)際輸出為yt,t=1,2,LL,N，神經(jīng)網(wǎng)絡(luò)集成個(gè)體是由L個(gè)訓(xùn)練網(wǎng)絡(luò)的期望輸出。利用粒子群優(yōu)化算法求解式(1)的二次非線性規(guī)劃問(wèn)題。定義適度函數(shù)為F(w,v,)=11+minE(w,v,)(2)后的神經(jīng)組成，各個(gè)神經(jīng)網(wǎng)絡(luò)的輸出為t(i),t=1,2,LL,N,i=1,2,LL,L，每個(gè)神經(jīng)網(wǎng)絡(luò)輸y具體實(shí)現(xiàn)步驟如下：（1） 群體的位置和速度初始化，隨機(jī)生成L個(gè)個(gè)體，每個(gè)個(gè)體由兩部分組成，第一部分是群體的位置矩陣，第二部分對(duì)應(yīng)粒子的速度矩陣。群體位置矩陣包括連接結(jié)構(gòu)矩陣和權(quán)

12、重系數(shù)矩陣，結(jié)構(gòu)矩陣為二進(jìn)制變量矩陣，對(duì)應(yīng)的連接權(quán)存在則該變量為1，否出被賦予權(quán)重wi，則神經(jīng)的集成輸出為%t=wiyt(i)，wi滿足約束條件wi0，且wi=1。yi=1i=1LL記et為第t個(gè)樣本的誤差，即6期 吳建生等：粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報(bào)建模研究 681t=ytwyet=yty (7) it(i)=wiytyt(i)i=1i=1LL列的外推預(yù)測(cè)模型，輸入矩陣的質(zhì)量一定程度上影響神經(jīng)網(wǎng)絡(luò)泛化能力，但是神經(jīng)網(wǎng)絡(luò)本身并不提供如何構(gòu)造神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)矩陣的方法。而如何建立合理的神經(jīng)網(wǎng)絡(luò)輸入矩陣是神經(jīng)網(wǎng)絡(luò)建模的另一項(xiàng)關(guān)鍵技術(shù)問(wèn)題，是保障預(yù)測(cè)模型具有良好泛化能力和進(jìn)行實(shí)際應(yīng)用的重要條件

13、。本文采用奇異譜分析（Singular Spectrum Analysis，SSA）方法26對(duì)原始降水時(shí)間序列重構(gòu)，并用均生函數(shù)（Mean Generating Function，MGF）方法27對(duì)重構(gòu)序列構(gòu)造均生函數(shù)延拓矩陣，以其作為自變量，原始降水序列作為因變量，再利用偏最小二乘（Partial Least-Squares Regression，PLS）方法28進(jìn)行處理，提取對(duì)因變量解釋最強(qiáng)的綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入因子，原始時(shí)間序列作為輸出因子。所有訓(xùn)練樣本的誤差記為Q=et，以其最小t=1N求的非負(fù)權(quán)重系數(shù)wi，即求下式的解MinQ=ett=1Ls.twi=1,wi0i=1N(8)模

14、型(8)的目標(biāo)函數(shù)中含有絕對(duì)值，直接求解模型不方便，但可將它轉(zhuǎn)化為線性規(guī)劃問(wèn)題25進(jìn)行求解，設(shè)|e|+et|e|et，vt=t (9) ut=t22則顯然有|et|=ut+vt，et=utvt， ut0 , vt0，Q=(ut+vt)t=1N4.1 奇異普分析（SSA）奇異普分析是Karhumen-Loeve分解理論的發(fā)展與應(yīng)用，最早應(yīng)用于數(shù)字信號(hào)處理，其后被推廣到海洋學(xué)、非線性動(dòng)力學(xué)領(lǐng)域，近年來(lái)又開(kāi)始應(yīng)用于氣候診斷和預(yù)測(cè)中。它可以從包含噪聲數(shù)據(jù)序列中提取盡可能多的可靠信息，并且有效利用周期分量重建序列預(yù)測(cè)模型。它的好處是能夠提煉出主要成分，濾去非周期性的異?，F(xiàn)象。SSA分析的對(duì)象是中心化的一

15、維時(shí)間序列，記為x(t),t=1,2,LL,N，其M階延遲得到矩陣Xx1x2X=MMxMX10X20MMXM0x2x3MMxM+1X11X21MMLLxNM+1LLxNM+2LLMLLMLLxNLLLLLLLLX1,NMX2,NMMMXM,NM因而可將模型(8)轉(zhuǎn)化為以下的線性規(guī)劃問(wèn)題N=MinQ(ut+vt)t=1s.t.w1+w2+LL+wm=1e1(u1v1)=0(10) e2(u2v2)=0LLen(unvn)=0wi0 , ut0 , vt0 (i=1,LL,L;t=1,LL,N)進(jìn)一步地，把式(9)代入式(8)得到N=MinQ(ut+vt)t=1s.tw1+w2+LL+wm=1Lw

16、yy(i)u+v=01111ii=1Lwiy2y2(i)u2+v2=0 (11)1i=LLLwyy(i)u+v=0innnni=1wi0,ut0,vt0.(i=1,LL,L;t=1,LL,N)(12)XM1LLX的第i個(gè)狀態(tài)向量為線性規(guī)劃問(wèn)題(11)有L+2N個(gè)未知量和N+1個(gè)約束條件，本文利用單純形法進(jìn)行線性問(wèn)題(8)的最優(yōu)解求解，以其作為各集成神經(jīng)網(wǎng)絡(luò)個(gè)體的權(quán)重。xi+1X1ixXi+22iXi=MM (i=0,1,LL,NM) (13)MMxXi+MMi共NM+1個(gè)狀態(tài)，X稱相空間中的軌跡矩陣，矩陣X中的元素與原序列對(duì)應(yīng)關(guān)系為Xji=xj+i (14)X的協(xié)方差矩陣記為T(mén)x，它是一個(gè)非負(fù)

17、的對(duì)稱矩陣，4 建模前的數(shù)據(jù)預(yù)處理把每月降水值看作一個(gè)時(shí)間序列，建立時(shí)間序其特征根也是非負(fù)的。將這些特征根按降序排列682 熱 帶 氣 象 學(xué) 報(bào) 24卷 e1e2LLeM0。矩陣Tx的特征根ek對(duì)應(yīng)的特征三角矩陣x1(1)x2(1)LxQ(1)x2(2)LxQ(2) (20) X=OMxQ()Q向量Ek稱為時(shí)間經(jīng)驗(yàn)正交函數(shù)(time empirical orthogonal function，T-EOF)，第k個(gè)時(shí)間主成分(time principal component，T-PC)定義為原始序列xi在第k個(gè)時(shí)間經(jīng)驗(yàn)正交函數(shù)上正交投影系數(shù)M再對(duì)其作周期性延拓，得到外延序列fl(t)=xltl

18、INTt1l(t=1,2,LL,N+P) (21)a=xi+jE,0iNM;1kM (15)kikjj=1任意T-EOF的M個(gè)分量構(gòu)成一個(gè)時(shí)間序列，反映原始序列中的時(shí)間演變型，時(shí)間主成分aik是Ek表示的時(shí)間型在原始序列的xi+1,xi+2,LL,xi+M時(shí)段的權(quán)重。SSA的重要功能由重建成分（ReconstructionTP為預(yù)報(bào)步數(shù)，從而得到外延均生函數(shù)序列矩陣。4.3 偏最小二乘回歸方法（PLS）1983年Wold S和Albano C等首次提出了偏最小二乘回歸，近幾十年來(lái)，它在理論方法和應(yīng)用方面都得到迅速發(fā)展，許多統(tǒng)計(jì)學(xué)家開(kāi)始致力于其理論研究，它主要是針對(duì)多因變量對(duì)多自變量的回歸建模方

19、法，在當(dāng)因變量只有一個(gè)時(shí)，稱其為PLS1回歸。在自變量之間存在較高相關(guān)性時(shí)，特別是樣本個(gè)數(shù)較少，甚至樣本個(gè)數(shù)小于自變量個(gè)數(shù)時(shí)，該方法已經(jīng)被證明是一種非常有效的方法。偏最小二乘回歸方法與主成分分析回歸建模方法的基本思路相同，主要區(qū)別在信息綜合與篩選過(guò)程中，它不但考慮自變量的降維與信息綜合，而且要考慮新的信息對(duì)因變量具有最佳的解釋能力?？梢哉f(shuō)偏最小二乘回歸方法集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體，將數(shù)據(jù)分析方法和對(duì)模型認(rèn)識(shí)分析方法有機(jī)結(jié)合。以PLS1過(guò)程說(shuō)明偏最小二乘的具體計(jì)算步驟28設(shè)自變量矩陣為x11x21=MMxn1x12x22MMxn2LLLLLLLLLLx1mx2

20、mM (22) MxnmComponents，RC）實(shí)現(xiàn)，用于在分析和預(yù)報(bào)中提取感興趣的信息，過(guò)濾噪聲，它是利用T-EOF和T-PC重建一個(gè)N長(zhǎng)度為的序列。由第k個(gè)T-EOF和T-PC重建xi的成分記為xik，即1MkkMiNM+1aijEjMj=11ikkkxt=aijEj (16) 1iM1ij=1M1aikjEkNM+2iNjNi1+=+jiNMRC具有疊加性，所有RC之和等于原始序列xt=xk=1Mkt(t=1,2,LL,N) (17)在實(shí)際應(yīng)用中，只需要用前m個(gè)主成分即可重建原序列，降低噪聲的干擾，達(dá)到提煉主要趨勢(shì)的目的，即有%t=xtkxk=1m(m<M,t=1,2,LL,N

21、) (18)X0=(xij)n×m4.2 均生函數(shù)方法（MGF）均生函數(shù)方法是將一維時(shí)間序列觀測(cè)值按一定的時(shí)間間隔計(jì)算均值而得到的均值生成函數(shù)，是曹鴻興等1990年代初提出的一種預(yù)測(cè)方法，它拓廣了數(shù)理統(tǒng)計(jì)中的算術(shù)平均值的概念，建立具有多步預(yù)測(cè)能力的數(shù)學(xué)模型，能從數(shù)據(jù)中提取“自然”周期，因此能很好地與原序列擬合。設(shè)經(jīng)過(guò)標(biāo)準(zhǔn)化的時(shí)間序列xt,t=1,2,LL,N，因變量矩陣為Y0=(yi1)n×1=*,Y0*。 標(biāo)準(zhǔn)化數(shù)據(jù)X0y11y21M (23) Myn1（1） 標(biāo)準(zhǔn)化自變量矩陣和因變量矩陣，得到（2） 計(jì)算主軸。MGF計(jì)算方法如下1Nl1xl(i)=x(i+jl)nlj=

22、0其中Nl=INT(i=1,2,LL,l),(1lQ) (19)NN，Q=INT，l為均生函數(shù)的周期，2lXi1Yi1wi=XYi1i1(i=1,2,LL,T) (24)Q為最大周期的長(zhǎng)度，INT表示取整，生成如下的上相應(yīng)地得到第i個(gè)綜合變量Fi=Xi1wi，F(xiàn)i和Xi1進(jìn)6期 吳建生等：粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報(bào)建模研究 683行普通最小二乘回歸估計(jì)，回歸系數(shù)pi=并計(jì)算殘差矩陣X=X計(jì)算，否則停止。ii1Xi1titi，Y=0.026F1+0.273F2+0.362F3+0.427F4+0.610F5+0.512F6+ (25) 0.189F7+0.167F8368.356Fp。

23、ii進(jìn)一步以8個(gè)綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入，利用粒子群-神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法生成一組神經(jīng)網(wǎng)絡(luò)集成個(gè)體，分別采用簡(jiǎn)單加權(quán)平均集成（Simple Average*（3） 驗(yàn)交叉有效性。若Qi20.097 5，繼續(xù)（4） 提取T個(gè)成分F1,F2,LL,FT，建立X和*L,FT均是X0Y0*在其上的回歸方程。由于F的1,F2,LEnsemble，SAE）和最優(yōu)組合的集成預(yù)報(bào)模型（記為PSO-BP），以其分別對(duì)39個(gè)樣本擬合和對(duì)10個(gè)樣本預(yù)報(bào)，比較結(jié)果用來(lái)檢驗(yàn)預(yù)測(cè)模型的效果。粒子群進(jìn)化神經(jīng)網(wǎng)絡(luò)中的參數(shù)設(shè)置為：進(jìn)化代數(shù)100，群體個(gè)數(shù)20，慣性權(quán)重最小值0.1，慣性權(quán)重最大值0.9，再次的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，

24、每個(gè)都有8個(gè)輸入神經(jīng)元，1個(gè)輸出神經(jīng)元，網(wǎng)絡(luò)的初始連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)依據(jù)粒子群優(yōu)化后的結(jié)果來(lái)確定。訓(xùn)練參數(shù)設(shè)置：訓(xùn)練次數(shù)1 000，學(xué)習(xí)因子為0.9，動(dòng)量因子為0.7，總體誤差為0.001。為了定量比較二種模型的效果，引入以下4種誤差。平均相對(duì)誤差（Average Relative Errors，ARE）MAPE=i1nyiy(26) ni=1yi線性組合，故最終可改寫(xiě)成Y0關(guān)于X0的回歸方程。5 應(yīng)用實(shí)例及結(jié)果分析以廣西全區(qū)7月（主汛期）降水量作為預(yù)測(cè)對(duì)象進(jìn)行氣候預(yù)報(bào)建模研究，樣本長(zhǎng)度為19572005年共49個(gè)，其中用19571995年共39個(gè)作為訓(xùn)練樣本，留取19962005年共10個(gè)作為

25、檢測(cè)樣本，檢驗(yàn)預(yù)測(cè)模型實(shí)用效果。5.1 基于SSA-MGF的數(shù)據(jù)預(yù)處理利用SSA-MGF方法對(duì)49個(gè)原始降水序列重構(gòu)，選取延遲階數(shù)M=40，得到延遲矩陣X40×10，利用式（12）（18）選取方差積累貢獻(xiàn)率80%的值，得到重構(gòu)序列。重構(gòu)序列和原始序列的相關(guān)系數(shù)達(dá)到均方根誤差(Root Mean Square Error，RMSE)MSE=(27) 1ni (28) yiyni=10.895 6，重構(gòu)結(jié)果如圖1所示。平均絕對(duì)誤差(Mean Absolute Error，MAE)MAE=Pearson相關(guān)系數(shù)(Related Coefficient，RC)RC (29)i分別代表實(shí)際值和

26、擬合值。 其中yi、y5.2 結(jié)果對(duì)比分析圖1 原始數(shù)據(jù)和重構(gòu)數(shù)據(jù)圖2為PSO訓(xùn)練階段適應(yīng)度隨進(jìn)化次數(shù)的變化曲線，從圖2可以看出適應(yīng)度的最大值、平均值、最小值隨訓(xùn)練的次數(shù)增加將趨于穩(wěn)定，使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)依據(jù)訓(xùn)練樣本被控制在有效的范圍內(nèi)。圖3為三層BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)未經(jīng)PSO訓(xùn)練，網(wǎng)絡(luò)結(jié)構(gòu)為8-8-1，連接權(quán)為區(qū)間1,1均勻分布隨機(jī)數(shù)，訓(xùn)練誤差收斂曲線；圖4是網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)經(jīng)過(guò)PSO訓(xùn)練后，對(duì)同樣網(wǎng)絡(luò)結(jié)構(gòu)三層BP神經(jīng)網(wǎng)絡(luò)再次訓(xùn)練的誤差收斂曲線。從圖3可以看出，BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的前期，訓(xùn)練誤差反復(fù)震蕩調(diào)節(jié)，直到1 000次訓(xùn)練結(jié)束后也沒(méi)有達(dá)到目標(biāo)誤差。從圖4可

27、以看出，經(jīng)過(guò)PSO訓(xùn)由圖1可以看出，通過(guò)數(shù)據(jù)重構(gòu)有效提取了原始序列中的主要趨勢(shì)成分和振蕩周期成分，并且降低了原始序列中的噪聲。利用式（19）（20）生成均生函數(shù)矩陣X39×20，再依照式（21）對(duì)其外延10步，生原始降水序列看作因變量Y49×1，成自變量矩陣X49×20，將自變量利用偏最小二乘回歸處理，提取對(duì)因變量影響強(qiáng)的成分，在交叉檢驗(yàn)有效時(shí)，共提取到8個(gè)綜合變量F1,F2,LL,F8，建立偏最小二乘回歸模型（記為PLS）684 熱 帶 氣 象 學(xué) 報(bào) 24卷 練后，以優(yōu)化后的值作為新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和初始連接權(quán)，再次的神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)12次訓(xùn)練就達(dá)到目標(biāo)誤差，經(jīng)過(guò)P

28、SO優(yōu)化后的神經(jīng)網(wǎng)絡(luò)達(dá)到誤差目標(biāo)的迭代次數(shù)明顯降低，即收斂速度大大提高。對(duì)比PLS模型、SAE模型和PSO-BP模型對(duì)39個(gè)訓(xùn)練樣本的擬合效果，各種統(tǒng)計(jì)指標(biāo)結(jié)果見(jiàn)表1，擬合效果見(jiàn)圖 表1 三種模型擬和結(jié)果的統(tǒng)計(jì)評(píng)價(jià) 模型 ARE/ % RMSE MAE RC PLS 17.49 41.80 32.44 88.46 SAE 16.80 36.17 28.96 89.23 PSO-BP 15.9335.35 24.03 89.555。圖2 適應(yīng)度變化曲線圖5 三種預(yù)報(bào)模型的擬合效果這三種模型都是用SSA-MGF對(duì)原始降水量序列預(yù)處理得到的建模因子，再經(jīng)過(guò)PLS方法對(duì)建模因子的數(shù)據(jù)進(jìn)行分解和篩選，提

29、取對(duì)原始序列解釋性最強(qiáng)的綜合變量建立的預(yù)報(bào)模型，PLS模型是8個(gè)綜合變量F1,F2,LL,F8線性回歸模型，而SAE模型經(jīng)過(guò)是利用8個(gè)綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入變量，PSO訓(xùn)練，以訓(xùn)練后的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)作為新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)，再次進(jìn)行BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，把學(xué)習(xí)后的結(jié)果直接平均集成，PSO-BP模型則是對(duì)集成個(gè)體的權(quán)重，以“誤差絕對(duì)值和最小”為最優(yōu)準(zhǔn)圖3 BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線則，采用線性規(guī)劃方法計(jì)算集成個(gè)體的權(quán)系數(shù)，進(jìn)一步優(yōu)化輸出集成結(jié)論。從表1和圖5的結(jié)果可以看出，PSO-BP模型的四種指標(biāo)均好于PLS模型、SAE模型，從圖5也可以看出這三種模型在擬合時(shí)，把降水量的基本趨勢(shì)反映出來(lái)，

30、說(shuō)明它們具有對(duì)歷史樣本的學(xué)習(xí)能力，只是PSO-BP模型的擬合的精度較高。評(píng)價(jià)一個(gè)模型的優(yōu)劣看其擬合效果是一個(gè)方面，但更重要的是看其預(yù)測(cè)效果的優(yōu)劣，即模型的泛化能力。表2是兩種模型對(duì)廣西全區(qū)7月份1995 2005年10個(gè)降水量的預(yù)報(bào)結(jié)果。從表2的結(jié)果可以看出，PLS模型的絕對(duì)誤差為69.27、相對(duì)誤差為28.40%；SAE模型的絕對(duì)誤差為46.62、相對(duì)誤差為19.99%；圖4 PSO訓(xùn)練后，BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線 而PSO-BP模型的絕對(duì)誤差為27.36、相對(duì)誤差為6期 吳建生等：粒子群-神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)算法氣象預(yù)報(bào)建模研究 68511.31%。由此可以看出，在建模樣本相同、預(yù)報(bào)因子相同的

31、條件下，PSO-BP最優(yōu)集成模型對(duì)10個(gè)樣本的預(yù)報(bào)精度明顯優(yōu)于PLS模型、SAE模型。同時(shí)從表2的結(jié)果可以看出，在廣西全區(qū)7月份降水量偏多的年份預(yù)測(cè)中，如1996、2001、2002、2004年，PLS模型、SAE模型。同時(shí)從表2也可以看出，在降水量和歷年持平的年份預(yù)測(cè)中，如1997、1998、1999、2000年，PSO-BP模型預(yù)測(cè)精度要遠(yuǎn)優(yōu)于PLS模型和SAE模型。我們也對(duì)廣西全區(qū)的8、9月的降雨量分別利用上述方法建模分析，結(jié)果同樣表明，PSO-BP模型預(yù)測(cè)精度均要優(yōu)于PLS模型、SAE模型，而且廣西全區(qū)7月份降水量偏少的年份中預(yù)測(cè)中，如PSO-BP模型的旱澇年份的降水量的預(yù)測(cè)中，精度要

32、優(yōu)于PLS模型和SAE模型，而且預(yù)測(cè)結(jié)果穩(wěn)定。2003、2005年，PSO-BP模型預(yù)測(cè)精度均要略優(yōu)于表2 兩種模型對(duì)10個(gè)檢測(cè)樣本預(yù)報(bào)結(jié)果PLS模型 SAE 模型 PSO-BP 模型年份實(shí)際值誤差 誤差/ % 誤差 誤差/ %誤差 誤差/ %1996 317.09 243.50 73.59 23.21 226.08 91.01 28.70 245.43 71.66 22.60 1997 287.4 330.15 42.75 14.88 301.74 14.34 4.99 323.76 36.36 12.65 1998 274.38 209.16 65.22 23.77 229.63 44.7

33、5 16.31 275.87 1.49 0.54 1999 296.43 259.01 37.42 12.62 277.17 19.26 6.50 299.07 2.64 0.89 2000 148.6 69.973 78.63 52.91 100.72 47.88 32.22 173.06 24.46 16.46 2001 339.69 256.35 83.34 24.53 291.43 48.26 14.21 377.08 37.39 11.00 2002 312.83 216.47 96.36 30.80 285.17 27.66 8.84 278.84 33.99 10.87 2003

34、 121.68 95.745 25.94 21.31 91.20 30.48 25.05 149.31 27.63 22.71 2004 336.13 197.04 139.09 41.38 237.61 98.52 29.31 306.92 29.21 8.69 2005 130.55 80.19 50.36 38.58 86.467 44.08 33.77 139.28 8.73 6.69平均值 69.27 28.40 46.62 19.99 27.36 11.31預(yù)測(cè)值絕對(duì)相對(duì)預(yù)測(cè)值絕對(duì)相對(duì)預(yù)測(cè)值絕對(duì)相對(duì)6 結(jié) 語(yǔ)降水系統(tǒng)是氣候系統(tǒng)中最為活躍、相互作用最為復(fù)雜的子系統(tǒng)之一，并且由于降水變

35、化受眾多因素的影響，預(yù)報(bào)十分困難。本文利用SSA-MGF方法對(duì)原始降水序列重構(gòu)并延拓，以延拓矩陣作為自變量，原序列作為因變量，再利用PLS方法提取對(duì)系統(tǒng)解釋最強(qiáng)的綜合變量作為神經(jīng)網(wǎng)絡(luò)的輸入因子，原始降水序列作為輸出因子，建立基于粒子群進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)集成預(yù)測(cè)模型，通過(guò)對(duì)廣西全區(qū)主汛期月降水量的實(shí)例計(jì)算對(duì)比得出以下結(jié)論。（1） 利用SSA-MGF 方法對(duì)原始數(shù)據(jù)降噪和重構(gòu)，并利用PLS處理，提取對(duì)系統(tǒng)解釋性最強(qiáng)的綜合變量，克服了變量之間的多重相關(guān)性，提高模型精度和可靠性；又對(duì)神經(jīng)網(wǎng)絡(luò)的輸入矩陣降維，使得網(wǎng)絡(luò)結(jié)構(gòu)規(guī)模變小，增強(qiáng)網(wǎng)絡(luò)的穩(wěn)定性。（2）采用粒子群優(yōu)化-神經(jīng)網(wǎng)絡(luò)集成的訓(xùn)練方法，以神經(jīng)網(wǎng)絡(luò)

36、學(xué)習(xí)算法為主框架，在學(xué)習(xí)過(guò)程中利用粒子群算法求解適宜的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)，再次利用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行計(jì)算，這樣做有利于基于梯度下降的指導(dǎo)學(xué)習(xí)算法提高局部搜索性能，也利于發(fā)揮粒子群算法全局搜索的特點(diǎn)，進(jìn)一步把訓(xùn)練后神經(jīng)網(wǎng)絡(luò)采用最優(yōu)組合集成來(lái)決定最終的預(yù)測(cè)輸出，極大提高系統(tǒng)的泛化能力，在建模樣本和預(yù)報(bào)因子相同的條件下，其的預(yù)報(bào)精度明顯優(yōu)于偏最小二乘回歸模型、簡(jiǎn)單加權(quán)平均集成模型。參 考 文 獻(xiàn)：1 胡江林，涂松柏，馮光柳. 基于人工神經(jīng)網(wǎng)絡(luò)的暴雨預(yù)報(bào)方法探討J. 熱帶氣象學(xué)報(bào)，2003, 19(4): 422-428.2 HSIEH W W. Nonlinear canonical correlati

37、on analysis of the tropical Pacific climate variability using Neural Network ApproachJ. Journal of Climate, 2001,14(12): 2 528-2 539.3 GRIORGIO C, GIOGIO G. Coupling Fuzzy Modeling and Neural Networks for River Flood PredictionJ. IEEE Transactions on Systems, Man, and Cybernetic-Part C: Applications

38、 and Reviews, 2005, 25(3): 382-388. 4 吳建生，金龍，汪靈枝. 遺傳算法進(jìn)化設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)氣象預(yù)報(bào)建模研究J. 熱帶氣象學(xué)報(bào)，2006，22(4)：411-416. 5 何慧，金龍，覃志年，等. 基于BP神經(jīng)網(wǎng)絡(luò)模型的廣西月降水量降尺度預(yù)報(bào)J. 熱帶氣象學(xué)報(bào)，2007，23(1)：72-77. 6 金龍, 況雪源, 等. 人工神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)模型過(guò)擬和研究J. 氣象學(xué)報(bào), 2004, 62(1): 62-69.686 熱 帶 氣 象 學(xué) 報(bào) 24卷7 HANSEN L K, SALAMON P. Neural network ensemblesJ. IEEE

39、Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(10): 993-1001.8 SOLLICH P, KROGH A. Learning with Ensembles: How Over-fitting can be usefulC/Advances in Neural Information Processing Systems 8, Cambridge: MIT Press, 1996: 190-196.9 周志華, 陳世福. 神經(jīng)網(wǎng)絡(luò)集成J. 計(jì)算機(jī)學(xué)報(bào), 2002, 25(1): 1-8.10 MA

40、O J. A case study on bagging boosting and basic ensembles of neural networks for OCRC/Processing International Joint Conference onNeural Networks 1998. Anchorage: International Joint Conference on Neural Networks, 1998: 1 828-1 833.11 GUTTA S, WECHSLER H. Face recognition using hybrid classifier sys

41、temsC/Proceeding International Joint Conference on Neural Networks1996. Washington DC: Proceeding International Joint Conference on Neural Networks, 1996: 1 017-1 022.12 SOLLICH P, INTRATOR N. Classification of seismic signals by integrating ensembles of neural networksJ. IEEE Transactions SignalPro

42、cessing, 1998, 46(5): 1 194-1 021.13 NING L, HUAJIE Z, JINJIANG L, et al. Speculated Lesion Detection in digital mammogram based on Artificial Neural Network EnsembleC.Advances in Neural Networks ISNN, Springer Press, 2005, 3: 790-795.14 SCHAPIRE R E. The strength of weak learn-abilityJ. Machine Lea

43、rning, 1990, 5(2): 197-227.15 BREIMAN L. Bagging predictionJ. Machine Learning, 1996, 24(2): 123-140.16 PERRONE M P, COOPER L N. When network disagree: Ensemble method for Hybrid Neural NetworksR/Artificial Neural Networks for Speechand Image processing. New York: Chapm & Hall, 1993: 126-142.17

44、MERZ C J, PAZZANI M J. A principal components approach to combining regression estimatesJ. Machine Learning, 1999, 36(1-2): 9-32.18 ZHIHUA Z, JIANXIN W, WEI T. Ensembling neural networks: Many could be better than all. Artificial IntelligenceJ. 2002, 137(2): 239-263.19 BONABEAU E, DORIGO M, THERAULA

45、Z G. Inspiration for optimization from social insect behaviorJ. Nature, 2000, 406(6): 39-42.20 XIAOHUI H, EBERHART R. Multi-objective optimization using dynamic neighborhood particle swarm optimizationC/Proceeding ofcongress on Evolutionary Computation. Hawaii: Ccongress on Evolutionary Computation,

46、 2002: 1 677-1 681.21 高海兵, 高亮, 周馳, 等. 基于粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究J. 電子學(xué)報(bào), 2004, 32(9): 1 572-1 574.22 RUMLHART D E, HINTON G E, WILLIAMS R J. Learning representations by back propagating errorsJ. Nature, 1986, 323(9): 533-536.23 REED R. Pruning Algorithms-A SurveyJ. IEEE Transactions on Neural Networks, 1993

47、, 4(5): 740-747.24 RIGET J, VESTERSTROM J S. A diversity-guided particle swarm optimizer-the ARPSOR. Technical Report 2002-02, Department of ComputerScience, University of Aarhus, 2002: 345-350.25 馬振華. 運(yùn)籌學(xué)與最優(yōu)化理論M. 北京: 清華大學(xué)出版社, 1998: 235-425.26 VAUTARD. SSA: a toolkit for noisy chaotic signalsJ. Physical D, 1992, 58: 95-126.27 魏鳳英, 曹鴻興. 長(zhǎng)期預(yù)測(cè)的數(shù)學(xué)模型及應(yīng)用M. 北京: 氣象