《神經(jīng)網(wǎng)絡(luò)》課件第8章

8.1徑向基函數(shù)網(wǎng)絡(luò)模型

8.2網(wǎng)絡(luò)的訓練與設(shè)計8.3徑向基神經(jīng)網(wǎng)絡(luò)的工具箱8.4混沌時間序列建模及預(yù)測8.5小結(jié)

習題

眾所周知,BP網(wǎng)絡(luò)用于函數(shù)逼近時,權(quán)值的調(diào)節(jié)采用的是負梯度下降法,這種調(diào)節(jié)權(quán)值的方法有它的局限性,即存在著收斂速度慢和局部極小等缺點。本章主要介紹在逼近能力、

分類能力和學習速度等方面均優(yōu)于BP網(wǎng)絡(luò)的另一種有監(jiān)督的神經(jīng)網(wǎng)絡(luò)——徑向基函數(shù)(RadialBasisFunction,RBF)網(wǎng)絡(luò),它是由J.Moody和C.Darken于20世紀80年代末提出的一種網(wǎng)絡(luò)結(jié)構(gòu),是一種具有單隱層的三層前饋網(wǎng)絡(luò)。本章首先介紹了徑向基函數(shù)網(wǎng)絡(luò)模型,論述了該網(wǎng)絡(luò)的訓練與設(shè)計。在論述中介紹了徑向基網(wǎng)絡(luò)所涉及到的算法,即無監(jiān)督學習的聚類算法,主要是兩種動態(tài)聚類算法：k-均值法、基于樣本和核函數(shù)的相似性度量的算法。最后,本章還詳細介紹了面向MATLAB工具箱的徑向基神經(jīng)網(wǎng)絡(luò),并介紹了混沌時間序列建模及預(yù)測。徑向基函數(shù)網(wǎng)絡(luò)是在借鑒生物局部調(diào)節(jié)和交疊接受區(qū)域知識的基礎(chǔ)上提出的一種采用局部接受域來執(zhí)行函數(shù)映射的人工神經(jīng)網(wǎng)絡(luò)。RBF網(wǎng)絡(luò)最基本的構(gòu)成包括三層,其結(jié)構(gòu)如圖8-1所示,其中每一層都有著完全不同的作用。8.1徑向基函數(shù)網(wǎng)絡(luò)模型

輸入層由一些源點(感知單元)組成,它們將網(wǎng)絡(luò)與外界環(huán)境連接起來；第二層是網(wǎng)絡(luò)中僅有的一個隱層,它的作用是進行從輸入空間到隱層空間的非線性變換。隱層節(jié)點中的作用函數(shù)(基函數(shù))對輸入信號將在局部產(chǎn)生響應(yīng),也就是說,當輸入信號靠近基函數(shù)的中央范圍時,隱層節(jié)點將產(chǎn)生較大的輸出,由此看出這種網(wǎng)絡(luò)具有局部逼近能力。輸出層是線性的,它為作用于輸入層的激活模式(信號)提供響應(yīng)。

圖8-1徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖設(shè)RBF網(wǎng)絡(luò)結(jié)構(gòu)如下：輸入層神經(jīng)元節(jié)點數(shù)n,徑向基層神經(jīng)元節(jié)點數(shù)r,輸出層神經(jīng)元節(jié)點數(shù)m。設(shè)徑向基層神經(jīng)元j與輸入層神經(jīng)元i之間的連接權(quán)為wji,徑向基層神經(jīng)元j與輸入層n個神經(jīng)元之間的連接權(quán)向量為

wj=(wj1,wj2,…,wjn)T

j=1,2,…,r(8-1)則徑向基層神經(jīng)元與輸入層神經(jīng)元之間的連接權(quán)矩陣為W1=(w1

w2

…

wr)T(8-2)

徑向基層神經(jīng)元的結(jié)構(gòu)如圖8-2所示。徑向基層采用徑向基函數(shù)為激活函數(shù)；線性輸出層采用純線性函數(shù)作為激活函數(shù)。圖8-2徑向基層神經(jīng)元結(jié)構(gòu)圖

RBF網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)而構(gòu)造的一類前向網(wǎng)絡(luò)。擬合和插值都是函數(shù)逼近或者數(shù)值逼近的重要組成部分,它們的共同點都是通過已知的離散點集M上的約束,求取一個定義在連續(xù)集合S(M包含于S)的未知連續(xù)函數(shù),從而達到獲取整體規(guī)律的目的,即通過“窺幾斑”來達到“知全豹”。那么擬合和插值二者的區(qū)別是什么？簡單地講,所謂擬合,是指已知某函數(shù)的若干離散函數(shù)值{f1,f2,…,fN},通過調(diào)整該函數(shù)中若干待定系數(shù){λ1,λ2,…,λN},使得該函數(shù)與點集M的差別(通常是最小二乘意義上的)最小。如果待定函數(shù)是線性的,就稱為線性擬合或者線性回歸(主要在統(tǒng)計中),否則稱為非線性擬合或者非線性回歸。表達式也可以是分段函數(shù),這種情況稱為樣條擬合。而插值是指已知某函數(shù)在若干離散點上的函數(shù)值或?qū)?shù)信息,通過求解該函數(shù)中待定形式的插值函數(shù)以及待定系數(shù),使得該函數(shù)在給定離散點上滿足約束。插值函數(shù)又稱為基函數(shù),如果該基函數(shù)定義在整個定義域上,稱為全域基,否則稱為分域基。如果約束條件中只有函數(shù)值的約束,稱為Lagrange插值,否則稱為Hermite插值。從幾何意義上講,擬合是指給定了空間中的一些點,找到一個已知形式未知參數(shù)的連續(xù)曲面來最大限度地逼近這些點；而插值是指找到一個(或幾個分片光滑的)連續(xù)曲面來穿過這些點。從嚴格意義上說,插值問題可以敘述如下：

給定一個包含N個不同點的集合{xi∈Rn|i=1,2,…,N}和

相應(yīng)的N個實數(shù)的一個集合{di∈R1|i=1,2,…,N},尋找一個函數(shù)F:Rn→R1滿足下述插值條件：F(xi)=di

i=1,2,…,N(8-3)

對于這里所述的嚴格插值來說,插值曲面(即函數(shù)F)必須通過所有的已知數(shù)據(jù)點。

RBF網(wǎng)絡(luò)技術(shù)就是要選擇一個函數(shù)F具有下列形式：

其中{φ(‖x-xi‖)|i=1,2,…,N}是N個任意(一般是線性的)函數(shù)的集合,稱為徑向基函數(shù)；‖·‖表示范數(shù),通常是歐幾里德范數(shù)。已知數(shù)據(jù)xi∈Rn,i=1,2,…,N定義為徑向基函數(shù)的中心。

(8-4)給定數(shù)據(jù)集T={(x1,d1),…,(xN,dN)}∈Rn×R1,將式(8-3)所給的插值條件代入式(8-4),我們可以得到一組關(guān)于未知系數(shù)(權(quán)值)的線性方程組：(8-5)其中,fji=f(‖xj-xi‖),j,i=1,2,…,N。令d=[d1,d2,…,dN]T,w=[w1,w2,…,wN]T,A={fji|j,i=1,2,…,N},則式(8-5)可以寫成緊湊形式：

Aw=d(8-6)

顯然,當矩陣A是非奇異矩陣時,上述方程有唯一解。問題的關(guān)鍵是：如何保證矩陣A是非奇異的？可以證明,對于大量徑向基函數(shù)滿足Micchelli定理。

Micchelli定理：如果是N個互不相同的點的集合,則N×N階的矩陣A(第ji個元素是fji=f(‖xj-xi‖))是非奇異的。常用的基函數(shù)有下列幾種：上面這些函數(shù)都是徑向?qū)ΨQ的,但最常用的是高斯函數(shù)：(8-7)其中x是n維輸入向量；ci是第i個基函數(shù)的中心,與x具有相同維數(shù)的向量;σi是第i個感知的變量(可以自由選擇的參數(shù)),它決定了該基函數(shù)圍繞中心點的寬度；m是單元個數(shù)?！瑇-ci‖是向量x-ci的范數(shù),它通常表示x與ci之間的距離,Ri(x)在ci處有一個唯一的最大值,隨著‖x-ci‖的增大,Ri(x)迅速衰減到零。對于給定的輸入x∈Rn,只有一部分靠近中心被激活。可以從兩個方面理解徑向基網(wǎng)絡(luò)的工作原理。

(1)從函數(shù)逼近的觀點看：若把網(wǎng)絡(luò)看成是對未知函數(shù)的逼近,則任何函數(shù)都可以表示成一組基函數(shù)的加權(quán)和。在徑向基網(wǎng)絡(luò)中,相當于選擇隱含層神經(jīng)元的傳輸函數(shù),使之構(gòu)成一組基函數(shù)逼近未知函數(shù)。

(2)從模式識別的角度看：由模式識別理論可知,在低維空間非線性可分的問題總可映射到一個高維空間,使其在高維空間中變?yōu)榫€性可分。在RBF網(wǎng)絡(luò)中,輸入到隱層的映射為非線性的(隱單元的作用函數(shù)是非線性函數(shù)),而隱層到輸出則是線性的?？砂演敵鰡卧糠挚醋鲆粋€單層感知器,這樣,只要合理選擇隱單元數(shù)(高維空間的維數(shù))及其作用函數(shù),就可以把原來的問題映射為一個線性可分問題,從而最后可用一個線性單元來解決問題,這就使得不太好處理的非線性問題線性化,便于分析。8.2網(wǎng)絡(luò)的訓練與設(shè)計

在討論RBF網(wǎng)絡(luò)學習策略前,首先看一下該網(wǎng)絡(luò)所涉及到的算法。無監(jiān)督學習的聚類算法是把未知類別的樣本集按照樣本間相似程度分類的一類算法，其中的動態(tài)聚類算法按初始分類方式、準則函數(shù)的選擇、調(diào)整類的方式的不同,又有多種算法。這里介紹兩種動態(tài)聚類算法：k-均值法、基于樣本和核函數(shù)的相似性度量的算法。8.2.1聚類分析

將由n維變量組成的每一樣本看成為一個n維向量,定義為n維歐氏空間的一個點。由M個樣本組成的樣本集,即對應(yīng)于歐氏空間中的M個點：

up∈Rnp=1,2,…,M

點間的距離函數(shù)可作為樣本間的相似性度量指標,距離近的點可以聚為一類。距離有多種定義,這里主要講述歐氏距離。設(shè)d表示第i與第j個樣本間的距離,歐氏距離定義為(8-8)描述類別的特征,常用的量有：

(1)均值

(8-9)

式中:ci是第i類樣本的均值;Mi是第i類樣本數(shù);Γi是第i類樣本子集。

(2)馬氏距離

其中Σi是第i類樣本子集的協(xié)方差矩陣,即(8-10)是其逆矩陣。馬氏距離既考慮了樣本的統(tǒng)計特性,又排除了樣本之間的相關(guān)性影響。8.2.2動態(tài)聚類法

動態(tài)聚類方法的任務(wù)是將數(shù)據(jù)集劃分成一定數(shù)量的子集。例如將一個數(shù)據(jù)集劃分成三個子集、四個子集等。要劃分成多少個子集往往要預(yù)先確定或大致確定,當然這個子集數(shù)目在理想情況應(yīng)能體現(xiàn)數(shù)據(jù)集比較合理的劃分。這里要解決的問題是：

(1)怎樣才能知道該數(shù)據(jù)集應(yīng)該劃分的子集數(shù)目?

(2)如果劃分數(shù)目已定,則又如何找到最佳劃分?數(shù)據(jù)集可以有許多種不同的劃分方法,需要對不同的劃分作出評價,并找到優(yōu)化的劃分結(jié)果。由于優(yōu)化過程是從不甚合理的劃分到“最佳”劃分,是一個動態(tài)的迭代過程,故這種方法稱為動態(tài)聚類方法。

動態(tài)聚類法屬于無監(jiān)督學習的一類聚類算法,其要點為：(1)選定某種距離,作為樣本間的相似性度量。

(2)確定某個評價聚類質(zhì)量的準則函數(shù)。

(3)給定某個初始分類,然后用迭代算法,找出使準則函數(shù)最優(yōu)的聚類結(jié)果。這里僅介紹兩種算法,即k-均值法、基于樣本和高斯核函數(shù)的相似性度量的算法。

1)k-均值法

k-均值法的聚類準則函數(shù)為

其含義是求k個子集中的各類樣本u與其所屬樣本均值ci間的誤差平方和,再對所有k類求和。樣本集的不同分類,導致不同的樣本子集Γi及其均值ci,從而得到不同的Je值,而最佳的聚類是使Je為最小的分類,這種類型的聚類通常稱為最小方差劃分。它能使聚類域中的所有樣本到該類中心距離的平方和(歐氏距離)為最小。由于準則函數(shù)與k類的均值有關(guān),故稱k-均值法。(8-11)

k-均值法算法步驟：

(1)選擇某種方法把N個樣本分成k個聚類的初始劃分,計算每個聚類的均值c1,c2,…,ck,其中k表示聚類的模式數(shù)；令ci(0)表示第i個初始聚類中心,i=1,2,…,k。

(2)選擇一個備選樣本y,設(shè)其在Γi中。

(3)若Ni=1,則轉(zhuǎn)(2),否則繼續(xù)。

(4)計算

(5)對于所有的j,若ei≤ej,則將y從Γi中移到Γj中。

(6)重新計算ci和cj的值,并修改Je。(8-12)由迭代算法可得(8-13)(8-14)(8-15)(8-16)

(7)若連續(xù)迭代N次(即所有樣本都運算過)不變，則停止，否則轉(zhuǎn)到(2)。

上述k-均值算法都是在類別k已知的條件下進行的。若類別數(shù)未知,則使用k-均值算法時,可以假設(shè)類別數(shù)是逐步增加的,例如對k＝1,2,3,…分別使用該算法。顯然準則函數(shù)Je是隨k的增加而單調(diào)減少的。如果樣本集的合理聚類數(shù)為k類,當類別數(shù)繼續(xù)增大時,相當于將聚類很好的類別又分成子類,則Je值雖然繼續(xù)減少但會呈現(xiàn)平緩趨勢。如果作一條Je值隨k變化的曲線,如圖8-3所示,則其拐點對應(yīng)的類別數(shù)就比較接近于最優(yōu)聚類數(shù)。圖8-3中,k＝3是較合適的聚類數(shù)。圖8-3

Je值隨k變化的曲線

k-均值算法的一個主要問題是劃分類別數(shù)必須事先確定,這種主觀確定的數(shù)據(jù)子集數(shù)目并不一定符合數(shù)據(jù)集自身的特點。

2)基于樣本和高斯核函數(shù)的相似性度量的算法

k-均值法將均值作為一類的代表點,只有當類的分布近于超球狀時,即每類中各分量的方差接近相等時,才可能有較好的效果。當各分量的方差不等而呈超橢球形的正態(tài)分布時

,需定義一核函數(shù),以表示一個類。對于某樣本應(yīng)歸于哪類,需建立樣本與核函數(shù)之間的相似性度量,這就是該動態(tài)聚類算法名稱的由來。

(1)(8-17)樣本的協(xié)方差陣是：(8-18)

(2)定義相似性度量:

(3)定義準則函數(shù)

(4)聚類算法步驟:

該算法步驟與k-均值法類似,其實,k-均值法只是其特例。(8-19)8.2.3

RBF網(wǎng)絡(luò)的學習算法

對于網(wǎng)絡(luò)的學習算法,RBF網(wǎng)絡(luò)分為有導師學習和無導師學習兩部分。隱含層和輸入層之間的權(quán)值(中心及半徑)采用無導師聚類方法訓練,最常用的是k-均值法。輸出層和隱含

層之間的權(quán)值采用有導師方法訓練。簡便實用的一種辦法是在確定隱含層和輸入層之間的權(quán)值之后,把訓練樣本矢量和其理想輸出代入RBF網(wǎng)絡(luò),從而推出各個輸出層神經(jīng)元和隱含層之間的權(quán)值。

RBF網(wǎng)絡(luò)依然是典型的有導師學習網(wǎng)絡(luò),其學習過程包括兩個步驟：

(1)確定每一個RBF單元的中心cj和半徑σj。

(2)調(diào)節(jié)權(quán)矩陣W。下面我們詳細介紹這兩個步驟。

(1)中心cj的確定。采用k-均值聚類分析技術(shù)確定cj。找出有代表性的數(shù)據(jù)點(不一定位于原始數(shù)據(jù)點)作為RBF單元中心,從而極大地減少隱RBF單元數(shù)目,降低網(wǎng)絡(luò)復(fù)雜化程度。利用k-均值算法獲得各個聚類中心后,即可將之賦給各RBF單元作為RBF的中心。

(2)半徑σj的確定。半徑σj決定了RBF單元接受域的大小,對網(wǎng)絡(luò)的精度有極大的影響。半徑選擇的原則是使得所有RBF單元的接受域之和覆蓋整個訓練樣本空間。圖8-4給出了RBF單元接受域的示意圖。圖中“*”代表樣本,樣本Dj(j=1,2,…)表示第j個RBF單元的接受域,D為樣本空間。圖8-4

RBF網(wǎng)絡(luò)接受域示意圖(二維情形)通常應(yīng)用k-均值聚類法后,對每個聚類中心cj,可以令相應(yīng)的半徑σj等于其與屬于該類的訓練樣本之間的平均距離,即

另一個選擇σj的方法是對每一個中心cj,求取它與其最鄰近的N個近鄰單元中心距離的平均值作為σj的取值。(8-21)

(3)調(diào)節(jié)權(quán)W。這里權(quán)W是指輸出層和隱含層之間的權(quán)值,可以采用線性最小二乘法和梯度法來調(diào)節(jié)權(quán)矩陣W。

①線性最小二乘法。令網(wǎng)絡(luò)輸出為

Y=W·Φ=T

則

W=TΦT(ΦTΦ)-1(8-22)②梯度法。迭代公式如下：

W(t+1)=W(t)+η(T-Y)ΦT(8-23)

由于輸出為線性單元,因而可以確保梯度算法收斂于全局最優(yōu)解。8.3徑向基神經(jīng)網(wǎng)絡(luò)的工具箱

MATLAB仿真語言中關(guān)于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的重要工具函數(shù)見表8-1。表8-1

MATLAB中關(guān)于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的重要工具函數(shù)

8.3.1面向MATLAB工具箱的徑向基神經(jīng)元模型

圖8-5顯示了一個具有R個輸入的徑向基神經(jīng)元模型。從圖8-5中可以看到,徑向基神經(jīng)元的結(jié)構(gòu)與前面幾章介紹的神經(jīng)元結(jié)構(gòu)有所不同。徑向基網(wǎng)絡(luò)傳遞函數(shù)radbas以權(quán)值向量和域值向量之間的距離‖dist‖作為自變量,其中,‖dist‖是通過輸入向量和加權(quán)陣的行向量的乘積得到的。圖8-5徑向基神經(jīng)元模型結(jié)構(gòu)輸出表達式為

y=f(‖w-x‖·b)=radbas(‖w-x‖·b)(8-24)

式中radbas是徑向基函數(shù),一般采用高斯函數(shù)：

y(n)=radbas(n)=e-n(8-25)

當輸入自變量為0時,傳遞函數(shù)取得最大值為1。隨著權(quán)值和輸入向量之間距離的減少,網(wǎng)絡(luò)輸出是遞增的,徑向基傳遞函數(shù)的最大輸出值為1。因此,徑向基神經(jīng)元可以作為一個探測器,當輸入向量和加權(quán)向量一致時,神經(jīng)元輸出為1。圖8-5中的b為域值,用于調(diào)整神經(jīng)元的靈敏度。

徑向基傳輸函數(shù)的傳輸特性和符號如圖8-6所示。圖8-6徑向基函數(shù)的傳輸特性和符號8.3.2面向MATLAB工具箱的徑向基神經(jīng)網(wǎng)絡(luò)

徑向基神經(jīng)網(wǎng)絡(luò)也屬于一種前饋反向傳播網(wǎng)絡(luò),主要涉及到隱含層和輸出層,隱含層為徑向基層,輸出層為一線性層,其結(jié)構(gòu)如圖8-7所示。圖8-7徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型圖8-7中,R表示網(wǎng)絡(luò)輸入的維數(shù),S1表示隱含層的神經(jīng)元個數(shù),S2表示輸出層的神經(jīng)元個數(shù)。

網(wǎng)絡(luò)的輸出為(8-26)(8-27)(8-28)下面討論徑向基網(wǎng)絡(luò)的工作特性。從圖8-6所示的徑向基傳輸函數(shù)特性可以看出,只有在距離為0時,其輸出為1；而在距離為0.833時,輸出僅為0.5。假定給定一個輸入向量,徑向基神經(jīng)元將根據(jù)輸入向量與每個神經(jīng)元權(quán)值的距離輸出一個值。那些與神經(jīng)元權(quán)值相差很遠(距離大)的輸入向量產(chǎn)生的輸出值趨于0,這些很小的輸出值對線性神經(jīng)元輸出的影響可以忽略。相反,那些與神經(jīng)元權(quán)值相差較小(距離小)的輸入向量產(chǎn)生的輸出值趨于1,從而激活第二層線性神經(jīng)元的輸出權(quán)值。換句話說,徑向基網(wǎng)絡(luò)只對那些靠近(距離接近于0的中央位置)輸入權(quán)值向量的輸入產(chǎn)生響應(yīng)。由于隱含層對輸入信號的響應(yīng)只在函數(shù)的中央位置產(chǎn)生較大的輸出,即局部響應(yīng),因此該網(wǎng)絡(luò)具有很好的局部逼近能力。8.3.3徑向基網(wǎng)絡(luò)的創(chuàng)建與學習過程

創(chuàng)建徑向基網(wǎng)絡(luò)的設(shè)計函數(shù)有newrbe和newrb,它們在創(chuàng)建徑向基函數(shù)網(wǎng)絡(luò)的過程中用不同的方式完成了權(quán)值和閾值的選擇和修正,所以徑向基網(wǎng)絡(luò)沒有專門的訓練和學習。

1.精確設(shè)計函數(shù)(newrbe)

功能：設(shè)計一個高精度RBF網(wǎng)絡(luò)。

指令格式：net=newrbe

net=newrbe(P,T,SPREAD)

參數(shù)意義：P為輸入向量；T為目標向量；SPREAD為徑向基函數(shù)的分布系數(shù),缺省值為1.0。執(zhí)行的結(jié)果是創(chuàng)建徑向基神經(jīng)網(wǎng)絡(luò),具有P個徑向基神經(jīng)元,與輸入的個數(shù)一樣,而且將第一層網(wǎng)絡(luò)的權(quán)值設(shè)置為P′。第一層網(wǎng)絡(luò)閥值的大小設(shè)置為0.8236/SPREAD,這樣使得徑向基函數(shù)在網(wǎng)絡(luò)輸入與相應(yīng)權(quán)值的距離小于SPREAD時,具有大于0.5的輸出,所以增大SPREAD的值可以擴大網(wǎng)絡(luò)輸入的有效范圍。第二層網(wǎng)絡(luò)的權(quán)值IW{2,1}和閥值b{2}是利用第一網(wǎng)絡(luò)層仿真的結(jié)果,并通過解如下線性方程得到的：

[IW{2,1}b{2}]·[A{1};ones]=T在使用函數(shù)newrbe創(chuàng)建徑向基神經(jīng)網(wǎng)絡(luò)時,需要注意一點,就是要選擇盡量大的SPREAD值,以保證徑向基函數(shù)的輸入范圍足夠大,從而使它的輸出盡量具有較大的值。而且,SPREAD的值越大,網(wǎng)絡(luò)的輸出就越平滑,網(wǎng)絡(luò)的泛化能力也越強。但是太大的SPREAD值,會導致數(shù)學計算上的問題?？梢钥闯?上述過程只要進行一次就可以得到一個零誤差的徑向基函數(shù)網(wǎng)絡(luò),所以newrbe創(chuàng)建徑向基函數(shù)網(wǎng)絡(luò)的速度是非?？斓摹５怯捎谄鋸较蚧窠?jīng)元數(shù)等于輸入樣本數(shù),當輸入向量數(shù)目很大時,將導致網(wǎng)絡(luò)的規(guī)模也很大,所以更有效的方法是采用newrbe創(chuàng)建徑向基函數(shù)網(wǎng)絡(luò)。

【例8-1】已知輸入向量和目標輸出向量為

P=[123]

T=[2.04.15.9]

設(shè)計徑向基神徑網(wǎng)絡(luò)(本例M文件見光盤FLch8eg1)。解MATLAB程序代碼如下：

P=[123]；

T=[2.04.15.9]；

net=newrbe(P,T)；%創(chuàng)建一個徑向基函數(shù)網(wǎng)絡(luò)

P=1.5；%輸入一個新的樣本值

Y=sim(Net,P)%仿真該網(wǎng)絡(luò)

Y=

%運行結(jié)果

2.8054

2.普通設(shè)計函數(shù)(newrb)

功能:設(shè)計一個RBF網(wǎng)絡(luò)。

指令格式：net=newrb

[net,tr]=newrb(P,T,GOAL,SPREAD)

參數(shù)意義：P為輸入向量；T為目標輸出向量；GOAL為網(wǎng)絡(luò)均方誤差目標值,缺省值為0；SPREAD為徑向基函數(shù)的分布系數(shù),缺省值為1.0。

執(zhí)行結(jié)果是創(chuàng)建一個徑向基神經(jīng)網(wǎng)絡(luò)?？梢钥闯?創(chuàng)建徑向基網(wǎng)絡(luò)時,函數(shù)newrb通過自動增加徑向基神經(jīng)元數(shù)的方法來不斷地減小網(wǎng)絡(luò)輸出的均方誤差,直到該誤差達到參數(shù)

GOAL的要求,網(wǎng)絡(luò)的訓練結(jié)束,因此它可以獲得比newrbe更小規(guī)模的徑向基網(wǎng)絡(luò)。

【例8-2】已知輸入向量和目標輸出向量為

P=[123]

T=[2.04.15.9]

設(shè)計一個徑向基網(wǎng)絡(luò)(本例M文件見光盤FLch8eg2)。

解

MATLAB程序代碼如下：

P=[123]；

T=[2.04.15.9]；

net=newrb(P,T)；%創(chuàng)建一個徑向基神經(jīng)網(wǎng)絡(luò)

P=1.5；%輸入一個新的樣本值

Y=sim(net,P)

%仿真該網(wǎng)絡(luò)

Y=

%運行結(jié)果

2.67558.3.4徑向基網(wǎng)絡(luò)的應(yīng)用

徑向基函數(shù)網(wǎng)絡(luò)多用于函數(shù)逼近和分類問題的研究。

【例8-3】舉例說明如何應(yīng)用函數(shù)newrb()構(gòu)建一個徑向基網(wǎng)絡(luò),然后對一系列的數(shù)據(jù)點進行函數(shù)逼近(本例M文件見光盤FLch8eg3)。

(1)問題的提出。假設(shè)如下的輸入/輸出樣本,輸入向量為[-1,1]區(qū)間上的等間隔的數(shù)組成的向量P,相應(yīng)的期望值向量為T：

P=-1:0.1:1；

T=[-0.9602-0.5770-0.07290.37710.64050.66000.4609...

0.1336-0.2013-0.4344-0.5000-0.3930-0.16470.0988...

0.30720.39600.34490.1816-0.0312-0.2189-0.3201];

以輸入向量為橫坐標,期望值為縱坐標,繪制訓練樣本的數(shù)據(jù)點,如圖8-8所示。圖8-8訓練樣本的分布仿真程序為

plot(P,T,′+′)；%繪制輸入/輸出矢量點

title(′訓練樣本′)；

xlabel(′輸入矢量P′)；

ylabel(′目標矢量T′)；

目標是找到一個函數(shù)能夠滿足這21個數(shù)據(jù)點的輸入/輸出關(guān)系,其中一個方法就是通過構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來進行曲線擬合。

(2)網(wǎng)絡(luò)設(shè)計。設(shè)計一個徑向基函數(shù)網(wǎng)絡(luò)。仿真程序為

p=-3:.1:3；

a=radbas(p)；

plot(p,a)；%繪制輸入/輸出二維圖形

title(′徑向基傳遞函數(shù)′)；%程序后不加“；”表示在生成的圖形中顯示該指令結(jié)果

xlabel(′輸入p′)；

ylabel(′輸出a′)；

繪制隱層神經(jīng)元徑向基傳遞函數(shù)的曲線,如圖8-9所示。圖8-9徑向基傳遞函數(shù)每一個隱層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系,輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加。如果隱層神經(jīng)元的數(shù)目足夠,每一層的權(quán)值和域值正確，那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確地逼近任意函數(shù)。如圖8-10所示,其中三條實線表示單個徑向基函數(shù)曲線,虛線表示三條曲線相加的結(jié)果。圖8-10徑向基傳遞函數(shù)權(quán)值之和從圖8-10中可以看出,如果調(diào)整權(quán)值和閾值,就可以做到對任何函數(shù)曲線的擬合。應(yīng)用newrb()函數(shù)可以快速構(gòu)建一個徑向基函數(shù)網(wǎng)絡(luò),并且網(wǎng)絡(luò)自動根據(jù)輸入向量和期望值進行調(diào)整,從而進行函數(shù)逼近,預(yù)先設(shè)定均方差精度eg以及散布常數(shù)sc：

eg=0.02；

sc=1；

net=newrb(P,T,eg,sc)；%創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)

newrb,neurons=0,sse=3.69051%設(shè)置網(wǎng)絡(luò)參數(shù)

(3)網(wǎng)絡(luò)測試。將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化的曲線繪制在一張圖上,就可以看出網(wǎng)絡(luò)設(shè)計是否能夠做到函數(shù)逼近,如圖8-11所示。

plot(P,T,′+′)；

xlabel(′輸入′)；xlabel(′輸入向量P′),ylabel(′目標向量T′)

X=-1:.01:1；

Y=sim(net,X)；%程序仿真

holdon；

plot(X,Y)；

holdoff；

legend({′目標′,′輸出′})；%在圖形中插入注釋

圖8-11中“+”點為樣本數(shù)據(jù)點。仿真結(jié)果表明,應(yīng)用徑向基函數(shù)網(wǎng)絡(luò)進行函數(shù)逼近是可行的圖8-11網(wǎng)絡(luò)輸出和目標值比較8.4混沌時間序列建模及預(yù)測科學的目的就是要發(fā)掘出事物的因果關(guān)系。一個理論能否被接受,很重要的一個條件在于它能否對客觀事物的發(fā)展做出一定的預(yù)測?；煦鐥l件下的系統(tǒng)具有對初始狀態(tài)敏感的“蝴蝶效應(yīng)”,因而一般認為,混沌條件下系統(tǒng)行為具有不可長期預(yù)測性。另一方面,混沌理論的研究表明：混沌并非無序,混沌可以由簡單確定性系統(tǒng)產(chǎn)生；混沌中存在有吸引子,吸引子具有吸引性和小擾動的穩(wěn)定性,它作為一個整體是運動不變量。這表明,混沌條件下的系統(tǒng)行為具有可以預(yù)測的一面?；煦绲膭討B(tài)系統(tǒng)具有確定性規(guī)則,如果我們發(fā)現(xiàn)了這個確定性規(guī)則,那么精確預(yù)測非線性動態(tài)系統(tǒng)將成為可能,但這往往是比較困難的。因此,所謂混沌序列,可以看做是考察混沌系統(tǒng)所得到的一組隨時間變化的觀察量值?；煦缧蛄械慕Ｅc預(yù)測一般要經(jīng)過兩個步驟：相空間重構(gòu)和非線性函數(shù)逼近。本節(jié)簡要介紹其基本原理對所涉及的數(shù)學概念將不進行嚴格推導。8.4.1相空間重構(gòu)

實際系統(tǒng)一般都是高維的,而我們往往只能得到這些高維系統(tǒng)的一維信息,即一組觀測量值,或稱一維標量時間序列。

相空間重構(gòu)也叫動力系統(tǒng)重建,即通過一維的時間序列反向構(gòu)造出原系統(tǒng)的相空間結(jié)構(gòu)。目前較為常用的是延遲矢量法,該方法首先由帕卡德(Packard)等人提出,并由塔肯什(Takens)為之奠定了可靠的數(shù)學基礎(chǔ)。它的基本思想是：系統(tǒng)中任一分量的演化都是由與之相互作用著的其它分量所決定的,因而這些相關(guān)分量的信息就隱含在任一分量的發(fā)展過程中。不失一般性,令x(t),t=1,2,…,N表示所研究的時間序列,可得到m維延遲矢量：

x(t)=[x(t),x(t-τ),…,x(t-(m-1)τ)](8-29)

式中,m稱為嵌入維數(shù),τ稱為時間延遲量。

假設(shè)動力系統(tǒng)維數(shù)為d,塔肯什已證明,如果m≥2d+1,則重構(gòu)的相空間可以將動力系統(tǒng)的許多特性保存下來,如吸引子維數(shù)等。這對于甚至不知道應(yīng)該測量哪些變量而僅僅知道一個

數(shù)據(jù)序列,或者不能直接測量深層自變量而僅僅有表現(xiàn)于現(xiàn)象上的數(shù)據(jù)序列的研究人員來講,也有了研究系統(tǒng)的動力行為的可能。

【例8-4】以Lorenz吸引子為例,其實現(xiàn)可采用MATLAB

中的SIMULINK,具體見圖8-12(本例M文件見光盤FLch8eg4)；系統(tǒng)在三維相空間的運動軌跡(奇怪吸引子)以及二維相平面的吸引子如圖8-13所示。圖8-12

Lorenz吸引子的實現(xiàn)圖8-13不同角度看Lorenz吸引子8.4.2非線性函數(shù)逼近方法

塔肯什嵌入定理同時表示存在一光滑映射F,使得

x(t+τ)=F(x(t))

(8-30)

即