《人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用》課件第6章 RBF神經(jīng)網(wǎng)絡(luò)

第六章

RBF神經(jīng)網(wǎng)絡(luò)16.1概述2徑向基函數(shù)(RadialBasisFunction,RBF)是一個取值僅取決于到原點距離的實值函數(shù)，記作，也可以是到任意一中心點c的距離，即。任何一個滿足上述特性的函數(shù)都可以稱為RBF。1971年，Hardy用RBF來處理飛機外形設(shè)計曲面擬合問題，取得了非常好的效果。1985年，英國劍橋大學(xué)數(shù)學(xué)家Powell提出了多變量插值的RBF方法。20世紀(jì)末期，Broomhead、Lowe、Moody、Darken等科學(xué)家先后將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計，提出了一種RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即RBF神經(jīng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與多層前向網(wǎng)絡(luò)類似，是一種具有單隱層的三層前向神經(jīng)網(wǎng)絡(luò)。輸入層由信號源節(jié)點組成，隱含層是單神經(jīng)元層，但神經(jīng)元數(shù)可視所描述問題的需要而定，輸出層對輸入的作用作出響應(yīng)。從輸入層空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性的。隱含層神經(jīng)元的變換函數(shù)是RBF，它是一種局部分布的中心徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)。BP神經(jīng)網(wǎng)絡(luò)用于函數(shù)逼近時，權(quán)值的調(diào)節(jié)采用負(fù)梯度下降法，這種權(quán)值調(diào)節(jié)的方法存在著收斂速度慢和局部極小等局限性。同時，BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中需要對網(wǎng)絡(luò)中的所有權(quán)值和閾值進行修正，屬于全局逼近的神經(jīng)網(wǎng)絡(luò)。3而RBF神經(jīng)網(wǎng)絡(luò)在逼近能力、分類能力和學(xué)習(xí)速度等方面均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。另外，盡管RBF神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)需要更多的神經(jīng)元，但是它能夠按時間片來優(yōu)化訓(xùn)練網(wǎng)絡(luò)。因此，RBF神經(jīng)網(wǎng)絡(luò)是一種局部逼近性能非常好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，有學(xué)者證明它能以任意精度逼近任一連續(xù)函數(shù)。RBF人工神經(jīng)網(wǎng)絡(luò)以其獨特的信息處理能力在許多領(lǐng)域得到了成功的應(yīng)用，它不僅具繼承了神經(jīng)網(wǎng)絡(luò)強大的非線性映射能力，而且具有自適應(yīng)、自學(xué)習(xí)和容錯性等，能夠從大量的歷史數(shù)據(jù)中進行聚類和學(xué)習(xí)，進而得到某些行為變化的規(guī)律。同時，RBF神經(jīng)網(wǎng)絡(luò)是一種新穎有效的前饋式神經(jīng)網(wǎng)絡(luò)，具有最佳局部逼近和全局最優(yōu)的性能，且訓(xùn)練方法快速易行，這些優(yōu)點使得RBF神經(jīng)網(wǎng)絡(luò)在非線性時間序列預(yù)測中得到了廣泛的應(yīng)用。4另外，RBF神經(jīng)網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)，可以處理系統(tǒng)內(nèi)難以解析的規(guī)律性，具有良好的泛化能力，并有很快的學(xué)習(xí)收斂速度。當(dāng)有很多的訓(xùn)練向量時，這種網(wǎng)絡(luò)很有效果。目前，RBF神經(jīng)網(wǎng)絡(luò)已在非線性函數(shù)逼近、時間序列分析、數(shù)據(jù)分類、模式識別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等多種場合得到了成功應(yīng)用。56.2RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和原理RBF神經(jīng)元模型如圖6-1所示。圖6-1RBF神經(jīng)元模型在圖6-1中，為歐式距離，用函數(shù)式可表示為61.RBF神經(jīng)元模型7另外，凈值運算n為RBF神經(jīng)元的中間運算結(jié)果，可由式(6-2)表式為RBF神經(jīng)元模型的輸出y為上式中，rbf(x)為徑向基函數(shù)，常見的形式有82.RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡(luò)由輸入層、單隱含層、輸出層三層組成，其結(jié)構(gòu)如圖6-2所示。圖6-2

RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原理圖圖6-2中，n1為RBF神經(jīng)網(wǎng)絡(luò)隱含層的中間運算結(jié)果，其表達式為9式中，diag(x)表示取矩陣向量主對角線上的元素組成的列向量。RBF神經(jīng)網(wǎng)絡(luò)隱含層的輸出y1為n2為RBF輸出層的中間運算結(jié)果，可由式(6-9)表示為RBF神經(jīng)網(wǎng)絡(luò)的輸出y2為隱含層節(jié)點中的徑向基函數(shù)對輸入信號在局部產(chǎn)生響應(yīng)，即當(dāng)輸入信號靠近該函數(shù)的中央范圍時，隱含層節(jié)點將產(chǎn)生較大的輸出。因此，RBF神經(jīng)網(wǎng)絡(luò)具有局部逼近能力，RBF神經(jīng)網(wǎng)絡(luò)也被稱為局部感知場網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)的基本思想是用徑向基函數(shù)作為隱含層隱單元的“基”構(gòu)成隱含層空間，隱含層對輸入矢量向量進行變換，將低維空間的輸入數(shù)據(jù)變換映射到高維空間內(nèi)，使得在低維空間線性不可分的問題，在高維空間在高維空間實現(xiàn)線性可分。假設(shè)RBF神經(jīng)網(wǎng)絡(luò)的輸入向量x為R維，輸出向量y2為S2維，輸入輸出樣本長度為N。RBF神經(jīng)網(wǎng)絡(luò)隱含層的傳遞函數(shù)由徑向基函數(shù)構(gòu)成，通常選用式(6-4)所示的高斯函數(shù)。輸入層節(jié)點傳遞輸入信號到隱含層，實現(xiàn)了x→y1(x)的非線性映射,即103.RBF神經(jīng)網(wǎng)絡(luò)原理11式中，yi1是RBF神經(jīng)網(wǎng)絡(luò)第i個隱節(jié)點的輸出，σi是第i個隱節(jié)點的擴展常數(shù)，S1是隱節(jié)點個數(shù)，x=(x1,x2,…,xR)T是輸入樣本，ci是第i個隱含層隱節(jié)點高斯激活徑向基函數(shù)的中心向量，此向量是一個與輸入樣本x的維數(shù)相同的列向量，即ci=(ci1,ci2,…,ciR)T。由式(6-11)可知，隱含層節(jié)點的輸出范圍在0和1之間，且輸入樣本愈靠近節(jié)點的中心，輸出值愈大。輸出層傳遞函數(shù)采用線性函數(shù)，隱含層到輸出層的信號傳遞實現(xiàn)了y1(x)→y2的線性映射，即式中，yi1是第i個隱節(jié)點的輸出，yi2是第k個隱節(jié)點的輸出，wki2是隱含層到輸出層的加權(quán)系數(shù)，bk2是隱含層的閾值。假設(shè)RBF神經(jīng)網(wǎng)絡(luò)有N個訓(xùn)練樣本，則系統(tǒng)對所有N個訓(xùn)練樣本的總誤差函數(shù)為式中，N為輸入輸出樣本對數(shù)，S1為RBF神經(jīng)網(wǎng)絡(luò)輸出節(jié)點數(shù)，tkp表示在樣本p作用下的第k個神經(jīng)元的期望輸出，表示在樣本p作用下的第k個神經(jīng)元的實際輸出。RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程分為兩個階段，無監(jiān)督學(xué)習(xí)階段和有監(jiān)督學(xué)習(xí)階段。根據(jù)所有的輸入樣本決定隱含層各節(jié)點的高斯徑向基函數(shù)的中心向量ci和標(biāo)準(zhǔn)化常數(shù)σi。6.3RBF神經(jīng)網(wǎng)絡(luò)算法121.無監(jiān)督學(xué)習(xí)階段13無監(jiān)督學(xué)習(xí)是對所有樣本的輸入進行聚類，求得RBF神經(jīng)網(wǎng)絡(luò)各隱含層節(jié)點的RBF神經(jīng)網(wǎng)絡(luò)的中心向量ci。無監(jiān)督學(xué)習(xí)這里使用k均值聚類算法調(diào)整中心向量ci，即此算法就是將訓(xùn)練樣本集中的輸入向量分為若干族，在每個數(shù)據(jù)族內(nèi)找出一個徑向基函數(shù)中心向量，使得該族內(nèi)各樣本向量距與該族中心的距離最小。具體步驟如下：(1)給定各隱含層節(jié)點的初始中心向量ci(0)和判定停止計算的誤差閾值的為ε。(2)計算歐氏距離并求出最小歐式距離的節(jié)點:式中，p為樣本序號，r為中心向量ci(p-1)與輸入樣本x(p)距離最近的隱含層節(jié)點序號。14(3)調(diào)整RBF神經(jīng)網(wǎng)絡(luò)隱含層徑向基函數(shù)的中心向量：式中，是學(xué)習(xí)速率，。，int(x)表示對x進行取整運算。因此經(jīng)過S1個樣本之后，學(xué)習(xí)速率逐漸減至零。(4)判斷聚類質(zhì)量。當(dāng)滿足時，聚類結(jié)束，否則轉(zhuǎn)到第(2)步。152.有監(jiān)督學(xué)習(xí)階段確定好隱含層的參數(shù)后，利用最小二乘法原則求出隱含層到輸出層的連接權(quán)wki。當(dāng)ci確定以后，訓(xùn)練隱含層至輸出層之間的連接權(quán)值，由于輸出層傳遞函數(shù)使用的是線性函數(shù)，則求連接權(quán)值的問題即相當(dāng)于線性優(yōu)化問題。因此，與線性網(wǎng)絡(luò)相類似，RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)隱含層到輸出層連接權(quán)值wki的學(xué)習(xí)算法為式中，，yi1(x)為徑向基函數(shù)。η為學(xué)習(xí)速率，通常取。tk和yk分別表示第k個輸出分量的期望值和實際值。由于向量y1中只有少量幾個元素為1，其余均為零，因此在一次數(shù)據(jù)訓(xùn)練中只有少量的連接權(quán)值需要調(diào)整。正是由于這個特點，才使得RBF神經(jīng)網(wǎng)絡(luò)具有比較快的學(xué)習(xí)速度。另外，由于當(dāng)x遠(yuǎn)離ci時，yi1(x)非常小，因此可作0對待。實際上僅當(dāng)yi1(x)大于某一數(shù)值(例如0.05)時才對相應(yīng)的權(quán)值wki進行修改，經(jīng)這樣處理后RBF神經(jīng)網(wǎng)絡(luò)也同樣具備局部逼近網(wǎng)絡(luò)學(xué)習(xí)收斂快的優(yōu)點。對于RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，關(guān)鍵問題是隱含層節(jié)點中心參數(shù)的合理確定。常用的方法是從給定的訓(xùn)練樣本集里按照某種方法直接選取，或者是采用聚類的方法確定。以下是RBF神經(jīng)網(wǎng)絡(luò)的幾種學(xué)習(xí)算法：161)直接計算法（隨機選取RBF神經(jīng)網(wǎng)絡(luò)中心）RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點的中心是隨機地在輸人樣本中選取，且中心固定。當(dāng)隱含層節(jié)點中心固定時，隱含層的輸出隨之確定下來，則求解RBF神經(jīng)網(wǎng)絡(luò)隱含層到輸出層的連接權(quán)值就相當(dāng)于求解線性方程組。2)自組織學(xué)習(xí)選取RBF神經(jīng)網(wǎng)絡(luò)中心RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點的中心不是固定不變的，而是需要通過自組織學(xué)習(xí)確定其位置，隱含層到輸出層的連接權(quán)值則是通過有監(jiān)督的學(xué)習(xí)來確定的。自組織學(xué)習(xí)選取RBF神經(jīng)網(wǎng)絡(luò)中心法是采用k均值聚類法來選擇RBF神經(jīng)網(wǎng)絡(luò)的中心，屬于無監(jiān)督的學(xué)習(xí)方法。該方法是對神經(jīng)網(wǎng)絡(luò)資源的再分配，通過學(xué)習(xí)使RBF神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點中心位于輸入空間重要的區(qū)域。173)有監(jiān)督學(xué)習(xí)選取RBF神經(jīng)網(wǎng)絡(luò)中心法通過訓(xùn)練樣本集來獲得滿足監(jiān)督要求的RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點中心、隱含層到輸出層連接權(quán)值等參數(shù)。常用的方法是梯度下降法。4)正交最小二乘法選取RBF神經(jīng)網(wǎng)絡(luò)中心法正交最小二乘法（OrthogoalLeastSquare,OLS)的思想來源于線性回歸模型。RBF神經(jīng)網(wǎng)絡(luò)的輸出實際上是隱含層神經(jīng)元的響應(yīng)參數(shù)(如回歸因子)和隱含層到輸出層連接權(quán)值的線性組合。所有隱含層神經(jīng)元上的回歸因子構(gòu)成回歸向量，因此RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程主要是回歸向量正交化的過程。18在很多實際問題中，RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點中心并非是訓(xùn)練集中的某些樣本點或樣本的聚類中心，而是需要通過學(xué)習(xí)的方法獲得的，才能使所得到的隱含層節(jié)點中心能夠更好地反應(yīng)訓(xùn)練集數(shù)據(jù)所包含的信息。19(1)RBF神經(jīng)網(wǎng)絡(luò)輸入層到隱含層不是通過權(quán)值和閾值進行連接的，而是通過輸入樣本與隱含層節(jié)點中心之間的距離連接的。訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)時，需要確定隱含層節(jié)點的個數(shù)、隱含層徑向基函數(shù)中心、標(biāo)準(zhǔn)化常數(shù)以及隱含層到輸出層的權(quán)值等參數(shù)。到目前為止，求RBF神經(jīng)網(wǎng)絡(luò)隱含層徑向基函數(shù)的中心向量ci和標(biāo)準(zhǔn)化常數(shù)σi是一個困難的問題。(2)徑向基函數(shù)，即徑向?qū)ΨQ函數(shù)有多種。對于同一組樣本，如何選擇合適的徑向基函數(shù)、確定隱含層節(jié)點數(shù)等參數(shù)，從而使RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)達到所要求的精度，目前還無法解決。當(dāng)前，用計算機選擇、設(shè)計、再檢驗是一種通用的手段。6.4RBF神經(jīng)網(wǎng)絡(luò)的相關(guān)問題20(3)RBF神經(jīng)網(wǎng)絡(luò)用于非線性系統(tǒng)辨識與控制，已證明RBF神經(jīng)網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小值。雖具有唯一最佳逼近的特性，以及無局部極小的優(yōu)點，但隱含層節(jié)點的中心難求，這是RBF神經(jīng)網(wǎng)絡(luò)難以廣泛應(yīng)用的原因。(4)從理論上而言，RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)一樣可近似任何的連續(xù)非線性函數(shù)。兩者的主要不同點是在非線性映射上采用了不同的作用函數(shù)。BP神經(jīng)網(wǎng)絡(luò)隱含層激活函數(shù)使用的是Sigmoid函數(shù)，其函數(shù)值在輸入空間中無限大的范圍內(nèi)為非零值，即該激活函數(shù)為全局的；而RBF神經(jīng)網(wǎng)絡(luò)隱含層激活函數(shù)使用的是高斯函數(shù)，即它的作用函數(shù)是局部的。21(5)與BP神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺點相反，RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度很快，適于在線實時控制。這是因為RBF神經(jīng)網(wǎng)絡(luò)把一個難題分解成兩個較易解決的問題的緣故。首先，通過若干個隱含層節(jié)點，用聚類方式覆蓋全部樣本模式。然后，修改隱含層到輸出層的連接權(quán)值，以獲得最小映射誤差。這兩步都是比較直觀的。22案列一

給定輸入向量p=

-1:0.1:1和目標(biāo)向量t=[0.05960.68200.04240.07140.52160.09670.81810.81750.72240.14990.65960.51860.97300.64900.80030.45380.43240.82530.08350.1332]，設(shè)計一個RBF神經(jīng)網(wǎng)絡(luò)，完成y=f（x）的曲線擬合。6.5應(yīng)用案例23案列一解（1）創(chuàng)建、訓(xùn)練、儲存RBF神經(jīng)網(wǎng)絡(luò)。（2）RBF神經(jīng)網(wǎng)絡(luò)仿真。24案列一（3）結(jié)果輸出。運行結(jié)果為：網(wǎng)絡(luò)訓(xùn)練的誤差性能曲線和曲線擬合仿真結(jié)果如圖6-3和圖6-4所示。25案列一

圖6-3網(wǎng)絡(luò)訓(xùn)練的誤差性能曲線26案列一

圖6-4曲線擬合仿真結(jié)果圖6-4中，實線為訓(xùn)練樣本曲線，“o”為擬合值。26案列二

設(shè)計一個RBF神經(jīng)網(wǎng)絡(luò)，實現(xiàn)如圖6-5所示的兩類模式的分類。