RBF神經(jīng)網(wǎng)絡(luò)概述

1、rbf神經(jīng)網(wǎng)絡(luò)概述1 rbf神經(jīng)網(wǎng)絡(luò)的基本原理2 rbf神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)3 rbf神經(jīng)網(wǎng)絡(luò)的優(yōu)點1 rbf神經(jīng)網(wǎng)絡(luò)的基本原理人工神經(jīng)網(wǎng)絡(luò)以其獨特的信息處理能力在許多領(lǐng)域得到了成功的應(yīng)用。它不僅具有強大的非線性映射能力，而且具有自適應(yīng)、自學(xué)習(xí)和容錯性等，能夠從大量的歷史數(shù)據(jù)中進行聚類和學(xué)習(xí)，進而找到某些行為變化的規(guī)律。 徑向基函數(shù)(rbf)神經(jīng)網(wǎng)絡(luò)是一種新穎有效的前饋式神經(jīng)網(wǎng)絡(luò)，它具有最佳逼近和全局最優(yōu)的性能，同時訓(xùn)練方法快速易行，不存在局部最優(yōu)問題，這些優(yōu)點使得rbf網(wǎng)絡(luò)在非線性時間序列預(yù)測中得到了廣泛的應(yīng)用。 1985年，powell提出了多變量插值的徑向基函數(shù)(radial-basis

2、function, rbf)方法。1988年，broomhead和lowe首先將rbf應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，即rbf神經(jīng)網(wǎng)絡(luò)。用徑向基函數(shù)(rbf)作為隱單元的“基”構(gòu)成隱含層空間，對輸入矢量進行一次變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單元輸出的加權(quán)求和得到輸出，這就是rbf網(wǎng)絡(luò)的基本思想。2 rbf神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)rbf網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)：第一層為輸入層，由信號源節(jié)點組成。第二層為隱含層，隱單元的變換函數(shù)是一種局部分布的非負非線性函數(shù)，他對中心點徑向?qū)ΨQ且衰減。隱含層的單元數(shù)由所描述問題的需要確定。第三層為輸出層，網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)

3、。rbf網(wǎng)絡(luò)的輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性。不失一般性，假定輸出層只有一個隱單元，令網(wǎng)絡(luò)的訓(xùn)練樣本對為，其中為訓(xùn)練樣本的輸入，為訓(xùn)練樣本的期望輸出，對應(yīng)的實際輸出為;基函數(shù)為第個隱單元的輸出為基函數(shù)的中心; 為第個隱單元與輸出單元之間的權(quán)值。單輸出的rbf網(wǎng)絡(luò)的拓撲圖如圖1所示:圖1rbf網(wǎng)絡(luò)的拓撲圖當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本時，網(wǎng)絡(luò)的實際輸出為: (1)通常使用的rbf有：高斯函數(shù)、多二次函數(shù)(multiquadric function)、逆多二次函數(shù)、薄板樣條函數(shù)等。 普通rbf網(wǎng)絡(luò)采用的是高斯函數(shù)。當(dāng)“基函數(shù)”采用的高斯基函數(shù)具備如下的優(yōu)點： 表示

4、形式簡單，即使對于多變量輸入也不增加太多的復(fù)雜性； 徑向?qū)ΨQ； 光滑性好，任意階導(dǎo)數(shù)均存在； 由于該基函數(shù)表示簡單且解析性好，因而便于進行理論分析。rbf網(wǎng)絡(luò)具有良好的逼近任意非線性函數(shù)和表達系統(tǒng)內(nèi)在的難以解析的規(guī)律性的能力，并且具有極快的學(xué)習(xí)收斂速度。基于徑向基函數(shù)網(wǎng)絡(luò)的上述優(yōu)點，我們將其應(yīng)用于對非線性函數(shù)的模擬當(dāng)中。3 rbf神經(jīng)網(wǎng)絡(luò)的優(yōu)點rbf神經(jīng)網(wǎng)絡(luò)(radial basis function neural network)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，全稱基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)。拓撲結(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò)，一般稱為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層(也稱隱層)和輸出層。它

5、的特點是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無連接，各層神經(jīng)元之間無反饋連接，構(gòu)成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單計算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問題，能夠求解非線性問題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的rbf網(wǎng)絡(luò)以及改進的rbf網(wǎng)絡(luò)在時間序列預(yù)測中的應(yīng)用較多，但是存在局部最優(yōu)問題、訓(xùn)練速度慢、效率低，在某種程度上限制了其應(yīng)用范圍。 rbf神經(jīng)網(wǎng)絡(luò)的產(chǎn)生具有很強的生物學(xué)背景。在人的大腦皮層區(qū)域中，局部調(diào)節(jié)及交疊的感覺域(receptive field)是人腦反應(yīng)的特點。 rbf網(wǎng)絡(luò)具有以下特點： 前向網(wǎng)絡(luò)； 隱單元的激活函數(shù)通常為具有局部接受域的函數(shù)，即僅

6、當(dāng)輸入落在輸入空間中一個很小的指定區(qū)域中時，隱單元才做出有意義的非零響應(yīng)。因此，rbf網(wǎng)絡(luò)有時也稱為局部接受域網(wǎng)絡(luò)(localized receptive field network)。 brf網(wǎng)絡(luò)的局部接受特性使得其決策時隱含了距離的概念，即只有當(dāng)輸入接近rbf網(wǎng)絡(luò)的接受域時，網(wǎng)絡(luò)才會對之做出響應(yīng)。這就避免了bp網(wǎng)絡(luò)超平面分割所帶來的任意劃分特性。在rbf網(wǎng)絡(luò)中，輸入層至輸出層之間的所有權(quán)值固定為1，隱層rbf單元的中心及半徑通常也預(yù)先確定，僅隱層至輸出層之間的權(quán)值可調(diào)。rbf網(wǎng)絡(luò)的隱層執(zhí)行一種固定不變的非線性變換，將輸入空間映射到一個新的隱層空間，輸出層在該新的空間中實現(xiàn)線性組合。顯然由于

7、輸出單元的線性特性，其參數(shù)調(diào)節(jié)極為簡單，且不存在局部極小問題。 另外，研究還表明，一般brf網(wǎng)絡(luò)所利用的非線性激活函數(shù)形式對網(wǎng)絡(luò)性能的影響并非至關(guān)重要，關(guān)鍵因素是基函數(shù)中心的選取。因此，與bp網(wǎng)絡(luò)同屬前饋神經(jīng)網(wǎng)絡(luò)的brf網(wǎng)絡(luò)在一定程度上克服了bp網(wǎng)絡(luò)所存在的一些問題。徑向基函數(shù)網(wǎng)絡(luò)包括兩層：隱單元層和線性單元層，下圖為徑向基函數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)圖: 輸出線性單元層隱單元層輸入 圖2 rbf神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖rbf網(wǎng)絡(luò)具有最佳逼近的特性，它可以用局部逼近的總和達到對訓(xùn)練數(shù)據(jù)的全局逼近，因此利用低階局部逼近的總和可以完成對訓(xùn)練數(shù)據(jù)的擬合。對于brf網(wǎng)絡(luò)而言，其輸出節(jié)點計算由隱層節(jié)點給出的基函數(shù)的線性組合，

8、其隱層中的基函數(shù)對輸入激勵產(chǎn)生一個局部化的響應(yīng)，即每一個隱節(jié)點有一個參數(shù)矢量，稱之為中心，該中心用來與網(wǎng)絡(luò)輸入樣本矢量相比較，以產(chǎn)生徑向?qū)ΨQ響應(yīng)，僅當(dāng)輸入樣本落在輸入空間的某個局部區(qū)域時，隱節(jié)點才做出有意義的非零響應(yīng)值，響應(yīng)值在0到1之間，輸入與基函數(shù)中心的距離越近，隱節(jié)點響應(yīng)越大，而輸出單元一般是線性的，即輸出單元對隱節(jié)點輸出進行線性加權(quán)組合。因此只有少數(shù)幾個權(quán)值影響網(wǎng)絡(luò)的輸出，在訓(xùn)練時也只有少數(shù)權(quán)值需要進行調(diào)整，從而使得rbf網(wǎng)絡(luò)的學(xué)習(xí)速度大大提高。利用徑向基函數(shù)網(wǎng)絡(luò)來完成函數(shù)逼近任務(wù)，并且將結(jié)果與bp網(wǎng)絡(luò)以及采用改進bp算法的前向網(wǎng)絡(luò)的訓(xùn)練結(jié)果作比較，發(fā)現(xiàn)徑向基函數(shù)網(wǎng)絡(luò)所用時間最短。這個

9、例子揭示了如何用徑向基函數(shù)網(wǎng)絡(luò)來進行函數(shù)逼近，當(dāng)誤差指標取0到1時，采用不同的方法逼近同一個函數(shù)，其性能對比結(jié)果如表2.1所示：表 1性能對比結(jié)果訓(xùn)練函數(shù)網(wǎng)絡(luò)類型時間（秒）訓(xùn)練步數(shù)trainbpbp網(wǎng)絡(luò)247.34127trainbpx采用快速bp算法的前向網(wǎng)絡(luò)41.2571trainlm采用lm算法的前向網(wǎng)絡(luò)3.15solverb徑向基函數(shù)網(wǎng)絡(luò)1.75由對比結(jié)果可以看出，rbf網(wǎng)絡(luò)確實比bp網(wǎng)絡(luò)體現(xiàn)出更強的函數(shù)逼近和分類能力。而且訓(xùn)練速度明顯提高，訓(xùn)練步數(shù)顯著減少。由此，可以看出rbf網(wǎng)絡(luò)具有下列優(yōu)點:它具有唯一最佳逼近的特性，且無局部極小問題存在。rbf神經(jīng)網(wǎng)絡(luò)具有較強的輸入和輸出映射功能，并且理論證明在前向網(wǎng)絡(luò)中rbf網(wǎng)絡(luò)是完成映射功能的最優(yōu)網(wǎng)絡(luò)。網(wǎng)絡(luò)連接權(quán)值與輸出呈線性關(guān)系。分類能力好。學(xué)習(xí)過程收斂速度快。從函數(shù)逼近功能來分，神經(jīng)網(wǎng)絡(luò)可分為全局逼近神經(jīng)網(wǎng)絡(luò)和局部逼近神經(jīng)網(wǎng)絡(luò)。如果網(wǎng)絡(luò)的一個或多個權(quán)值或自適應(yīng)可調(diào)參數(shù)在輸入空間的每一個點對任何一個輸出都有影響，則稱神經(jīng)網(wǎng)絡(luò)為全局逼近神經(jīng)網(wǎng)絡(luò)。多層前饋網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)的典型例子。對于每個輸入輸出數(shù)據(jù)，網(wǎng)絡(luò)的每一個權(quán)值均需要調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢。若對與輸入空間的某個局部區(qū)域