神經(jīng)網(wǎng)絡(luò)及BP與RBF比較

1、機(jī)器學(xué)習(xí)第四章神經(jīng)網(wǎng)絡(luò)報(bào)告一、神經(jīng)網(wǎng)絡(luò)概述1.簡介人工神經(jīng)網(wǎng)絡(luò)是模仿腦細(xì)胞結(jié)構(gòu)和功能、腦神經(jīng)結(jié)構(gòu)以及思維處理問題等腦功能的信息處系統(tǒng)，它從模仿人腦智能的角度出發(fā)，探尋新的信息表示、存儲和處理方式，這種神經(jīng)網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的，它采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)有針對性化信息方面的缺陷，具有自適應(yīng)、自組織和實(shí)時學(xué)習(xí)的特點(diǎn)，它通過預(yù)先提供的一批相互對應(yīng)的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果。人工神經(jīng)網(wǎng)絡(luò)（ANN）

2、學(xué)習(xí)對于訓(xùn)練數(shù)據(jù)中的錯誤健壯性很好，且已被成功地應(yīng)用到很多領(lǐng)域，例如視覺場景分析、語音識別、機(jī)器人控制以及醫(yī)學(xué)圖像處理等。人工神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及功能 2.1人工神經(jīng)網(wǎng)絡(luò)具有以下幾個突出的優(yōu)點(diǎn)： （1）能充分逼近復(fù)雜的非線性關(guān)系。只有當(dāng)神經(jīng)元對所有輸入信號的綜合處理結(jié)果超過某一個限值后才能輸出一個信號。 （2）所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，每個神經(jīng)元及其連線只能表示一部分信息，因此當(dāng)有節(jié)點(diǎn)斷裂時也不影響總體運(yùn)行效果，具有很強(qiáng)的魯棒性和容錯能力。 （3）采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能。 （4）可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)。 2.2人工

3、神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性，使其具有以下三個顯著的功能： （1）具有自學(xué)習(xí)功能：這種功能在圖像識別和處理以及未來預(yù)測方面表現(xiàn)得尤為明顯。自學(xué)習(xí)功能在未來預(yù)測方面也意義重大，隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，未來它將在更多的領(lǐng)域，比如經(jīng)濟(jì)預(yù)測、市場預(yù)測、效益預(yù)測等等，發(fā)揮更好的作用。 （2）具有聯(lián)想存儲功能：人的大腦能夠?qū)σ恍┫嚓P(guān)的知識進(jìn)行歸類劃分，進(jìn)而具有聯(lián)想的功能，當(dāng)我們遇到一個人或者一件事情的時候，跟此人或者此事相關(guān)的一些信息會浮現(xiàn)在你的腦海，而人工神經(jīng)網(wǎng)絡(luò)則通過它的反饋網(wǎng)絡(luò)，實(shí)現(xiàn)一些相關(guān)事物的聯(lián)想。 （3）具有高速尋找優(yōu)化解的功能：人工神經(jīng)網(wǎng)絡(luò)利用反饋型網(wǎng)絡(luò)，通過發(fā)揮計(jì)算機(jī)快速和高效的計(jì)算能力，結(jié)合針

4、對解決某一問題的算法，往往能快速找到針對某些復(fù)雜問題的優(yōu)化解此外，ANN還存在著很多問題：如訓(xùn)練時間長，需大量訓(xùn)練數(shù)據(jù)，不能保證最佳結(jié)果和完全可靠，容易陷入局部極小，不具備增量學(xué)習(xí)能力，聯(lián)想存儲網(wǎng)絡(luò)容量小，所存儲的信息相互干擾和退化，不適合高精度計(jì)算，沒有很完善的學(xué)習(xí)方法，經(jīng)驗(yàn)參數(shù)太多等。在實(shí)際應(yīng)用中也存在著難以設(shè)計(jì)通用的神經(jīng)網(wǎng)絡(luò)芯片，大量的、動態(tài)的神經(jīng)無互聯(lián)實(shí)現(xiàn)困難等問題。因此，還需對ANN進(jìn)行現(xiàn)深更進(jìn)一步的研究。二RBF神經(jīng)網(wǎng)絡(luò)介紹徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)是一種新穎有效的前饋式神經(jīng)網(wǎng)絡(luò)，它具有最佳逼近和全局最優(yōu)的性能，同時訓(xùn)練方法快速易行，不存在局部最優(yōu)問題，這些優(yōu)點(diǎn)使得RBF網(wǎng)絡(luò)在非

5、線性時間序列預(yù)測中得到了廣泛的應(yīng)用。1985年，Powell提出了多變量插值的徑向基函數(shù)（Radial-Basis Function,RBF）方法。1988年，Broomhead和Lowe首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，對輸入矢量進(jìn)行一次變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單無輸出的加權(quán)求和得到輸出，這就是RBF網(wǎng)絡(luò)的基本思想。RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原理RBF函數(shù)網(wǎng)絡(luò)從結(jié)構(gòu)上看是一個3層前饋網(wǎng)絡(luò)，包括一個輸入層、一個輸出層和一人隱含層。輸入層節(jié)點(diǎn)的作用是將輸入數(shù)據(jù)傳遞到隱含層節(jié)點(diǎn)。隱含層節(jié)點(diǎn)稱為RBF節(jié)點(diǎn)，其激活函數(shù)為輻射狀函數(shù)的神經(jīng)元構(gòu)成，下面是單輸出

6、的RBF網(wǎng)絡(luò)的拓?fù)鋱D：通常采用高斯型函數(shù)：uj=exp-x-CjTx-Cj2j2，(j=1,2,h)其中x=(x1,x2,xm)是RBF網(wǎng)絡(luò)的輸入向量，uj是第j個隱含層神經(jīng)元的輸出，且uj0,1，Ci是高斯函數(shù)的中心值，j是高斯函數(shù)的方差，h是隱含層神經(jīng)元數(shù)目。輸出層節(jié)點(diǎn)的激活函數(shù)通常為簡單的線性函數(shù)。RBF網(wǎng)絡(luò)中所用的非線性函數(shù)的形式對網(wǎng)絡(luò)性能的影響并不是至關(guān)重要的，關(guān)鍵因素是基函數(shù)中心的選取，中心選取不當(dāng)構(gòu)造出來的RBF網(wǎng)絡(luò)的性能一般不能令人滿意。例如，某些中心靠的太近，會產(chǎn)生近似線性相關(guān)，從而帶來數(shù)值上的病變條件。通常使用的RBF有：高斯函、多二次函數(shù)、逆多二次函數(shù)、薄板樣條函數(shù)等。普

7、通RBF網(wǎng)絡(luò)采用的是高斯函數(shù)?！盎瘮?shù)”采用的高斯基函數(shù)具備如下的優(yōu)點(diǎn)：表示形式簡單，即使對于多變量輸入也不增加太多的復(fù)雜性；徑向?qū)ΨQ；光滑性好，任意階導(dǎo)數(shù)均存在；由于該基函數(shù)表示簡單且解析性好，因而便于進(jìn)行理論分析。最近鄰聚類學(xué)習(xí)算法按RBF中心選取方法的不同來分可將RBF網(wǎng)絡(luò)的學(xué)習(xí)算法分為隨機(jī)選取中心、自組織選取中心、有監(jiān)督選取中心、正交最小二乘等方法。下面對最近鄰聚類學(xué)習(xí)算法選取RBF基函數(shù)中心進(jìn)行介紹；該算法是一種在線自適應(yīng)聚類學(xué)習(xí)算法，不需要事先確定隱單元的個數(shù)，完成聚類所得到RBF網(wǎng)絡(luò)是最優(yōu)的，并且此算法可以在線學(xué)習(xí)。該算法具體過程如下：（1）選擇一個適當(dāng)?shù)母咚购瘮?shù)寬度r，定義一個

8、矢量(l)用于存放屬于各類的輸出矢量之各，定義一個計(jì)數(shù)器B(l)用于統(tǒng)計(jì)屬于各類的樣本個數(shù)，其中l(wèi)為類別數(shù)。（2）從第一個數(shù)據(jù)對（x1,y1）開始，在x1上建立一個聚類中心，令c1=x1，1=y1，B(1)=1。這樣建立的RBF網(wǎng)絡(luò)，只有一個隱單元，該隱單元的中心為c1，該隱單元到輸出層的權(quán)矢量為1=1B(1)。（3）考慮第2個樣本數(shù)據(jù)對（x2,y2），求出x2到c1這個聚類中心的距離x2-c1。如果x2-c1r，則c1為x2的最近鄰聚類，且令1=y1+y2，B(1)=2，1=1B(1)；如果x2-c1>r，則將x2作為一個新聚類中心，并令c2=x2，2=y2，B(2)=1。在上述建立的

9、RBF網(wǎng)絡(luò)中再添加一個隱單元，該隱單元到輸出層的權(quán)矢量為1=2B(2)。（4）假設(shè)我們考慮第k個樣本數(shù)據(jù)對（xk,yk）時，k=3,4,N存在M個聚類中心，其中心點(diǎn)分別為c1,c2,cM，在上述建立的RBF網(wǎng)絡(luò)中已有M隱單元。再分別求出到這M個聚類中心的距離xk-ci,i=1,2,M，設(shè)xk-cj為這些距離中最小距離，即cj為xk的最近鄰聚類，則：如果xk-ci>r，則將xk作為一個新聚類中心，并令cM+1=xk，M=M+1，M=yk，B(M)=1。且保持i，Bi的值不變，i=1,2,M-1。在上述建立的RBF網(wǎng)絡(luò)中再添加第M個隱單元。如查如果xk-cir，作如下計(jì)算j=j+yk，Bj=

10、Bj+1。當(dāng)ij時，i=1,2,M，且保持i，Bi的值不變。隱單元到輸出層的權(quán)矢量為i=iB(i)，i=1,2,M。（5）根據(jù)上述規(guī)則建立的RBF網(wǎng)絡(luò)其輸出應(yīng)為fxk=i=1Miexp(-(xk-ci)2r2)i=1Mexp(-(xk-ci)2r2)半徑r的大小決定了動態(tài)自適應(yīng)RBF網(wǎng)絡(luò)的復(fù)雜程度。r越小，所得到的聚類數(shù)目就越多，計(jì)算量也越大。但由于r是一個一維參數(shù)，通常可以通過實(shí)驗(yàn)和誤差信息找到一個適當(dāng)?shù)膔，這比同時確定隱單元的個數(shù)和一個合適的范數(shù)要方便的多。由于每一個輸入-輸出數(shù)據(jù)對都可能產(chǎn)生一個新的聚類。因此，這種動態(tài)自適應(yīng)RBF網(wǎng)絡(luò)，實(shí)際上同時在進(jìn)行參數(shù)和結(jié)構(gòu)兩個過程的自適應(yīng)調(diào)整。三B

11、P神經(jīng)網(wǎng)絡(luò)介紹BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumclhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱藏層（hide layer）和輸出層（output layer）。每一層由一定數(shù)量的神經(jīng)元構(gòu)成，如下圖所示：當(dāng)學(xué)習(xí)模式供給網(wǎng)絡(luò)后，神經(jīng)元激活值從輸出層傳

12、播，在輸出層各神經(jīng)元輸出對應(yīng)的值，然后按照減少與期望輸出與實(shí)際輸出的準(zhǔn)則，從輸出層回到隱含層，再回到輸入層修正各個網(wǎng)絡(luò)系數(shù)。由于BP網(wǎng)絡(luò)有處于中間的隱藏層，并有相應(yīng)的學(xué)習(xí)規(guī)則可循，可以訓(xùn)練這種網(wǎng)絡(luò)，使其具有對非線性模式的識別能力。常用于信息處理、模式識別、智能控制及系統(tǒng)建模領(lǐng)域。BP網(wǎng)絡(luò)主要罝入模式順傳播，輸出誤差逆?zhèn)鞑?，循環(huán)記憶訓(xùn)練，學(xué)習(xí)結(jié)果判別四個部分組成。下面是BP算法的學(xué)習(xí)過程：BPTrain初始化network的權(quán)和閾值。While終止條件不滿足for samples中的每個訓(xùn)練樣本X/向前傳播輸入For隱藏或輸出層每個單元jIj=iijOj+j；/相對前一層i，計(jì)算單元j的凈輸入O

13、j=1（1+e-It)；/計(jì)算單元j的輸出/后向傳播誤差for輸出層每個單元jErrj=Oj(1-Oj)(Tj-Oj)；/計(jì)算誤差for由最后一個到第一個隱藏層，對于隱藏層每個單元jErrj=Oj(1-Oj)kErrkkj；/k是j的下一層中的神經(jīng)元for network中每個權(quán)ijij=(l)ErrjOi；/權(quán)增值ij=ij+ij；/權(quán)更新for network中每個偏差jj=(l)Errj；/偏差增值j=j+j；/偏差更新算法基本流程就是：1、 初始化網(wǎng)絡(luò)權(quán)值和神經(jīng)元的閾值（最簡單的辦法就是隨要初始化）2、 前向傳播：按照公式一層一層的計(jì)算隱藏層神經(jīng)元和輸出層神經(jīng)元的輸入和輸出。3、 反向

14、傳播：根據(jù)公式修正權(quán)值和閾值直到滿足終止條件。四RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的比較RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)都是非線性多層前向網(wǎng)絡(luò)，它們都是通用逼近器。對于任一個BP神經(jīng)網(wǎng)絡(luò)，總存在一個RBF神經(jīng)網(wǎng)絡(luò)可以代替它，反之亦然。但是這兩個網(wǎng)絡(luò)也存在著很多不同點(diǎn)，這里從網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練算法、網(wǎng)絡(luò)資源的利用及逼近性能等方面對RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較研究。（1）從網(wǎng)絡(luò)結(jié)構(gòu)上看。 BP神經(jīng)網(wǎng)絡(luò)實(shí)行權(quán)連接，而RBF神經(jīng)網(wǎng)絡(luò)輸入層到隱層單元之間為直接連接，隱層到輸出層實(shí)行權(quán)連接。BP神經(jīng)網(wǎng)絡(luò)隱層單元的轉(zhuǎn)移函數(shù)一般選擇非線性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡(luò)隱層單元的轉(zhuǎn)移函數(shù)是關(guān)于中心對稱

15、的RBF（如高斯函數(shù)）。BP神經(jīng)網(wǎng)絡(luò)是三層或三層以上的靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)，其隱層和隱層節(jié)點(diǎn)數(shù)不容易確定，沒有普遍適用的規(guī)律可循，一旦網(wǎng)絡(luò)的結(jié)構(gòu)確定下來，在訓(xùn)練階段網(wǎng)絡(luò)結(jié)構(gòu)將不再變化；RBF神經(jīng)網(wǎng)絡(luò)是三層靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)，隱層單元數(shù)也就是網(wǎng)絡(luò)的結(jié)構(gòu)可以根據(jù)研究的具體問題，在訓(xùn)練階段自適應(yīng)地調(diào)整，這樣網(wǎng)絡(luò)的適用性就更好了。（2）從訓(xùn)練算法上看。 BP神經(jīng)網(wǎng)絡(luò)需要確定的參數(shù)是連接權(quán)值和閾值，主要的訓(xùn)練算法為BP算法和改進(jìn)的BP算法。但BP算法存在許多不足之處，主要表現(xiàn)為易限于局部極小值，學(xué)習(xí)過程收斂速度慢，隱層和隱層節(jié)點(diǎn)數(shù)難以確定；更為重要的是，一個新的BP神經(jīng)網(wǎng)絡(luò)能否經(jīng)過訓(xùn)練達(dá)到收斂還與訓(xùn)

16、練樣本的容量、選擇的算法及事先確定的網(wǎng)絡(luò)結(jié)構(gòu)（輸入節(jié)點(diǎn)、隱層節(jié)點(diǎn)、輸出節(jié)點(diǎn)及輸出節(jié)點(diǎn)的傳遞函數(shù)）、期望誤差和訓(xùn)練步數(shù)有很大的關(guān)系。RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法在前面已做了論述，目前，很多RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法支持在線和離線訓(xùn)練，可以動態(tài)確定網(wǎng)絡(luò)結(jié)構(gòu)和隱層單元的數(shù)據(jù)中心和擴(kuò)展常數(shù)，學(xué)習(xí)速度快，比BP算法表現(xiàn)出更好的性能。（3）從網(wǎng)絡(luò)資源的利用上看。 RBF神經(jīng)網(wǎng)絡(luò)原理、結(jié)構(gòu)和學(xué)習(xí)算法的特殊性決定了其隱層單元的分配可以根據(jù)訓(xùn)練樣本的容量、類別和分布來決定。如采用最近鄰聚類方式訓(xùn)練網(wǎng)絡(luò)，網(wǎng)絡(luò)隱層單元的分配就僅與訓(xùn)練樣本的分布及隱層單元的寬度有關(guān)，與執(zhí)行的任務(wù)無關(guān)。在隱層單元分配的基礎(chǔ)上，輸入與輸出之間的映射關(guān)系，通過調(diào)整隱層單元和輸出單元之間的權(quán)值來實(shí)現(xiàn)，這樣，不同的任務(wù)之間的影響就比較小，網(wǎng)絡(luò)的資源就可以得到充分的利用。這一點(diǎn)和BP神經(jīng)網(wǎng)絡(luò)完全不同，BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的確定由每個任務(wù)（輸出節(jié)點(diǎn)）均方差的總和直接決定，這樣，訓(xùn)練的網(wǎng)絡(luò)只能是不同任務(wù)的折中，對于某個任務(wù)來說，就無法達(dá)到最佳的效果。而RBF神經(jīng)網(wǎng)絡(luò)則可以使每個任務(wù)之間的影響降