前向多層神經(jīng)網(wǎng)絡(luò)課件

第2章前向多層神經(jīng)網(wǎng)絡(luò)、BP算法及計算機實現(xiàn)

綜述推導(dǎo)前向多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

BP學(xué)習(xí)算法中幾個值得注意的問題

設(shè)計網(wǎng)絡(luò)學(xué)習(xí)過程的步驟網(wǎng)絡(luò)學(xué)習(xí)過程程序流程圖對本課程的基本要求

基于前面介紹的神經(jīng)元結(jié)構(gòu)，人們又提出了很多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型，如Hopfield網(wǎng)絡(luò)、Boltzmann機、ART網(wǎng)絡(luò)和BAM網(wǎng)絡(luò)等。在各領(lǐng)域中用法最多也最有成效的是前向多層神經(jīng)網(wǎng)絡(luò)，由于該網(wǎng)絡(luò)在學(xué)習(xí)（訓(xùn)練）過程中采用了BP（ErrorBack-propagation）算法，故又稱為BP網(wǎng)絡(luò)。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)由三層神經(jīng)元組成，其結(jié)構(gòu)如圖2－1所示。最下面為輸入層，中間為隱含層，最上面為輸出層，網(wǎng)絡(luò)中相鄰層采取全互連方式連接，同層各神經(jīng)元之間沒有任何連接，輸出層與輸入層之間也沒有直接的聯(lián)系。為方便討論，在此設(shè)輸入層、隱含層及輸出層神經(jīng)元的個數(shù)分別為L，M，N?？梢宰C明：在隱含層節(jié)點可以根據(jù)需要自由設(shè)置的情況下，用三層前向神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)以任意精度逼近任意連續(xù)函數(shù)。輸出模式輸入模式輸出層隱含層輸入層輸出層神經(jīng)元（L=2）隱含層神經(jīng)元（L=1）輸入層神經(jīng)元（L=0）圖2-1前向多層神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò))模型如圖2－2示，設(shè)從第L層神經(jīng)元j到第L-1層神經(jīng)元i的連接權(quán)值為Wji，P為當(dāng)前學(xué)習(xí)樣本，Opi為在P樣本下第L層第i個神經(jīng)元的輸出，變換函數(shù)f(x)取為Sigmoid函數(shù),即

圖2-2BP神經(jīng)網(wǎng)絡(luò)的通用結(jié)構(gòu)

………………

………………對于第P個樣本,網(wǎng)絡(luò)的輸出誤差EP用下式表示

（2－1）式中tpj為輸入第P個樣本時第j個神經(jīng)元的理想輸出,Opj是它的實際輸出,假設(shè)第L層有J個神經(jīng)元,第L-1有I個神經(jīng)元。對于非輸入層的神經(jīng)元具有下面的操作特性:任一神經(jīng)元的凈輸入

(2－3)

任一神經(jīng)元的輸出(2－4)在式(2－3)中,如果將

代入，則(2－3)式可改寫為

(2－5)又(2－6)

(2－7)定義:為輸出誤差系數(shù)

綜合式(2－2)﹑(2－3)﹑(2－5)﹑(2－7)得出

(2－8)i=0,1,2…,I,j=0,1,2…,J-1,L=1,2由上式可見，為求出調(diào)整值，必須先求出。（2－9）

代入(2－9)式得到

(2.10)L=2,j=0,1,2,…,N-1(2)如果所討論的神經(jīng)元為隱層神經(jīng)元,則有:

(向輸出層反向傳播，參見（2－5)式）

=

=

=將此結(jié)果代入式(2－9)得到(2－11)L=1,j=0,1,2,…,M-1從上式可以看出,為求出隱含層的輸出誤差系數(shù),必須用到輸出層的,所以這個過程被稱為誤差反向傳播過程(EBP,errorback-propagation)?，F(xiàn)在來討論項中的,由于f[·]采用Sigmoid函數(shù)。由此可以得到（2－12）

將式(2－13)和式(2－14)代入式(2－8)得到

當(dāng)L=2(輸出層)時

(2－15)I=0,1,2…,N-1;j=0,1,2…,M當(dāng)L=1(隱含層)時

(2－16),I=0,1,2…,M-1,j=0,1,2…,L至此，推導(dǎo)完了BP學(xué)習(xí)算法，式（2－15）與式(2－16)為推導(dǎo)的最后結(jié)果。

(1)神經(jīng)網(wǎng)絡(luò)輸入層,輸出層的神經(jīng)元個數(shù)可以根據(jù)研究對象的輸入,輸出信息來確定,如何合適選取隱含層神經(jīng)元的數(shù)目無規(guī)律可循,然而隱含神經(jīng)元的數(shù)目是否合適對整個網(wǎng)絡(luò)能否正常工作具有重要意義,一般情況下可按下式給出:(2－17)nH為隱含層神經(jīng)元數(shù)目nI

為輸入層神經(jīng)元數(shù)目nO為輸出層神經(jīng)元數(shù)目L為1~10之間的整數(shù)(2)學(xué)習(xí)算法中的η表示學(xué)習(xí)速率,或稱為步幅,η較大時,數(shù)值的修改量就較大,學(xué)習(xí)速率比較快,但有時會導(dǎo)致振蕩,η值較小時,學(xué)習(xí)速率慢,然而學(xué)習(xí)過程平穩(wěn),η值的具體選取方案有很多種,但沒有一種是令人信服的,在一些簡單的問題中,η可取為一常數(shù),滿足0∠η∠1,如η取0.5。(4)在設(shè)置各訓(xùn)練樣本的理想輸出分量時，有時可取為接近1,0的數(shù),如0.9,0.1等而不直接取為1.0,因為單個神經(jīng)元的轉(zhuǎn)換函數(shù)大都是采用Sigmoid函數(shù)，因而輸出層各神經(jīng)元的實際輸出值，只能接近于1或者0，而不能達(dá)到1或者0。(5)在學(xué)習(xí)開始時，必須給每個連接權(quán)賦初值。在實際的網(wǎng)絡(luò)訓(xùn)練過程中，通常的處理方法是給每一個連接權(quán)賦以-1至1之間的隨機數(shù)。BP算法學(xué)習(xí)的目的是為了尋找連接權(quán)，使得趨于全局最小,然而在實際操作時而只能使之趨于一個相對大一點的E值，稱為局部最優(yōu)，如何避免在學(xué)習(xí)過程中陷入局部最小是BP算法的一大難題。

當(dāng)出現(xiàn)局部最優(yōu)的情況下，表現(xiàn)出來的特征是：各數(shù)值收斂到某一穩(wěn)定值，而誤差值卻不是最小，這時可以按下式判定：j=0,1,2…,N-1式中ζ<<1,β為一小數(shù),通常0<β<0.2。如符合上式,則認(rèn)為此時BP網(wǎng)絡(luò)陷入局部極小點。(1)網(wǎng)絡(luò)結(jié)構(gòu)及學(xué)習(xí)參數(shù)的確定

(2)網(wǎng)絡(luò)狀態(tài)初始化

(3)提供學(xué)習(xí)樣本

(4)學(xué)習(xí)開始

(5)是否滿足？滿足執(zhí)行第(6)步,否則返回(4)步(6)是否滿足？若是則執(zhí)行第(7)步，否則返回第(2)步(7)停止

用較小的（絕對值為1以內(nèi)）隨機數(shù)對網(wǎng)絡(luò)權(quán)值，閾值置初值。

輸入向量xp(p=1,2,…,P)和目標(biāo)向量t