人工神經(jīng)網(wǎng)絡(luò)講稿ch4課件

2023/7/231第4章BP網(wǎng)絡(luò)

主要內(nèi)容：BP網(wǎng)絡(luò)的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導(dǎo)算法的收斂速度及其改進(jìn)討論BP網(wǎng)絡(luò)中的幾個重要問題重點：BP算法難點：Delta規(guī)則的理論推導(dǎo)2023/7/2324.1概述

1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓(xùn)練速度非常慢、局部極小點的逃離問題、算法不一定收斂3、優(yōu)點：廣泛的適應(yīng)性和有效性。2023/7/2334.2基本BP算法

4.2.1網(wǎng)絡(luò)的構(gòu)成

神經(jīng)元的網(wǎng)絡(luò)輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：2023/7/234輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的2023/7/235網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2023/7/236網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力BP網(wǎng)一般都選用二級網(wǎng)絡(luò)2023/7/237網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/7/2384.2.2訓(xùn)練過程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計算相應(yīng)的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2023/7/2394.2.2訓(xùn)練過程概述

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：2023/7/23104.2.3誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2023/7/23112、隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2023/7/23122、隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk

有關(guān)不妨認(rèn)為δpk-1通過權(quán)wp1對δ1k做出貢獻(xiàn)，通過權(quán)wp2對δ2k做出貢獻(xiàn)，……通過權(quán)wpm對δmk做出貢獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2023/7/23132、隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2023/7/23144.2.4基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

2023/7/2315算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0;2023/7/2316算法4-1

基本BP算法4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應(yīng)的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)；

4.2.6.2k=k-14.3E=E/2.02023/7/23174.3算法的改進(jìn)

1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛”較后出現(xiàn)的樣本2、給集中的樣本安排一個適當(dāng)?shù)捻樞颍欠浅＠щy的。3、樣本順序影響結(jié)果的原因：“分別”、“依次”4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

2023/7/2318算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

2023/7/23194.3對S中的每一個樣本（Xp,Yp）：

4.3.1計算出Xp對應(yīng)的實際輸出Op；

4.3.2計算出Ep；

4.3.3E=E+Ep；

4.3.4對所有i，j根據(jù)相應(yīng)式子計算?pw(L)ij；

4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 4.3.7.1對所有i,j根據(jù)相應(yīng)式子計算?pw(k)ij；

4.3.7.2對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

4.3.7.3k=k-1

4.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

2023/7/2320算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動問題收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動問題

2023/7/2321算法4-2分析——沖量設(shè)置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)?wij′也是上一次的修改量，β在0和1之間取值2023/7/23224.4算法的實現(xiàn)

主要數(shù)據(jù)結(jié)構(gòu)W[H，m]——輸出層的權(quán)矩陣；V[n，H]——輸入（隱藏）層的權(quán)矩陣；?o[m]——輸出層各聯(lián)接權(quán)的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。

2023/7/2323算法的主要實現(xiàn)步驟

用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學(xué)習(xí)率α；循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；whileE>ε&N<Mdo 4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行如下操作2023/7/23244.2對每一個樣本(X,Y)，執(zhí)行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權(quán)修改量fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；2023/7/23254.2對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的權(quán)修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])；4.2.5修改輸出層權(quán)矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權(quán)矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；2023/7/2326建議

隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測網(wǎng)絡(luò)是否陷入了局部極小點2023/7/23274.5算法的理論基礎(chǔ)基本假設(shè)網(wǎng)絡(luò)含有L層聯(lián)接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經(jīng)元：Hk個自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}誤差測度: 2023/7/2328用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應(yīng)的實際輸出為

O=（o1，o2，…，om）誤差測度2023/7/2329誤差測度用理想輸出與實際輸出的方差作為相應(yīng)的誤差測度2023/7/2330最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij2023/7/2331而其中的

所以，

最速下降法，要求E的極小點2023/7/2332令所以Δwij=αδjoiα為學(xué)習(xí)率最速下降法，要求E的極小點2023/7/2333ANj為輸出層神經(jīng)元

oj=f(netj)容易得到

從而

2023/7/2334ANj為輸出層神經(jīng)元2023/7/2335所以，故，當(dāng)ANj為輸出層的神經(jīng)元時，它對應(yīng)的聯(lián)接權(quán)wij應(yīng)該按照下列公式進(jìn)行調(diào)整：ANj為輸出層神經(jīng)元2023/7/2336ANj為隱藏層神經(jīng)元

函數(shù)2023/7/23