人工神經(jīng)網(wǎng)絡(luò)講稿ch4

第4章BP網(wǎng)絡(luò)

主要內(nèi)容：BP網(wǎng)絡(luò)的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)那么理論推導(dǎo)算法的收斂速度及其改進(jìn)討論BP網(wǎng)絡(luò)中的幾個(gè)重要問題重點(diǎn)：BP算法難點(diǎn)：Delta規(guī)那么的理論推導(dǎo)6/9/20231整理ppt第一頁，共四十四頁。4.1概述

1、BP算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、算法不一定收斂3、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。6/9/20232整理ppt第二頁，共四十四頁。4.2根本BP算法4.2.1網(wǎng)絡(luò)的構(gòu)成

神經(jīng)元的網(wǎng)絡(luò)輸入： neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：6/9/20233整理ppt第三頁，共四十四頁。輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的6/9/20234整理ppt第四頁，共四十四頁。網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)6/9/20235整理ppt第五頁，共四十四頁。網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)6/9/20236整理ppt第六頁，共四十四頁。網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV6/9/20237整理ppt第七頁，共四十四頁。4.2.2訓(xùn)練過程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)〞與飽和狀態(tài)；“不同〞保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：〔1〕從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；〔2〕計(jì)算相應(yīng)的實(shí)際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))6/9/20238整理ppt第八頁，共四十四頁。4.2.2訓(xùn)練過程概述

2、向后傳播階段——誤差傳播階段：〔1〕計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；〔2〕按極小化誤差的方式調(diào)整權(quán)矩陣?！?〕網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測度：〔4〕網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測度：6/9/20239整理ppt第九頁，共四十四頁。4.2.3誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq6/9/202310整理ppt第十頁，共四十四頁。2、隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……6/9/202311整理ppt第十一頁，共四十四頁。2、隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關(guān)不妨認(rèn)為δpk-1通過權(quán)wp1對(duì)δ1k做出奉獻(xiàn)，通過權(quán)wp2對(duì)δ2k做出奉獻(xiàn)，……通過權(quán)wpm對(duì)δmk做出奉獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)6/9/202312整理ppt第十二頁，共四十四頁。2、隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……6/9/202313整理ppt第十三頁，共四十四頁。4.2.4根本的BP算法樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}根本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測度E1，對(duì)W(1)，W(2)，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程6/9/202314整理ppt第十四頁，共四十四頁。算法4-1根本BP算法1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

6/9/202315整理ppt第十五頁，共四十四頁。算法4-1根本BP算法4.2對(duì)S中的每一個(gè)樣本〔Xp,Yp〕： 4.2.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op； 4.2.2計(jì)算出Ep； 4.2.3E=E+Ep； 4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)； 4.2.6.2k=k-14.3E=E/2.06/9/202316整理ppt第十六頁，共四十四頁。4.3算法的改進(jìn)1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛〞較后出現(xiàn)的樣本2、給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?，是非常困難的。3、樣本順序影響結(jié)果的原因：“分別〞、“依次〞4、用(X1,Y1)，〔X2,Y2〕，…，〔Xs,Ys〕的“總效果〞修改W(1)，W(2)，…，W(L)。 ?w(k)ij=∑?pw(k)ij 6/9/202317整理ppt第十七頁，共四十四頁。算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對(duì)所有的i，j，k：?w(k)ij=0；

6/9/202318整理ppt第十八頁，共四十四頁。4.3對(duì)S中的每一個(gè)樣本〔Xp,Yp〕： 4.3.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op； 4.3.2計(jì)算出Ep； 4.3.3E=E+Ep； 4.3.4對(duì)所有i，j根據(jù)相應(yīng)式子計(jì)算?pw(L)ij； 4.3.5對(duì)所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij； 4.3.6k=L-1； 4.3.7whilek≠0do 4.3.7.1對(duì)所有i,j根據(jù)相應(yīng)式子計(jì)算?pw(k)ij； 4.3.7.2對(duì)所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij； 4.3.7.3k=k-14.4對(duì)所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.06/9/202319整理ppt第十九頁，共四十四頁。算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動(dòng)問題收斂速度：比較慢偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂速度沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動(dòng)問題6/9/202320整理ppt第二十頁，共四十四頁。算法4-2分析——沖量設(shè)置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

6/9/202321整理ppt第二十一頁，共四十四頁。4.4算法的實(shí)現(xiàn)

主要數(shù)據(jù)結(jié)構(gòu)W[H，m]——輸出層的權(quán)矩陣；V[n，H]——輸入〔隱藏〕層的權(quán)矩陣；?o[m]——輸出層各聯(lián)接權(quán)的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個(gè)樣本。6/9/202322整理ppt第二十二頁，共四十四頁。算法的主要實(shí)現(xiàn)步驟

用不同的小偽隨機(jī)數(shù)初始化W，V；初始化精度控制參數(shù)ε；學(xué)習(xí)率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對(duì)每一個(gè)樣本(X,Y)，執(zhí)行如下操作

6/9/202323整理ppt第二十三頁，共四十四頁。4.2對(duì)每一個(gè)樣本(X,Y)，執(zhí)行的操作

4.2.1計(jì)算：O1=F1(XV)；O2=F2(O1W)；4.2.2計(jì)算輸出層的權(quán)修改量fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計(jì)算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；6/9/202324整理ppt第二十四頁，共四十四頁。4.2對(duì)每一個(gè)樣本(X，Y)，執(zhí)行的操作4.2.4計(jì)算隱藏層的權(quán)修改量：fori=1toH 4.2.4.1Z=0； 4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]； 4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權(quán)矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權(quán)矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；6/9/202325整理ppt第二十五頁，共四十四頁。建議

隱藏層的神經(jīng)元的個(gè)數(shù)H作為一個(gè)輸入?yún)?shù)同時(shí)將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測網(wǎng)絡(luò)是否陷入了局部極小點(diǎn)

6/9/202326整理ppt第二十六頁，共四十四頁。4.5算法的理論根底根本假設(shè)網(wǎng)絡(luò)含有L層聯(lián)接矩陣：W(1)，W(2)，…，W(L)第k層的神經(jīng)元：Hk個(gè)自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}誤差測度: 6/9/202327整理ppt第二十七頁，共四十四頁。用E代表EP，用〔X，Y〕代表〔XP，YP〕 X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對(duì)應(yīng)的實(shí)際輸出為 O=〔o1，o2，…，om〕誤差測度6/9/202328整理ppt第二十八頁，共四十四頁。誤差測度用理想輸出與實(shí)際輸出的方差作為相應(yīng)的誤差測度6/9/202329整理ppt第二十九頁，共四十四頁。最速下降法，要求E的極小點(diǎn)

wijE>0，此時(shí)Δwij<0取E<0,此時(shí)Δwij>0wij6/9/202330整理ppt第三十頁，共四十四頁。而其中的

所以，

最速下降法，要求E的極小點(diǎn)6/9/202331整理ppt第三十一頁，共四十四頁。令所以Δwij=αδjoiα為學(xué)習(xí)率最速下降法，要求E的極小點(diǎn)6/9/202332整理ppt第三十二頁，共四十四頁。ANj為輸出層神經(jīng)元

oj=f(netj)

容易得到

從而

6/9/202333整理ppt第三十三頁，共四十四頁。ANj為輸出層神經(jīng)元6/9/202334整理ppt第三十四頁，共四十四頁。所以，故，當(dāng)ANj為輸出層的神經(jīng)元時(shí)，它對(duì)應(yīng)的聯(lián)接權(quán)wij應(yīng)該按照以下公式進(jìn)行調(diào)整：ANj為輸出層神經(jīng)元6/9/202335整理ppt第三十五頁，共四十四頁。ANj為隱藏層神經(jīng)元

函數(shù)6/9/202336整理ppt第三十六頁，共四十四頁。ANj為隱藏層神經(jīng)元netk=oi…o2o1oHhnetk是oj下一級(jí)的神經(jīng)元的網(wǎng)絡(luò)輸入oj6/9/202337整理ppt第三十七頁，共四十四頁。ANj為隱藏層神經(jīng)元6/9/202338整理ppt第三十八頁，共四十四頁。ANj為隱藏層神經(jīng)元6/9/202339整理ppt第三十九頁，共四十四頁。ANj為隱藏層神經(jīng)元6/9/202340整理ppt第四十頁，共四十四頁。4.6幾個(gè)問題的討論

收斂速度問題

局部極小點(diǎn)問題

逃離/避開局部極小點(diǎn)：修改W、V的初值——并不是總有效。逃離