BP神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)介紹-2課件

1、人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，xn）聯(lián)接權(quán)：W=（w1，w2，wn）T網(wǎng)絡(luò)輸入：net=xiwi向量形式：net=XW2022/8/41人工神經(jīng)元的基本構(gòu)成 xn wnx1 w1x2 w2net=XW第1頁，共72頁。激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)（Liner Function） f（net）=k*net+c 2022/8/42 激活函數(shù)(Activation Function) netooc第2頁，共72頁。 if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和

2、值，為該神經(jīng)元的最大輸出。 2022/8/432、非線性斜面函數(shù)(Ramp Function)第3頁，共72頁。2022/8/442、非線性斜面函數(shù)（Ramp Function） - - net o 第4頁，共72頁。if netf（net）=-if net 、均為非負(fù)實(shí)數(shù)，為閾值二值形式：1if netf（net）=0if net 雙極形式：1if netf（net）=-1if net 2022/8/453、閾值函數(shù)（Threshold Function）階躍函數(shù)第5頁，共72頁。 2022/8/463、閾值函數(shù)（Threshold Function）階躍函數(shù)-onet0第6頁，共72頁。壓

3、縮函數(shù)（Squashing Function）和邏輯斯特函數(shù)（Logistic Function）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為a和a+b。最簡(jiǎn)單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制 2022/8/474、S形函數(shù) 第7頁，共72頁。2022/8/484、S形函數(shù) a+b o(0,c)netac=a+b/2第8頁，共72頁。生物神經(jīng)網(wǎng)六個(gè)基本特征神經(jīng)元及其聯(lián)接、信號(hào)傳遞、訓(xùn)練、刺激與抑制、累積效果、 閾值。人工神經(jīng)元的基本構(gòu)成2022/8/49課內(nèi)容回顧xn wnx1 w1x

4、2 w2net=XW第9頁，共72頁。激活函數(shù)與M-P模型 線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù) S形函數(shù) M-P模型2022/8/410上次課內(nèi)容回顧x2 w2fo=f（net）xn wnnet=XWx1 w1第10頁，共72頁。2022/8/411簡(jiǎn)單單級(jí)網(wǎng)x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸入層第11頁，共72頁。W=（wij）輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：netj=x1w1j+x2w2j+xnwnj其中, 1 j m。取NET=（net1，net2，netm）NET=XWO=F（NET）2022/8/412簡(jiǎn)單單級(jí)網(wǎng)第12頁，共72頁。2022/8

5、/413單級(jí)橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層V第13頁，共72頁。V=（vij）NET=XW+OVO=F（NET）時(shí)間參數(shù)神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考慮僅在t=0時(shí)加X的情況。 穩(wěn)定性判定2022/8/414單級(jí)橫向反饋網(wǎng) 第14頁，共72頁。2022/8/415多級(jí)網(wǎng)輸出層隱藏層輸入層o1o2omx1x2xn第15頁，共72頁。層次劃分 信號(hào)只被允許從較低層流向較高層。層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。輸入層：

6、被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息2022/8/416輸出層隱藏層輸入層o1o2omx1x2xn第16頁，共72頁。第j層：第j-1層的直接后繼層（j0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)2022/8/417輸出層隱藏層輸入層o1o2omx1x2xn第17頁，共72頁。約定 :輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級(jí)網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的

7、時(shí)候，一般我們用W（j）表示第j層矩陣。2022/8/418輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)第18頁，共72頁。2022/8/419多級(jí)網(wǎng) 層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)第19頁，共72頁。非線性激活函數(shù) F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2022/8/420多級(jí)網(wǎng)第20頁，共72頁。2022/8/421循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn第21頁，共72頁。如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號(hào)被逐步地加強(qiáng)、被修復(fù)。大腦的短期記憶

8、特征:看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2022/8/422循環(huán)網(wǎng) 第22頁，共72頁。人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程2022/8/423人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 第23頁，共72頁。無導(dǎo)師學(xué)習(xí)(Unsupervised L

9、earning)與無導(dǎo)師訓(xùn)練(Unsupervised Training)相對(duì)應(yīng) 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2022/8/424無導(dǎo)師學(xué)習(xí) 第24頁，共72頁。有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一訓(xùn)練。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個(gè)樣本（Ai，Bi）；2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O； 3） 求D=Bi-O；4） 根據(jù)D調(diào)整權(quán)矩陣W； 5） 對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。 2022

10、/8/425 有導(dǎo)師學(xué)習(xí) 第25頁，共72頁。Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以寫成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)=joi(t)j=yj- aj(t)Grossberg的寫法為： Wij(t)=ai(t)(oj(t)-Wij(t)更一般的Delta規(guī)則為： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)2022/8/426Delta規(guī)則 第26頁，共72頁。1 概述 2 基本BP算法 3 算法的改進(jìn) 4 算法的實(shí)現(xiàn) 5 算法的理論基礎(chǔ) 6 幾個(gè)問題的討論 2022/8/427BP網(wǎng)絡(luò)第27

11、頁，共72頁。1、BP算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSD PDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、算法不一定收斂。3、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。2022/8/428一 概述 第28頁，共72頁。4、BP網(wǎng)絡(luò)主要用于1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。2）模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來。3）分類：把輸入向量 以所定義的合適方式進(jìn)行分類。4）數(shù)據(jù)

12、壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。2022/8/429概述第29頁，共72頁。1 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+xnwni神經(jīng)元的輸出：2022/8/430二 基本BP算法 第30頁，共72頁。應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的2022/8/431輸出函數(shù)分析0.5f (net)0.25o0 11（0,0.5）net（0,0）o第31頁，共72頁。2022/8/432網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxnW(1)W(2)W(3)W(L)第32頁，共72頁。BP網(wǎng)的結(jié)構(gòu)輸入向量

13、、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。2022/8/433網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 第33頁，共72頁。2022/8/434網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxnWV第34頁，共72頁。樣本：(輸入向量，理想輸出向量)權(quán)初始化：小隨機(jī)數(shù)與飽和狀態(tài)；不同保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2022/8/4352 訓(xùn)練過程概述

14、第35頁，共72頁。2、向后傳播階段 誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度：2022/8/4362 訓(xùn)練過程概述 （4） 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：第36頁，共72頁。2022/8/4373 誤差傳播分析 1、輸出層權(quán)的調(diào)整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq(1-oq) (yq-oq)op wpqANpANq第L-1層第L層wpq第37頁，共72頁。2022/8/4382、隱藏層權(quán)的調(diào)整 ANpANqANhvhppk-11kwp1wpqqkwpmm

15、k第k-2層第k層第k-1層第38頁，共72頁。2022/8/4392、隱藏層權(quán)的調(diào)整pk-1的值和1k，2k， ，mk 有關(guān)不妨認(rèn)為pk-1通過權(quán)wp1對(duì)1k做出貢獻(xiàn)，通過權(quán)wp2對(duì)2k做出貢獻(xiàn)，通過權(quán)wpm對(duì)mk做出貢獻(xiàn)。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)第39頁，共72頁。vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ + wpmmk)ohk-2=opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-22022/8/4402、隱藏層權(quán)的調(diào)整ANpANqAN

16、hvhppk-11kwp1wpmqkwpqmk第k-2層第k層第k-1層第40頁，共72頁?；綛P算法neti=x1w1i+x2w2i+ +xnwni2022/8/441內(nèi)容回顧第41頁，共72頁。2022/8/442內(nèi)容回顧x1o1輸出層隱藏層輸入層x2o2omxnWV第42頁，共72頁。樣本權(quán)初始化向前傳播階段Op=Fn(F2(F1(XpW(1)W(2)W(n)誤差測(cè)度2022/8/443內(nèi)容回顧第43頁，共72頁。向后傳播階段 誤差傳播階段輸出層權(quán)的調(diào)整wpq= qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op隱藏層權(quán)的調(diào)整2022/8/444內(nèi)容

17、回顧ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp =opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-2第44頁，共72頁。樣本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想 ：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測(cè)度E1，對(duì)W(1) ，W(2) ，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到Ep do 4.1 E=0; 2022/8/446基本BP算法 第46頁，共72頁。 4.2 對(duì)S中的每一個(gè)樣本（Xp,Yp）： 4.2.1 計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op； 4.2.2 計(jì)算出Ep； 4.2.

18、3 E=E+Ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 4.2.6.1 根據(jù)相應(yīng)式子調(diào)整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 2022/8/447基本BP算法第47頁，共72頁。1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更偏愛較后出現(xiàn)的樣本2、給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?，是非常困難的。3、樣本順序影響結(jié)果的原因：分別依次4、用(X1,Y1)，（X2,Y2）， ，（Xs,Ys）的總效果修改W(1) ，W(2) ， ，W(L)。w(k)ij=p w(k)ij2022/8/448算法的改進(jìn) 第48

19、頁，共72頁。1 for k=1 to L do1.1 初始化W(k)；2 初始化精度控制參數(shù)；3 E=+1;4 while E do 4.1 E=0;4.2 對(duì)所有的i，j，k： w (k)ij=0； 2022/8/449消除樣本順序影響的BP算法 第49頁，共72頁。4.3 對(duì)S中的每一個(gè)樣本（Xp,Yp）：4.3.1 計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op；4.3.2 計(jì)算出Ep；4.3.3 E=E+Ep；4.3.4 對(duì)所有i，j根據(jù)相應(yīng)式子計(jì)算p w (L)ij；4.3.5 對(duì)所有i，j： w (L)ij= w (L)ij+p w (L)ij；4.3.6 k=L-1；4.3.7 while k0

20、 do4.3.7.1 對(duì)所有i,j根據(jù)相應(yīng)式子計(jì)算p w (k)ij；4.3.7.2 對(duì)所有i,j： w (k)ij= w (k)ij+p w (k)ij；4.3.7.3 k=k-1 4.4 對(duì)所有i，j，k：w (k)ij= w (k)ij+ w (k)ij;4.5 E=E/2.0 2022/8/450第50頁，共72頁。較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動(dòng)問題 收斂速度：比較慢偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂速度 沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動(dòng)問題 2022/8/451算法分析 第51頁，共72頁。主要數(shù)據(jù)結(jié)構(gòu)WH，m 輸出層的權(quán)矩陣；V

21、n，H 輸入（隱藏）層的權(quán)矩陣；m輸出層各聯(lián)接權(quán)的修改量組成的向量；H隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1隱藏層的輸出向量；O2輸出層的輸出向量；(X，Y)一個(gè)樣本。 2022/8/452 算法的實(shí)現(xiàn) 第52頁，共72頁。用不同的小偽隨機(jī)數(shù)初始化W，V；初始化精度控制參數(shù)；學(xué)習(xí)率 ； 循環(huán)控制參數(shù)E=+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0； while E & N0，此時(shí)wij0取E0wij第59頁，共72頁。2022/8/460最速下降法，要求E的極小點(diǎn)而其中的 所以， 第60頁，共72頁。2022/8/461最速下降法，要求E的極小點(diǎn)令所以wij=joi為學(xué)習(xí)率第61頁，共72頁。oj=f(netj) 容易得到 2022/8/462ANj為輸出層神經(jīng)元 從而 第62頁，共72頁。2022/8/463ANj