BP神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)介紹PPT課件

1、人工神經(jīng)元模擬生物神經(jīng)元的人工神經(jīng)元模擬生物神經(jīng)元的一階特性一階特性。輸入：輸入：x=（x1，x2，xn）聯(lián)接權(quán)：聯(lián)接權(quán)：w=（w1，w2，wn）t網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入：net=xiwi向量形式：向量形式：net=xw2021-9-181xn wnx1 w1x2 w2net=xw激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：也可以稱為激勵(lì)函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)（、線性函數(shù)（liner function） f（net）=k*net+c 2021-9-182netooc if netf（net）=

2、k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。出。 2021-9-1832021-9-184 - - net o if netf（net）=-if net 、均為非負(fù)實(shí)數(shù)，均為非負(fù)實(shí)數(shù)，為閾值為閾值二值形式：二值形式：1if netf（net）=0if net 雙極形式：雙極形式：1if netf（net）=-1if net 2021-9-185 2021-9-186-onet0壓縮函數(shù)（壓縮函數(shù)（squashing function）和邏輯斯特函數(shù)）和邏輯斯特函數(shù)（logistic function）。）。f（net）=a

3、+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為為常數(shù)。它的飽和值為a和和a+b。最簡單形式為：最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為函數(shù)的飽和值為0和和1。s形函數(shù)有較好的增益控制形函數(shù)有較好的增益控制 2021-9-1872021-9-188a+b o(0,c)netac=a+b/2生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng)六個(gè)基本特征六個(gè)基本特征神經(jīng)元及其聯(lián)接神經(jīng)元及其聯(lián)接、信號(hào)傳遞信號(hào)傳遞、訓(xùn)練訓(xùn)練、刺激刺激與與抑制、累積效果抑制、累積效果、 閾值閾值。人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元的基本構(gòu)成2021-9-189xn wnx1 w1x2 w2net=x

4、w激活函數(shù)與激活函數(shù)與m-p模型模型 線性函數(shù)、非線性斜面函數(shù)、線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)閾值函數(shù) s形函數(shù)形函數(shù) m-p模型模型2021-9-1810 x2 w2 fo=f（net）xn wnnet=xwx1 w12021-9-1811x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸出層輸入層輸入層w=（wij）輸出層的第輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：netj=x1w1j+x2w2j+xnwnj其中其中, 1 j m。取。取net=（net1，net2，netm）net=xwo=f（net）2021-9-18122021-9-1813

5、輸出層輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層輸入層vv=（vij）net=xw+ovo=f（net）時(shí)間參數(shù)時(shí)間參數(shù)神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮考慮x總加在網(wǎng)上的情況總加在網(wǎng)上的情況net（t+1）=x（t）w+o（t）vo(t+1)=f(net(t+1)o（0）=0考慮僅在考慮僅在t=0時(shí)加時(shí)加x的情況。的情況。 穩(wěn)定性判定穩(wěn)定性判定2021-9-18142021-9-1815輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn層次劃分層次劃分 信號(hào)只被允許從較低層流向較高層。信號(hào)只被允許從較低層流向較高層。層號(hào)確

6、定層的高低：層號(hào)較小者，層次較層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。低，層號(hào)較大者，層次較高。輸入層輸入層：被記作第：被記作第0層。該層負(fù)責(zé)接收來自層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息網(wǎng)絡(luò)外部的信息2021-9-1816輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn第第j層層：第：第j-1層的直接后繼層（層的直接后繼層（j0），它直接接），它直接接受第受第j-1層的輸出。層的輸出。輸出層輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層隱藏層：除輸入層和輸出層以

7、外的其它各層叫：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)直接向外界發(fā)送信號(hào)2021-9-1817輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn約定約定 : :輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或?qū)泳W(wǎng)絡(luò)，或n級(jí)網(wǎng)絡(luò)。級(jí)網(wǎng)絡(luò)。第第j-1層到第層到第j層的聯(lián)接矩陣為第層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用w（j）表示第表示第j層矩陣層矩

8、陣。2021-9-1818輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xnw(1)w(2)w(3)w(h)2021-9-1819輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xnw(1)w(2)w(3)w(h)非線性激活函數(shù)非線性激活函數(shù) f(x)=kx+cf(x)=kx+cf f3 3(f(f2 2(f(f1 1(xw(xw(1)(1)w)w(2)(2)w)w(3)(3) )2021-9-18202021-9-1821x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxn如果將輸出信號(hào)反饋到輸入端如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)

9、絡(luò)。的循環(huán)網(wǎng)絡(luò)。輸入的原始信號(hào)被逐步地加強(qiáng)、被修復(fù)。輸入的原始信號(hào)被逐步地加強(qiáng)、被修復(fù)。大腦的大腦的短期記憶特征短期記憶特征:看到的東西不是一下子就從看到的東西不是一下子就從腦海里消失的。腦海里消失的。穩(wěn)定穩(wěn)定：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2021-9-1822人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。

10、人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，年，rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程2021-9-1823無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(unsupervised learning)與無導(dǎo)師訓(xùn)練與無導(dǎo)師訓(xùn)練(unsupervised training)相對(duì)應(yīng)相對(duì)應(yīng) 抽取樣本集合中蘊(yùn)含

11、的統(tǒng)計(jì)特性抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2021-9-1824有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(supervised learning)與有導(dǎo)師訓(xùn)練與有導(dǎo)師訓(xùn)練(supervised training)相對(duì)應(yīng)。相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一訓(xùn)練。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一訓(xùn)練。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個(gè)樣本（從樣本集合中取一個(gè)樣本（ai，bi）；）；2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出o； 3） 求求d=bi-o；4） 根據(jù)根據(jù)d

12、調(diào)整權(quán)矩陣調(diào)整權(quán)矩陣w； 5 5） 對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。誤差不超過規(guī)定范圍。 2021-9-1825widrow和和hoff的寫法的寫法：wij( (t+1) )=wij( (t) )+( (yj- aj( (t)oi( (t) )也可以寫成：也可以寫成：wij( (t+1) )=wij( (t) )+wij( (t) )wij(t)(t)=joi(t)(t)j=yj- aj(t)(t)grossberg的寫法為：的寫法為： wij(t)=a(t)=ai i(t)(o(t)(oj j(t)-w(t)-w

13、ijij(t)(t)更一般的更一般的delta規(guī)則為：規(guī)則為： wij( (t) )=g( (ai(t)，yj，oj( (t) )，wij( (t)2021-9-18261 概述概述 2 基本基本bp算法算法 3 算法的改進(jìn)算法的改進(jìn) 4 算法的實(shí)現(xiàn)算法的實(shí)現(xiàn) 5 算法的理論基礎(chǔ)算法的理論基礎(chǔ) 6 幾個(gè)問題的討論幾個(gè)問題的討論 2021-9-18271、bp算法的出現(xiàn)算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法ucsd pdp小組的小組的rumelhart、hinton和和williams1986年年獨(dú)立地給出了獨(dú)立地給出了bp算法清楚而簡單的描述算法清楚而簡單的描述1982年，

14、年，paker就完成了相似的工作就完成了相似的工作1974年，年，werbos已提出了該方法已提出了該方法2、弱點(diǎn)、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、算法不一定收斂。算法不一定收斂。3、優(yōu)點(diǎn)：、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。廣泛的適應(yīng)性和有效性。2021-9-18284、bp網(wǎng)絡(luò)主要用于1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。2）模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來。3）分類：把輸入向量 以所定義的合適方式進(jìn)行分類。4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。2021-9-18291 網(wǎng)絡(luò)的構(gòu)成網(wǎng)絡(luò)的

15、構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入：神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+xnwni神經(jīng)元的輸出：神經(jīng)元的輸出：2021-9-1830netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet應(yīng)該將應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的2021-9-1831 0.5f (net)0.25o0 1 1（0,0.5） net（0,0）oneteo112021-9-1832x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2om

16、xnw(1)w(2)w(3)w(l)bp網(wǎng)的結(jié)構(gòu)網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。bpbp網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。2021-9-18332021-9-1834x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxnwv樣本：樣本：(輸入向量，理想輸出向量輸入向量，理想輸出向量) )權(quán)初始化：權(quán)初始化：小隨

17、機(jī)數(shù)與飽和狀態(tài)；不同保證網(wǎng)絡(luò)可以小隨機(jī)數(shù)與飽和狀態(tài)；不同保證網(wǎng)絡(luò)可以學(xué)。學(xué)。1 1、向前傳播階段：、向前傳播階段：（1）從樣本集中取一個(gè)樣本）從樣本集中取一個(gè)樣本(xp，yp)，將，將xp輸入網(wǎng)輸入網(wǎng)絡(luò)；絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出）計(jì)算相應(yīng)的實(shí)際輸出op：op=fl(f2(f1(xpw(1)w(2)w(l)2021-9-18352 2、向后傳播階段、向后傳播階段 誤差傳播階段：誤差傳播階段：（1）計(jì)算實(shí)際輸出）計(jì)算實(shí)際輸出op與相應(yīng)的理想輸出與相應(yīng)的理想輸出yp的差；的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第）網(wǎng)絡(luò)關(guān)于第p p個(gè)樣本的誤差測(cè)度：

18、個(gè)樣本的誤差測(cè)度：2021-9-1836mjpjpjpoye1221（4） 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：ppee2021-9-18371、輸出層權(quán)的調(diào)整、輸出層權(quán)的調(diào)整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq(1-oq) (yq-oq)op wpqanpanq第第l-1層層第第l層層wpq2021-9-1838 anpanqanhvhppk-11kwp1wpqqkwpmmk第第k-2層層第第k層層第第k-1層層2021-9-1839pk-1的值和的值和1k，2k， ，mk 有關(guān)有關(guān)不妨認(rèn)為不妨認(rèn)為pk-1通過權(quán)通過權(quán)wp

19、1對(duì)對(duì)1k做出貢獻(xiàn)，做出貢獻(xiàn)，通過權(quán)通過權(quán)wp2對(duì)對(duì)2k做出貢獻(xiàn)，做出貢獻(xiàn)，通過權(quán)通過權(quán)wpm對(duì)對(duì)mk做出貢獻(xiàn)。做出貢獻(xiàn)。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ + wpmmk)ohk-2=opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-22021-9-1840anpanqanhvhppk-11kwp1wpmqkwpqmk第第k-2層層第第k層層第第k-1層層基本基本bp算法算法 neti=x1w1i+x2w2i+

20、 +xnwni2021-9-1841netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet2021-9-1842x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxnwv樣本樣本權(quán)初始化權(quán)初始化向前傳播階段向前傳播階段op=fn(f2(f1(xpw(1)w(2)w(n)誤差測(cè)度誤差測(cè)度2021-9-1843mjpjpjpoye1221向后傳播階段向后傳播階段 誤差傳播階段誤差傳播階段輸出層權(quán)的調(diào)整輸出層權(quán)的調(diào)整wpq= qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op隱藏層權(quán)的調(diào)整隱藏層權(quán)的調(diào)整2021-9-1844

21、anpanqanhvhppk-11kwp1wpqqkwpmmkvhp =opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-2樣本集：樣本集：s=(x1,y1),(,(x2,y2),),(,(xs,ys) ) 基本思想基本思想 ：逐一地根據(jù)樣本集中的樣本逐一地根據(jù)樣本集中的樣本(xk,yk)計(jì)算出實(shí)際輸出計(jì)算出實(shí)際輸出ok和誤差測(cè)和誤差測(cè)度度e1，對(duì)，對(duì)w(1) ，w(2) ，w(l)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到直到ep do 4.1 4.1 e=0; 2021-9-1846 4.2 對(duì)對(duì)s中的每一個(gè)樣本（中的每一個(gè)樣本（xp,y

22、p）：）： 4.2.1 計(jì)算出計(jì)算出xp對(duì)應(yīng)的實(shí)際輸出對(duì)應(yīng)的實(shí)際輸出op； 4.2.2 計(jì)算出計(jì)算出ep； 4.2.3 e=e+ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整w(l)； 4.2.5 k=l-1； 4.2.6 while k0 do 4.2.6.1 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整w(k)； 4.2.6.2 k=k-1 4.3 e=e/2.0 2021-9-18471、bp網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更偏愛較后出現(xiàn)的樣本更偏愛較后出現(xiàn)的樣本2、給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?，是非常困難的。給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?/p>

23、，是非常困難的。3、樣本順序影響結(jié)果的原因：樣本順序影響結(jié)果的原因：分別依次分別依次4、用用(x1,y1)，（，（x2,y2），）， ，（，（xs,ys）的）的總效果總效果修改修改w(1) ，w(2) ， ，w(l)。w(k)ij=p w(k)ij2021-9-18481 for k=1 to l do1.1 初始化初始化w(k)；2 初始化精度控制參數(shù)初始化精度控制參數(shù)；3 e=+1;4 while e do 4.1 e=0;4.2 對(duì)所有的對(duì)所有的i，j，k： w (k)ij=0； 2021-9-18494.3 對(duì)對(duì)s中的每一個(gè)樣本（中的每一個(gè)樣本（xp,yp）：）：4.3.1 計(jì)算出計(jì)算

24、出xp對(duì)應(yīng)的實(shí)際輸出對(duì)應(yīng)的實(shí)際輸出op；4.3.2 計(jì)算出計(jì)算出ep；4.3.3 e=e+ep；4.3.4 對(duì)所有對(duì)所有i，j根據(jù)相應(yīng)式子計(jì)算根據(jù)相應(yīng)式子計(jì)算p w (l)ij；4.3.5 對(duì)所有對(duì)所有i，j： w (l)ij= w (l)ij+p w (l)ij；4.3.6 k=l-1；4.3.7 while k0 do4.3.7.1 對(duì)所有對(duì)所有i, ,j根據(jù)相應(yīng)式子計(jì)算根據(jù)相應(yīng)式子計(jì)算p w (k)ij；4.3.7.2 對(duì)所有對(duì)所有i, ,j： w (k)ij= w (k)ij+p w (k)ij；4.3.7.3 k=k-1 4.4 對(duì)所有對(duì)所有i，j，k：w (k)ij= w (k)i

25、j+ w (k)ij;4.5 e=e/2.0 2021-9-1850較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動(dòng)問題抖動(dòng)問題 收斂速度：比較慢收斂速度：比較慢偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂速度速度 沖量沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動(dòng)問題減少抖動(dòng)問題 2021-9-1851主要數(shù)據(jù)結(jié)構(gòu)主要數(shù)據(jù)結(jié)構(gòu)wh，m 輸出層的權(quán)矩陣；輸出層的權(quán)矩陣；vn，h 輸入（隱藏）層的權(quán)矩陣；輸入（隱藏）層的權(quán)矩陣；m輸出層各聯(lián)接權(quán)的修改量組

26、成的向量；輸出層各聯(lián)接權(quán)的修改量組成的向量；h隱藏層各聯(lián)接權(quán)的修改量組成的向量；隱藏層各聯(lián)接權(quán)的修改量組成的向量；o1隱藏層的輸出向量；隱藏層的輸出向量；o2輸出層的輸出向量；輸出層的輸出向量；(x，y)一個(gè)樣本。一個(gè)樣本。 2021-9-1852用不同的小偽隨機(jī)數(shù)初始化用不同的小偽隨機(jī)數(shù)初始化w，v；初始化精度控制參數(shù)初始化精度控制參數(shù)；學(xué)習(xí)率；學(xué)習(xí)率 ； 循環(huán)控制參數(shù)循環(huán)控制參數(shù)e=+1；循環(huán)最大次數(shù)；循環(huán)最大次數(shù)m；循環(huán)次；循環(huán)次數(shù)控制參數(shù)數(shù)控制參數(shù)n=0； while e & n0，此時(shí)，此時(shí)wij0取取ijwee0wij2021-9-1860ijjjijwnetnetewe而其中的而

27、其中的 kkkjjownet所以，所以， iijkkkjijjowowwnet2021-9-1861ijijkkkjjijjjijonetewownetewnetnetewe令令jjnete所以所以wij=joi為學(xué)習(xí)率為學(xué)習(xí)率oj=f(netj) 容易得到容易得到 2021-9-1862)net(fnetojjj)net(foenetooenetejjjjjjj從而從而 2021-9-1863)()(22()21(21212jjjjjjjjmkkkjoyoyooyooyoe2021-9-1864所以，所以，)net(f )oy(jjjj故，當(dāng)故，當(dāng)anj為輸出層的神經(jīng)元時(shí)，它對(duì)應(yīng)為輸出層的神經(jīng)元時(shí)，它對(duì)應(yīng)的聯(lián)接權(quán)的聯(lián)接權(quán)wij應(yīng)該按照下列公式進(jìn)行調(diào)整：應(yīng)該按照下列公式進(jìn)行調(diào)整：ijjjijijijijo)oy)(net(fwoww2021-9-1865jjjjjnetooenete)net(fnetojjj)net(foejjjm1k2kk)oy(21e函數(shù)2021-9-1866netk= hh1iiikowhh1k