典型神經(jīng)網(wǎng)絡(luò)

1、典型神經(jīng)網(wǎng)絡(luò)第一頁(yè)，共60頁(yè)。iuijxnj, 1ijwjuiuis第二頁(yè)，共60頁(yè)。)(iiugy jiijijisxwNet)(iiNetfu iiuug)()(iiNetfy 第三頁(yè)，共60頁(yè)。第四頁(yè)，共60頁(yè)。0001)(iiiNetNetNetf第五頁(yè)，共60頁(yè)。iliiliiiiiiNetNetfNetNetNetkNetNetNetNetfmax000)(第六頁(yè)，共60頁(yè)。TNetiieNetf11)(第七頁(yè)，共60頁(yè)。7.2 BP第八頁(yè)，共60頁(yè)。第九頁(yè)，共60頁(yè)。7.2.2 BP網(wǎng)絡(luò)結(jié)構(gòu) 含一個(gè)隱含層的含一個(gè)隱含層的BP網(wǎng)絡(luò)結(jié)構(gòu)如圖網(wǎng)絡(luò)結(jié)構(gòu)如圖7-5所示，所示，圖中圖中 為輸

2、入層神經(jīng)元，為輸入層神經(jīng)元， 為隱層神經(jīng)元，為隱層神經(jīng)元， 為輸出層神經(jīng)元。為輸出層神經(jīng)元。 ijk第十頁(yè)，共60頁(yè)。圖圖7-5 BP7-5 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 第十一頁(yè)，共60頁(yè)。7.2.3 BP網(wǎng)絡(luò)的逼近 BP網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖7-6所示，圖中所示，圖中k為為網(wǎng)絡(luò)的迭代步驟，網(wǎng)絡(luò)的迭代步驟，u(k)和和y(k)為逼近器的輸為逼近器的輸入。入。BP為網(wǎng)絡(luò)逼近器，為網(wǎng)絡(luò)逼近器，y(k)為被控對(duì)象實(shí)際為被控對(duì)象實(shí)際輸出，輸出，yn(k)為為BP的輸出。將系統(tǒng)輸出的輸出。將系統(tǒng)輸出y(k)及及輸入輸入u(k)的值作為逼近器的值作為逼近器BP的輸入，將系統(tǒng)的輸入，將系統(tǒng)輸

3、出與網(wǎng)絡(luò)輸出的誤差作為逼近器的調(diào)整信輸出與網(wǎng)絡(luò)輸出的誤差作為逼近器的調(diào)整信號(hào)。號(hào)。第十二頁(yè)，共60頁(yè)。圖7-6 BP神經(jīng)網(wǎng)絡(luò)逼近 第十三頁(yè)，共60頁(yè)。用于逼近的BP網(wǎng)絡(luò)如圖7-7所示。)(kyn)(ku)(kyijw2jwjxjxix圖7-7 用于逼近的BP網(wǎng)絡(luò)。第十四頁(yè)，共60頁(yè)。 BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，每層入層經(jīng)隱層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出

4、層不能得到期望的輸出，的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)至反向傳播，將誤差信號(hào)（理想輸出與則轉(zhuǎn)至反向傳播，將誤差信號(hào)（理想輸出與實(shí)際輸出之差）按聯(lián)接通路反向計(jì)算，由梯實(shí)際輸出之差）按聯(lián)接通路反向計(jì)算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值，使誤差信度下降法調(diào)整各層神經(jīng)元的權(quán)值，使誤差信號(hào)減小。號(hào)減小。第十五頁(yè)，共60頁(yè)。iiijjxwxjxjjexfx11)()1(jjjjxxxx第十六頁(yè)，共60頁(yè)。iiijjxwxjxjjexfx11)()1(jjjjxxxx第十七頁(yè)，共60頁(yè)。jjjkxwx2)()()(kykyken2)(keE21第十八頁(yè)，共60頁(yè)。222)()(jjkjjxkew

5、xkewEw222)() 1(jjjwtwtw第十九頁(yè)，共60頁(yè)。ijnijijwykewEw)(ijjjijjjijjjjjnijnxxxwxxxwwxxxxywy)1 (22ijijijwkwkw)() 1(第二十頁(yè)，共60頁(yè)。)1()()() 1(22222kwkwwkwkwjjjjj)1()()() 1(kwkwwkwkwijijijijij1 , 01 , 0第二十一頁(yè)，共60頁(yè)。Jacobian(t)1ux jjjjjjjjjnnwxxwxxxxxykuykuy1211kkk第二十二頁(yè)，共60頁(yè)。7.2.4 BP網(wǎng)絡(luò)的優(yōu)缺點(diǎn)網(wǎng)絡(luò)的優(yōu)缺點(diǎn) BP網(wǎng)絡(luò)的優(yōu)點(diǎn)為：網(wǎng)絡(luò)的優(yōu)點(diǎn)為：（1）只要有

6、足夠多的隱層和隱層節(jié)點(diǎn)，）只要有足夠多的隱層和隱層節(jié)點(diǎn)，BP網(wǎng)絡(luò)可以逼網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系；近任意的非線性映射關(guān)系；（2）BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近算法，具有較強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近算法，具有較強(qiáng)的泛化能力。的泛化能力。（3）BP網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)在網(wǎng)網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)在網(wǎng)絡(luò)的連接權(quán)中，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系絡(luò)的連接權(quán)中，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因而有較小的影響，因而B(niǎo)P網(wǎng)絡(luò)具有較好的容錯(cuò)性。網(wǎng)絡(luò)具有較好的容錯(cuò)性。第二十三頁(yè)，共60頁(yè)。BP網(wǎng)絡(luò)的主要缺點(diǎn)為：網(wǎng)絡(luò)的主要缺點(diǎn)為：（1）待尋優(yōu)的參數(shù)多，收斂速度

7、慢；）待尋優(yōu)的參數(shù)多，收斂速度慢；（2）目標(biāo)函數(shù)存在多個(gè)極值點(diǎn)，按梯度下降）目標(biāo)函數(shù)存在多個(gè)極值點(diǎn)，按梯度下降法進(jìn)行學(xué)習(xí)，很容易陷入局部極小值；法進(jìn)行學(xué)習(xí)，很容易陷入局部極小值；（3）難以確定隱層及隱層節(jié)點(diǎn)的數(shù)目。目前，）難以確定隱層及隱層節(jié)點(diǎn)的數(shù)目。目前，如何根據(jù)特定的問(wèn)題來(lái)確定具體的網(wǎng)絡(luò)結(jié)構(gòu)如何根據(jù)特定的問(wèn)題來(lái)確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無(wú)很好的方法，仍需根據(jù)經(jīng)驗(yàn)來(lái)試湊。尚無(wú)很好的方法，仍需根據(jù)經(jīng)驗(yàn)來(lái)試湊。第二十四頁(yè)，共60頁(yè)。 由于由于BP網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，該網(wǎng)絡(luò)在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬該網(wǎng)絡(luò)在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)

8、擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。較為廣泛的應(yīng)用。 由于由于BP網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，可用網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)。但由于于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)。但由于BP網(wǎng)絡(luò)收斂速度網(wǎng)絡(luò)收斂速度慢，難以適應(yīng)實(shí)時(shí)控制的要求。慢，難以適應(yīng)實(shí)時(shí)控制的要求。第二十五頁(yè)，共60頁(yè)。7.2.5 BP網(wǎng)絡(luò)逼近仿真實(shí)例網(wǎng)絡(luò)逼近仿真實(shí)例 使用BP網(wǎng)絡(luò)逼近對(duì)象： BP網(wǎng)絡(luò)逼近程序見(jiàn)chap7_1.m 23) 1(1) 1()()(kykykuky第二十六頁(yè)，共60頁(yè)。7.2.6 BP網(wǎng)絡(luò)模式識(shí)別網(wǎng)絡(luò)模式識(shí)別

9、由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和并由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和并行處理等特征，并具有很強(qiáng)的容錯(cuò)能力和聯(lián)行處理等特征，并具有很強(qiáng)的容錯(cuò)能力和聯(lián)想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識(shí)別的能想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識(shí)別的能力。力。 第二十七頁(yè)，共60頁(yè)。 在神經(jīng)網(wǎng)絡(luò)模式識(shí)別中，根據(jù)標(biāo)準(zhǔn)的輸在神經(jīng)網(wǎng)絡(luò)模式識(shí)別中，根據(jù)標(biāo)準(zhǔn)的輸入輸出模式對(duì)，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以入輸出模式對(duì)，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過(guò)學(xué)標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過(guò)學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識(shí)別求后，得到的

10、神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識(shí)別的知識(shí)庫(kù)，利用神經(jīng)網(wǎng)絡(luò)并行推理算法對(duì)所的知識(shí)庫(kù)，利用神經(jīng)網(wǎng)絡(luò)并行推理算法對(duì)所需要的輸入模式進(jìn)行識(shí)別。需要的輸入模式進(jìn)行識(shí)別。第二十八頁(yè)，共60頁(yè)。 當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中的某個(gè)當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中的某個(gè)輸入模式相同時(shí)，神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果就是與輸入模式相同時(shí)，神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果就是與訓(xùn)練樣本中相對(duì)應(yīng)的輸出模式。當(dāng)待識(shí)別的輸訓(xùn)練樣本中相對(duì)應(yīng)的輸出模式。當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸入模式都不完全相入模式與訓(xùn)練樣本中所有輸入模式都不完全相同時(shí)，則可得到與其相近樣本相對(duì)應(yīng)的輸出模同時(shí)，則可得到與其相近樣本相對(duì)應(yīng)的輸出模式。當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中

11、所有輸式。當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸入模式相差較遠(yuǎn)時(shí)，就不能得到正確的識(shí)別結(jié)入模式相差較遠(yuǎn)時(shí)，就不能得到正確的識(shí)別結(jié)果，此時(shí)可將這一模式作為新的樣本進(jìn)行訓(xùn)練，果，此時(shí)可將這一模式作為新的樣本進(jìn)行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)獲取新的知識(shí)，并存儲(chǔ)到網(wǎng)絡(luò)的權(quán)使神經(jīng)網(wǎng)絡(luò)獲取新的知識(shí)，并存儲(chǔ)到網(wǎng)絡(luò)的權(quán)值矩陣中，從而增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力。值矩陣中，從而增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力。第二十九頁(yè)，共60頁(yè)。 BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：正向傳播是輸入信號(hào)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：正向傳播是輸入信號(hào)從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳望的輸出，則

12、學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播播 以第以第p個(gè)樣本為例，用于訓(xùn)練的個(gè)樣本為例，用于訓(xùn)練的BP網(wǎng)絡(luò)結(jié)構(gòu)如網(wǎng)絡(luò)結(jié)構(gòu)如圖圖7-11所示。所示。第三十頁(yè)，共60頁(yè)。圖圖7-11 BP7-11 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 第三十一頁(yè)，共60頁(yè)。 網(wǎng)絡(luò)的學(xué)習(xí)算法如下：網(wǎng)絡(luò)的學(xué)習(xí)算法如下：（1）前向傳播：計(jì)算網(wǎng)絡(luò)的輸出。）前向傳播：計(jì)算網(wǎng)絡(luò)的輸出。 隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和：隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和： 隱層神經(jīng)元的輸出隱層神經(jīng)元的輸出 采用采用S函數(shù)激發(fā)函數(shù)激發(fā) ：iiijjxwxjxjx第三十二頁(yè)，共60頁(yè)。jxjjexfx11)()1 (jjjjxxxx則輸出層神經(jīng)元的輸出：

13、jjjllxwx第三十三頁(yè)，共60頁(yè)。 網(wǎng)絡(luò)第 個(gè)輸出與相應(yīng)理想輸出 的誤差為： 第p個(gè)樣本的誤差性能指標(biāo)函數(shù)為：其中N為網(wǎng)絡(luò)輸出層的個(gè)數(shù)。0lxlllxxe0NllpeE1221l第三十四頁(yè)，共60頁(yè)。（2）反向傳播：采用梯度下降法，調(diào)整各層間的權(quán)值。權(quán)值的學(xué)習(xí)算法如下： 輸出層及隱層的連接權(quán)值 學(xué)習(xí)算法為：jlwjljllljlpjlxewxewEwjljljlwkwkw)() 1(第三十五頁(yè)，共60頁(yè)。其中隱層及輸入層連接權(quán)值 學(xué)習(xí)算法為： ijwNlijllijpijwxewEw1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxxwx)1 (ijijijwkwkw)(

14、) 1(第三十六頁(yè)，共60頁(yè)。 如果考慮上次權(quán)值對(duì)本次權(quán)值變化的影響，需要加入動(dòng)量因子 ，此時(shí)的權(quán)值為： 11kwkwwkwkwjljljljljl)1()()() 1(twtwwtwtwijijijijij其中 為學(xué)習(xí)速率， 為動(dòng)量因子。 1 , 01 , 0第三十七頁(yè)，共60頁(yè)。7.2.7 仿真實(shí)例：仿真實(shí)例： 取標(biāo)準(zhǔn)樣本為3輸入2輸出樣本，如表7-1所示。 輸 入輸 出1001001000.500101表7-1 訓(xùn)練樣本 第三十八頁(yè)，共60頁(yè)。 BP網(wǎng)絡(luò)模式識(shí)別程序包括網(wǎng)絡(luò)訓(xùn)練程序chap7_2a.m和網(wǎng)絡(luò)測(cè)試程序chap7_2b.m。第三十九頁(yè)，共60頁(yè)。第四十頁(yè)，共60頁(yè)。第四十一頁(yè)

15、，共60頁(yè)。第四十二頁(yè)，共60頁(yè)。第四十三頁(yè)，共60頁(yè)。7.3.2 RBF網(wǎng)絡(luò)的逼近網(wǎng)絡(luò)的逼近 采用RBF網(wǎng)絡(luò)逼近一對(duì)象的結(jié)構(gòu)如圖7-14所示。 第四十四頁(yè)，共60頁(yè)。圖7-14 RBF神經(jīng)網(wǎng)絡(luò)逼近 第四十五頁(yè)，共60頁(yè)。TnxxxX,.,21Th.,h ,hm21jhHmjbXjj,2, 1),2C-exp(-h22jTn21jcc ,c Cjijjjc 第四十六頁(yè)，共60頁(yè)。T21,Bmbbbjb,W21mjwwww h+w+h+whw=whkymmm2211)(2m(k)-(k)(21yykE)(第四十七頁(yè)，共60頁(yè)。)2() 1(kwkwhyywwjjjmjj(k)-(k)(1)-(k

16、(k)32jjjjmjbCXhwyyb-(k)-(k)(2)-(k-1)-(k(1)-(k(k)jjjjjbbbbb2jjijjmjibcxwyyc-(k)-(k)(2)-(k-1)-(k(1)-(k(k)ijijijijijccccc 第四十八頁(yè)，共60頁(yè)。Jacobianmjjjjjmbxchwkukykuky1211)()()()(k)ux 1第四十九頁(yè)，共60頁(yè)。23) 1(1) 1()()(kykykuky使用RBF網(wǎng)絡(luò)逼近下列對(duì)象： RBF網(wǎng)絡(luò)逼近程序見(jiàn)chap7_3.m。 第五十頁(yè)，共60頁(yè)。第五十一頁(yè)，共60頁(yè)。第五十二頁(yè)，共60頁(yè)。第五十三頁(yè)，共60頁(yè)。nIIII,21(t)

17、iI(k)jX(k)jSj(.)f(k)ODWOWIW第五十四頁(yè)，共60頁(yè)。7.4.2 DRNN網(wǎng)絡(luò)的逼近網(wǎng)絡(luò)的逼近 DRNN網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖7-19所示，所示，圖中圖中k k為網(wǎng)絡(luò)的迭代步驟，為網(wǎng)絡(luò)的迭代步驟，u(k)u(k)和和y(k)y(k)為辨為辨識(shí)器的輸入。識(shí)器的輸入。DRNN為網(wǎng)絡(luò)辨識(shí)器。為網(wǎng)絡(luò)辨識(shí)器。y(k)y(k)為為被控對(duì)象實(shí)際輸出，被控對(duì)象實(shí)際輸出，y ym m(k)(k)為為DRNN的輸出。的輸出。將系統(tǒng)輸出將系統(tǒng)輸出y(k)y(k)及輸入及輸入u(k)u(k)的值作為辨識(shí)器的值作為辨識(shí)器DRNN的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤差作為辨識(shí)器的調(diào)整信號(hào)。差作為辨識(shí)器的調(diào)整信號(hào)。 第五十五頁(yè)，共60頁(yè)。圖7-19 DRNN神經(jīng)網(wǎng)絡(luò)逼近 第五十六頁(yè)，共60頁(yè)。)()()(kXwkOkyjjojm)()(kSfkXjj)() 1()(kIwkXwkSiIijijojj第五十七頁(yè)，共60頁(yè)。2(k)21ekE)()()()(kykytem)()()()()(kXkewykewkEkwjojmojoj第五十八頁(yè)，共60頁(yè)。)2() 1