典型神經(jīng)網(wǎng)絡(luò)

1、7.1 單單第第7 7章章 典型典型iuijxnj, 1ijwjuiuis)(iiugy jiijijisxwNet)(iiNetfu iiuug)()(iiNetfy 0001)(iiiNetNetNetfiliiliiiiiiNetNetfNetNetNetkNetNetNetNetfmax000)(TNetiieNetf11)(7.2 BP7.2.2 BP網(wǎng)絡(luò)結(jié)構(gòu) 含一個(gè)隱含層的含一個(gè)隱含層的BP網(wǎng)絡(luò)結(jié)構(gòu)如圖網(wǎng)絡(luò)結(jié)構(gòu)如圖7-5所示，所示，圖中圖中 為輸入層神經(jīng)元，為輸入層神經(jīng)元， 為隱層神經(jīng)元，為隱層神經(jīng)元， 為輸出層神經(jīng)元。為輸出層神經(jīng)元。 ijk圖圖7-5 BP7-5 BP神經(jīng)網(wǎng)絡(luò)結(jié)

2、構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 7.2.3 BP網(wǎng)絡(luò)的逼近 BP網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖7-6所示，圖中所示，圖中k為為網(wǎng)絡(luò)的迭代步驟，網(wǎng)絡(luò)的迭代步驟，u(k)和和y(k)為逼近器的輸為逼近器的輸入。入。BP為網(wǎng)絡(luò)逼近器，為網(wǎng)絡(luò)逼近器，y(k)為被控對(duì)象實(shí)際為被控對(duì)象實(shí)際輸出，輸出，yn(k)為為BP的輸出。將系統(tǒng)輸出的輸出。將系統(tǒng)輸出y(k)及及輸入輸入u(k)的值作為逼近器的值作為逼近器BP的輸入，將系統(tǒng)的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤差作為逼近器的調(diào)整信輸出與網(wǎng)絡(luò)輸出的誤差作為逼近器的調(diào)整信號(hào)。號(hào)。圖7-6 BP神經(jīng)網(wǎng)絡(luò)逼近 用于逼近的BP網(wǎng)絡(luò)如圖7-7所示。)(kyn)(ku)(kyijw

3、2jwjxjxix圖7-7 用于逼近的BP網(wǎng)絡(luò)。 BP算法的學(xué)習(xí)過程由正向傳播和反向算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，每輸入層經(jīng)隱層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)至反向傳播，將誤差信號(hào)（理想輸出，則轉(zhuǎn)至反向傳播，將誤差信號(hào)（理想輸出與實(shí)際輸出之差）按聯(lián)接通路反向計(jì)算，出與實(shí)際輸出之差）按聯(lián)接通路反向計(jì)算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)

4、值，使誤由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值，使誤差信號(hào)減小。差信號(hào)減小。iiijjxwxjxjjexfx11)()1(jjjjxxxxiiijjxwxjxjjexfx11)()1(jjjjxxxxjjjkxwx2)()()(kykyken2)(keE21222)()(jjkjjxkewxkewEw222)() 1(jjjwtwtwijnijijwykewEw)(ijjjijjjijjjjjnijnxxxwxxxwwxxxxywy)1 (22ijijijwkwkw)() 1()1()()() 1(22222kwkwwkwkwjjjjj)1()()() 1(kwkwwkwkwijijijijij1

5、, 01 , 0Jacobian(t)1ux jjjjjjjjjnnwxxwxxxxxykuykuy1211kkk7.2.4 BP網(wǎng)絡(luò)的優(yōu)缺點(diǎn)網(wǎng)絡(luò)的優(yōu)缺點(diǎn) BP網(wǎng)絡(luò)的優(yōu)點(diǎn)為：網(wǎng)絡(luò)的優(yōu)點(diǎn)為：（1）只要有足夠多的隱層和隱層節(jié)點(diǎn)，）只要有足夠多的隱層和隱層節(jié)點(diǎn)，BP網(wǎng)絡(luò)可以網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系；逼近任意的非線性映射關(guān)系；（2）BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近算法，具有較網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近算法，具有較強(qiáng)的泛化能力。強(qiáng)的泛化能力。（3）BP網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)在網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)在網(wǎng)絡(luò)的連接權(quán)中，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸網(wǎng)絡(luò)的連接權(quán)中，個(gè)別神經(jīng)元的損

6、壞只對(duì)輸入輸出關(guān)系有較小的影響，因而出關(guān)系有較小的影響，因而BP網(wǎng)絡(luò)具有較好的容網(wǎng)絡(luò)具有較好的容錯(cuò)性。錯(cuò)性。BP網(wǎng)絡(luò)的主要缺點(diǎn)為：網(wǎng)絡(luò)的主要缺點(diǎn)為：（1）待尋優(yōu)的參數(shù)多，收斂速度慢；）待尋優(yōu)的參數(shù)多，收斂速度慢；（2）目標(biāo)函數(shù)存在多個(gè)極值點(diǎn)，按梯度下降）目標(biāo)函數(shù)存在多個(gè)極值點(diǎn)，按梯度下降法進(jìn)行學(xué)習(xí)，很容易陷入局部極小值；法進(jìn)行學(xué)習(xí)，很容易陷入局部極小值；（3）難以確定隱層及隱層節(jié)點(diǎn)的數(shù)目。目前，）難以確定隱層及隱層節(jié)點(diǎn)的數(shù)目。目前，如何根據(jù)特定的問題來確定具體的網(wǎng)絡(luò)結(jié)構(gòu)如何根據(jù)特定的問題來確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無很好的方法，仍需根據(jù)經(jīng)驗(yàn)來試湊。尚無很好的方法，仍需根據(jù)經(jīng)驗(yàn)來試湊。 由于由于BP網(wǎng)

7、絡(luò)具有很好的逼近非線性映射的能力，網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，該網(wǎng)絡(luò)在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)該網(wǎng)絡(luò)在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。有著較為廣泛的應(yīng)用。 由于由于BP網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)。但由于可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)。但由于BP網(wǎng)絡(luò)收網(wǎng)絡(luò)收斂速度慢，難以適應(yīng)實(shí)時(shí)控制的要求。斂速度慢，難以適應(yīng)實(shí)時(shí)控制的要求。7.2.5 BP網(wǎng)絡(luò)逼近仿真實(shí)例網(wǎng)絡(luò)逼近仿真實(shí)例 使用BP網(wǎng)絡(luò)逼近對(duì)象： BP網(wǎng)絡(luò)逼近程

8、序見chap7_1.m 23) 1(1) 1()()(kykykuky7.2.6 BP網(wǎng)絡(luò)模式識(shí)別網(wǎng)絡(luò)模式識(shí)別 由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和并由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和并行處理等特征，并具有很強(qiáng)的容錯(cuò)能力和聯(lián)行處理等特征，并具有很強(qiáng)的容錯(cuò)能力和聯(lián)想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識(shí)別的能想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識(shí)別的能力。力。 在神經(jīng)網(wǎng)絡(luò)模式識(shí)別中，根據(jù)標(biāo)準(zhǔn)的輸在神經(jīng)網(wǎng)絡(luò)模式識(shí)別中，根據(jù)標(biāo)準(zhǔn)的輸入輸出模式對(duì)，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以入輸出模式對(duì)，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要

9、習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識(shí)別求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識(shí)別的知識(shí)庫(kù)，利用神經(jīng)網(wǎng)絡(luò)并行推理算法對(duì)所的知識(shí)庫(kù)，利用神經(jīng)網(wǎng)絡(luò)并行推理算法對(duì)所需要的輸入模式進(jìn)行識(shí)別。需要的輸入模式進(jìn)行識(shí)別。 當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中的某個(gè)當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中的某個(gè)輸入模式相同時(shí)，神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果就是與輸入模式相同時(shí)，神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果就是與訓(xùn)練樣本中相對(duì)應(yīng)的輸出模式。當(dāng)待識(shí)別的輸訓(xùn)練樣本中相對(duì)應(yīng)的輸出模式。當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸入模式都不完全相入模式與訓(xùn)練樣本中所有輸入模式都不完全相同時(shí)，則可得到與其相近樣本相對(duì)應(yīng)的輸出模同時(shí)，則

10、可得到與其相近樣本相對(duì)應(yīng)的輸出模式。當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸式。當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸入模式相差較遠(yuǎn)時(shí)，就不能得到正確的識(shí)別結(jié)入模式相差較遠(yuǎn)時(shí)，就不能得到正確的識(shí)別結(jié)果，此時(shí)可將這一模式作為新的樣本進(jìn)行訓(xùn)練，果，此時(shí)可將這一模式作為新的樣本進(jìn)行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)獲取新的知識(shí)，并存儲(chǔ)到網(wǎng)絡(luò)的權(quán)使神經(jīng)網(wǎng)絡(luò)獲取新的知識(shí)，并存儲(chǔ)到網(wǎng)絡(luò)的權(quán)值矩陣中，從而增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力。值矩陣中，從而增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力。 BP網(wǎng)絡(luò)的訓(xùn)練過程如下：正向傳播是輸入網(wǎng)絡(luò)的訓(xùn)練過程如下：正向傳播是輸入信號(hào)從輸入層經(jīng)隱層傳向輸出層，若輸出層得信號(hào)從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)

11、算法結(jié)束；否則，轉(zhuǎn)到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播至反向傳播 以第以第p個(gè)樣本為例，用于訓(xùn)練的個(gè)樣本為例，用于訓(xùn)練的BP網(wǎng)絡(luò)結(jié)網(wǎng)絡(luò)結(jié)構(gòu)如圖構(gòu)如圖7-11所示。所示。圖圖7-11 BP7-11 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 網(wǎng)絡(luò)的學(xué)習(xí)算法如下：網(wǎng)絡(luò)的學(xué)習(xí)算法如下：（1）前向傳播：計(jì)算網(wǎng)絡(luò)的輸出。）前向傳播：計(jì)算網(wǎng)絡(luò)的輸出。 隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和：隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和： 隱層神經(jīng)元的輸出隱層神經(jīng)元的輸出 采用采用S函數(shù)激發(fā)函數(shù)激發(fā) ：iiijjxwxjxjxjxjjexfx11)()1 (jjjjxxxx則輸出層神經(jīng)元的輸出：jjjllxwx 網(wǎng)絡(luò)

12、第 個(gè)輸出與相應(yīng)理想輸出 的誤差為： 第p個(gè)樣本的誤差性能指標(biāo)函數(shù)為：其中N為網(wǎng)絡(luò)輸出層的個(gè)數(shù)。0lxlllxxe0NllpeE1221l（2）反向傳播：采用梯度下降法，調(diào)整各層間的權(quán)值。權(quán)值的學(xué)習(xí)算法如下： 輸出層及隱層的連接權(quán)值 學(xué)習(xí)算法為：jlwjljllljlpjlxewxewEwjljljlwkwkw)() 1(其中隱層及輸入層連接權(quán)值 學(xué)習(xí)算法為： ijwNlijllijpijwxewEw1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxxwx)1 (ijijijwkwkw)() 1( 如果考慮上次權(quán)值對(duì)本次權(quán)值變化的影響，需要加入動(dòng)量因子 ，此時(shí)的權(quán)值為： 11

13、kwkwwkwkwjljljljljl)1()()() 1(twtwwtwtwijijijijij其中 為學(xué)習(xí)速率， 為動(dòng)量因子。 1 , 01 , 07.2.7 仿真實(shí)例：仿真實(shí)例： 取標(biāo)準(zhǔn)樣本為3輸入2輸出樣本，如表7-1所示。 輸 入輸 出1001001000.500101表7-1 訓(xùn)練樣本 BP網(wǎng)絡(luò)模式識(shí)別程序包括網(wǎng)絡(luò)訓(xùn)練程序chap7_2a.m和網(wǎng)絡(luò)測(cè)試程序chap7_2b.m。7.3.2 RBF網(wǎng)絡(luò)的逼近網(wǎng)絡(luò)的逼近 采用RBF網(wǎng)絡(luò)逼近一對(duì)象的結(jié)構(gòu)如圖7-14所示。 圖7-14 RBF神經(jīng)網(wǎng)絡(luò)逼近 TnxxxX,.,21Th.,h ,hm21jhHmjbXjj,2, 1),2C-ex

14、p(-h22jTn21jcc ,c Cjijjjc T21,Bmbbbjb,W21mjwwww h+w+h+whw=whkymmm2211)(2m(k)-(k)(21yykE)()2() 1(kwkwhyywwjjjmjj(k)-(k)(1)-(k(k)32jjjjmjbCXhwyyb-(k)-(k)(2)-(k-1)-(k(1)-(k(k)jjjjjbbbbb2jjijjmjibcxwyyc-(k)-(k)(2)-(k-1)-(k(1)-(k(k)ijijijijijccccc Jacobianmjjjjjmbxchwkukykuky1211)()()()(k)ux 123) 1(1) 1(

15、)()(kykykuky使用RBF網(wǎng)絡(luò)逼近下列對(duì)象： RBF網(wǎng)絡(luò)逼近程序見chap7_3.m。 nIIII,21(t)iI(k)jX(k)jSj(.)f(k)ODWOWIW7.4.2 DRNN網(wǎng)絡(luò)的逼近網(wǎng)絡(luò)的逼近 DRNN網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖7-19所示，所示，圖中圖中k k為網(wǎng)絡(luò)的迭代步驟，為網(wǎng)絡(luò)的迭代步驟，u(k)u(k)和和y(k)y(k)為辨為辨識(shí)器的輸入。識(shí)器的輸入。DRNN為網(wǎng)絡(luò)辨識(shí)器。為網(wǎng)絡(luò)辨識(shí)器。y(k)y(k)為為被控對(duì)象實(shí)際輸出，被控對(duì)象實(shí)際輸出，y ym m(k)(k)為為DRNN的輸出。的輸出。將系統(tǒng)輸出將系統(tǒng)輸出y(k)y(k)及輸入及輸入u(k)u(k)的值作為辨識(shí)器的值作為辨識(shí)器DRNN的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤差作為辨識(shí)器的調(diào)整信號(hào)。差作為辨識(shí)器的調(diào)整信號(hào)。 圖7-19 DRNN神經(jīng)網(wǎng)絡(luò)逼近 )()()(kXwkOkyjjojm)()(kSfkXjj)() 1()(kIwkXwkSiIijijojj2(k)21ekE)()()()(kykytem)()()()()(kXkewykewkEkwjojmojoj)2() 1()(kwkwkwwwojojojoojoj1)-(k(k)()()()()()()()(kQwkewXXkykewkykewkEk