19第十九章神經網(wǎng)絡模型

1、第十九神經網(wǎng)絡模1943WMcCullochWPitts出形式神經元的抽象數(shù)學模型MP 50 40第十九神經網(wǎng)絡模1943WMcCullochWPitts出形式神經元的抽象數(shù)學模型MP 50 40 知機，Hopfield 網(wǎng)絡，Boltzman 網(wǎng)絡（BP）等。在1表示出了作為人工神經網(wǎng)絡（artifil neural networkNN）1 和（線性組合圍內（一般限制在(0,1或(1,1之間。此外還有一個閾值k（或偏置bk k。puk wkjxj vk uk k， yk (vk jp wk1wk2,Lwkp 為神經元k uk 果，k為閾值，(yk 為神經元k 若把輸入的維數(shù)增加一維，則可把閾

2、值k 包括進去。例vk wkjxj ，yk (uk pjx0 1（或1wk0 k（或bk -To follow the path: look to the master, follow the master, walk with the master, see through the e the 2 2 激活函數(shù)(可以有以下幾種（i）v (v) v2 2 激活函數(shù)(可以有以下幾種（i）v (v) vyk vk vk ykp其中vk wkj xj k M Pjv 1(v) 1vv 1的非線性放大器，當工作于線性區(qū)時它是一個線性組合器，（iii）sigmoid 函數(shù)11(v) 參數(shù) 0(v) ta

3、nhv 121 中的激活（傳遞）1所示。-To follow the path: look to the master, follow the master, walk with the master, see through the e the 21helptansigtantig tansig 的定義為 v 1（i） 個其它結點作為其輸入。通常前饋網(wǎng)絡可分為不同的層，第i層的輸入只與第i21helptansigtantig tansig 的定義為 v 1（i） 個其它結點作為其輸入。通常前饋網(wǎng)絡可分為不同的層，第i層的輸入只與第i1層依據(jù)的資料是觸角和翅膀的長度，已經測得了9 Af 6 A

4、pf 的數(shù)據(jù)如下：Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)， Apf:（i）（iii）設 Af 是寶貴的傳粉益蟲，Apf 是某疾病的載體，是否應該修改分類方法-是有代表性的，它的特點是要求依據(jù)已知資料（9 Af 6 Tofollow the path: look to the master,follow the master, walk with the master,see through the e the 功 s s 對數(shù)S正切SApfAf 6 Apf 的數(shù)據(jù)集合稱之為學習樣本。

5、9 3 31(v) 1來決定。圖中最下面單元，即由所示的一層稱為輸入層，用以輸入已知測量值。在ApfAf 6 Apf 的數(shù)據(jù)集合稱之為學習樣本。9 3 31(v) 1來決定。圖中最下面單元，即由所示的一層稱為輸入層，用以輸入已知測量值。在s 1,2,L,1515 s品的原始數(shù)據(jù)輸入網(wǎng)絡時，相應的輸出單元狀態(tài)記為Os (i 1,2) i jkwij wjk wij wjk 任何一組確定的輸入(I s , I s ) ，網(wǎng)絡中所有單元的取值不難確定。事實上，對樣品s j2h sIjk k2(h ) w IsHsjjjk k由此，輸出單元i-To follow the path: look to t

6、he master, follow the master, walk with the master, see through the e the 332H w w Ish ssijk jjk332 (h ) H ) w w IsOsssiijk jjk332H w w Ish ssijk jjk332 (h ) H ) w w IsOsssiijk jjkwij ,wjk 的函數(shù)。如能夠選定一組適當?shù)臋嘀祑ij,wjk，使得對應于學習樣本中任何一組樣品的輸入(I sI s) ，輸出(Os,Os) (1,0) ，對應于Apf 的輸入數(shù)據(jù)，輸出) 的一個問題，直到1985 年加州大學Propag

7、ation如前所述希望對應于學習樣本中Af樣品的輸出是是(0,1，這樣的輸出稱之為理想輸出。實際上要精確地作到這一點是不可能的，只能s Ts，那i12E(W) (T O s 題，自然地歸結為求適當WE(W（91232 jk T w E(W)ss2I ijkwij wij E(W) 的（局部）極小，它從一個任取的初始點W0 出發(fā)，計算在W0 E(W0，這是函數(shù)在該點下降最快的方向；只要E(W00，就可沿該方向移動一小段距離，達到一個新的點W1 W0 E(W0 ， 是一個參數(shù)，只要 足夠小， BP 算法的全部內容，然而，對人工神經網(wǎng)絡問題而言，這一算法wij -Tofollow the path:

8、 look to the master,follow the master, walk with the master,see through the e the wij w Ti O (h )H sssss iijiss(h )T O ssii T O (h )w (h wij w Ti O (h )H sssss iijiss(h )T O ssii T O (h )w (h ss j w (h )I ssssIjkj sj (h w sssjij i s p sp對應于兩個單元中輸出信號的一端，q對應于輸入信號的一端，sH 或 由實際輸出與理想輸出的差及h 決定，而 則需依賴 ssssi

9、iji這一算法才稱為向計算安排，較之不考慮 的向，直接計算所有含的原表達式，極大地降低sp計算工作量。這組關系式稱作廣義 法則，它們不難推廣到一般的多層網(wǎng)絡上去。利用這一迭代算法，最終生成在一定精度內滿足要求的wij wjk 學習樣本中任何一個樣品所提供的信息，最終將包含在網(wǎng)絡的每一個權之中。參數(shù) 的BP（i）在式（11）與（13）wij wjk s （ii）在如上的算法中利用實際輸出與理想輸出差的平方和作為度量wij , wjk 優(yōu)（iv）BP 算法仍有很多問題對于一個大的網(wǎng)絡系統(tǒng)，BP ：BP -Tofollow the path: look to the master,follow th

10、e master, walk with the master,see through the e the net.trainParam.show = 10;net.trainParam.lr = 0.05; net.trainParam.goal = 1e-10; net.trainParam.epochs=50000; net = train(net,p,goal);x=1.241.80;1.281.84;1.40 net.trainParam.show = 10;net.trainParam.lr = 0.05; net.trainParam.goal = 1e-10; net.train

11、Param.epochs=50000; net = train(net,p,goal);x=1.241.80;1.281.84;1.403.1 BP 算法是不適用的。所希望的理想輸出是 10競爭的學習。-Tofollow the path: look to the master,follow the master, walk with the master,see through the e the 元到第iij ，同層單元間無橫向聯(lián)接。不妨假設所有輸入數(shù)值均已規(guī)化到0 1 1。 Wi wij Ij取最大值的單元，其 元到第iij ，同層單元間無橫向聯(lián)接。不妨假設所有輸入數(shù)值均已規(guī)化到0 1

12、1。 Wi wij Ij取最大值的單元，其中Wi 是輸出元i系數(shù)組成的向量，也就是W* I W I w 2（16）j|W* I |W I |，即優(yōu)勝者是其標準化權向量最靠近輸入向量的輸出元。令O * 1 iOi 0 。這樣的輸出規(guī)定了輸入向量的類別，但為了使這種分類方式有意義，問題化s，按上文所述確定優(yōu)勝者i*，對所有與i*有關的權作如下修正(I si* ji* 所有其它輸出單元的權保持不變。注意到O* 1，O 0(i i *可O (I si* i* Hebb（8i*有更大的，上述算法，對于事先按照Ij 1一步不僅調整優(yōu)勝者的權，同時也以一個小得多的 值，修正所有其它的權。這樣，對-Tofol

13、low the path: look to the master,follow the master, walk with the master,see through the e the 當考慮在公式中引進隨學習時間而變化的收斂因子。例如，取 (t) 0 a 1。這一因子的適當選取是極為重要的， 下降太慢，無疑增加了不必要工作量， 下降太快，則會使學習變得無效。上述有競爭學習的一個最重要應用是數(shù)據(jù)壓縮中的向量量子化方法（Vector z當考慮在公式中引進隨學習時間而變化的收斂因子。例如，取 (t) 0 a 1。這一因子的適當選取是極為重要的， 下降太慢，無疑增加了不必要工作量， 下降太快，則

14、會使學習變得無效。上述有競爭學習的一個最重要應用是數(shù)據(jù)壓縮中的向量量子化方法（Vector zationM ，Kohonen 了一種適用于有監(jiān)督情況的學習方法，稱為學習向量量子化（Learning Vector zationLVQ中，對于任一輸入向量，仍按無監(jiān)督有競爭的方式選出優(yōu)勝者i*，但權的修正規(guī)則則依輸入向量的類別與i*所代表的是否一致而不同，確切地說，令(I w s ji* i* (I w sji* net = newlvq(pr,4,0.6,0.4)net=train(net,p,goal) Y = sim(net,p)x=1.241.80;1.281.84;1.401. 利用BP算法及sigmoid函數(shù)，研究以下各函數(shù)近問-Tofollow the path: look to the master,follow the master, walk with the