神經(jīng)網(wǎng)絡(luò)-五個基本的學(xué)習(xí)算法

1、五個基本的學(xué)習(xí)算法：誤差一修正學(xué)習(xí)；基于記憶的學(xué)習(xí)；Hebb學(xué)習(xí)；競爭學(xué)習(xí)和Boltzmann學(xué)習(xí)。誤差修正學(xué)習(xí)植根于最優(yōu)濾波?；谟洃浀膶W(xué)習(xí)通過明確的記住訓(xùn)練數(shù)據(jù)來 進(jìn)行。Hebb學(xué)習(xí)和競爭學(xué)習(xí)都是受了神經(jīng)生物學(xué)上的考慮的啟發(fā)。Boltzmann學(xué)習(xí)是建立在統(tǒng)計(jì)學(xué)力學(xué)借來的思想基礎(chǔ)上。.誤差修正學(xué)習(xí)神經(jīng)元k的輸出信號凡（川表示，川表示的是期望響應(yīng)或目標(biāo)輸出比較。由此產(chǎn)生加表示的誤差信號，有這一目標(biāo)通過最小化代價函數(shù)或性能指標(biāo)來實(shí)現(xiàn)。定義如下也就是說小是誤差能量的瞬時值。這種對神經(jīng)元k的突觸權(quán)值步步逼近的調(diào)節(jié)將持續(xù)下去，直到系統(tǒng)達(dá)到穩(wěn)定狀態(tài)。這時，學(xué)習(xí)過程停止。根據(jù)增量規(guī)則，在第 n時間步作用

2、于突觸 權(quán)值的調(diào)節(jié)量 A町W 定義如下：.基于記憶的學(xué)習(xí)在一個簡單而有效的稱作最近鄰規(guī)則的基于記憶的學(xué)習(xí)類型中，局部鄰域被定義為測試向量 ”,的直接鄰域的訓(xùn)練實(shí)例，特別，向量V被稱作八儂的最鄰近，如果 這里，蚓）是向量X和的歐幾里德距離。與最短距離相關(guān)的類別，也就是向量J %被劃分的類別。. Hebb學(xué)習(xí)我們定義Hebb突觸為這樣一個突觸，它使用一個依賴時間的、 高度局部的和強(qiáng)烈交互的機(jī)制來提高突觸效率為前突觸和后突觸活動間的相互關(guān)系的一個函數(shù)。可以得出Hebb突觸特征的4個重要機(jī)制：時間依賴機(jī)制；局部機(jī)制；交互機(jī)制；關(guān)聯(lián)或 相關(guān)機(jī)制。.競爭學(xué)習(xí)獲勝神經(jīng)元k的輸出信號 h被置為1 ；競爭失敗的

3、所有神經(jīng)元輸出信號被置為0。這樣，我們有I L如果vk 5對于所向k否則, 一一，v , 其中，誘導(dǎo)局部域 L表示結(jié)合所有達(dá)到神經(jīng)元 k的前向和反饋輸入的動作。令 方表示連接輸入節(jié)點(diǎn)j到神經(jīng)元k的突觸權(quán)值。假定每個神經(jīng)元被分配固定量的突觸 權(quán)值，權(quán)值分布在它的節(jié)點(diǎn)之中；也就是L對于所有的An 7J然后神經(jīng)元通過將突觸權(quán)值從它的不活躍輸入移向活躍輸入來進(jìn)行學(xué)習(xí)。如果神經(jīng)元對一個特 定輸入模式不響應(yīng)，那么沒有學(xué)習(xí)發(fā)生在那個神經(jīng)元上。如果一個特定神經(jīng)元贏得了競爭，這個神經(jīng)元的每個輸入節(jié)點(diǎn)經(jīng)一定的比例釋放它的突觸權(quán)值，釋放的權(quán)值然后平均分布到活躍輸w a.入節(jié)點(diǎn)上。作用于突觸權(quán)值上的改變量、定義為如果

4、神經(jīng)元上競爭成功AH； = t 0.如果神經(jīng)元大競爭失敗5. Boltzmann 學(xué)習(xí)令勾表示網(wǎng)絡(luò)在鉗制條件下神經(jīng)元 j和k的狀態(tài)間的相關(guān)量。令:表示網(wǎng)絡(luò)在其自由運(yùn)作條件下神經(jīng)元j和k的狀態(tài)間的相關(guān)量。作用于神經(jīng)元j到神經(jīng)元k的突觸權(quán)值的改變量由定義，其中是學(xué)習(xí)率參數(shù)。五種學(xué)習(xí)算法的區(qū)別:誤差一修正學(xué)習(xí)和 Boltzmann學(xué)習(xí)是有監(jiān)督學(xué)習(xí)；而Hebb學(xué)習(xí)和競爭學(xué)習(xí)是無監(jiān)督學(xué)習(xí)。在誤差一修正學(xué)習(xí)中，作用于神經(jīng)元突觸權(quán)值的調(diào)節(jié)量正比于本次學(xué)習(xí)中誤差信號的突觸 的輸入的乘積，它實(shí)際上帶有局部性質(zhì)，這僅僅是說由增量規(guī)則計(jì)算的突觸調(diào)節(jié)局部于神經(jīng)元k周圍。同時，對的選擇對學(xué)習(xí)過程的準(zhǔn)確及其它方面也有深刻

5、的影響?；谟洃浀膶W(xué)習(xí)中的最鄰近規(guī)則，基于兩個假設(shè)；分類實(shí)例（按照實(shí)例（的聯(lián)合概率分布是獨(dú)立同分布的；樣本大小N是無限大的，它的分類錯誤率同貝葉斯誤差概率的關(guān)系為cPN P（2）P*C-l其中P”為貝葉斯誤差概率，C是分類的類別數(shù)目。Hebb學(xué)習(xí)中如果在突觸（連接）每一邊的兩個神經(jīng)元同時（即同步）激活，那么那個突 觸的強(qiáng)度被選擇性增強(qiáng)；如果在突觸每一邊的兩個神經(jīng)元被異步激活，那么那個突觸被選擇性 地減弱或消除。競爭學(xué)習(xí)中突觸權(quán)值的改變?nèi)Q于前突觸1和當(dāng)前的突觸權(quán)值，與后突觸權(quán)值無關(guān)。神經(jīng)網(wǎng)絡(luò)可以通過競爭學(xué)習(xí)來進(jìn)行聚類。然而，開始時輸入模式必須落入充分分離的分組中。否 則，網(wǎng)絡(luò)可能不穩(wěn)定，因?yàn)樗?/p>

6、將不再以同樣的輸出神經(jīng)元響應(yīng)給定的輸入模式。Boltzmann學(xué)習(xí)中突觸權(quán)值的改變實(shí)質(zhì)上取決于前突觸1和后突觸之間的相關(guān)量。并同時考慮在鉗制條件和自由運(yùn)行條件下的相關(guān)量，且P燈租P”的值數(shù)都在-1和+1范圍內(nèi)。對此題分別采用 MLP網(wǎng)絡(luò)擬合，RBF網(wǎng)絡(luò)擬合。1. MLP網(wǎng)絡(luò)擬合% Example4_17BP%用于曲線擬合的BP網(wǎng)絡(luò)clear all;%n為隱藏的神經(jīng)元個數(shù)n=input（請輸入隱藏的神經(jīng)元個數(shù)n=;t=15 15 15 18 28 29 37 37 44 50 50 60 61 64 65 65 72 75 75 82 85 91 91 97 98 125 142 142 14

7、7 147 150 159 165 183 192 195 218 218 219 224 225 227 232 232 237 246 258 276 285 300 301 305 312 317 338 347 354 357 375 394 513 535 554 591 648 660 705 723 756 768 860;y0=21.66 22.75 22.3 31.25 44.79 40.55 50.25 46.88 52.03 63.47 61.13 81 73.09 79.09 79.51 65.31 71.9 86.1 94.6 92.5 105 101.7 102.9

8、 110 104.3 134.9 130.68 140.58 155.3 152.2 144.5 142.15 139.81 153.22 145.72 161.1 174.18 173.03 173.54 178.86 177.68 173.73 159.98 161.29 187.07 176.13 183.4 186.26 189.66 186.09 186.7 186.8 195.1 216.41 203.23 188.38 189.7 195.31 202.63 224.82 203.3 209.7 233.9 234.7 244.3 231 242.4 230.77 242.57

9、232.12 246.7;net=newff(minmax(t,n,1,tansig purelin,trainlm;%未經(jīng)訓(xùn)練的模擬輸出y1y1=sim(net,t;net.trainParam.epochs=250;net.trainParam.goal=9.0;net=train(net,t,y0;%訓(xùn)練后的模擬輸出y2y2=sim(net,t;y3=233.84*(1-exp(-0.006042*t;figure;plot(t,y0,-,t,y1,-,t,y2,-,t,y3,:;title(訓(xùn)練后的網(wǎng)絡(luò)仿真結(jié)果,;xlabel(時間/天數(shù),;ylabel(晶狀體重量/克；legend(

10、原始數(shù)據(jù)，初始化值,訓(xùn)練后曲線,模型曲線;.在MLP網(wǎng)絡(luò)擬合中，進(jìn)行了三次試驗(yàn)，隱藏神經(jīng)元的個數(shù)分別是 8,12,15,結(jié)果顯示在 隱藏神經(jīng)元的個數(shù)大的時候有更好的擬合能力，尤其在數(shù)據(jù)間變化快(上下波動大)的時 候可以很好的擬合，比原來的最小平方模型更好。.在RBF網(wǎng)絡(luò)擬合中，擬合結(jié)果顯示，在數(shù)據(jù)變化快(上下波動大)的時候能完全擬 合，但是在數(shù)據(jù)變化慢(上下波動小)的時候的擬合結(jié)果相當(dāng)差，證明它的網(wǎng)絡(luò)推廣能力不 強(qiáng)。.當(dāng)MLP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)比較時，它們的誤差曲線分別如圖3,圖5可以看出他們的誤差之間相差不大，但是 RBF網(wǎng)絡(luò)的迭代步數(shù)明顯要少于 MLP網(wǎng)絡(luò)。雖然MLP網(wǎng)絡(luò)不能很好 的對數(shù)據(jù)變

11、化快的點(diǎn)進(jìn)行擬合，但從整體數(shù)據(jù)看它的適應(yīng)能力好。RBF網(wǎng)絡(luò)在數(shù)據(jù)變化慢的點(diǎn)的擬合效果明顯比 MLP網(wǎng)絡(luò)差。function C=make_data_4_8(%產(chǎn)生用于BP,RBF,SVM 試驗(yàn)數(shù)據(jù)pats=input(產(chǎn)生數(shù)據(jù)的個數(shù)pats=;if floor(pats/2*2 = pats, disp(Number of patterns should be equal - try again!;returnendf=pats/2;%生成第一類數(shù)據(jù)C1=randn(f,2;C1(:,3=ones(f,1*.95;C1(:,4=ones(f,1*.05;C1(:,5=zeros(f,1;for

12、 i=1:fRC1(i,i=(1/2*pi*exp(-1/2*pi*(norm(C1(i,1:2-zeros(1,2A2;end%第一類數(shù)據(jù)的概率密度函數(shù)mesh(C1(:,1,C1(:,2,RC1(:,:;%生成第二類數(shù)據(jù)C2=randn(f,2;C2=C2*2;C2(:,1=C2(:,1+2;C2(:,3=ones(f,1*.05;C2(:,4=ones(f,1*.95;C2(:,5=ones(f,1*1;for i=1:fRC2(i,i=(1/2*pi*4*exp(-1/2*pi*(norm(C2(i,1:2-2 0人2;end figure%第二類數(shù)據(jù)的概率密度函數(shù) mesh(C2(:

13、,1,C2(:,2,RC2(:,:;figureplot(C1(:,1,C2(:,2,*;axis(-4 10 -5.5 5.5figureplot(C2(:,1,C2(:,2,o;axis(-4 10 -5.5 5.5figureplot(C1(:,1,C2(:,2,*;axis(-4 10 -5.5 5.5hold onplot(C2(:,1,C2(:,2,o;axis(-4 10 -5.5 5.5% shuffle them upH=C1 C2;y i=sort(rand(f*2,1;C=H(i,:;用上面的程序畫出兩類數(shù)據(jù)的Guass分布三維圖P=mk_data(500;%產(chǎn)生數(shù)據(jù)用來

14、訓(xùn)練神經(jīng)網(wǎng)絡(luò)，兩類高斯分布的訓(xùn)練數(shù)據(jù)分別為250hN=2;oN=2;lr=0.1;mom=0;epochs=320;w1,b1,w2,b2,ep_err,a=bpm_train(P,hN,oN,2,lr,mom,epochs,0,0,0,0,0;% 訓(xùn)練神經(jīng)網(wǎng)絡(luò)，hN 是隱藏 神經(jīng)元個數(shù)，oN是監(jiān)出層荷經(jīng)元個數(shù)，lr是學(xué)習(xí)率，mom動量參數(shù)，epochs是訓(xùn)練回合數(shù)目。w1,b1分別是返回訓(xùn)練所得的權(quán)值的偏移量。bpm_dec_bnds(w1,b1,w2,b2,0.1;% 產(chǎn)生分類邊界%測試T=mk_data(10000;% 產(chǎn)生 10000 個測試數(shù)據(jù)cor,uncor=bpm_test(w

15、1,b1,w2,b2,T;c=pl_circ(-2/3 0,2.34,0.01,1;% 確定 Bayes分界面%hN=2;lr=0.1;mom=0;epochs=320; oN=2.在神經(jīng)元數(shù)目，學(xué)習(xí)率參數(shù) ,J ,動量常數(shù)a ,都不變，試驗(yàn)時只改變訓(xùn)練集數(shù)目和回合 數(shù)的時候，從表1,表2分別可以看出均方誤差和正確分類概率沒有必然的聯(lián)系，均方誤 差和正確分類概率不會隨著訓(xùn)練集數(shù)目和回合數(shù)的增加而增加，也不會隨著訓(xùn)練集數(shù)目和 回合數(shù)的減少而減少。.在學(xué)習(xí)率參數(shù)川=0.1,動量常數(shù)& =0的時候，比較神經(jīng)元個數(shù)對試驗(yàn)結(jié)果的影響， 從表1,表2及圖12,圖13可以看出當(dāng)隱藏神經(jīng)元個數(shù)是4的時候比隱藏

16、神經(jīng)元個數(shù)是2的時候，試驗(yàn)結(jié)果中：均方誤差小，正確分類概率大。說明含有4個隱藏神經(jīng)元的網(wǎng)絡(luò)得出的結(jié)果優(yōu)于2個隱藏神經(jīng)元的網(wǎng)絡(luò)。.學(xué)習(xí)率參數(shù)”和動量常數(shù)1的選擇。從表3,表4,表5,表6及圖14,圖15,圖 16,圖17可以看出：當(dāng)隱藏神經(jīng)元的個數(shù)固定(在試驗(yàn)中為2,學(xué)習(xí)率參數(shù),1分別為0.01,0.1, 0.5, 0.9時，改變動量常數(shù)我,均方誤差和正確分類概率同動量常數(shù)口沒有一個線性關(guān)系，這就要求我們選擇一個最佳的組合。從試驗(yàn)結(jié)果看，當(dāng)學(xué)習(xí)率參數(shù)為0.01,動量常數(shù)a為0.1時，正確分類概率最高為80.46%。.從16中組合中挑出最優(yōu)的學(xué)習(xí)曲線(圖18,試驗(yàn)結(jié)果(表7,明顯看出學(xué)習(xí)率參數(shù)rl

17、 =0.01,動量常數(shù)a =0.1時，它的學(xué)習(xí)曲線衰減很快，證明它有較小的均方誤差。.均方誤差與分類概率沒有必然聯(lián)系，一個BP算法的均方收斂的誤差非常小，同時也可能犧牲了它的泛化能力，在實(shí)驗(yàn)中我們可以發(fā)現(xiàn)：分類概率好的結(jié)果其均方誤差并非最小的。% Example_5_14利用SVM工具。對n個點(diǎn)進(jìn)行訓(xùn)練。clear all;n=input(請輸入測試的次數(shù) n=;lr=input(請輸入正則化參數(shù)lr=;cs=input(請輸入隱藏層中心大小cs=for i=1:nP=mk_data(200;w = rbf(P(1:100,1:2, P(:,1:2, P(1:100,3:4, cs, lr;T

18、=mk_data(500;rbfout=rbf_test(w,T(:,1:2,P(:,1:2,cs;rbfcor(i,: =rbf_correct(rbfout,T(:,5;figure(i;rbf_db(w,P(:,1:2,cs,0.2;endavecorrect=mean(rbfcormincorrect=min(rbfcormaxcorrect=max(rbfcorstdcorrect=std(rbfcorP = mk_data(500;cw=4;lr=0.01;c=0.1pesos,vect,b = svm_rbf(P, cw, 1000, lr, c;%cw 是寬度，lr 是學(xué)習(xí)率參

19、數(shù)，c 是正則化常數(shù)T = mk_data(32000;c u = svm_test(T, pesos, vect, b, cw;svm_dec_bnd(pesos, vect, b, cw對于每次試驗(yàn)用500個點(diǎn)進(jìn)行訓(xùn)練，并用 32000個數(shù)據(jù)點(diǎn)進(jìn)行測試。五次試驗(yàn)寬度cw為4,正則化常數(shù)c都為0.1,并固定學(xué)習(xí)率參數(shù)lr為0.01。兩維分布驅(qū)動的一維網(wǎng)格：hN=200;p=rand(1000,2;%輸入數(shù)據(jù)分布plot(p(:,1,p(:,2;%畫出數(shù)據(jù)的分布圖w1s P1=som_1d(p,hN,10,0.1 18;%hN 是隱藏神經(jīng)元個數(shù)w2s P2=som_1d(p,hN,50,P1(

20、1 0.001 P1(2 0,w1s;當(dāng)隱藏神經(jīng)元個數(shù)越大，對原始離散數(shù)據(jù)的逼近更好，在排序階段和收斂階段都比隱藏 神經(jīng)元為100的要好。但是，我們對離散數(shù)據(jù)進(jìn)行逼近時，不能把隱藏神經(jīng)元個數(shù)選取的太 大，如果選取的過大的話，網(wǎng)絡(luò)會出現(xiàn)過擬合現(xiàn)象，這樣以來它的網(wǎng)絡(luò)推廣性就會下降；同 時，隱藏神經(jīng)元個數(shù)越大，運(yùn)行的時間也會相應(yīng)的增加。所以適當(dāng)?shù)倪x取隱藏神經(jīng)元個數(shù)越大 是很重要的。function NN_w1 NN_w NN_w1_1 NN_w_1=Som_912(clf%-設(shè)置符號代碼的值a=0.2;%-訓(xùn)練數(shù)據(jù)集P=a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 , TOC o

21、1-5 h z 0 a 00 00 0 000 000 000 ,0 0 a0 00 0 000 000 000 ,0 0 0a 00 0 000 000 000 ,0 0 00 a0 0 000 000 000 ,0 0 00 0a 0 000 000 000 ,0 0 00 00 a 000 000 000 ,0 0 00 00 0 a00 000 000 ,0 0 00 00 0 0a0 000 000 ,0 0 00 00 0 00a 000 000 ,0 0 00 00 0 000 a00 000 ,0 0 00 00 0 000 0a0 000 ,0 0 00 00 0 000 0

22、0a 000 ,0 0 00 00 0 000 000 a00 ,0 0 00 00 0 000 000 0a0 ,0 0 00 00 0 000 000 00a ,1 1 11 11 0 000 100 000 ,0 0 00 00 0 111 100 000 ,0 0 00 00 0 000 011 111 ,1 1 11 11 1 000 000 000 ,0 0 00 00 0 111 111 111 ,0 0 00 00 0 111 111 111 , 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 ,0 0 0 0 00 0 00 1 001 110 ,1 1 1

23、1 11 1 00 0 000 000 ,0 0 0 0 11 1 10 1 111 000 ,0 0 0 0 00 0 01 1 011 110 ,1 0 0 1 11 1 00 0 000 000 ,0 0 1 1 00 0 00 0 000 000;%-排序階段權(quán)值W1 p1=som_2d(P,10,10,2000,.01,8;figure(1;subplot(2,1,1;som_pl_map(W1,1,2title(Ordering weights%-收斂階段權(quán)值W=som_2d(P,10,10,5000,p1(1 0.001 p1(2 0,W1;subplot(2,1,2;som_p

24、l_map(W,1,2title(Convergence weights%-測試數(shù)據(jù)集T=a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 , TOC o 1-5 h z 0 a 0 0 00 0 00 0 000 000 ,0 0 a 0 00 0 00 0 000 000 ,0 0 0 a 00 0 00 0 000 000 ,0 0 0 0 a0 0 00 0 000 000 ,0 0 0 0 0a 0 00 0 000 000 ,0 0 0 0 00 a 00 0 000 000 ,0 0 0 0 00 0 a0 0 000 000 , 0 0 0 0 0 0 0 0 a

25、 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 a 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 a 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 a 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 a 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 a 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 a 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0

26、0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0

27、 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ,0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0;%=包含具有最強(qiáng)響應(yīng)的標(biāo)定神經(jīng)元的特征映射=NN_w1=zeros(10,10;NN_w=zeros(10,10;%-計(jì)算for h=1:16M_w1=0;M_w=0;for i=1:10for j=1:10M1=0;M2=0;for k=1:29M1=M1+W(i,j,k*T(h,k;M2=M2+W1(i,j,k*T(h,k;end;if M_wPOS_wi=i;POS_wj=j;M_w=M1;end;if M_w1POS_w1i=i;POS_w1j=j;M_w1=M2;end;end;end;NN_w1(POS_w1i,POS_w1j=h;NN_w(POS_wi,POS_wj=h;end;NN_w1NN_w%-文字顯示figure(2;text_plot(NN_w1;title(ordering phase;figure(3;text_plot(NN_w;title(Convergence phase%=利用 模擬電極滲透映射”的