Matlab神經(jīng)網(wǎng)絡(luò)幾個(gè)常用算法的學(xué)習(xí)和比較

1、第 頁基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)練習(xí)題某BP神經(jīng)網(wǎng)絡(luò)如下圖。其中x1輸入為=x23d1_0.95期望輸出為=d20.05第一層權(quán)值矩陣為W1=第二層權(quán)值矩陣為w2=1-21-2；第一層閾值e第二層閾值r=傳輸函數(shù)均為Sigmoid函數(shù)，試訓(xùn)練該網(wǎng)絡(luò)。-31d1d21用最基本的BP算法訓(xùn)練網(wǎng)絡(luò)1.1只改變學(xué)習(xí)率，比較學(xué)習(xí)率的改變對(duì)最后訓(xùn)練結(jié)果的影響步驟：1）程序設(shè)計(jì)：第一步：定義輸入向量和目標(biāo)向量p=13;t=0.950.05;第二步：創(chuàng)建BP網(wǎng)絡(luò)，設(shè)置訓(xùn)練函數(shù)為最速下降BP算法netbp=newff(-11;-11,22,logsiglogsig,traingd);第三步：初始化權(quán)值閾值netbp.I

2、W1=12;-20;netbp.LW2=11;0-2;netbp.b1=-31;netbp.b2=23;第四步：設(shè)置訓(xùn)練函數(shù)參數(shù)netbp.trainParam.lr=1;/設(shè)置學(xué)習(xí)率netbp.trainParam.goal=0.0001;/設(shè)置最后達(dá)到的均方誤差為0.0001netbp.trainParam.epochs=5000;/設(shè)置最大訓(xùn)練步長(zhǎng)第 頁第 頁第五步：訓(xùn)練神經(jīng)網(wǎng)絡(luò)netbp,tr=train(netbp,p,t);程序運(yùn)行的結(jié)果如下：經(jīng)過346步運(yùn)算達(dá)到設(shè)定的均方誤差范圍內(nèi)。最后輸出Out=0.96400.0514訓(xùn)練后權(quán)值W1=1.01072.0322-1.52911.

3、4128W2=0.77130.7739-1.4789-2.99922）分別改變學(xué)習(xí)率為1.5和0.5，觀察結(jié)果學(xué)習(xí)率a=1.5訓(xùn)練步263長(zhǎng)輸出Out=10唱BmEos矍.ELElI5D20034EEp顧786第一層權(quán)值第二層權(quán)值誤差性能曲線結(jié)論1：0.96400.05161.01302.0391W1=-1.60301.1909W2=0.77440.7806-1.4443-3.12520.9640Out=0.05161.01352.0405W1=-1.60781.17660.77510.7816W2=-1.4343-3.15051-JTEainuiEithTRAIHG100500BOOFDD鮎

4、hF|Epochs學(xué)習(xí)率為301A-Lt*JZ.需要14步長(zhǎng)第 頁第 頁0.9641Out=0.05140.9636Out=0.048961.Jfi*v-KlKaiviini;vxthIJULRCD4050B07000OpflEhn咅竺叩詈口占廠usll*JTrainingwithTRAINGD5014EpocJii-vu皀皿Out=0.9500M00000File雖五七ViewInsertToolsjVirLdowHelp10Performanceis6.17139e-0W1M(JOSmi75W2結(jié)論2：由(Dtill：KiwIlxli&4wHlpPiwfomianGfi潔0.00125,G

5、oilis0WD1io限制地增大，增大到一定程度后，圖中的現(xiàn)象，即卩達(dá)不到誤差范圍上述4例可以發(fā)現(xiàn)，學(xué)習(xí)率不可以無誤差收斂速度將減慢，甚至有可能出現(xiàn)最后一圖中的現(xiàn)象，即達(dá)不到誤差氾圍丄“川fL:100500剛W020W2JW3W0期K40W*500卿卿8I旳血內(nèi)，.證入1.2學(xué)習(xí)率in初始誤差訓(xùn)練步仆-長(zhǎng)-輸出pTraining局部穩(wěn)定狀態(tài)。為1,改變均方誤差的設(shè)置，比較均方誤差的改變對(duì)最后訓(xùn)練MSE=0.0001MSE=0.001果的影34658i1111111l020406080100120140160180200202Epochs0964009791Out=0.0514Out=0.083

6、4101072.0322101232.0369W1=-1.52911.4128W1=-1.61821.1453第一層權(quán)值第 頁第 頁第二層權(quán)值0.77130.7806W2=W2=-1.4789-3.12529TxiiiiaincvilhnUIITCFl1刖山SawIulTlThnnJldivIQt-誤差性能曲線結(jié)論3:絡(luò)訓(xùn)練時(shí)曲ra-F在其他條件一樣的前提下，將最后要h間就變長(zhǎng)，誤差收斂速度慢些，但05010QI5D0025DSkvimuIMEEpghfl0.96660.9691-1.2695-2.9717kJTraininewithTRAINGDFileEditViewInsertTools

7、WirLdowHelp10Performanceis0.00098323,Goalis0.00110CJ_CUm_l_75O達(dá)到的均方誤差值設(shè)置較大時(shí)，網(wǎng)是最后的輸出結(jié)果較為精1.3學(xué)習(xí)率為1,改變初始權(quán)值的設(shè)置，比較初始權(quán)值的改變對(duì)最后訓(xùn)練結(jié)果的影響初始權(quán)值匕W1=12，W2=11W1=20021-1.50.70.7，W2=-1-3訓(xùn)練步長(zhǎng)輸出346203058Epochs40第二層權(quán)值誤差性能曲線結(jié)論4：Out=0.9640Out=0.9598_0.0514_0.0601_1.01072.03221.01312.0392W1=W1=-1.52911.4128-1.40881.273510第

8、一層權(quán)值W2=0.77130.7806-1.4789-3.1252W2=0.63370.6349-1.6298-3.610510PeifonwcM1is0鉤仃無OOS.Goal博O.OOOlBE弓-rn-BUzE匚由上表可以看出，后者的初始權(quán)值）誤差收斂速度朋顯快些因此初始權(quán)值的選取對(duì)于一個(gè)網(wǎng)絡(luò)的訓(xùn)練是很重要的匕較合適些，因此訓(xùn)練的時(shí)間變短,aigi)TiL宙|146140智能檢測(cè)課程作業(yè)1)第 頁1.4學(xué)習(xí)率為1，改變初始閾值的設(shè)置，比較初始閾值的改變對(duì)最后訓(xùn)練結(jié)果的影響初始閾值-3-21r=4訓(xùn)練步長(zhǎng)輸出3461370.9640Out=0.05140.9534Out=0.0637第一層權(quán)值

9、1.01072.0322W1=-1.52911.41281.00992.0297W1=-1.50211.4938第二層權(quán)值0.77130.7806W2=-1.4789-3.12521.03300.9883W2=-1.7774-3.2294智能檢測(cè)課程作業(yè)1)第 #頁智能檢測(cè)課程作業(yè)1)第 #頁TEBinincvitbTJUIHGHKjIiI匕ninitliTirdiT1456-0%.GoBlrtOOOOl誤差性能曲線wu-w-gTl-血口anrnks忙歸結(jié)論5:誤差收斂速度明顯快些的。|由上/表可以看出，后者的初始閾值1011GJ:雷豎畧o0J_EU&sh13?電“肚口Partaminteis

10、Ooilrt0.0001智能檢測(cè)課程作業(yè)1)第 #頁智能檢測(cè)課程作業(yè)1)第 #頁小結(jié)：由1.1到1.4,用最基本的BP算法來訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)時(shí)，學(xué)習(xí)率、均方誤差、權(quán)值、閾值的設(shè)置都對(duì)網(wǎng)絡(luò)的訓(xùn)練均有影響。綜合選取合理的值，將有利于網(wǎng)絡(luò)的訓(xùn)練。在最基本的BP算法中，學(xué)習(xí)率在整個(gè)訓(xùn)練過程是保持不變的,學(xué)習(xí)率過大，算法可能振蕩而不穩(wěn)定；學(xué)習(xí)率過小，則收斂速度慢，訓(xùn)練時(shí)間長(zhǎng)。而要在訓(xùn)練之前選擇最佳的學(xué)習(xí)率是不現(xiàn)實(shí)的。因此學(xué)習(xí)率可變的BP算法(variablelearningratebackpropagation,VLBP)應(yīng)運(yùn)而生。下一結(jié)介紹用VLBP來訓(xùn)練該網(wǎng)絡(luò)的情況。2用VLBP算法訓(xùn)練網(wǎng)絡(luò)。2.1

11、算法簡(jiǎn)單介紹a(k+1)=ka(k)incka(k)decE(k+1)E(k)E(k+1)E(k)智能檢測(cè)課程作業(yè)1)第 #頁智能檢測(cè)課程作業(yè)1)第 #頁Ax(k+1)=nAx(k)+a(1n)dE(k)(2)dx(k)智能檢測(cè)課程作業(yè)第 頁x(k+1)=x(k)+Ax(k+1)(3)當(dāng)誤差以減少的方式趨于目標(biāo)時(shí)，說明修正方向正確，可以使步長(zhǎng)增加，因此學(xué)習(xí)率乘以增量因子k，使學(xué)習(xí)率增加；而修正過頭時(shí)，應(yīng)減少步長(zhǎng)，可以乘以減量因子k,使學(xué)習(xí)incdec率減小。2.2具體實(shí)現(xiàn)與第一部分的程序設(shè)計(jì)差不多，初始學(xué)習(xí)率為1，最后要達(dá)到的均方誤差值設(shè)為0.0001，以下部分做些改動(dòng)。netbp3=newf

12、f(-11;-11,22,logsiglogsig,traingdx);/將訓(xùn)練函數(shù)改為“traingdx”netbp3.trainParam.lr_inc=1.1;/將學(xué)習(xí)率增量因子設(shè)置為1.1最后結(jié)果比較算法netbp3.trainParam.lr_dec=0.65;/將學(xué)習(xí)率減量因子設(shè)置為0.65最基本的BP算法a=1初始學(xué)習(xí)率學(xué)習(xí)率可變的BP算法a=11k=1.1inck=0.65dec訓(xùn)練步長(zhǎng)輸出34650Out=0.96400.0514第一層權(quán)值W1=1.01072.0322-1.52911.4128第二層權(quán)值W2=0.77130.7806-1.4789-3.1252TEiinin

13、cvithTJUIHCDi.niXjiinlI辺由TilaJn-誤差性能曲線Ms-gIJg2nn=i=匚0.9638Out=_0.0500_1.00452.0135W1=_-1.40841.7748_0.76690.7683W2=-1.5447-2.8650EEPMfnrni.mcn畤9輕測(cè)町05-Gn.Mis0DOTIJauliliTKAJIICDKIDNun_p-n占a-r用學(xué)習(xí)率可變的BP算法的收斂速度明顯比以上兩種算法都是沿著梯度最陡下降方向修正權(quán)4，、宀站酬少時(shí)y但收斂速度不十定是最快的。針對(duì)收斂速度提出了變梯度算法。下一結(jié)介紹變梯度算法(conjugategradientbackp

14、ropagation,CGBP)對(duì)網(wǎng)絡(luò)訓(xùn)練的情況。小結(jié)：采3用CGBP算法訓(xùn)練網(wǎng)絡(luò)3.1算法簡(jiǎn)單介紹x(k+1)=x(k)+ap(k)(1)p(k)=-g(k)+P(k)p(k-1)P=該算法中，沿著變化的方向進(jìn)行搜索，使其收斂速度比最陡下降梯度方向的收斂速度更快。3.2具體實(shí)現(xiàn)其他部分程序設(shè)計(jì)均與基本BP算法相同，不要設(shè)置學(xué)習(xí)率，誤差也設(shè)為0.0001。就在創(chuàng)建網(wǎng)絡(luò)時(shí)由下面一條語句完成。算法最基本的BP算法CGBP訓(xùn)練步長(zhǎng)輸出34630.9640_0.9448_Out=_0.0514_Out=_0.0498_1.01072.03220.92651.7794W1=-1.52911.4128W1=-0.73203.8039第一層權(quán)值netbp4=newff(-11;-11,22,logsiglogsig,traincgf);算法智能檢測(cè)課程作業(yè)第 #頁智能檢測(cè)課程作業(yè)第 #頁0.77130.7806_0.62010.6305_W2=_-1.4789-3.1252W2=_-2.1081-1.7789jlvI,1iIjfira1辺費(fèi)finrrSrlj寸TtiininfvithTJUIICD第二層權(quán)值mninic十hLRATICCFMr伽meitB45d-00&.CD<tOOOOl誤差性能曲線Pftrfriminnco詒I矽汨茨DOS.GmIi$0IXBIwanrnbwEs