神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法matlab仿真17頁

1、東南大學(xué)自動化學(xué)院智能控制概論神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究學(xué) 院： 姓 名： 學(xué) 號： 日 期： 目 錄1 任務(wù)要求敘述32 系統(tǒng)分析及設(shè)計原理33 設(shè)計實現(xiàn)54仿真驗證65 討論與分析16一任務(wù)要求敘述（1） 任務(wù)(a) 運行算法，觀察和分析現(xiàn)有學(xué)習(xí)算法的性能；clear all;close all; nu=20;pi=3.1415926; for i=1:nu p(i)=2*pi*i/nu; t(i)=0.5*(1+cos(p(i); end minmax=min(p(:) max(p(:) net = newff( 0 7,6 1,logsig purelin,traingd);% traing

2、d traingdm trainlm net.trainParam.epochs = 10000; net.trainParam.goal = 0.0001; net.trainParam.show=200; net.trainParam.lr=0.1; net.trainParam.mc=0.6; %0.9 default value; available for momentum net = train(net,p,t); y1 = sim(net,p); figure(2); plot(p,t,*-,p,y1,r-) %* test data * nu2=nu*3/2; for i=1:

3、(nu2) p2(i)=2*pi*i/(nu2); t2(i)=0.5*(1+cos(p2(i); end y2 = sim(net,p2); figure(3); plot(t2,*-);hold on; plot(y2,r); xlabel(times);ylabel(outputs); figure(4); plot(t2-y2); xlabel(times);ylabel(error);(b) 為了進(jìn)一步提高學(xué)習(xí)逼近效果，可以采取那些措施，調(diào)節(jié)規(guī)律如何？根據(jù)所提的每種措施，修改算法程序，給出仿真效果驗證、過程以及相應(yīng)的曲線圖，給出適當(dāng)?shù)脑u述；(c) 聯(lián)系、結(jié)合前向神經(jīng)網(wǎng)絡(luò)的算法樣本學(xué)習(xí)

4、、測試等過程，談?wù)劚救藢ι窠?jīng)網(wǎng)絡(luò)系統(tǒng)的一些認(rèn)識和看法。（2）要求提交完整的報告，包括：封面(題目、個人學(xué)號姓名等信息)、目錄、任務(wù)要求敘述、系統(tǒng)分析及設(shè)計原理(包括神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的原理圖及文字分析)、完整的設(shè)計實現(xiàn)過程(包括神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)等選擇與實現(xiàn)、計算、原理過程等)、仿真驗證(算法流程圖、實現(xiàn)手段介紹、系統(tǒng)參數(shù)選擇、曲線圖、結(jié)合調(diào)參對響應(yīng)曲線的影響給出必要的分析)、討論與分析，總字?jǐn)?shù)要求在2000以上。二系統(tǒng)分析及設(shè)計原理（1）神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)過程實質(zhì)上是針對一組給定的輸入使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望輸出的過程?？偟膩碚f，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法分為兩大類： 有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。輸入信號

5、X網(wǎng)絡(luò)輸出Y神經(jīng)網(wǎng)絡(luò)輸入信號X期望輸出T網(wǎng)絡(luò)輸出Y神經(jīng)網(wǎng)絡(luò)距離計算 圖 1：有導(dǎo)師指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式 圖 2無導(dǎo)師指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式由上圖可見，所謂有導(dǎo)師學(xué)習(xí)就是在訓(xùn)練過程中，始終存在一個期望的網(wǎng)絡(luò)輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。而無導(dǎo)師學(xué)習(xí)指的是網(wǎng)絡(luò)不存在一個期望的輸出，因而沒有直接的誤差信息，因此，為實現(xiàn)對網(wǎng)絡(luò)的訓(xùn)練，徐建立一個簡潔的評價函數(shù)，以對網(wǎng)絡(luò)的某種行為取向做出評價。（2）多層傳播網(wǎng)絡(luò)的學(xué)習(xí)算法給定組樣本。這里為維輸入矢量，為維期望的輸出矢量，,.假設(shè)矢量和分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。則訓(xùn)練過程為：(1) 選，作為最大容許誤差，并將權(quán)系

6、數(shù)初始化成某一小的隨機(jī)權(quán)矩陣。(2) 訓(xùn)練開始按照計算出各隱含層神經(jīng)元的盡力輸出，按照計算出各輸出層神經(jīng)元的激勵輸出。(3) 計算誤差(4) 按公式計算出(5) 調(diào)整權(quán)陣系數(shù) (6) 若,，跳轉(zhuǎn)到（2），否則跳轉(zhuǎn)到（7）(7) 若,結(jié)束，否則，跳轉(zhuǎn)到（2）。三設(shè)計實現(xiàn)（1）神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（BP算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)）下圖是一個多層傳播結(jié)構(gòu)。即在輸入層和輸出層之間嵌入一層或多層隱含層的網(wǎng)絡(luò)結(jié)構(gòu)。隱含層單元既可以與叔叔出單元相連也可以與其他隱含層單元相連。隱含層單元與輸入單元之間通過突觸權(quán)系數(shù)連接，并可用矩陣表示全部關(guān)系。隱含層單元與輸出單元之間通過突觸權(quán)系數(shù)連接，全部關(guān)系可用矩陣表示。圖 3：神經(jīng)網(wǎng)

7、絡(luò)結(jié)構(gòu)圖（2）Maltab神經(jīng)網(wǎng)絡(luò)工具箱1 函數(shù)介紹 newc()創(chuàng)建級聯(lián)前向網(wǎng)絡(luò) newff()創(chuàng)建前向BP網(wǎng)絡(luò) newffd()創(chuàng)建存在輸入延遲的前向網(wǎng)絡(luò)在此次實驗中，采用第二個函數(shù)即創(chuàng)建的是前向BP網(wǎng)絡(luò)。前向網(wǎng)絡(luò)中各神經(jīng)元接受前一級的輸入，并輸出到下一級，網(wǎng)絡(luò)中沒有反饋，可以用一個有向無環(huán)路圖表示，這種神經(jīng)網(wǎng)絡(luò)稱為前向網(wǎng)絡(luò)。前向網(wǎng)絡(luò)中節(jié)點分為兩類，輸入節(jié)點和計算節(jié)點。每個輸入節(jié)點可以有任意個輸入，但只有一個輸出。而輸出可以耦合到任意多個其他節(jié)點的輸入。前向網(wǎng)絡(luò)通?？梢苑譃椴煌膶?，第i層的輸入僅與第i-1層的輸出連接。一般認(rèn)為輸入節(jié)點為第一層，具有一層計算節(jié)點的網(wǎng)絡(luò)實際上是一個兩層網(wǎng)絡(luò)。

8、由于輸入節(jié)點和輸出節(jié)點可以和外界連接，直接接受環(huán)境的影響，所以稱為可見層。而其他中間層則稱為隱層。2 Newff（）函數(shù)參數(shù)介紹newff函數(shù)的格式為：net=newff(PR,S1 S2 .SN,TF1 TF2.TFN,BTF,BLF,PF），函數(shù)newff建立一個可訓(xùn)練的前饋網(wǎng)絡(luò)。輸入?yún)?shù)說明：PR：Rx2的矩陣以定義R個輸入向量的最小值和最大值；Si：第i層神經(jīng)元個數(shù)；TFi：第i層的傳遞函數(shù)，默認(rèn)函數(shù)為tansig函數(shù)；BTF：訓(xùn)練函數(shù)，默認(rèn)函數(shù)為trainlm函數(shù)；BLF：權(quán)值/閥值學(xué)習(xí)函數(shù)，默認(rèn)函數(shù)為learngdm函數(shù)；PF：性能函數(shù)，默認(rèn)函數(shù)為mse函數(shù)。3 程序中參數(shù)含義(1

9、) Newff（）函數(shù)中的參數(shù)a) 傳遞函數(shù)有三種tansig(n)=2/(1+exp(-2*n)-1logsig(n)=1/(1+exp(-n)purelin(n)=nb) 訓(xùn)練函數(shù)有12種 trainbrBayes 規(guī)范化BP訓(xùn)練函數(shù)trainc 循環(huán)順序漸增訓(xùn)練函數(shù)traincgb Powell-Beale連接梯度BP訓(xùn)練函數(shù)traincgf Fletcher-Powell連接梯度BP訓(xùn)練函數(shù)traincgp Polak-Ribiere連接梯度BP訓(xùn)練函數(shù)traingda 自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)traingdx 動量及自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)trainlm Levenb

10、erg-Marquardt BP訓(xùn)練函數(shù)trainoss 一步正切BP訓(xùn)練函數(shù)trainr 隨機(jī)順序遞增更新訓(xùn)練函數(shù)trainrp 帶反彈的BP訓(xùn)練函數(shù)trains 順序遞增BP訓(xùn)練函數(shù)trainscg 量化連接梯度BP訓(xùn)練函數(shù)(2) 其他參數(shù)net.trainParam.epochs=10000; 允許最大訓(xùn)練步數(shù)10000net.trainParam.goal=0.001; 訓(xùn)練目標(biāo)最小誤差0.001net.trainParam.show=200; 每間隔200步顯示一次訓(xùn)練結(jié)果net.trainParam.lr=0.1; 學(xué)習(xí)步長0.1net.trainParam.mc=0.6; 動量因

11、子四仿真驗證（1）參數(shù)調(diào)節(jié)方法 首先改變傳遞函數(shù)，保持其他參數(shù)不變的條件下，將傳遞函數(shù)換成其余兩個傳遞函數(shù)，觀察運行結(jié)果，比較選出最符合要求的傳遞函數(shù)；然后使用最符合要求的傳遞函數(shù)，改變訓(xùn)練函數(shù)，同樣選出最符合要求的訓(xùn)練函數(shù)；最后使用最符合要求的傳遞函數(shù)和訓(xùn)練函數(shù)，改變精度、步長、動量因子，比較分析，總結(jié)變化規(guī)律。（2）調(diào)節(jié)運行結(jié)果1 初始運行結(jié)果圖 4：初始結(jié)果minmax =0.3142 6.2832TRAINGD, Maximum epoch reached, performance goal was not met.在初始算法中，采用的是net = newff( 0 7,6 1,log

12、sig purelin,traingd); 由上圖發(fā)現(xiàn)即使最大步長為10000 Epochs，最后也沒有收斂到我們所需要的精度。這是因為traingd為單純的梯度下降訓(xùn)練函數(shù)。訓(xùn)練速度比較慢，而且容易陷入局部最小的情況。2 修改傳遞函數(shù)將傳遞函數(shù)logsig改為tansig，即傳遞函數(shù)為2/(1+exp(-2*n)-1；程序為net = newff( 0 7,6 1,tansig purelin,traingd);結(jié)果發(fā)現(xiàn)改變傳遞函數(shù)并沒有對測試數(shù)據(jù)的結(jié)果有過多的變化，說明傳遞函數(shù)對系統(tǒng)的性能的影響不大，那么還是選用初始的傳遞函數(shù)logsig 。minmax = 0.3142 6.2832TR

13、AINGD, Maximum epoch reached, performance goal was not met.圖 5：改變傳遞函數(shù)的結(jié)果3 第一次修改訓(xùn)練函數(shù)將訓(xùn)練函數(shù)traingd改為traingdm，即net = newff( 0 7,6 1, logsig purelin,traingdm)；圖 6：訓(xùn)練函數(shù)為traningdm的結(jié)果minmax = 0.3142 6.2832TRAINGDM, Maximum epoch reached, performance goal was not met.經(jīng)過10000次訓(xùn)練后，traningdm網(wǎng)絡(luò)的輸出誤差與traningd訓(xùn)練算法

14、的結(jié)果差不多，網(wǎng)絡(luò)誤差的收斂速度也非常慢。Traningdm是動量梯度下降算法，和traningd 一樣是啟發(fā)式訓(xùn)練算法，它的使用類似于函數(shù) traingd 。4 第二次修改訓(xùn)練函數(shù)將訓(xùn)練函數(shù)改為trainlm，即net = newff( 0 7,6 1, logsig purelin, trainlm)；圖 7：訓(xùn)練函數(shù)為trainlm的結(jié)果minmax = 0.3142 6.2832TRAINLM, Performance goal met.結(jié)果表明僅僅經(jīng)過6次訓(xùn)練后，網(wǎng)絡(luò)誤差就已經(jīng)收斂了。說明trainlm算法效果最好，由于誤差只是0.001，所以在這個情況下可以加強(qiáng)誤差限制。同時在改變

15、步長和動量因子，觀察其對結(jié)果的影響。5 修改程序中的其他參數(shù)以下研究分析都是在傳遞函數(shù)為logsig，訓(xùn)練函數(shù)為trainlm的基礎(chǔ)上進(jìn)行的。a) 改變動量因子I. net.trainParam.mc=0.9圖 8：改變動量因子結(jié)果1minmax = 0.3142 6.2832TRAINLM, Performance goal met.II. net.trainParam.mc=0.6圖 9：改變動量因子結(jié)果2minmax = 0.3142 6.2832TRAINLM, Performance goal met.III. net.trainParam.mc=0.4圖 10：改變動量因子結(jié)果3m

16、inmax = 0.3142 6.2832TRAINLM, Performance goal met.比較以上三組結(jié)果可知，他們的訓(xùn)練效果都是不錯的，而當(dāng)mc 減小時，發(fā)現(xiàn)收斂速度變快，收斂的精度的方向卻是不同的。b) 改變步長的結(jié)果（保持net.trainParam.mc=0.6）I. net.trainParam.lr=0.05圖 11：改變訓(xùn)練步長結(jié)果1minmax = 0.3142 6.2832TRAINLM, Performance goal met.II. net.trainParam.lr=0.5的效果圖 12：改變訓(xùn)練步長結(jié)果2minmax = 0.3142 6.2832TRA

17、INLM, Performance goal met.III. net.trainParam.lr=1的效果圖 13：改變訓(xùn)練步長結(jié)果3minmax = 0.3142 6.2832TRAINLM, Performance goal met.IV. net.trainParam.lr=5的效果圖 14：改變訓(xùn)練步長結(jié)果4minmax = 0.3142 6.2832TRAINLM, Performance goal met.V. net.trainParam.lr=5圖 15：改變訓(xùn)練步長結(jié)果5minmax = 0.3142 6.2832TRAINLM, Performance goal met.比較以上5組運行結(jié)果可知，當(dāng)步長在以上選取的數(shù)值范圍內(nèi)，誤差總會收斂到我們想要的結(jié)果。而當(dāng)步長較大時，收斂速度加快了，誤差開始有增大的趨勢。五討論與分析雖然模糊控制和神經(jīng)網(wǎng)絡(luò)都是典型的智能控制方法，模糊控制解決的是用機(jī)器模擬人腦的感知、推理等智能行為方面，但在處理數(shù)值數(shù)據(jù)和自學(xué)習(xí)能力等方面遠(yuǎn)沒有達(dá)到人腦的境界；而神經(jīng)網(wǎng)絡(luò)是從人腦的生理學(xué)和心理學(xué)著手，模擬人腦細(xì)胞的分布式工作特點和自組織功能實現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等能力。傳統(tǒng)的BP學(xué)習(xí)算法本質(zhì)上都是梯度搜索法