




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、東南大學(xué)自動(dòng)化學(xué)院智能控制概論神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究學(xué) 院: 姓 名: 學(xué) 號(hào): 日 期: 目 錄1 任務(wù)要求敘述32 系統(tǒng)分析及設(shè)計(jì)原理33 設(shè)計(jì)實(shí)現(xiàn)54仿真驗(yàn)證65 討論與分析16一任務(wù)要求敘述(1) 任務(wù)(a) 運(yùn)行算法,觀察和分析現(xiàn)有學(xué)習(xí)算法的性能;clear all;close all; nu=20;pi=3.1415926; for i=1:nu p(i)=2*pi*i/nu; t(i)=0.5*(1+cos(p(i); end minmax=min(p(:) max(p(:) net = newff( 0 7,6 1,logsig purelin,traingd);% traing
2、d traingdm trainlm net.trainParam.epochs = 10000; net.trainParam.goal = 0.0001; net.trainParam.show=200; net.trainParam.lr=0.1; net.trainParam.mc=0.6; %0.9 default value; available for momentum net = train(net,p,t); y1 = sim(net,p); figure(2); plot(p,t,*-,p,y1,r-) %* test data * nu2=nu*3/2; for i=1:
3、(nu2) p2(i)=2*pi*i/(nu2); t2(i)=0.5*(1+cos(p2(i); end y2 = sim(net,p2); figure(3); plot(t2,*-);hold on; plot(y2,r); xlabel(times);ylabel(outputs); figure(4); plot(t2-y2); xlabel(times);ylabel(error);(b) 為了進(jìn)一步提高學(xué)習(xí)逼近效果,可以采取那些措施,調(diào)節(jié)規(guī)律如何?根據(jù)所提的每種措施,修改算法程序,給出仿真效果驗(yàn)證、過程以及相應(yīng)的曲線圖,給出適當(dāng)?shù)脑u(píng)述;(c) 聯(lián)系、結(jié)合前向神經(jīng)網(wǎng)絡(luò)的算法樣本學(xué)習(xí)
4、、測(cè)試等過程,談?wù)劚救藢?duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的一些認(rèn)識(shí)和看法。(2)要求提交完整的報(bào)告,包括:封面(題目、個(gè)人學(xué)號(hào)姓名等信息)、目錄、任務(wù)要求敘述、系統(tǒng)分析及設(shè)計(jì)原理(包括神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的原理圖及文字分析)、完整的設(shè)計(jì)實(shí)現(xiàn)過程(包括神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)等選擇與實(shí)現(xiàn)、計(jì)算、原理過程等)、仿真驗(yàn)證(算法流程圖、實(shí)現(xiàn)手段介紹、系統(tǒng)參數(shù)選擇、曲線圖、結(jié)合調(diào)參對(duì)響應(yīng)曲線的影響給出必要的分析)、討論與分析,總字?jǐn)?shù)要求在2000以上。二系統(tǒng)分析及設(shè)計(jì)原理(1)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)過程實(shí)質(zhì)上是針對(duì)一組給定的輸入使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望輸出的過程??偟膩碚f,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法分為兩大類: 有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。輸入信號(hào)
5、X網(wǎng)絡(luò)輸出Y神經(jīng)網(wǎng)絡(luò)輸入信號(hào)X期望輸出T網(wǎng)絡(luò)輸出Y神經(jīng)網(wǎng)絡(luò)距離計(jì)算 圖 1:有導(dǎo)師指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式 圖 2無導(dǎo)師指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式由上圖可見,所謂有導(dǎo)師學(xué)習(xí)就是在訓(xùn)練過程中,始終存在一個(gè)期望的網(wǎng)絡(luò)輸出。期望輸出和實(shí)際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。而無導(dǎo)師學(xué)習(xí)指的是網(wǎng)絡(luò)不存在一個(gè)期望的輸出,因而沒有直接的誤差信息,因此,為實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)練,徐建立一個(gè)簡潔的評(píng)價(jià)函數(shù),以對(duì)網(wǎng)絡(luò)的某種行為取向做出評(píng)價(jià)。(2)多層傳播網(wǎng)絡(luò)的學(xué)習(xí)算法給定組樣本。這里為維輸入矢量,為維期望的輸出矢量,,.假設(shè)矢量和分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。則訓(xùn)練過程為:(1) 選,作為最大容許誤差,并將權(quán)系
6、數(shù)初始化成某一小的隨機(jī)權(quán)矩陣。(2) 訓(xùn)練開始按照計(jì)算出各隱含層神經(jīng)元的盡力輸出,按照計(jì)算出各輸出層神經(jīng)元的激勵(lì)輸出。(3) 計(jì)算誤差(4) 按公式計(jì)算出(5) 調(diào)整權(quán)陣系數(shù) (6) 若,,跳轉(zhuǎn)到(2),否則跳轉(zhuǎn)到(7)(7) 若,結(jié)束,否則,跳轉(zhuǎn)到(2)。三設(shè)計(jì)實(shí)現(xiàn)(1)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(BP算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu))下圖是一個(gè)多層傳播結(jié)構(gòu)。即在輸入層和輸出層之間嵌入一層或多層隱含層的網(wǎng)絡(luò)結(jié)構(gòu)。隱含層單元既可以與叔叔出單元相連也可以與其他隱含層單元相連。隱含層單元與輸入單元之間通過突觸權(quán)系數(shù)連接,并可用矩陣表示全部關(guān)系。隱含層單元與輸出單元之間通過突觸權(quán)系數(shù)連接,全部關(guān)系可用矩陣表示。圖 3:神經(jīng)網(wǎng)
7、絡(luò)結(jié)構(gòu)圖(2)Maltab神經(jīng)網(wǎng)絡(luò)工具箱1 函數(shù)介紹 newc()創(chuàng)建級(jí)聯(lián)前向網(wǎng)絡(luò) newff()創(chuàng)建前向BP網(wǎng)絡(luò) newffd()創(chuàng)建存在輸入延遲的前向網(wǎng)絡(luò)在此次實(shí)驗(yàn)中,采用第二個(gè)函數(shù)即創(chuàng)建的是前向BP網(wǎng)絡(luò)。前向網(wǎng)絡(luò)中各神經(jīng)元接受前一級(jí)的輸入,并輸出到下一級(jí),網(wǎng)絡(luò)中沒有反饋,可以用一個(gè)有向無環(huán)路圖表示,這種神經(jīng)網(wǎng)絡(luò)稱為前向網(wǎng)絡(luò)。前向網(wǎng)絡(luò)中節(jié)點(diǎn)分為兩類,輸入節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。每個(gè)輸入節(jié)點(diǎn)可以有任意個(gè)輸入,但只有一個(gè)輸出。而輸出可以耦合到任意多個(gè)其他節(jié)點(diǎn)的輸入。前向網(wǎng)絡(luò)通??梢苑譃椴煌膶?,第i層的輸入僅與第i-1層的輸出連接。一般認(rèn)為輸入節(jié)點(diǎn)為第一層,具有一層計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)實(shí)際上是一個(gè)兩層網(wǎng)絡(luò)。
8、由于輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)可以和外界連接,直接接受環(huán)境的影響,所以稱為可見層。而其他中間層則稱為隱層。2 Newff()函數(shù)參數(shù)介紹newff函數(shù)的格式為:net=newff(PR,S1 S2 .SN,TF1 TF2.TFN,BTF,BLF,PF),函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。輸入?yún)?shù)說明:PR:Rx2的矩陣以定義R個(gè)輸入向量的最小值和最大值;Si:第i層神經(jīng)元個(gè)數(shù);TFi:第i層的傳遞函數(shù),默認(rèn)函數(shù)為tansig函數(shù);BTF:訓(xùn)練函數(shù),默認(rèn)函數(shù)為trainlm函數(shù);BLF:權(quán)值/閥值學(xué)習(xí)函數(shù),默認(rèn)函數(shù)為learngdm函數(shù);PF:性能函數(shù),默認(rèn)函數(shù)為mse函數(shù)。3 程序中參數(shù)含義(1
9、) Newff()函數(shù)中的參數(shù)a) 傳遞函數(shù)有三種tansig(n)=2/(1+exp(-2*n)-1logsig(n)=1/(1+exp(-n)purelin(n)=nb) 訓(xùn)練函數(shù)有12種 trainbrBayes 規(guī)范化BP訓(xùn)練函數(shù)trainc 循環(huán)順序漸增訓(xùn)練函數(shù)traincgb Powell-Beale連接梯度BP訓(xùn)練函數(shù)traincgf Fletcher-Powell連接梯度BP訓(xùn)練函數(shù)traincgp Polak-Ribiere連接梯度BP訓(xùn)練函數(shù)traingda 自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)traingdx 動(dòng)量及自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)trainlm Levenb
10、erg-Marquardt BP訓(xùn)練函數(shù)trainoss 一步正切BP訓(xùn)練函數(shù)trainr 隨機(jī)順序遞增更新訓(xùn)練函數(shù)trainrp 帶反彈的BP訓(xùn)練函數(shù)trains 順序遞增BP訓(xùn)練函數(shù)trainscg 量化連接梯度BP訓(xùn)練函數(shù)(2) 其他參數(shù)net.trainParam.epochs=10000; 允許最大訓(xùn)練步數(shù)10000net.trainParam.goal=0.001; 訓(xùn)練目標(biāo)最小誤差0.001net.trainParam.show=200; 每間隔200步顯示一次訓(xùn)練結(jié)果net.trainParam.lr=0.1; 學(xué)習(xí)步長0.1net.trainParam.mc=0.6; 動(dòng)量因
11、子四仿真驗(yàn)證(1)參數(shù)調(diào)節(jié)方法 首先改變傳遞函數(shù),保持其他參數(shù)不變的條件下,將傳遞函數(shù)換成其余兩個(gè)傳遞函數(shù),觀察運(yùn)行結(jié)果,比較選出最符合要求的傳遞函數(shù);然后使用最符合要求的傳遞函數(shù),改變訓(xùn)練函數(shù),同樣選出最符合要求的訓(xùn)練函數(shù);最后使用最符合要求的傳遞函數(shù)和訓(xùn)練函數(shù),改變精度、步長、動(dòng)量因子,比較分析,總結(jié)變化規(guī)律。(2)調(diào)節(jié)運(yùn)行結(jié)果1 初始運(yùn)行結(jié)果圖 4:初始結(jié)果minmax =0.3142 6.2832TRAINGD, Maximum epoch reached, performance goal was not met.在初始算法中,采用的是net = newff( 0 7,6 1,log
12、sig purelin,traingd); 由上圖發(fā)現(xiàn)即使最大步長為10000 Epochs,最后也沒有收斂到我們所需要的精度。這是因?yàn)閠raingd為單純的梯度下降訓(xùn)練函數(shù)。訓(xùn)練速度比較慢,而且容易陷入局部最小的情況。2 修改傳遞函數(shù)將傳遞函數(shù)logsig改為tansig,即傳遞函數(shù)為2/(1+exp(-2*n)-1;程序?yàn)閚et = newff( 0 7,6 1,tansig purelin,traingd);結(jié)果發(fā)現(xiàn)改變傳遞函數(shù)并沒有對(duì)測(cè)試數(shù)據(jù)的結(jié)果有過多的變化,說明傳遞函數(shù)對(duì)系統(tǒng)的性能的影響不大,那么還是選用初始的傳遞函數(shù)logsig 。minmax = 0.3142 6.2832TR
13、AINGD, Maximum epoch reached, performance goal was not met.圖 5:改變傳遞函數(shù)的結(jié)果3 第一次修改訓(xùn)練函數(shù)將訓(xùn)練函數(shù)traingd改為traingdm,即net = newff( 0 7,6 1, logsig purelin,traingdm);圖 6:訓(xùn)練函數(shù)為traningdm的結(jié)果minmax = 0.3142 6.2832TRAINGDM, Maximum epoch reached, performance goal was not met.經(jīng)過10000次訓(xùn)練后,traningdm網(wǎng)絡(luò)的輸出誤差與traningd訓(xùn)練算法
14、的結(jié)果差不多,網(wǎng)絡(luò)誤差的收斂速度也非常慢。Traningdm是動(dòng)量梯度下降算法,和traningd 一樣是啟發(fā)式訓(xùn)練算法,它的使用類似于函數(shù) traingd 。4 第二次修改訓(xùn)練函數(shù)將訓(xùn)練函數(shù)改為trainlm,即net = newff( 0 7,6 1, logsig purelin, trainlm);圖 7:訓(xùn)練函數(shù)為trainlm的結(jié)果minmax = 0.3142 6.2832TRAINLM, Performance goal met.結(jié)果表明僅僅經(jīng)過6次訓(xùn)練后,網(wǎng)絡(luò)誤差就已經(jīng)收斂了。說明trainlm算法效果最好,由于誤差只是0.001,所以在這個(gè)情況下可以加強(qiáng)誤差限制。同時(shí)在改變
15、步長和動(dòng)量因子,觀察其對(duì)結(jié)果的影響。5 修改程序中的其他參數(shù)以下研究分析都是在傳遞函數(shù)為logsig,訓(xùn)練函數(shù)為trainlm的基礎(chǔ)上進(jìn)行的。a) 改變動(dòng)量因子I. net.trainParam.mc=0.9圖 8:改變動(dòng)量因子結(jié)果1minmax = 0.3142 6.2832TRAINLM, Performance goal met.II. net.trainParam.mc=0.6圖 9:改變動(dòng)量因子結(jié)果2minmax = 0.3142 6.2832TRAINLM, Performance goal met.III. net.trainParam.mc=0.4圖 10:改變動(dòng)量因子結(jié)果3m
16、inmax = 0.3142 6.2832TRAINLM, Performance goal met.比較以上三組結(jié)果可知,他們的訓(xùn)練效果都是不錯(cuò)的,而當(dāng)mc 減小時(shí),發(fā)現(xiàn)收斂速度變快,收斂的精度的方向卻是不同的。b) 改變步長的結(jié)果(保持net.trainParam.mc=0.6)I. net.trainParam.lr=0.05圖 11:改變訓(xùn)練步長結(jié)果1minmax = 0.3142 6.2832TRAINLM, Performance goal met.II. net.trainParam.lr=0.5的效果圖 12:改變訓(xùn)練步長結(jié)果2minmax = 0.3142 6.2832TRA
17、INLM, Performance goal met.III. net.trainParam.lr=1的效果圖 13:改變訓(xùn)練步長結(jié)果3minmax = 0.3142 6.2832TRAINLM, Performance goal met.IV. net.trainParam.lr=5的效果圖 14:改變訓(xùn)練步長結(jié)果4minmax = 0.3142 6.2832TRAINLM, Performance goal met.V. net.trainParam.lr=5圖 15:改變訓(xùn)練步長結(jié)果5minmax = 0.3142 6.2832TRAINLM, Performance goal met.比較以上5組運(yùn)行結(jié)果可知,當(dāng)步長在以上選取的數(shù)值范圍內(nèi),誤差總會(huì)收斂到我們想要的結(jié)果。而當(dāng)步長較大時(shí),收斂速度加快了,誤差開始有增大的趨勢(shì)。五討論與分析雖然模糊控制和神經(jīng)網(wǎng)絡(luò)都是典型的智能控制方法,模糊控制解決的是用機(jī)器模擬人腦的感知、推理等智能行為方面,但在處理數(shù)值數(shù)據(jù)和自學(xué)習(xí)能力等方面遠(yuǎn)沒有達(dá)到人腦的境界;而神經(jīng)網(wǎng)絡(luò)是從人腦的生理學(xué)和心理學(xué)著手,模擬人腦細(xì)胞的分布式工作特點(diǎn)和自組織功能實(shí)現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等能力。傳統(tǒng)的BP學(xué)習(xí)算法本質(zhì)上都是梯度搜索法
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025-2030年中國汽車安全裝置市場運(yùn)行現(xiàn)狀及發(fā)展前景分析報(bào)告
- 2025-2030年中國氫氧化鋰行業(yè)前景趨勢(shì)及發(fā)展?jié)摿Ψ治鰣?bào)告
- 廣告合同范本稅
- 2025-2030年中國機(jī)械石墨密封件市場十三五規(guī)劃及投資戰(zhàn)略研究報(bào)告
- 2025-2030年中國木結(jié)構(gòu)建筑行業(yè)運(yùn)行態(tài)勢(shì)與投資戰(zhàn)略研究報(bào)告
- 2025-2030年中國有機(jī)大米市場發(fā)展趨勢(shì)規(guī)劃研究報(bào)告
- 2025-2030年中國無線電遙測(cè)設(shè)備行業(yè)十三五規(guī)劃及發(fā)展前景分析報(bào)告
- 科技品牌如何利用社交媒體實(shí)現(xiàn)高效傳播
- 2025-2030年中國復(fù)合微生物肥料市場發(fā)展趨勢(shì)及投資戰(zhàn)略分析報(bào)告
- 2025-2030年中國城市規(guī)劃行業(yè)深度調(diào)研與十三五規(guī)劃分析報(bào)告
- 【溫州眼鏡出口遭遇技術(shù)貿(mào)易壁壘的現(xiàn)狀及對(duì)策(定量論文)15000字】
- 2024年中國血糖健康管理行業(yè)白皮書
- 大班數(shù)學(xué)PPT課件《實(shí)物填補(bǔ)數(shù)》
- 乳痛癥的健康宣教
- GB/Z 43281-2023即時(shí)檢驗(yàn)(POCT)設(shè)備監(jiān)督員和操作員指南
- 吊籃檢查記錄
- 《我的家族史》課件
- 干部考察報(bào)告表()
- 《攝影圖片分析》課件
- 青少年社會(huì)支持評(píng)定量表
- kW直流充電樁的設(shè)計(jì)
評(píng)論
0/150
提交評(píng)論