Matlab神經(jīng)網(wǎng)絡(luò)1PPT課件

1、 隨著Matlab版本的提高，其相應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本也相應(yīng)的提高了。本課程主要以Matlab6.5作為講解對(duì)象，對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱為NN Tool box4.0，其內(nèi)容非常豐富，涵蓋了很多現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型：u 感知器網(wǎng)絡(luò) (Perceptron network)；u 線性神經(jīng)網(wǎng)絡(luò) (Linear network)；u BP網(wǎng)絡(luò) (Back propagation network, 簡(jiǎn)稱BP網(wǎng)絡(luò))；u 徑向基函數(shù)網(wǎng)絡(luò) (Radial Basis Function network，簡(jiǎn)稱RBF網(wǎng)絡(luò))；u 反饋網(wǎng)絡(luò) (Recurrent Network): Hopfield網(wǎng)絡(luò)和Elman網(wǎng)

2、絡(luò)；u 自組織網(wǎng)絡(luò) (Self-organizing network)； 神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法，使用它能夠快速實(shí)現(xiàn)對(duì)實(shí)際問題的建模求解。由于其編程簡(jiǎn)單，給使用者節(jié)省了大量的編程時(shí)間，使其能夠把更多的精力投入到網(wǎng)絡(luò)設(shè)計(jì)而不是具體程序?qū)崿F(xiàn)上。下面逐步介紹神經(jīng)網(wǎng)絡(luò)在Matlab語(yǔ)言環(huán)境下的設(shè)計(jì)應(yīng)用，以及神經(jīng)網(wǎng)絡(luò)工具箱的使用試驗(yàn)等。 第1頁(yè)/共28頁(yè)1.感知器感知器(Perceptron) 感知器是最早提出的一種神經(jīng)網(wǎng)絡(luò)模型，是一個(gè)具有單層神經(jīng)元 的網(wǎng)絡(luò)。網(wǎng)絡(luò)的激活函數(shù)是線性閾值單元，1957年由美國(guó)學(xué)者羅森布拉特 (F.Rosenblatt)提出，目的就是為了模擬人類大腦的感知和學(xué)

3、習(xí)能力。 盡管這種方法有一定的局限性，但這種神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)對(duì)早期神經(jīng)網(wǎng)絡(luò)的研究，以及后來許多神經(jīng)網(wǎng)絡(luò)的出現(xiàn)產(chǎn)生了極大的影響。目前來看，它仍然是一種很有用的神經(jīng)網(wǎng)絡(luò)模型，尤其適用于簡(jiǎn)單的模式分類問題。 FRosenblatt已經(jīng)證明，如果兩類模式是線性可分的(只存在一個(gè)超平面將它們分 開)，則算法一定足收斂的。 1.1 感知器神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 第2頁(yè)/共28頁(yè)第3頁(yè)/共28頁(yè)1.2 生成網(wǎng)絡(luò) 應(yīng)用函數(shù) newp() 可以生成一個(gè)感知器網(wǎng)絡(luò)，調(diào)用方式如下：net=newp (PR , S)其中輸入量PR為一個(gè)R*2階矩陣，每行表示輸入元素得最大值和最小值；S為神經(jīng)元得數(shù)目。 1.3 網(wǎng)絡(luò)仿真

4、應(yīng)用函數(shù) sim() 可以對(duì)生成的感知器網(wǎng)絡(luò)進(jìn)行仿真，即給定確定輸入p，求輸出a:a1=sim (net , p1)其中net為一個(gè)已經(jīng)生成的感知器網(wǎng)絡(luò)，p1為R*1輸入列向量，a1為S*1輸出向量。 第4頁(yè)/共28頁(yè)1.4 網(wǎng)絡(luò)初始化 應(yīng)用函數(shù) init() 可以對(duì)生成的感知器網(wǎng)絡(luò)進(jìn)行閾值和權(quán)值進(jìn)行初始化。主要作用是將神經(jīng)網(wǎng)絡(luò)的閾值和權(quán)值復(fù)原回生成時(shí)的初始值：net=init (net) ;1.5 網(wǎng)絡(luò)訓(xùn)練 對(duì)感知器網(wǎng)絡(luò)進(jìn)行訓(xùn)練通常有兩種方法。一種是用反復(fù)應(yīng)用sim()和learnp()調(diào)整網(wǎng)絡(luò)的閾值和權(quán)值。另一種是直接使用函數(shù)train()或adapt()，其調(diào)用格式如下：net=trai

5、n(net, p, t)或net=adapt(net, p, t)它可以自動(dòng)更改網(wǎng)絡(luò)的權(quán)值和閾值，以滿足誤差的要求。1.6 應(yīng)用舉例第5頁(yè)/共28頁(yè) 設(shè)計(jì)一2輸入感知器神經(jīng)網(wǎng)絡(luò)，將4個(gè)輸入向量分為兩類。5個(gè)輸入向量都是兩維向量，定義為P，以向量T表示對(duì)應(yīng)的期望輸出。P=-0.5 -0.5 +0.5 -0.1; -0.5 +0.5 -0.5 +1.0;T=1 1 0 0;plotpv(P, T) % PLOTPV: Plot perceptron input/target vectors.hold on;-1-0.500.51-1-0.500.511.5Vectors to be Classif

6、iedP(1)P(2)+ 表示與期望值1對(duì)應(yīng)的輸入量。O 表示與期望值0對(duì)應(yīng)的輸入量。第6頁(yè)/共28頁(yè)1). 構(gòu)建初始網(wǎng)絡(luò)net=newp(-1 1;-1 1,1);2). 網(wǎng)絡(luò)訓(xùn)練net=adapt(net,P,T); % PLOTPC Plot a classification line on a perceptron vector plot.plotpc(net.IW1,net.b1)hold on; %見下頁(yè)圖3). 仿真p=0.7;1.2;a=sim(net,p);plotpv(p,a);hold on; %見下頁(yè)圖第7頁(yè)/共28頁(yè)-1-0.500.51-1-0.500.511.5V

7、ectors to be ClassifiedP(1)P(2)(0.7,1.2)第8頁(yè)/共28頁(yè) 由此可見，感知器網(wǎng)絡(luò)能夠做到對(duì)輸入向量進(jìn)行正確分類，同時(shí)驗(yàn)證了網(wǎng)絡(luò)的可行性。問題：u 輸入奇異樣本對(duì)網(wǎng)絡(luò)訓(xùn)練的影響。假定仍然使用二輸入單神經(jīng)元的感知器網(wǎng)絡(luò)，所不同的是網(wǎng)絡(luò)輸入樣本中存在奇異樣本(即輸入向量有遠(yuǎn)遠(yuǎn)大于其他所有的輸入向量)，這樣訓(xùn)練過程會(huì)耗費(fèi)很長(zhǎng)時(shí)間。(見下頁(yè)圖)u 線性不可分輸入量。單層感知器的一個(gè)致命的弱點(diǎn)就是輸入向量必須是線性可分的。如果輸入向量線性可分，感知器可給出正確的分類結(jié)果。而對(duì)于線性不可分的輸入向量，感知器就不能對(duì)輸入向量進(jìn)行正確分類。(見下下頁(yè)圖) 第9頁(yè)/共28頁(yè)第

8、10頁(yè)/共28頁(yè)第11頁(yè)/共28頁(yè) 線性神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的一種神經(jīng)網(wǎng)絡(luò)，可以由一個(gè)或者多個(gè)線性神經(jīng)元組成。與感知器神經(jīng)網(wǎng)絡(luò)不同的是，線性神經(jīng)網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)是線性函數(shù)，因此線性神經(jīng)網(wǎng)絡(luò)的 輸出可以取任意值，而感知器神經(jīng)網(wǎng)絡(luò)的輸出只能是0或1。對(duì)于線性神經(jīng)網(wǎng)絡(luò)，需要一系列給定的輸入向量和相應(yīng)的期望輸出向量，每個(gè)輸入都有一個(gè)網(wǎng)絡(luò)輸出與之對(duì)應(yīng)。參照輸出量和期望輸出的差別，調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，使得訓(xùn)練誤差的平方和最小或者小于一定值。 2. 線性神經(jīng)網(wǎng)絡(luò)(Linear network) 線性神經(jīng)網(wǎng)絡(luò)采用Widrow-Hoff學(xué)習(xí)規(guī)則，稱為L(zhǎng)MS(Least Mean Square)算法。線性神經(jīng)網(wǎng)絡(luò)

9、的學(xué)習(xí)算法比感知器網(wǎng)絡(luò)的學(xué)習(xí)算法，在收斂速度和精度上面都有了較大的提高。 線性神經(jīng)網(wǎng)絡(luò)主要用于函數(shù)逼近、預(yù)測(cè)、信號(hào)處理濾波、模式識(shí)別和控制等方面。 第12頁(yè)/共28頁(yè)2.1 線性神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 線性傳遞函數(shù)線性神經(jīng)元模型線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第13頁(yè)/共28頁(yè) 線性神經(jīng)元模型如上圖所示，其中R為輸入向量元素的數(shù)目。從網(wǎng)絡(luò)結(jié)構(gòu)上看，和感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似，不同的是神經(jīng)元的傳遞函數(shù)是線性傳遞函數(shù)purelin()。 由于線性神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的傳遞函數(shù)為線性函數(shù)，其輸入輸出之間是簡(jiǎn)單的比例關(guān)系。單個(gè)線性神經(jīng)元可以通過下式計(jì)算： a=purelin(n)=purelin(Wp+b)= Wp+b 上圖中也

10、給出一個(gè)具有R個(gè)輸入，S個(gè)神經(jīng)元的單層線性神經(jīng)元網(wǎng)絡(luò)的兩種形式，輸出向量數(shù)目和神經(jīng)元數(shù)目相等，也是S個(gè)。權(quán)值矩陣為為w，閾值為b，這種 網(wǎng)絡(luò)也稱為Madaline網(wǎng)絡(luò)。 這里介紹的是單層線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它和多層線性神經(jīng)網(wǎng)絡(luò)一樣有用。因?yàn)閷?duì)于每一個(gè)多層線性神經(jīng)網(wǎng)絡(luò)而言，都可以設(shè)計(jì)出一個(gè)性能相當(dāng)?shù)膯螌泳€性神經(jīng)網(wǎng)絡(luò)。 第14頁(yè)/共28頁(yè)2.2 網(wǎng)絡(luò)生成和仿真 應(yīng)用newlin()可以構(gòu)造一個(gè)線性神經(jīng)元網(wǎng)絡(luò)，調(diào)用方式如下：net=newlin (PR , S)其中輸入量PR為一個(gè)R*2階矩陣，每行表示輸入元素得最大值和最小值；S為神經(jīng)元得數(shù)目。網(wǎng)絡(luò)權(quán)值和閾值在神經(jīng)網(wǎng)絡(luò)創(chuàng)建時(shí)，初值自動(dòng)設(shè)為0。2.3

11、線性神經(jīng)網(wǎng)絡(luò)設(shè)計(jì) 與感知器網(wǎng)絡(luò)進(jìn)行仿真的方法類似，應(yīng)用函數(shù) sim() 可以對(duì)生成的線性神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真，即給定確定輸入p，求輸出a:a1=sim (net , p1)其中net為一個(gè)已經(jīng)生成的感知器網(wǎng)絡(luò)，p1為R*1輸入列向量，a1為S*1輸出向量。第15頁(yè)/共28頁(yè) 不同于其他網(wǎng)絡(luò)結(jié)構(gòu)，如果輸人和期望輸出已知，線性神經(jīng)網(wǎng)絡(luò)可以直接設(shè)計(jì)，應(yīng)用newlind()可以設(shè)計(jì)出特定的神經(jīng)網(wǎng)絡(luò)，其權(quán)值和閾值能夠保證均方差最小。 調(diào)用方式如下：net=newlind (P , T)其中輸入量P和T為輸入和期望輸出。例：假定輸入和期望輸出為： P=1 2 3; % 輸入T=2.0 4.1 5.9;% 期望

12、輸出net=newlind(P,T)% 設(shè)計(jì)網(wǎng)絡(luò)Y=sim(net,P) % 驗(yàn)證網(wǎng)絡(luò)的性能Y= 2.0500 4.0000 5.9500第16頁(yè)/共28頁(yè)2.4 應(yīng)用舉例應(yīng)用線性網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)1)問題的提出 設(shè)計(jì)一個(gè)線性網(wǎng)絡(luò)，要求在每一個(gè)時(shí)間步長(zhǎng)內(nèi)，線性網(wǎng)絡(luò)通過保留信號(hào)T前5次值，并能夠預(yù)測(cè)出下一步的值。這樣，網(wǎng)絡(luò)的輸入信號(hào)P為信號(hào)T的前5次值，由信號(hào)T的延遲處理得到。 假設(shè)信號(hào)T，持續(xù)時(shí)間為5S，采樣頻率為40次/S，則信號(hào)輸入為：% 確定輸入信號(hào)：time=0:0.025:5;% 確定時(shí)間向量T= sin(time*4*pi); % 正弦信號(hào)，f=2Hz, =2*pi*f Q=length

13、(T);% 求T的前5次值作為網(wǎng)絡(luò)的輸入：P= zeros(5,Q);% 形成5*Q輸入矩陣P(1,2:Q)=T(1,1:(Q-1); % 輸入向量的第一行第17頁(yè)/共28頁(yè)P(yáng)(2,3:Q)=T(1,1:(Q-2); % 輸入向量的第二行P(3,4:Q)=T(1,1:(Q-3); % 輸入向量的第三行P(4,5:Q)=T(1,1:(Q-4); % 輸入向量的第四行P(5,6:Q)=T(1,1:(Q-5); % 輸入向量的第五行% 繪制信號(hào)T的曲線plot(time,T);xlabel(時(shí)間);ylabel(目標(biāo)信號(hào));title(待預(yù)測(cè)信號(hào))；2). 網(wǎng)絡(luò)設(shè)計(jì) 網(wǎng)絡(luò)有5個(gè)輸入信號(hào)(過去值)和1

14、個(gè)輸出信號(hào)(預(yù)測(cè)值)，故采用有5個(gè)輸入的單個(gè)線性神經(jīng)元網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如下頁(yè)圖所示。應(yīng)用newlind()函數(shù)來設(shè)計(jì)這個(gè)網(wǎng)絡(luò)，即可得到網(wǎng)絡(luò)的權(quán)值和閾值，并且達(dá)到最小均方差。第18頁(yè)/共28頁(yè)% 設(shè)計(jì)網(wǎng)絡(luò)net=newlind(P,T); % 獲得5輸入線性神經(jīng)網(wǎng)絡(luò)3). 網(wǎng)絡(luò)測(cè)試第19頁(yè)/共28頁(yè) 將上述5個(gè)延遲信號(hào)作為輸入量，應(yīng)用sim()函數(shù)求出相應(yīng)的網(wǎng)絡(luò)輸出a，然后將。與信號(hào)目標(biāo)值t進(jìn)行比較，結(jié)果如下圖所示。同時(shí)計(jì)算-出預(yù)算誤差，結(jié)果也示于圖中。a=sim(net, P)；figure(1);plot(time, a, time, T, +); xlabel(時(shí)間)； ylabel( 輸出

15、 - 目標(biāo) + )； title(輸出信號(hào)和目標(biāo)信號(hào)); figure(2);e=T- a; plot(time, e);xlabel(時(shí)間);ylable(誤差);title(誤差信號(hào));第20頁(yè)/共28頁(yè)從上面預(yù)測(cè)誤差曲線中可以看出，在最初的幾步計(jì)算中，網(wǎng)絡(luò)的預(yù)測(cè)誤差很大。這是因?yàn)榇藭r(shí)網(wǎng)絡(luò)還沒有產(chǎn)生信號(hào)的5次延遲值，5步計(jì)算以后才真正產(chǎn)生輸入信號(hào)，因此難免出現(xiàn)初始誤差。第5步以后，預(yù)測(cè)誤差很快下降。由此可見，線性網(wǎng)絡(luò)對(duì)于線性時(shí)間序列的預(yù)測(cè)問題是有實(shí)用價(jià)值的。 第21頁(yè)/共28頁(yè)4). 結(jié)論 對(duì)于非線性系統(tǒng)，newlind()函數(shù)無法達(dá)到零誤差，只能將均方差降到最小。但是通過增加延遲信號(hào)量，

16、可以降低由模型非線性帶來的預(yù)測(cè)誤差，這樣使得線性網(wǎng)絡(luò)在許多情況下也能應(yīng)用于非線性系統(tǒng)。當(dāng)然，如果系統(tǒng)的非線性程度較強(qiáng)，或者期望精度較高，則不適宜用線性網(wǎng)絡(luò)解決?？刹捎肂P網(wǎng)絡(luò)或者徑向基網(wǎng)絡(luò)。 線性系統(tǒng)辨識(shí) 線性網(wǎng)絡(luò)可以用于對(duì)實(shí)際系統(tǒng)建模。如果實(shí)際系統(tǒng)是線性的或者接近線性的，則線性系統(tǒng)辨識(shí)誤差會(huì)很小。1) 問題提出 構(gòu)造輸入信號(hào)X周期為5S，采樣周期為25mS。信號(hào)X為：time=0:0.025:5;X=sin(sin(time).*time*10);% x=sin(sint)*t*10 第22頁(yè)/共28頁(yè)繪制信號(hào)X隨時(shí)間變化的曲線如下圖所示。plot(time,X);xlabel(時(shí)間);Yl

17、abel(輸入信號(hào));Title(系統(tǒng)輸入信號(hào));第23頁(yè)/共28頁(yè)取網(wǎng)絡(luò)輸入是輸入信號(hào)X當(dāng)前值和前兩次的值。 Q= size (X, 2)； P= zeros(3, Q); P(1,1:Q)=X (1,1:Q); P(2,2:Q)=X (1,1:(Q-1); P(3,3:Q)=X (1,1:(Q-2);如果系統(tǒng)輸出可測(cè)，則系統(tǒng)輸出的測(cè)量只可由下列語(yǔ)句得到：% 求系統(tǒng)1*y(n) = b(1)*x(n) + b(2)*x(n-1) + b(3)*x(n-2) 的響應(yīng)T=filter(1 0.5 -1.5,1,X); % 繪制輸出響應(yīng)曲線plot (time, T);xlabel(時(shí)間);ylabel(輸出信號(hào));title(系統(tǒng)輸出信號(hào));系統(tǒng)輸出響應(yīng)曲線如下頁(yè)示： 第24頁(yè)/共28頁(yè)2) 網(wǎng)絡(luò)設(shè)計(jì) 網(wǎng)絡(luò)具有三個(gè)輸入和一個(gè)輸出，應(yīng)用newlind()函數(shù)生成線性網(wǎng)絡(luò)：net=newlind