第5章 人工神經(jīng)網(wǎng)絡(luò)_matlab工具箱.ppt

1、模式識別講義第5章人工神經(jīng)網(wǎng)絡(luò),黃可坤嘉應(yīng)學(xué)院,matlab神經(jīng)網(wǎng)絡(luò)工具箱,主要內(nèi)容,0引例:神經(jīng)網(wǎng)絡(luò)函數(shù)擬合(預(yù)測)1matlab神經(jīng)網(wǎng)絡(luò)工具箱2人工神經(jīng)網(wǎng)絡(luò)(ANN)簡介3前饋神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò))4實(shí)例：多元神經(jīng)網(wǎng)絡(luò)預(yù)測5實(shí)驗(yàn)：神經(jīng)網(wǎng)絡(luò)分類,0引例:神經(jīng)網(wǎng)絡(luò)函數(shù)擬合(預(yù)測),試構(gòu)造合適的神經(jīng)網(wǎng)絡(luò)模型擬合如下數(shù)據(jù)點(diǎn),并預(yù)測x=10的值:,matlab代碼,x=0:0.5:9.5;y=0,0.43,0.69,0.74,0.61,0.36,0.08,-0.17,-0.34,-0.4,-0.35,-0.23,-0.08,0.06,0.16,0.21,0.2,0.15,0.07;net=newff(

2、0,9.5,5,1);net.trainParam.epochs=100;net.trainParam.goad=0.000001;net=train(net,x,y);x1=0:0.1:10;y1=sim(net,x1);figure;plot(x,y,.);holdon;plot(x1,y1,r);,f,f,f,f,f,f,x,y,b1,b2,b3,b4,b5,b,網(wǎng)絡(luò)結(jié)構(gòu),y=f(w21*f(w11*x+b1)+w25*f(w15*x+b5)+b),w1=net.IW1;w2=net.LW2;b1=net.b1;b2=net.b2;a=tansig(w1*x0+b1);y=tansig(

3、w2*a+b2),Sigmoid函數(shù),1matlab神經(jīng)網(wǎng)絡(luò)工具箱,1.1網(wǎng)絡(luò)數(shù)據(jù)對象的建立,net=newff(xm,xM,h1,hk,f1,fk);xm,xM分別為列向量(行數(shù)為變量個數(shù))，分別存儲每個變量的最小值和最大值。h1,hk表示網(wǎng)絡(luò)各層的節(jié)點(diǎn)數(shù),一共有k層.f1,fk表示各層使用的傳輸函數(shù)，默認(rèn)為tansig，即Sigmoid函數(shù)。還可使用函數(shù)purelin，即f(x)=x。其它可看matlab幫助:helpnewff,1.2網(wǎng)絡(luò)數(shù)據(jù)對象net的屬性,net.IW：來自輸入層的加權(quán)矩陣。BP網(wǎng)絡(luò)只用net.IW1,表示各個輸入變量對第1層各節(jié)點(diǎn)的加權(quán)矩陣。net.LW：來自中間層

4、的加權(quán)向量。BP網(wǎng)絡(luò)用net.IW2,1表示第1隱層個節(jié)點(diǎn)向下一層個節(jié)點(diǎn)的加權(quán)矩陣；net.IW3,2表示第2隱層向下一層的加權(quán)矩陣net.b：各層的偏移。Net.b1表示第1隱層個節(jié)點(diǎn)的偏移,net.trainParam.epochs：最大訓(xùn)練步數(shù)。不過當(dāng)誤差準(zhǔn)則滿足時，即使沒達(dá)到此步數(shù)也停止訓(xùn)練。缺省為100。net.trainParam.goad：網(wǎng)絡(luò)誤差準(zhǔn)則，當(dāng)誤差小于此準(zhǔn)則時停止訓(xùn)練，缺省為0。net.trainFcn：訓(xùn)練算法。缺省為trainlm，即Levenberg-Marquardt算法。還可使用traingdx，即帶動量的梯度下降算法；traincgf，即共軛梯度法。其它可

5、看matlab幫助:help-contents-NeuralNetworkToobox-NetworkObjectReference;help(net.trainFcn),helpnewffCaution:trainlmisthedefaulttrainingfunctionbecauseitisveryfast,butitrequiresalotofmemorytorun.Ifyougetanout-of-memoryerrorwhentrainingtrydoingoneofthese:Slowtrainlmtraining,butreducememoryrequirementsbyset

6、tingnet.trainParam.mem_reducto2ormore.(Seehelptrainlm.)Usetrainbfg,whichisslowerbutmorememory-efficientthantrainlm.Usetrainrp,whichisslowerbutmorememory-efficientthantrainbfg.,1.3網(wǎng)絡(luò)的訓(xùn)練,net,tr,Y1,E=train(net,X,Y);net是函數(shù)newff建立的數(shù)據(jù)對象。X為n*m的矩陣,n為輸入變量個數(shù),m為樣本數(shù)(即把每個樣本是一個列向量)。Y為k*m的矩陣,k為數(shù)出變量個數(shù)。tr返回訓(xùn)練的跟蹤信息,t

7、r.epochs為訓(xùn)練步數(shù),tr.perf為各步目標(biāo)函數(shù)的值。Y1和E返回網(wǎng)絡(luò)最終的輸出和誤差。訓(xùn)練結(jié)束后可以用plotperf(tr)來繪制目標(biāo)值隨著訓(xùn)練步數(shù)變化的曲線。,1.4網(wǎng)絡(luò)的泛化(預(yù)測),Y=sim(net,X);net是函數(shù)newff建立的數(shù)據(jù)對象。X為n*m的矩陣,n為輸入變量個數(shù),m為樣本數(shù)(即把每個樣本是一個行向量)。Y為k*m的矩陣,k為數(shù)出變量個數(shù)。,2人工神經(jīng)網(wǎng)絡(luò)(ANN)簡介,2.1人工神經(jīng)網(wǎng)絡(luò)(ANN)的研究內(nèi)容,（1）理論研究：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描述ANN的動力學(xué)過程，建立相應(yīng)的ANN模型，在該模型的基礎(chǔ)上，對于給定的學(xué)習(xí)樣本，找出一種能以較快

8、的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿足學(xué)習(xí)要求的算法。（2）實(shí)現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。（3）應(yīng)用的研究：探討如何應(yīng)用ANN解決實(shí)際問題，如模式識別、故障檢測、智能機(jī)器人等。,2.2ANN研究的目的和意義,(1)通過揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能的本源。(2)爭取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即ANN計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。,2.3人工神經(jīng)網(wǎng)絡(luò)研究的局限性,（1

9、）ANN研究受到腦科學(xué)研究成果的限制。（2）ANN缺少一個完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測等問題,ANN往往是最有利的工具。另一方面,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。,3前饋神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò)),3.1前饋神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò))的特點(diǎn),非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。

10、在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強(qiáng)的容錯性和很快的處理速度。,自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。,3.2BP網(wǎng)絡(luò)輸入

11、/輸出變量的確定,BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓(xùn)練也更方便。,3.3BP網(wǎng)絡(luò)數(shù)據(jù)的預(yù)處理,由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)(即輸入值若大于1，則取為1)，一般要求輸入數(shù)據(jù)

12、的值在01之間(每個數(shù)都除于最大值)。如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的輸出變量的值在0.20.8之間。預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。,3.4BP網(wǎng)絡(luò)隱層數(shù)的確定,一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一

13、個存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)(即有1個隱層+輸入層輸出層)。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。,3.5BP網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)的確定,在BP網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)

14、點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。,在確定隱層節(jié)點(diǎn)數(shù)時必須滿足下列條件：(1)隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實(shí)用價值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。(2)訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為210倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。,3.6BP網(wǎng)絡(luò)的訓(xùn)練算法,由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個無約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)

15、結(jié)構(gòu)較大時不僅計(jì)算時間長，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn)BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練(這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點(diǎn))，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加了沖量（動量）項(xiàng)的改進(jìn)BP算法。,3.7BP網(wǎng)絡(luò)的學(xué)習(xí)率和沖量系數(shù)的選擇,學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小

16、的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性（穩(wěn)定性），通常在0.010.8之間。增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在01之間，而且一般比學(xué)習(xí)率要大。,3.8BP網(wǎng)絡(luò)的初始連接權(quán)值,BP算法決定了誤差函數(shù)一般存在（很）多個局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序(matlab)必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.50.5之間比較有效。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問題，因此，即使網(wǎng)絡(luò)誤差相同，各個網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，這有時也會使各個輸入變量的重要性發(fā)生變化，檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會產(chǎn)生很大變化，即多模式現(xiàn)象。,3.9BP網(wǎng)絡(luò)的性能和泛化能力,因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測試樣本誤差大小的本身，