神經(jīng)網(wǎng)絡(luò) 第二章 單層前向網(wǎng)絡(luò)及LMS算法課件

1、第二章 單層前向網(wǎng)絡(luò)及LMS算法1、單層感知器2、單層感知器的學(xué)習(xí)算法3、自適應(yīng)線性神經(jīng)元4、LMS學(xué)習(xí)算法5、仿真實(shí)例神經(jīng)網(wǎng)絡(luò)原理1感知器是由美國學(xué)者F.Rosenblatt在1957年首次提出的神經(jīng)網(wǎng)絡(luò)模型。LMS算法是由Widrow和Hoff在1960年提出的高效率易實(shí)現(xiàn)的自適應(yīng)濾波算法。LMS（Least-Mean-Square)算法，可稱為最小均方誤差算法或梯度算法，也稱為Delta規(guī)則。本章首先介紹單層感知器及其學(xué)習(xí)算法，然后介紹自適應(yīng)線性元件及LMS算法，最后給出典型算法的仿真實(shí)例。2.1 單層感知器*感知器是神經(jīng)網(wǎng)絡(luò)用來進(jìn)行模式識別的一種最簡單模型。*單層感知器只能用來實(shí)現(xiàn)線性

2、可分的兩類模式的識別。*單層感知器模型與MP模型的不同之處是其神經(jīng)元的突觸權(quán)值是可調(diào)的，這樣就可以進(jìn)行學(xué)習(xí)。*感知器模型在神經(jīng)網(wǎng)絡(luò)研究中具有重要的意義和地位。2.1.1 單層感知器模型感知器神經(jīng)元模型如圖2.1所示。I/O關(guān)系： 圖2.1感知器模型單層感知器模型如圖2.2定義加權(quán)系數(shù)wij為第i個神經(jīng)元到第j個輸入之間的連接值。 圖2.2 單層感知器感知器包括一個線性累加器和一個二值閾值元件，同時還有一個外部偏差b。線性累加器的輸出作為二值閾值元件的輸入。二值閾值元件的輸入為正數(shù)時，神經(jīng)元輸出 -1或0 。單層感知器可實(shí)現(xiàn)兩類目標(biāo)的識別，當(dāng)感知器輸出為+1時，我們認(rèn)為輸入模式為一類；當(dāng)感知器輸

3、出為-1時，我們認(rèn)為輸入模式為另一類。在m維信號空間，單層感知器進(jìn)行模式識別的判決超平面由下式?jīng)Q定：圖2.3 給出了一種只有兩個輸入 和 的判決超平面的情況，它的判決邊界是直線 圖2.3 兩類模式識別的判定2.1.2單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法是基于疊代的思想，通常是采用糾錯學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。為方便，將偏差b 作為權(quán)向量的一個分量加到權(quán)值向量中去，對應(yīng)的輸入向量也增加一項(xiàng)，可設(shè)輸入向量的第一個分量固定為+1，則輸入向量和權(quán)值向量可寫成如下形式： 其中，變量n為疊代次數(shù)，b(n)可用 表示,則二值閾值元件的輸入(激活值)可重新寫為： 令上式等于零，即可得在m信號空間的單層感知器的判

4、決超平面。 學(xué)習(xí)算法如下：第一步 設(shè)置變量和參量： b(n)為偏差。 y(n)為實(shí)際輸出。 d(n)為期望輸出。 為學(xué)習(xí)速率。 n為迭代次數(shù)。第六步 判斷是否滿足條件，若滿足算法結(jié)束，若不 滿足則n值增加1，轉(zhuǎn)到第三步重新執(zhí)行。注意：在第六步判斷的條件可以是：誤差小于設(shè)定值，即 ；權(quán)值的變化量已很小，即 迭代次數(shù)大于N在感知器學(xué)習(xí)算法中，重要的是引入了一個量化的期望輸出d(n)，其定義為： 采用糾錯學(xué)習(xí)規(guī)則對權(quán)向量進(jìn)行逐步修正，對于線性可分的兩類模式，可以證明單層感知器的學(xué)習(xí)算法是收斂的。2.1.3 matlab工具箱應(yīng)用該函數(shù)返回一個新的感知器網(wǎng)絡(luò)。2. Sim 神經(jīng)網(wǎng)絡(luò)仿真函數(shù)sim用于仿

5、真一個神經(jīng)網(wǎng)絡(luò)，調(diào)用格式為：Y, Pf, Af= sim (net, P, Pi, Ai)其中：net 神經(jīng)網(wǎng)絡(luò)；P 網(wǎng)絡(luò)的輸入；Pi 初始輸入延遲，缺省值為0；Ai 初始的層延遲，缺省值為0。該函數(shù)返回 Y 網(wǎng)絡(luò)的輸出；Pf 最終輸出延遲；Af 最終的層延遲。3. init 神經(jīng)網(wǎng)絡(luò)初始化調(diào)用格式為：net=init(net)init函數(shù)調(diào)用NET.initFcn函數(shù)，根據(jù)NET,initParam設(shè)定的參數(shù)對網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行初始化。 4. adapt 神經(jīng)網(wǎng)絡(luò)的自適應(yīng)格式：net,Y,E,Pf,Af=adapt (NET, P, T, Pi, Ai )其中：NET 一個神經(jīng)網(wǎng)絡(luò)；P 網(wǎng)

6、絡(luò)的輸入；Pi 初始輸入延遲，缺省值為0；Ai 初始的層延遲，缺省值為0。返回一個具有適應(yīng)功能NET.adaptFcn及適應(yīng)參數(shù)NET.adaptParam的結(jié)果：net 修正后的網(wǎng)絡(luò)；Y 網(wǎng)絡(luò)的輸出；E網(wǎng)絡(luò)的誤差；Pf最終輸出延遲；Af最終的層延遲。而參數(shù)T僅對需要目標(biāo)的網(wǎng)絡(luò)是必須的，而且是可任選的。5. train 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)格式：net,tr=train(NET, P, T, Pi, Ai)train函數(shù)是按照NET.trainFcn和NET.trainParam訓(xùn)練網(wǎng)絡(luò)NET的。其中：NET 神經(jīng)網(wǎng)絡(luò)；P 網(wǎng)絡(luò)的輸入；T 網(wǎng)絡(luò)的目標(biāo)，默認(rèn)值為0；Pi 初始輸入延遲，默認(rèn)值為0；

7、Ai 初始的層延遲，默認(rèn)值為0。返回：net 修正后的網(wǎng)絡(luò)；TR 訓(xùn)練的紀(jì)錄（訓(xùn)練步數(shù)和性能 epoch and perf ）.而參數(shù)T僅對需要目標(biāo)的網(wǎng)絡(luò)是必須的，而且是可任選的。Pi 和Ai僅用于具有輸入或?qū)娱g的延遲的網(wǎng)絡(luò)，而且也是可以任選的。6.learnp 感知器的權(quán)值/閾值學(xué)習(xí)函數(shù)格式： dW,LS=learnp(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)db,LS=learnp(b,ones(1,Q),Z,N,A,T,E,gW,gA,D, LP,LS)info = learnp (code)W SR維的權(quán)值矩陣（或S1維的閾值向量）；P Q組R維的輸入向量（或Q組單個輸

8、入）；Z Q組R維的權(quán)值輸入向量；N Q組R維的網(wǎng)絡(luò)輸入向量；A Q組R維的輸出向量；T Q組R維的目標(biāo)向量；E Q組R維的誤差向量；gW SR維的性能參數(shù)的梯度；gA Q組R維的性能參數(shù)的輸出梯度；LP 學(xué)習(xí)參數(shù)，若沒有學(xué)習(xí)參數(shù)，LP=；LS 學(xué)習(xí)狀態(tài)，初始值為。函數(shù)返回以下參數(shù)：dW SR維的權(quán)值（或閾值）變化陣；LS 新的學(xué)習(xí)狀態(tài)；learnp(code) 對于每一個code 代碼返回相應(yīng)的有 用的信息：pnames 返回學(xué)習(xí)參數(shù)的名稱；pdefaults 返回默認(rèn)的學(xué)習(xí)參數(shù)；needg 如果該函數(shù)使用gW或gA，則返回值 為1。即：輸入矢量：P=-0.5 0.5 0.3 0.0; -0

9、.5 0.5 -0.5 1.0目標(biāo)矢量：T=1.0 1.0 0.0 0.0輸入矢量可以用圖來描述，對應(yīng)于目標(biāo)值0.0的輸入矢量用符號表示，對應(yīng)于目標(biāo)值1.0的輸入矢量符號+表示。輸入矢量圖 為解決這個問題，首先用函數(shù)newp構(gòu)造一個輸入向量均在-1，1之間的單個神經(jīng)元感知器： net=newp(-1 1;-1 1,1); 用init 對網(wǎng)絡(luò)進(jìn)行初始化： net=init(net); 利用函數(shù)adapt調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，直到誤差為0時結(jié)束訓(xùn)練： net,Y,E=adapt(net,P,T); 訓(xùn)練結(jié)束后可得到下圖所示的分類曲線，由圖可見分類線將兩類輸入向量正確地分類：感知器神經(jīng)網(wǎng)絡(luò)在取不同的

10、初始條件時，其訓(xùn)練的結(jié)果不同，即用感知器求解分類問題可得到多個解。當(dāng)網(wǎng)絡(luò)訓(xùn)練完成之后，其權(quán)值和閾值就不再改變，這是就可利用訓(xùn)練好的感知器神經(jīng)網(wǎng)絡(luò)來解決實(shí)際的分類問題，對任意的輸入矢量進(jìn)行分類。例如：p=0.7;1.2;a=sim (net, p);得到的分類結(jié)果如圖所示：可見感知器網(wǎng)絡(luò)能對輸入向量進(jìn)行正確的分類，同時驗(yàn)證了網(wǎng)絡(luò)的正確性。(源程序見附錄1中的例2.1)感知器應(yīng)用結(jié)果討論局限性1）由于激活函數(shù)為閾值函數(shù)，輸出矢量只能取0、1，所以僅可以解決簡單的分類問題；2）輸入矢量線性可分時，學(xué)習(xí)在有限次數(shù)內(nèi)收斂；3）輸入矢量的奇異性導(dǎo)致較慢的收斂。比如當(dāng)輸入/輸出矢量分別為： P=-0.5 0

11、.5 +0.3 0.1 80 -0.5 +0.5 0.5 +1.0 100; T=1 1 0 0 1; 時，必然導(dǎo)致訓(xùn)練的困難；4）異或問題不可解。2.2自適應(yīng)線性神經(jīng)元自適應(yīng)線性神經(jīng)元Adaline模型如圖2.4所示： 圖2.4 自適應(yīng)線性神經(jīng)元模型 LMS算法模擬輸出二值輸出它實(shí)際上是一個連續(xù)時間線性閥值邏輯器件。神經(jīng)元的輸入向量的各分量被權(quán)向量加權(quán)（ 連接單位輸入 ，來控制閥值電平），得到模擬輸出和二值輸出。模擬輸出為：二值輸出為：其中： 為符號函數(shù)，當(dāng)單個神經(jīng)元具有n個二進(jìn)制輸入，共有 個可能的輸入模式，具有一個模擬輸出和一個二值輸出。單個神經(jīng)元只能實(shí)現(xiàn)線性可分函數(shù)。自適應(yīng)線性神經(jīng)元采

12、用LMS學(xué)習(xí)算法。 假定只有兩個輸入 和 ，則自適應(yīng)線性神經(jīng)元的模擬輸出為： 調(diào)整臨界閥值條件，可令y輸出為零，有 該直線方程為自適應(yīng)線性神經(jīng)元實(shí)現(xiàn)線性可分函數(shù)。如圖2.5所示，通過學(xué)習(xí)總是可以得到一條直線將空心小園和實(shí)心小園分開。 圖2.5 線性可分模式空間 用自適應(yīng)線性神經(jīng)元實(shí)現(xiàn)非線性可分函數(shù)的方法有兩種，一是對神經(jīng)元施加非線性輸入函數(shù)，如圖2.6所示。 圖2.6 兩個非線性輸入的Adaline神經(jīng)元若令Y=0，上式為曲線方程，通過選擇W，可實(shí)現(xiàn)非線性函數(shù)，使得自適應(yīng)線性神經(jīng)元具有非線性可分性。如圖2.7所示： 圖2.7 自適應(yīng)線性元件的非線性可分性 另一種實(shí)現(xiàn)非線性函數(shù)可分的方法是由多個

13、自適應(yīng)線性神經(jīng)元和AND邏輯器件構(gòu)成的，所謂Madalines網(wǎng)絡(luò)，如圖2.8所示。 圖2.8 兩輸入Madalines 模型 AND 其原理是實(shí)現(xiàn)多個線性函數(shù)，對線性不可非區(qū)域進(jìn)行劃分。如圖2.9所示：圖2.9 Madalines的非線性劃分2.3 LMS學(xué)習(xí)算法LMS算法也稱為Widrow-Hoff算法或Delta算法，由于容易實(shí)現(xiàn)而很快得到了廣泛的應(yīng)用，成為自適應(yīng)濾波的標(biāo)準(zhǔn)算法。Adaline和Madalines模型所采用的就是LMS算法。該方法通過調(diào)整單個神經(jīng)元的權(quán)值，使神經(jīng)元的實(shí)際輸出與理想輸出之差為最小。LMS算法采用了誤差最速下降準(zhǔn)則，使用的誤差測度函數(shù)為均方誤差MSE。即權(quán)值的

14、調(diào)整是按均方誤差函數(shù)負(fù)梯度變化。即有其中 是當(dāng)前權(quán)值， 是下一步權(quán)值， 是學(xué)習(xí)率， 是MES曲面上對應(yīng)于 的梯度值。 設(shè)MSE測度函數(shù)（誤差平方和）為其中， 為在j 輸出單元的期望輸出；第j 單元的實(shí)際輸出為改寫上式為：其中， 為當(dāng)前模式輸入向量。定義瞬時梯度為：則有注意，上式采用的是瞬時梯度下降來訓(xùn)練網(wǎng)絡(luò)的權(quán)值，因此，LMS算法實(shí)際上偏離了E真正的梯度下降方向，是一種近似的梯度下降。但當(dāng)學(xué)習(xí)率很小時，這種偏離是可以忽略的。當(dāng)學(xué)習(xí)率 比較小時，LMS算法自適應(yīng)過程較慢， 但這時可記憶更多的過去數(shù)據(jù)，從而結(jié)果更精確。也可以說，學(xué)習(xí)率的倒數(shù)表示了LMS算法的記憶容量。 若要實(shí)現(xiàn)全局誤差函數(shù)E上的梯

15、度下降，則的變化應(yīng)正比于負(fù)平均梯度，即： 之所以采用瞬時梯度，是因?yàn)樗梢灾苯訌膯蝹€樣本數(shù)據(jù)求得。此外，要計(jì)算所有訓(xùn)練模式的平均梯度是很費(fèi)時的，因而在實(shí)際中很少用。 當(dāng)用式(2.2)來訓(xùn)練網(wǎng)絡(luò)，為獲得全局誤差最小的最優(yōu)權(quán)值，需要無限次的迭代運(yùn)算。有限次迭代得到的解只是近似解，這是LMS學(xué)習(xí)算法的一個不足之處。 可以看出，LMS算法與感知器的誤差修正算法在形式上是一樣的，但他們有本質(zhì)上的差別。差別在于：感知器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)是模式空間超平面位置的調(diào)整；LMS算法學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)是誤差曲面上的梯度下降。LMS算法步驟初始化 。選擇一輸入樣本 。計(jì)算實(shí)際輸出 。如果誤差 則結(jié)束訓(xùn)練。計(jì)算 ，更新 。返回

16、 2網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)舉例 對線性神經(jīng)元進(jìn)行訓(xùn)練設(shè)計(jì)一個簡單的單層線性神經(jīng)元，使其實(shí)現(xiàn)從輸入到輸出的變換關(guān)系。 P=+1.0 1.2 T=+0.5 +1.0給出權(quán)值和閾值的范圍并繪制誤差曲面及誤差等高線， w_range = -1:0.1:1; b_range = -1:0.1:1; ES = errsurf(P,T,w_range,purelin); plotes(w_range,b_range,ES);誤差曲面及誤差等高線誤差曲面及誤差等高線如下圖所示。學(xué)習(xí)速率問題 在網(wǎng)絡(luò)設(shè)計(jì)中，學(xué)習(xí)速率的選取是影響收斂速 度以及訓(xùn)練結(jié)果的一個很重要的因素。只要學(xué) 習(xí)速率足夠小，采用Widrow-Hoff學(xué)習(xí)規(guī)

17、則的 線性網(wǎng)絡(luò)總可以訓(xùn)練出一個最小的輸出誤差。 但是當(dāng)學(xué)習(xí)速率較大時，可導(dǎo)致訓(xùn)練過程的不 穩(wěn)定。Matlab工具箱給出了一個正確求解學(xué)習(xí) 率的函數(shù)maxlinlr。下面我們用maxlinlr求得 的學(xué)習(xí)率大的值訓(xùn)練網(wǎng)絡(luò)。舉例 學(xué)習(xí)速率過大輸入和目標(biāo)與上例相同，但學(xué)習(xí)率是原來的1.5倍。本例選取的學(xué)習(xí)率為 maxlr = maxlinlr(P,bias);訓(xùn)練次數(shù)為 net.trainParam.epochs= 20;建立一個學(xué)習(xí)率為原來的1.5倍的線性網(wǎng)絡(luò)：net = newlin( -2 2,1,0,maxlr*2.25) 該程序的仿真結(jié)果為： a= 66.2114 1.誤差曲面及誤差等高線 2.訓(xùn)練過程的誤差曲線 當(dāng)學(xué)習(xí)率選取較大時，誤差越來越大 ，網(wǎng)絡(luò)不收斂。如圖所示。舉例 自適應(yīng)噪聲消除 設(shè)計(jì)一個自適應(yīng)線性網(wǎng)絡(luò)，使其對輸入信號進(jìn)行預(yù)測。程序如下：time = 1:0.01:2.5;X = sin(sin(time).*time*10);P = con2seq(X);T = con2seq(2*0 X(1:(end-1) + X);plot(time,cat(2,P:),time,cat(2,T:),-)；title(Input and Ta