前饋神經(jīng)網(wǎng)絡(luò)模型精品

1、前饋神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)：由一層或多層非線性處理單元組成。相鄰層之間通過突觸權(quán)陣連接起來。由于前一層的輸出作為下一層的輸入，因此此類神經(jīng)網(wǎng)絡(luò)為前向神經(jīng)網(wǎng)絡(luò)。在前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中輸入輸出之間包含著一層或多層隱含層。前向神經(jīng)網(wǎng)絡(luò)可以看成是一種一組輸入模式到一組輸出模式的系統(tǒng)變換，這種變換通過對某一給定的輸入樣本相應(yīng)的輸出樣本集的訓練而得到，為了實現(xiàn)這一行為，網(wǎng)絡(luò)的權(quán)系數(shù)在某種學習規(guī)則下進行自適應(yīng)學習，也就是有導(dǎo)師指導(dǎo)學習。內(nèi)容提要感知器多層感知器自適應(yīng)線性元模型BP算法第一節(jié)感知器線性閾值單元線性閾值單元是前向網(wǎng)絡(luò)（又稱前饋網(wǎng)絡(luò)）中最基本的計算單元，它具有n個輸入（x1,x2,xn），一個輸出

2、y，n個連接權(quán)值（w1,w2,wn），且xiwiy感知器簡介 1958年，美國心理學家Frank Rosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。感知器研究中首次提出了自組織、自學習的思想，而且對所能解決的問題存在著收斂算法，并能從數(shù)學上嚴格證明，因而對神經(jīng)網(wǎng)絡(luò)研究起了重要推動作用。 感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，而且較易學習和理解，適合于作為學習神經(jīng)網(wǎng)絡(luò)的起點。 感知器模型結(jié)構(gòu)感知器

3、的模型結(jié)構(gòu)如圖所示。感知器是指只有一層處理單元的感知器，如果包括輸入層在內(nèi)，應(yīng)為兩層。圖中輸入層也稱為感知層，有n個神經(jīng)元節(jié)點，這些節(jié)點只負責引入外部信息，自身無信息處理能力，每個節(jié)點接收一個輸入信號，n個輸入信號構(gòu)成輸入列向量X。輸出層也稱為處理層，有m個神經(jīng)元節(jié)點，每個節(jié)點均具有信息處理能力，m個節(jié)點向外部輸出處理信息，構(gòu)成輸出列向量O。兩層之間的連接權(quán)值用權(quán)值列向量Wj表示，m個權(quán)向量構(gòu)成單層感知器的權(quán)值矩陣W。3個列向量分別表示為：感知器模型結(jié)構(gòu) j=1,2,m 感知器模型結(jié)構(gòu) 感知器的功能 一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾

4、值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。感知器的功能 (1)設(shè)輸入向量X=(x1 ,x2)T輸出：則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。ojx1-1x2感知器的功能 w1j x1+w2j x2 Tj = 0w1j x1 = Tj - w2j x2x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c 感知器的功能 (2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程 w1jx1+w2jx2+w3j Tj=0 確定了三維空間上的一個分界平面。 x2ojx1x3-1感知器的

5、功能 w1j x1+w2j x2 +w3j x3 Tj = 0 x1 = a x2 +b x3 +c 感知器的功能 (3) 設(shè)輸入向量X=(x1，x2,，xn)T則由方程 w1jx1+w2jx2+wnj Tj=0 (3.6) 確定了n維空間上的一個分界平面。 輸出：w1jx1+w2jx2+wnj Tj=0 (3.5)例一 用感知器實現(xiàn)邏輯“與”功能 x1x2y000010100111邏輯“與”真值表例一 用感知器實現(xiàn)邏輯“與”功能 感知器結(jié)構(gòu)wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0例二 用感知器實現(xiàn)邏輯“或”功能 x1x2y000011101111邏輯“或”真值表例二

6、 用感知器實現(xiàn)邏輯“或”功能 感知器結(jié)構(gòu)wix1+w2x2 -T=0 x1+x2-0.5=0思考 分界線的方程是什么？感知器的模型如何表示？數(shù)學表達式？感知器的局限性 Rosenblatt已經(jīng)證明，如果兩類模式在分布空間中可以找到一個超平面將它們分開，那么感知器的學習過程就一定會收斂。否則判定邊界就會振蕩不休，永遠不會穩(wěn)定，這也正是單層感知器所無法克服的缺陷，所以它連最簡單的異或（XOR）問題也解決不了。“異或”的真值表x1x2y000011101110感知器的局限性 關(guān)鍵問題就是求感知器的學習 式中，當實際輸出與期望值相同時，權(quán)值不需要調(diào)整。感知器學習規(guī)則代表一種有導(dǎo)師學習。感知器的學習規(guī)則

7、 感知器學習規(guī)則的訓練步驟：(1) 對各權(quán)值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2) 輸入樣本對Xp,dp，其中Xp=(-1,x1p,x2p,xnp)， dp為期望的輸出向量（教師信號），上標p代表 樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P， 則p=1,2,P；感知器的學習規(guī)則 (3)計算各節(jié)點的實際輸出ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值，Wj(t+1)= Wj(t)+djp-ojp(t)Xp, j=1, 2,m, 其中為學習率，用于控制調(diào)整速度，太大會影響訓練的穩(wěn)定性，

8、太小則使訓練的收斂速度變慢， 一般取01；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有 樣本，感知器的實際輸出與期望輸出相等。感知器的學習規(guī)則的訓練步驟 1.初始化：權(quán)值初始化為一個較小的隨機非零值。2.將一模式送入輸入神經(jīng)元，并給出理想輸出值。3.計算神經(jīng)網(wǎng)絡(luò)模型的實際輸出：4.調(diào)節(jié)權(quán)值: 5.轉(zhuǎn)2，直到這次迭代完所給定的所有輸入樣本。6.計算結(jié)束判據(jù)。條件符合，結(jié)束；否則轉(zhuǎn)2。感知器的學習 例三 單計算節(jié)點感知器，3個輸入。給定3對訓練樣本對如下：X1 = (-1，1，-2，0)T d1 =1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0

9、.5)T d3 =1 設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，=0.1。注意，輸入向量中第一個分量x0恒等于-1，權(quán)向量中第一個分量為閾值，試根據(jù)以上學習規(guī)則訓練該感知器。感知器的學習 解：第一步 輸入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T感知器的學習 第二步 輸入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5

10、)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于d2= o2(1)，所以W(2)= W(1)。感知器的學習 第三步 輸入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1=-1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4

11、,0.1)T第四步 返回到第一步，繼續(xù)訓練直到dp- op=0，p=1,2,3。第二節(jié)多層感知器多層感知器簡介多層感知器（Multilayer Perceptron）是一種在輸入層與輸出層之間含有一層或多層隱含神經(jīng)元的具有正向傳播機制的神經(jīng)網(wǎng)絡(luò)模型。多層感知器克服了單層感知器的許多局限， 單層感知器只能實現(xiàn)線性可分問題和簡單布爾函數(shù)，多層感知器可以實現(xiàn)線性不可分問題和任意布爾函數(shù)。多層感知器的結(jié)構(gòu) 輸入層隱含層輸出層多層感知器的分類能力一個單層感知器構(gòu)成一個半平面判定區(qū)域，一個兩層感知器可以構(gòu)成任意無邊界的空間區(qū)域，這些判定區(qū)域有的是凸多邊形，有的是無邊界的凹區(qū)域。凸區(qū)域是多層感知器中第一層各

12、個神經(jīng)元所構(gòu)成的半平面判定區(qū)域（即判定區(qū)域）相交而成。多層感知器性能等價問題第一層中的神經(jīng)元就像一單層感知器，所形成的凸區(qū)域的邊數(shù)最多和第一層神經(jīng)元個數(shù)一樣多。一個三層感知機能夠形成任意復(fù)雜的判定區(qū)域，也能把那些相互滲透的區(qū)域分開。例子一1、用單層感知器實現(xiàn)簡單邏輯運算。 (1) （與）等價于 ，即 (2) （或）等價于 ，即 (3) （非） 等價于 ，即 例子二2、用兩層感知器實現(xiàn)異或運算。例子三試用單個感知器神經(jīng)元完成下列分類，寫出其訓練迭代過程，畫出最終的分類示意圖。x1w1yx2w2fn01第三節(jié)自適應(yīng)線性元模型自適應(yīng)線性元件于1961年由美國的Widrow教授提出。適用于信號處理中的

13、自適應(yīng)濾波、預(yù)測和模式識別。自適應(yīng)線性元模型結(jié)構(gòu)自適應(yīng)線性元模型數(shù)學描述輸入該模型是一自適應(yīng)閾值邏輯單元。圖中x0，x1k，x2k，xnk為該自適應(yīng)線性元在t時刻的外部輸入，用向量表示為: Xk（x0，x1k，x2k，xnk）T這個向量稱為自適應(yīng)線性元的 輸入信號向量或輸入模式向量。自適應(yīng)線性元模型數(shù)學描述連接權(quán)值與輸入向量Xk相對應(yīng)有一權(quán)值向量: Wk=(w0k，w1k，w2k，wnk)T其中Wk每一元素與輸入向量 Xk中的每一元素相對應(yīng)。w0k為基權(quán)，稱為門限權(quán)，它 用來調(diào)整自適應(yīng)線性元的閾值。自適應(yīng)線性元模型數(shù)學描述輸出模擬輸出二值輸出自適應(yīng)線性元模型數(shù)學描述理想輸出在圖中的自適應(yīng)線性元

14、中有一特殊的輸入dk，即理想輸出。該輸出是用來將理想響應(yīng)信號送入自適應(yīng)線性元中，在自適應(yīng)線性元中通過比較yk和理想響應(yīng)dk，并將差值送入最小均方差(LMS)學習算法機制中來調(diào)整權(quán)向量Wk，使得yk和所期望的輸出dk相一致。LMS學習過程（圖示）與單層感知器的差別在于：輸出分為模擬和數(shù)字兩個部分。數(shù)字部分與感知器單元完全相同，可進行線性分割模擬部分是作為誤差調(diào)節(jié)之用，對單個Adaline，其誤差為模擬輸出和要求響應(yīng)輸出差。LMS學習過程（文字說明）樣本數(shù)i=0，連接權(quán)值隨機初始化一個較小的不等于0的值；提交第i個學習樣本；計算神經(jīng)網(wǎng)絡(luò)的輸出；計算實際輸出和理想輸出的誤差；按照權(quán)值修改規(guī)則修改神經(jīng)

15、網(wǎng)絡(luò)權(quán)值；i+；i=N?；否，轉(zhuǎn)2。計算學習結(jié)束判據(jù)；學習結(jié)束否？達到要求學習結(jié)束，否則轉(zhuǎn)1。LMS學習算法權(quán)值修改規(guī)則其中： 為當前的誤差（即理想輸出與模擬實際輸出之間的差值）， 稱為學習速度(Learning Rate)。ADALINE學習算法實質(zhì)分析 的取值 的選擇決定了學習算法收斂的穩(wěn)定性和收斂的速度。 穩(wěn)定性要求：0 2。但是 過大可能會修正過度，一個比較好的選擇范圍是：0.1 1LMS算法的幾何解釋 ADALINE模型計算能力分析若ADALINE輸入為二值，它可以完成一定的邏輯功能。若有n個輸入，即則有2n個可能的輸入模式。在一般的邏輯實現(xiàn)中，依照所期望的輸出響應(yīng)，可以將個輸入模式

16、劃分成和兩類。每一個自適應(yīng)線性元模型可以完成某一種邏輯功能，因而我們也可以把自適應(yīng)線性元看成是一邏輯部件。ADALINE模型計算能力分析每個自適應(yīng)線性元的功能也主要由各個權(quán)值所確定。每個自適應(yīng)線性元只能實現(xiàn)邏輯空間上的線性劃分。ADALINE模型學習過程舉例網(wǎng)絡(luò)模型x1=1.2x2=2.7x0=1w1=0.344w2=1.1w0=1d=2.3y =4.57E=-2.27w0=0.870w1=0.5w2=0.749y =3.305E=-1.05ADALINE模型的學習曲線結(jié)束判據(jù)總體誤差降低到某個預(yù)設(shè)的極小值；迭代了一定的次數(shù)。第四節(jié)BP模型感知器神經(jīng)網(wǎng)絡(luò)的學習規(guī)則和最小均方差（LMS）學習算法

17、只能訓練單層神經(jīng)網(wǎng)絡(luò)，而單層神經(jīng)網(wǎng)絡(luò)只能解決線性可分的分類問題。多層神經(jīng)網(wǎng)絡(luò)可以用于非線性分類問題。但需要尋找訓練多層網(wǎng)絡(luò)的學習算法。BP算法-適于多層網(wǎng)絡(luò)的學習算法。BP網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等。80%90%的人工神經(jīng)網(wǎng)絡(luò)采用BP網(wǎng)絡(luò)或者它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。BP神經(jīng)元與其他神經(jīng)元類似，不同的是BP神經(jīng)元的傳輸函數(shù)為非線性函數(shù)，常用的有S型函數(shù)。BP網(wǎng)絡(luò)的信息從輸入層流向輸出層，是一種多層前饋神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的學習在確定了BP網(wǎng)絡(luò)的結(jié)構(gòu)以后，要通過輸入和輸出樣本集對網(wǎng)絡(luò)進行訓練，亦即對網(wǎng)絡(luò)的閾值和權(quán)值進行學習和修正

18、，以使網(wǎng)絡(luò)實現(xiàn)給定的輸入輸出映射關(guān)系。BP網(wǎng)絡(luò)學習分兩個階段:第一個階段是輸入已知學習樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)的第一層向后計算各神經(jīng)元的輸出第二個階段是對權(quán)和閾值進行修改，從最后一層向前計算各權(quán)值和閾值對總誤差的影響（梯度），據(jù)此對各權(quán)值和閾值進行修改。以上兩個過程反復(fù)交替，直到達到收斂為止。由于誤差逐層往回傳遞，以修正層與層之間的權(quán)值和閾值，所以稱該算法為誤差反向傳播算法，這種誤差反傳學習算法可以推廣到有若干個中間層的多層網(wǎng)絡(luò)，因此該多層網(wǎng)絡(luò)常稱之為BP網(wǎng)絡(luò)。BP學習算法概述BP算法的基本過程初始化階段前饋階段權(quán)值調(diào)整階段學習精度計算學習結(jié)束判斷BP學習算法描

19、述（初始化階段）對所有神經(jīng)元的閾值及連接權(quán)值取一個較小的非零隨機值。設(shè)一個較小的數(shù)作為學習期望達到的最終學習精度。該值作為學習過程的結(jié)束判斷條件。BP學習算法描述（前饋階段）給定輸入樣本和理想輸出。對p 層的神經(jīng)元i，按下式計算p 層中神經(jīng)元i的活躍值，也即輸出到 p+1 層的輸出值。BP學習算法描述（權(quán)值調(diào)整階段）利用下面公式，從輸出層開始向輸入層方向進行權(quán)值調(diào)整：權(quán)值調(diào)整中的誤差項求解輸出層誤差項求解隱含層誤差項求解實際輸出理想輸出BP學習算法描述（權(quán)值調(diào)整）輸出層誤差項求解隱含層誤差項求解實際輸出理想輸出神經(jīng)元閾值的修改若把層p中神經(jīng)元的閾值看成是層p-1中神經(jīng)元到某一個附加的常數(shù)輸入聯(lián)

20、接權(quán)值，也可以按照類似的方法進行該神經(jīng)元閾值的修改。實際輸出理想輸出BP學習算法描述（計算累計誤差）按下式計算當前學習樣本的誤差：實際輸出理想輸出BP學習算法描述（結(jié)束條件判斷）在當前迭代周期內(nèi)，樣本學習完否？沒有學習完，轉(zhuǎn)前饋階段；計算所有樣本的累積誤差：判 E 否？是，學習過程結(jié)束，否則轉(zhuǎn)前饋階段。BP算法存在的問題（1）從數(shù)學上看它是一個非線性優(yōu)化問題，這就不可避免地存在有局部極小問題；（2）學習算法的收斂速度很慢，通常要幾千步迭代或更多；（3）網(wǎng)絡(luò)運行還是單向傳播，沒有反饋。目前的這種模型并不是一個非線性動力系統(tǒng)，而只是一個非線性映射；（4）網(wǎng)絡(luò)的隱節(jié)點個數(shù)選取尚無理論上的指導(dǎo)，而是根

21、據(jù)經(jīng)驗選取的；（5）對新加入的樣本要影響到已經(jīng)學完的樣本，刻畫每個輸入樣本的特征的數(shù)目也要求必須相同。BP算法的改進-變步長在BP算法中步長是不變的，這是因為E是一個十分復(fù)雜的非線性函數(shù)，很難通過最優(yōu)求極小的方法得到步長，同時如果每一步都要求計算輸出，則計算量變得很大。推薦一種步長調(diào)整的方法，如下步長調(diào)整方法：先設(shè)一初始步長，若一次迭代后誤差函數(shù)E增大，則將步長乘以小于1的常數(shù)，沿原方向重新計算下一個迭代點，若一次迭代后誤差函數(shù)E減小，則將步長乘一個大于1的常數(shù)，這樣既不增加太多的計算量，又使步長得到合理的調(diào)整。另外，有加入動量項的改進方法，有加入 因子的改進算法。BP網(wǎng)絡(luò)的設(shè)計考慮-輸入輸出

22、層1、輸入輸出層的設(shè)計輸入輸出的維數(shù)完全根據(jù)使用者的要求來設(shè)計，若BP網(wǎng)絡(luò)用作分類器，其類別數(shù)為m個，那么輸出一般取m個神經(jīng)元，其訓練樣本集中的x屬于第j類，要求輸出為即第j個輸出為1，其他輸出為0。輸入的神經(jīng)單元可以根據(jù)需要求解的問題和數(shù)據(jù)表示的方式而定如果輸入的是電壓波形，那么輸入單元可根據(jù)電壓波形的采樣數(shù)值和采樣點數(shù)來決定輸入單元的維數(shù)，也可以用一個單元輸入，但輸入樣本為采樣的時間序列。若輸入為圖像，則輸入單元可以為圖像像素，也可為圖像處理后的圖像特征。即問題確定，輸入輸出單元層數(shù)確定。BP網(wǎng)絡(luò)的設(shè)計考慮-隱層1989年，Robert證明了：對于任何在閉區(qū)間內(nèi)的一個連續(xù)的函數(shù)都可以用一個隱層的BP網(wǎng)絡(luò)來逼近，因而一個三層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映射。BP網(wǎng)絡(luò)的設(shè)計考慮-隱單元數(shù)的選擇隱單元數(shù)的選擇是一個復(fù)雜的問題，沒有很好的解析式表示，可以說隱單元數(shù)與問題的要求，輸入輸出單元的多少都有直接關(guān)系。對BP網(wǎng)絡(luò)，若隱單元數(shù)太少，可能不能訓練出來，或網(wǎng)絡(luò)