人工神經(jīng)網(wǎng)絡理論與應用

人工神經(jīng)網(wǎng)絡理論與應用第1頁/共52頁2.1生物神經(jīng)元及人工神經(jīng)元的組成

神經(jīng)元也稱神經(jīng)細胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細胞的關鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個神經(jīng)元都包括三個主要部分：細胞體、樹突和軸突，見圖2.1（a）。

(a)簡單神經(jīng)元網(wǎng)絡圖(b)簡化后的網(wǎng)絡示意圖

(1)細胞體；(2)樹突；(3)軸突；(4)突觸圖7.1簡單神經(jīng)元網(wǎng)絡及其簡化結構圖第2頁/共52頁神經(jīng)元結構與功能細胞體由細胞核、細胞質和細胞膜等組成，其直徑大約為0.5--100μm，大小不等。細胞體是神經(jīng)元的主體，用于處理由樹突接受的其它神經(jīng)元傳來的信號；軸突是由細胞體向外延伸出的所有纖維中最長的一條分枝，用來向外傳遞神經(jīng)元產(chǎn)生的輸出電信號。每個神經(jīng)元都有一條軸突，其最大長度可達1m以上。在軸突的末端形成了許多很細的分枝，這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其它神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。所謂功能性接觸，是指非永久性的接觸，這正是神經(jīng)元之間傳遞信息的奧秘之處。第3頁/共52頁神經(jīng)元結構與功能樹突是指由細胞體向外延伸的除軸突以外的其它所有分支。樹突的長度一般較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其它神經(jīng)元的突觸傳來的信號。神經(jīng)元中的細胞體相當于一個初等處理器，它對來自其它各個神經(jīng)元的信號進行總體求和，并產(chǎn)生一個神經(jīng)輸出信號。細胞膜內外的電位之差被稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當一個神經(jīng)元的所有輸入總效應達到某個閾值電位時，該細胞變?yōu)榛钚约毎?。?頁/共52頁生物神經(jīng)元的功能與特征(1) 時空整合功能神經(jīng)元對不同時間通過同一突觸傳入的神經(jīng)沖動，具有時間整合功能。對于同一時間通過不同突觸傳入的神經(jīng)沖動，具有空間整合功能。兩種功能相互結合，使生物神經(jīng)元對由突觸傳入的神經(jīng)沖動具有時空整合的功能。(2) 興奮與抑制狀態(tài)神經(jīng)元具有興奮和抑制兩種常規(guī)的工作狀態(tài)。當傳入沖動的時空整合結果使細胞膜電位升高，超過動作電位的閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動。相反，當傳入沖動的時空整合結果使細胞膜電位低于動作電位的閾值時，細胞進入抑制狀態(tài)，無神經(jīng)沖動輸出。第5頁/共52頁生物神經(jīng)元的功能與特征(3) 脈沖與電位轉換突觸界面具有脈沖/電位信號轉化功能。沿神經(jīng)纖維傳遞的信號為離散的電脈沖信號，而細胞膜電位的變化為連續(xù)的電位信號。這種在突觸接口處進行的“數(shù)/模”轉換，是通過神經(jīng)介質以量子化學方式實現(xiàn)的如下過程：電脈沖----神經(jīng)化學物質----膜電位(4) 神經(jīng)纖維傳導速率神經(jīng)沖動沿神經(jīng)纖維傳導的速度在1---150m/s之間。其速度差異與纖維的粗細、髓鞘的有無有關。一般來說，有髓鞘的纖維，其傳導速度在100m/s以上，無髓鞘的纖維，其傳導速度可低至每秒數(shù)米。(5) 突觸延時和不應期突觸對相鄰兩次神經(jīng)沖動的響應需要有一定的時間間隔，在這個時間間隔內不響應激勵，也不傳遞神經(jīng)沖動，這個時間間隔稱為不應期。第6頁/共52頁人腦神經(jīng)系統(tǒng)的結構與特征神經(jīng)生理學的研究結果表明，人腦的神經(jīng)系統(tǒng)是一個由大量生物神經(jīng)元并行互連所形成的一個網(wǎng)絡系統(tǒng)。每個人的大腦大約有1011---1012個神經(jīng)元，每個神經(jīng)元大約有103---104個突觸，即與其它103---104個神經(jīng)元相連。(1) 記憶和存儲功能人腦神經(jīng)系統(tǒng)的記憶和處理功能是有機的結合在一起的。神經(jīng)元既有存儲功能，又有處理功能，它在進行回憶時不僅不需要先找到存儲地址再調出所存內容，而且還可以由一部分內容恢復全部內容。尤其是當一部分神經(jīng)元受到損壞（例如腦部受傷等）時，它只會丟失損壞最嚴重部分的那些信息，而不會丟失全部存儲信息。(2) 高度并行性（為什么計算機無法模擬更多的神經(jīng)元，如果有100個神經(jīng)元，兩兩互連，則會出現(xiàn)100＊99/2=5000個N元一次方程。如何計算如此復雜的方程組？）提供了非常巨大的存儲容量和并行度。例如，人可以非常迅速地識別出一幅十分復雜的圖像。第7頁/共52頁人腦神經(jīng)系統(tǒng)的結構與特征(3) 分布式功能人們通過對腦損壞病人所做的神經(jīng)心理學研究，沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現(xiàn)在大腦中存在有用于驅動和管理整個智能處理過程的任何中央控制部分。人類大腦的各個部分是協(xié)同工作、相互影響的，并沒有哪一部分神經(jīng)元能對智能活動的整個過程負有特別重要的責任?？梢?，在大腦中，不僅知識的存儲是分散的，而且其控制和決策也是分散的。因此，大腦是一種分布式系統(tǒng)。(4) 容錯功能容錯性是指根據(jù)不完全的、有錯誤的信息仍能做出正確、完整結論的能力。大腦的容錯性是非常強的。例如，我們往往能夠僅由某個人的一雙眼睛、一個背影、一個動作或一句話的音調，就能辨認出來這個人是誰。第8頁/共52頁人腦神經(jīng)系統(tǒng)的結構與特征(5) 聯(lián)想功能人腦不僅具有很強的容錯功能，還有聯(lián)想功能。善于將不同領域的知識結合起來靈活運用，善于概括、類比和推理。例如，一個人能很快認出多年不見、面貌變化較大的老朋友。(6) 自組織和自學習功能人腦能夠通過內部自組織、自學習能力不斷適應外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。第9頁/共52頁

人工神經(jīng)元的主要結構單元是信號的輸入、綜合處理和輸出輸出信號強度大小反映了該神經(jīng)元對相鄰神經(jīng)元影響的強弱人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡，稱為人工神經(jīng)網(wǎng)絡神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式相互之間的聯(lián)接強度由聯(lián)接權值體現(xiàn)。在人工神經(jīng)網(wǎng)絡中，改變信息處理及能力的過程，就是修改網(wǎng)絡權值的過程。第10頁/共52頁

目前多數(shù)人工神經(jīng)網(wǎng)絡的構造大體上都采用如下的一些原則：

由一定數(shù)量的基本神經(jīng)元分層聯(lián)接；每個神經(jīng)元的輸入、輸出信號以及綜合處理內容都比較簡單；網(wǎng)絡的學習和知識存儲體現(xiàn)在各神經(jīng)元之間的聯(lián)接強度上。第11頁/共52頁7.2人工神經(jīng)網(wǎng)絡的模型

7.2.1人工神經(jīng)元的模型

神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元，它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，同時也受到神經(jīng)元內部因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號，稱為偏差，有時也稱為閾值或門限值。第12頁/共52頁

神經(jīng)元的輸出矢量可以表示為：

A=f(W*P+b)=f(∑wjpj+b)(7.2)

可以看出偏差被簡單地加在W*P上作為激活函數(shù)的另一個輸入分量。實際上偏差也是一個權值，只是它具有固定常數(shù)為1的輸入。在網(wǎng)絡的設計中，偏差起著重要的作用，它使得激活函數(shù)的圖形可以左右移動，從而增加了解決問題的可能性。第13頁/共52頁7.2.2激活轉移函數(shù)

激活轉移函數(shù)（Activationtransferfunction）簡稱激活函數(shù)，它是一個神經(jīng)元及神經(jīng)網(wǎng)絡的核心之一。神經(jīng)網(wǎng)絡解決問題的能力與功效除了與網(wǎng)絡結構有關外，在很大程度上取決于網(wǎng)絡激活函數(shù)。第14頁/共52頁

激活函數(shù)的基本作用是：

控制輸入對輸出的激活作用；對輸入、輸出進行函數(shù)轉換；將可能無限域的輸入變換成指定的有限范圍內的輸出。

下面是幾種常用的激活函數(shù)：第15頁/共52頁

（l）閥值型（硬限制型）

具有此激活函數(shù)的神經(jīng)元的輸入/輸出關系為：

(a)沒有偏差的閾值型激活函數(shù)(b)帶有偏差的閾值型激活函數(shù)圖7.3閾值型激活函數(shù)

(7.3)第16頁/共52頁

（2）線性型

具有此激活函數(shù)的神經(jīng)元的輸入/輸出關系為：

(a)沒有偏差的線性激活函數(shù)(b)帶有偏差的線性激活函數(shù)圖7.4線性型激活函數(shù)A=f(W*P+b)=W*P+b(7.4)第17頁/共52頁

（3）S型(Sigmoid)

對數(shù)S型激活函數(shù)見圖7.5(a)，其神經(jīng)元的輸入/輸出關系為：

(a)帶有偏差的對數(shù)S型激活函數(shù)(b)帶有偏差的雙曲正切S型激活函數(shù)圖7.5S型激活函數(shù)(7.5)第18頁/共52頁

（3）S型(Sigmoid)

雙曲正切S型激活函數(shù)見圖7.5(b)，其神經(jīng)元的輸入/輸出關系為：

(a)帶有偏差的對數(shù)S型激活函數(shù)(b)帶有偏差的雙曲正切S型激活函數(shù)圖7.5S型激活函數(shù)(7.6)第19頁/共52頁

一般地，稱一個神經(jīng)網(wǎng)絡是線性或非線性是由網(wǎng)絡神經(jīng)元中所具有的激活函數(shù)的線性或非線性來決定的。

第20頁/共52頁人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結構復雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實際上是通過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運算來實現(xiàn)的?；趯θ祟惿锵到y(tǒng)的這一認識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結構和功能。人工神經(jīng)元之間通過互連形成的網(wǎng)絡稱為人工神經(jīng)網(wǎng)絡。在人工神經(jīng)網(wǎng)絡中，神經(jīng)元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡的互連結構，同時也決定了神經(jīng)網(wǎng)絡的信號處理方式。第21頁/共52頁人工神經(jīng)網(wǎng)絡的分類

目前，已有的人工神經(jīng)網(wǎng)絡模型至少有幾十種，其分類方法也有多種。例如，若按網(wǎng)絡拓撲結構，可分為無反饋網(wǎng)絡與有反饋網(wǎng)絡；若按網(wǎng)絡的學習方法，可分為有教師的學習網(wǎng)絡和無教師的學習網(wǎng)絡；若按網(wǎng)絡的性能，可分為連續(xù)型網(wǎng)絡與離散型網(wǎng)絡，或分為確定性網(wǎng)絡與隨機型網(wǎng)絡；若按突觸連接的性質，可分為一階線性關聯(lián)網(wǎng)絡與高階非線性關聯(lián)網(wǎng)絡。第22頁/共52頁人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡是一個新興學科，因此還存在許多問題。其主要表現(xiàn)有：(1) 受到腦科學研究的限制：由于生理實驗的困難性，因此目前人類對思維和記憶機制的認識還很膚淺，還有很多問題需要解決；(2) 還沒有完整成熟的理論體系；(3) 還帶有濃厚的策略和經(jīng)驗色彩；(4) 與傳統(tǒng)技術的接口不成熟。上述問題的存在，制約了人工神經(jīng)網(wǎng)絡研究的發(fā)展。第23頁/共52頁7.2.3MP神經(jīng)元模型

MP神經(jīng)元模型是由美國心理學家McClloch和數(shù)學家Pitts共同提出的，因此，常稱為MP模型。MP神經(jīng)元模型是典型的閾值型神經(jīng)元，見圖7.6，它相當于一個多輸入單輸出的閾值器件。．．．w1w2wrp1p2pr∑b

圖7.6MP模型神經(jīng)元第24頁/共52頁

如圖(7.6)所示，假定p1，p2，…，pn表示神經(jīng)元的n個輸入；wi表示神經(jīng)元的突觸連接強度，其值稱為權值；n表示神經(jīng)元的輸入總和，f(n)

即為激活函數(shù)；a表示神經(jīng)元的輸出，b表示神經(jīng)元的閾值，那么MP模型神經(jīng)元的輸出可描述為(7.7)式所示：．．．w1w2wrp1p2pr∑b圖7.6MP模型神經(jīng)元(7.7)第25頁/共52頁

MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。如果n＞0，即神經(jīng)元輸入加權總和超過某個閾值，那么該神經(jīng)元興奮，狀態(tài)為1；如果n≤0，那么該神經(jīng)元受到抑制，狀態(tài)為0。通常，將這個規(guī)定稱為MP模型神經(jīng)元的點火規(guī)則。用一數(shù)學表達式表示為：

對于MP模型神經(jīng)元，權值w在（－1，＋1）區(qū)間連續(xù)取值。取負值表示抑制兩神經(jīng)元間的連接強度，正值表示加強。(7.8)第26頁/共52頁MP模型神經(jīng)元

具有什么特性？

能完成什么功能？

為了回答這個問題，我們以簡單的邏輯代數(shù)運算為例來說明。

第27頁/共52頁

例1假設一個MP模型神經(jīng)元有2個輸入：p1和p2，其目標輸出記為t，試問它能否完成下列真值表功能？

解：根據(jù)要求，神經(jīng)元的權值和閾值必須滿足如下不等式組：若取b值為0.5,W1和W2取0.7?？梢则炞C用這組權值和閾值構成的2輸入MP模型神經(jīng)元能夠完成該邏輯“或”運算。(1)(2)(3)(4)不等式組真值表

p1p2t111101011000第28頁/共52頁

如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定的幾何意義，所有輸入樣本構成樣本輸入空間。對于任意特定W和P的值都規(guī)定了一個超平面（決策平面），其方程為：它把超平面Rn（X∈Rn）分成了兩部分：WX-b<0部分和WX-b≥0部分。第29頁/共52頁

一般地，N輸入的MP模型神經(jīng)元有2n個輸入樣本，幾何上分別位于N維超立方體的各頂點處。第30頁/共52頁7.3人工神經(jīng)網(wǎng)絡的結構與學習

7.3.1人工神經(jīng)網(wǎng)絡的結構

如果將大量功能簡單的形式神經(jīng)元通過一定的拓撲結構組織起來，構成群體并行分布式處理的計算結構，那么這種結構就是人工神經(jīng)網(wǎng)絡，在不引起混淆的情況下，統(tǒng)稱為神經(jīng)網(wǎng)絡。第31頁/共52頁

根據(jù)神經(jīng)元之間連接的拓撲結構上的不同，可將神經(jīng)網(wǎng)絡結構分為兩大類：

分層網(wǎng)絡相互連接型網(wǎng)絡

第32頁/共52頁1．分層結構

分層網(wǎng)絡將一個神經(jīng)網(wǎng)絡模型中的所有神經(jīng)元按功能分成若干層，一般有輸入層、隱層（又稱中間層）和輸出層各層順序連接，如圖7.7所示。

輸出層

中間層

輸入層輸入輸出圖7.7分層網(wǎng)絡的功能層次第33頁/共52頁

簡單的前向網(wǎng)絡；具有反饋的前向網(wǎng)絡；層內有相互連接的前向網(wǎng)絡。

分層網(wǎng)絡可以細分為三種互連形式：

第34頁/共52頁圖7.8（a）簡單的前向網(wǎng)絡形狀；圖7.8（b）輸出層到輸入層具有反饋的前向網(wǎng)絡；圖7.8（c）層內有相互連接的前向網(wǎng)絡。第35頁/共52頁

所謂相互連接型網(wǎng)絡是指網(wǎng)絡中任意兩個神經(jīng)元之間是可達的，即存在連接路徑，如圖7.8（d）所示。

2．相互連接型結構第36頁/共52頁

權值修正學派認為：神經(jīng)網(wǎng)絡的學習過程就是不斷調整網(wǎng)絡的連接權，以獲得期望的輸出的過程。7.3.2人工神經(jīng)網(wǎng)絡的學習第37頁/共52頁

相關學習法誤差修正學習法

典型的權值修正方法有兩類第38頁/共52頁

式中，wji(t+1)表示修正一次后的某一權值；η稱為學習因子，決定每次權值的修正量，xi（t）、xj（t）分別表示t時刻第i、第j個神經(jīng)元的狀態(tài)。

相關學習法

如果神經(jīng)網(wǎng)絡中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元間的連接強度應該加強。相關學習法是根據(jù)連接間的激活水平改變權值的，相關學習法也稱Hebb學習規(guī)則，可用一數(shù)學表達式表示為：(7.9)第39頁/共52頁

（1）選擇一組初始權值和偏差值；（2）計算某一輸入模式對應的實際輸出與期望輸出的誤差（3）更新權值（偏差值可視為輸入恒為-1的一個權值）

式中，η為學習因子；yje(t)、yj(t)

分別表示第j個神經(jīng)元的期望輸出與實際輸出；xi為第i個神經(jīng)元的輸入；（4）返回步驟（2），直到對所有訓練模式，網(wǎng)絡輸出均能滿足要求。

誤差修正學習法

根據(jù)期望輸出與實際輸出之間的誤差大小來修正權值。誤差修正學習法也稱δ學習規(guī)則，可由如下四步來描述；(7.10)第40頁/共52頁

例2．考慮一個2輸入MP模型神經(jīng)元的學習。假設初始參數(shù)為：

w1=0.2，w2=-0.5，b=0.1

要求該神經(jīng)元能實現(xiàn)下列邏輯真值表：

邏輯真值表

x1：0011x2：0101ye：1100

第41頁/共52頁

解：神經(jīng)元輸入和的表達式為：

n=w1x1+w2x2-b

滿足所給邏輯真值表的激活函數(shù)不等式組為：

x1x2ye

不等式組

00

1-b＞0b＜001

1

w2-b＞0b＜w2100

w1

-b≤0b≥w1110w1+w2-b≤0b≥w1+w2

在初始參數(shù)設置下，神經(jīng)元的實際輸出為：

n1=0.2*0–0.5*0–0.1=-0.1＜0y1=0n2=0.2*0–0.5*1–0.1=-0.6＜0y2=0n3=0.2*1–0.5*0–0.1=0.1＞0y3=1n4=0.2*1–0.5*1–0.1=-0.4＜0y4=0可見，有3個輸入模式相應的輸出都與期望輸出不符，即有誤差。下面我們看如何使用δ學習規(guī)則進行學習。第42頁/共52頁

首先，確定學習因子η，即確定每次誤差修正量的多少。假如學習因子η采用下式確定：

式中,α為一個正的常數(shù)，通常在0-1之間取值。為簡便起見，這里取值為0.1。(7.11)第43頁/共52頁1.當輸入x1x2=00時：

要使實際輸出y=1，必須滿足激活函數(shù)大于0，即：

n1=-b＞0b＜0

閾值b需取負值

根據(jù)（2.11）式得學習因子η的值為：修正后的權、閾值為：

由于x1=x2=0，所以權值不變。第一次學習結束后，MP模型神經(jīng)元的參數(shù)為：