《神經網(wǎng)絡》課件第2章

2.1生物神經元模型

2.2人工神經元2.3神經網(wǎng)絡常用的激發(fā)函數(shù)

2.4神經網(wǎng)絡的分類

2.5神經網(wǎng)絡學習方法2.6小結習題

基于人工神經網(wǎng)絡(ArtificialNeuralNetwork,ANN)的控制稱之為神經網(wǎng)絡控制(NNC)系統(tǒng)，簡稱為神經控制(NeuralControl,NC)。隨著人工神經網(wǎng)絡研究的進展，神經網(wǎng)絡越來越多地用于控制領域的各個方面,如過程控制、機器人控制、生產制造、模式識別及決策支持等。本章主要介紹神經網(wǎng)絡的基本概念和神經網(wǎng)絡的學習方法，包括生物神經元模型、人工神經網(wǎng)絡發(fā)展及特點、神經網(wǎng)絡常用的激發(fā)函數(shù)、神經網(wǎng)絡常用的學習方法等內容。正常人腦是由大約1011~1012個神經元組成的，神經元是腦組織的基本單元。每個神經元具有102~104個突觸與其它神經元相連接，形成了錯綜復雜而又靈活多變的神經網(wǎng)絡。神經元由胞體、樹突和軸突構成。胞體是神經元的代謝中心，每個細胞體有大量的樹突(輸入端)和軸突(輸出端)，不同神經元的軸突與樹突互連的結合部為突觸，突觸決定神經元之間的連接強度和作用性質，而每個神經元胞體本身則是一非線性輸入、輸出單元。

一個神經元的模型示意圖如圖2-1所示。2.1生物神經元模型

圖2-1神經元模型示意圖由圖可見，神經元由胞體、樹突和軸突構成。胞體是神經元的代謝中心，它本身又由細胞核、內質網(wǎng)和高爾基體組成。胞體一般生長有許多樹狀突起物，稱之為樹突，它是神經元的主要接收器。胞體還延伸出一條管狀纖維組織，稱之為軸突，軸突外面包有一層較厚的絕緣組織，稱之為髓鞘(梅林鞘)。髓鞘規(guī)則地分為許多短段，段與段之間的部位被稱為郎飛節(jié)。軸突的作用是傳導信息，通常軸突的末端分出很多末梢，它們與后一個神經元的樹突構成一種稱為突觸的機構。前一神經元的信息經由其軸突傳到末梢之后，通過突觸對后面各個神經元產生影響。從生物控制論的觀點看，神經元作為控制和信息處理的單元，具有以下主要功能及特點：

(1)興奮與抑制狀態(tài)。神經元具有兩種常規(guī)工作狀態(tài)，當傳入沖動的信息使細胞膜電位升高，超過被稱為動作電位的閾值(約40mV)時，細胞進入興奮狀態(tài)，產生神經沖動，由突觸輸出，稱之為興奮；否則，突觸無輸出，神經元的工作狀態(tài)為抑制。神經元的這兩種工作狀態(tài)滿足“0-1”率，對應于“興奮-抑制”狀態(tài)。

(2)突觸的延期或不應期。神經沖動沿神經傳導的速度在1~150m/s之間，在相鄰的兩次沖動之間需要一個時間間隔，即為不應期。

(3)學習、遺忘和疲勞。由于神經元結構的可塑性，突觸的傳遞作用可增強、減弱和飽和，因此細胞具有相應的學習功能、遺忘或疲勞效應(飽和效應)。

隨著生物控制論的發(fā)展，人們對神經元的結構和功能有了進一步的了解，神經元不僅僅是一簡單的雙穩(wěn)態(tài)邏輯元件，而且是超級的微型生物信息處理機或控制機單元。2.2.1人工神經網(wǎng)絡的發(fā)展

人工神經網(wǎng)絡模仿人腦神經的活動，力圖建立腦神經活動的數(shù)學模型。近年來，智能控制作為一個新的交叉學科蓬勃興起。人們在更高層次上尋求控制、計算機和神經生理學的

新結合，以此來解決現(xiàn)實世界中常規(guī)控制論難以解決的一些問題。2.2人工神經元

神經網(wǎng)絡的研究已有60多年的歷史。20世紀40年代初，心理學家Mcculloch和數(shù)學家Pitts提出了形式神經元的數(shù)學模型，且研究了神經元模型幾個基本元件互相連接的潛在功能。1949年，Hebb和其他學者研究神經系統(tǒng)中的自適應定律，并提出了改進神經元連接強度的Hebb規(guī)則。1958年，Rosenblatt首先引入了感知器(Perceptron)的概念，并提出了構造感知器的結構，這對以后的研究起到了很大的作用。1962年，Widrow提出了線性自適應元件(Adline)，它用于連續(xù)取值的線性網(wǎng)絡，主要用于自適應系統(tǒng)，與當時占主導地位的以順序離散符號推理為基本特性的AI方法完全不同。之后，Minsky和Papert于1969年對以感知器為代表的網(wǎng)絡作了嚴格的數(shù)學分析，證明了一些性質并指出了幾個模型的局限性。神經元網(wǎng)絡在相當長的一段時間發(fā)展緩慢。Grossberg在20世紀70年代對神經元網(wǎng)絡的研究有了新的突破性的進展。根據(jù)生物學和生理學的證明，他提出了具有新特征的幾種非線性動態(tài)系統(tǒng)結構。1982年，Hopfield在網(wǎng)絡研究中引入了“能量函數(shù)”的概念，將特殊的非線性結構用于解決優(yōu)化類的問題，這引起了工程界的巨大興趣。Hopfield網(wǎng)至今仍是控制方面應用最多的網(wǎng)絡之一。

1985年，Hinton和Sejnowshi借用了統(tǒng)計物理學的概念和方法，提出了Boltzman機模型，在學習過程中采用了模擬退火技術，保證系統(tǒng)能全局最優(yōu)。1986年，以Rumelthard和Mcclelland為代表的PDP(ParalellDistributedProcessing)小組發(fā)表了一系列研究結果和算法。由于他們卓越的工作，使得神經元網(wǎng)絡的研究和應用進入了興盛時期。此后，Kosko提出了雙向聯(lián)想存儲器和自適應雙向聯(lián)想存儲器，為在具有噪聲的環(huán)境中的學習提供了途徑。2.2.2神經網(wǎng)絡的特性

神經網(wǎng)絡作為一種新技術引起了人們的巨大興趣，并越來越多地用于控制領域，這正是因為與傳統(tǒng)的控制技術相比，神經網(wǎng)絡具有以下主要特性：

(1)非線性。神經網(wǎng)絡在理論上可以趨近任何非線性的映射。對于非線性復雜系統(tǒng)的建模、預測，神經網(wǎng)絡比其它方法更實用、更經濟。

(2)平行分布處理。神經網(wǎng)絡具有高度平行的結構，這使其本身可平行實現(xiàn)，故較其它常規(guī)方法有更大程度的容錯能力。

(3)硬件實現(xiàn)。神經網(wǎng)絡不僅可以平行實現(xiàn)，而且一些制造廠家已經用專用的VLSI硬件來制作神經網(wǎng)絡。

(4)學習和自適應性。利用系統(tǒng)實際統(tǒng)計數(shù)據(jù)，可以對網(wǎng)絡進行訓練。受適當訓練的網(wǎng)絡有能力泛化，即當輸入出現(xiàn)訓練中未提供的數(shù)據(jù)時，網(wǎng)絡也有能力進行辨識。神經網(wǎng)絡還可以在線訓練。

(5)數(shù)據(jù)融合。神經網(wǎng)絡可以同時對定性、定量的數(shù)據(jù)進行操作。在這方面，神經網(wǎng)絡正好是傳統(tǒng)工程(定量數(shù)據(jù))和人工智能領域(符號數(shù)據(jù))信息處理技術之間的橋梁。

(6)多變量系統(tǒng)。神經網(wǎng)絡能處理多輸入信號，且可以具有多個輸出，故適用于多變量系統(tǒng)。

從控制理論的觀點來看，神經網(wǎng)絡處理非線性的能力是最有意義的；從系統(tǒng)辨識和模式識別的角度考慮，神經網(wǎng)絡跟蹤和識別非線性特性的能力是其最大的優(yōu)勢。2.2.3人工神經元模型

人工神經元是神經網(wǎng)絡的基本處理單元。它是對生物神經元的簡化和模擬。圖2-2表示一種簡化的神經元結構。從圖可見，它是一個多輸入、單輸出的非線性元件，其輸入/輸出

關系可描述為(2-1)其中xj(j=1,2,…,n)是從其它細胞傳來的輸入信號，θ為閾值，權系數(shù)wj表示連接的強度，說明突觸的負載。f(x)稱為激發(fā)函數(shù)或作用函數(shù)，其非線性特性可用閾值型、分段線性型和連續(xù)型激發(fā)函數(shù)近似。圖2-2簡化的神經元結構為了方便，有時將－θ也看成是對應恒等于1的輸入x0

的權值，這時(2-1)式的和式變成：

其中,w0=-θ,x0=1。(2-2)神經網(wǎng)絡中常用的激發(fā)函數(shù)如圖2-3所示。不同的激發(fā)函數(shù)決定了神經元的不同輸出特性。2.3神經網(wǎng)絡常用的激發(fā)函數(shù)

圖2-3常用激發(fā)函數(shù)

1.閾值型函數(shù)

圖2-3中，(a)和(b)為閾值型函數(shù)；當yi取0或1時，f(x)為圖中(a)所示的階躍函數(shù)：(2-3)當yi?。?或1時，f(x)為圖中(b)所示的sgn(符號函數(shù))函數(shù)：(2-4)

2.飽和型函數(shù)

圖2-3中(c)為飽和型函數(shù)，描述為

3.雙曲型函數(shù)

圖2-3中(d)是雙曲型函數(shù)或稱為對稱的sigmoid函數(shù)，描述為

圖2-3中(d)、(e)和(f)均為連續(xù)型的激發(fā)函數(shù)。其中I和x

之間的關系見式(2-2)。(2-6)

4.S型函數(shù)

圖2-3中(e)為S型函數(shù)，又稱之為sigmoid函數(shù)，描述為

神經元的狀態(tài)與輸入之間的關系為在(0，1)內連續(xù)取值的單調可微函數(shù)。當β→∞時，S型函數(shù)趨于階躍函數(shù)。通常情況下β取1。(2-7)

5.高斯函數(shù)

圖2-3中(f)是高斯函數(shù):式中,c是高斯函數(shù)中心值，c為0時函數(shù)以縱軸對稱；b是高斯函數(shù)的尺度因子，b確定高斯函數(shù)的寬度。神經網(wǎng)絡是由大量的神經元廣泛連接成的網(wǎng)絡。根據(jù)連接方式的不同，神經網(wǎng)絡可以分為兩大類：無反饋的前向神經網(wǎng)絡和相互連接型網(wǎng)絡(包括反饋網(wǎng)絡)，分別如圖2-4和圖2-5所示。前向網(wǎng)絡分為輸入層、隱含層(簡稱隱層也稱中間層)和輸出層。隱層可以有若干層，每一層的神經元只接收前一層神經元的輸出。而相互連接型網(wǎng)絡的神經元相互之間都可能有連接，因此，輸入信號要在神經元之間反復往返傳遞，從某一初態(tài)開始，經過若干次變化，漸漸趨于某一穩(wěn)定狀態(tài)或進入周期振蕩等其它狀態(tài)。2.4神經網(wǎng)絡的分類

迄今為止，約有40種神經網(wǎng)絡模型，其中具有代表性的有：BP網(wǎng)絡、回歸BP網(wǎng)絡、GMDH網(wǎng)絡、徑向基函數(shù)RBF、感知器、CG網(wǎng)絡、盒中腦(BSB)模型、Hopfield神經網(wǎng)絡、BoltzmanMechine/CauchyMachine(BCM)、CounterPropagation(CPN)、Madaline網(wǎng)絡、自適應共振理論(ART，包括ART1和ART2)、雪崩網(wǎng)絡、雙向聯(lián)想記憶(BAM)網(wǎng)絡、學習矩陣(LRN)、神經認識機、自組織映射(SOM)、細胞神經網(wǎng)絡(CNN)、交替投影神經網(wǎng)絡(APNN)、小腦模型(CMAC)等。從信息傳遞的規(guī)律來看，這些已有的神經網(wǎng)絡可以分成三大類，即前向神經網(wǎng)絡(FeedforwardNN)、反饋型神經網(wǎng)絡(FeedbackNN)和自組織神經網(wǎng)絡(SelforganizingNN，如圖2-6所示)。以后章節(jié)將分別介紹這三類神經網(wǎng)絡中有代表性的網(wǎng)絡。

圖2-4前向神經網(wǎng)絡圖2-6自組織特征映射神經網(wǎng)絡圖2-5反饋型神經網(wǎng)絡

自組織特征映射(SelforganizingFeatureMap)神經網(wǎng)絡又被稱為Kohonen網(wǎng)絡，是一種無教師學習神經網(wǎng)絡。其輸出神經元(節(jié)點)呈二維陣列分布，輸出節(jié)點與其它領域或其它神經節(jié)點之間廣泛相連，相互激勵。它可以自動地向環(huán)境學習，主要用于語音識別、圖像壓縮、機器人控制、優(yōu)化問題等領域。這種網(wǎng)絡是基于生理學和腦科學研究成果提出來的。腦神經研究表明：傳遞感覺的神經元排列是按某種規(guī)律有序進行的。這種排列一般反映所感受的外部刺激的某些物理特征。神經網(wǎng)絡在接受外部輸入時，將會分成不同的區(qū)域，不同的區(qū)域對不同模式具有不同的響應特征，同時，這一過程是自動完成的。在自組織特征映射網(wǎng)絡中，各神經元的連接權值具有一定的分布特性，最鄰近的神經元相互激勵，而較遠的神經元則相互抑制。在外界刺激最強的區(qū)域形成一個氣泡(Bubble)，又稱其為墨西哥帽。在該氣泡區(qū)域中，神經元權值向量會自動調節(jié)。這種網(wǎng)絡的每個輸入節(jié)點與輸出之間由可變權值wij(k)連接，通過競爭規(guī)律，不斷調整wij(k)，使得在穩(wěn)定時每一領域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布趨于接近。

1.學習方法的種類

神經網(wǎng)絡學習方法有多種。網(wǎng)絡的學習規(guī)則可分為三類：相關規(guī)則，即僅僅根據(jù)連接間的激活水平改變權值；糾錯規(guī)則，即依賴關于輸出節(jié)點的外部反饋來改變權系數(shù)；無教師學習規(guī)則，即學習表現(xiàn)為自適應于輸入空間的檢測規(guī)則。相應地，神經網(wǎng)絡學習方法也可根據(jù)學習規(guī)則劃分為不同的種類。2.5神經網(wǎng)絡學習方法

1)相關規(guī)則

相關規(guī)則常用于自聯(lián)想網(wǎng)絡，執(zhí)行特殊記憶狀態(tài)的記憶式學習，也屬于無教師的學習。Hopfield網(wǎng)絡就采用這種學習方法，稱之為修正的Hebb規(guī)則：

Δwij=(2xi-1)(2xj-1)(2-9)

式中，xi和xj分別表示兩個相連接的神經元i和神經元j的激活值。

2)糾錯規(guī)則

糾錯規(guī)則等效于梯度下降法，通過在局部最大改善的方向上逐步進行修正，力圖達到表示函數(shù)功能的全局解。感知器即使用糾錯規(guī)則，其特點為

(1)若一節(jié)點的輸出正確，一切不變。

(2)若輸出本應為0而為1，則相應的權值減小。

(3)若輸出應為1而為0，則權值增加。

對于δ學習規(guī)則，可分為一般δ規(guī)則和廣義δ規(guī)則，常見的有以下3種。

(1)δ學習規(guī)則。權值的Δw修正不是固定的量而與誤差成正比，即

Δwij=ηδixj(2-10)

這里η是全局學習系數(shù)，而δi=ti-xi，即期望值和實際值之差;

xj是神經元j的狀態(tài)。

δ學習規(guī)則和感知器學習規(guī)則一樣,只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡。

(2)廣義δ規(guī)則。它可在多層網(wǎng)絡上有效地學習，可學習非線性可分函數(shù)。其關鍵是對隱節(jié)點的偏差δ如何定義和計算。對具有誤差反向傳播的前向神經網(wǎng)絡的BP算法，當j為神經網(wǎng)絡隱層節(jié)點時，定義

(2-11)

式中，wjk是節(jié)點j到下一層神經節(jié)點k的權值;netj為隱層第j個神經節(jié)點的輸入網(wǎng)絡;f(netj)為隱層第j個神經節(jié)點的輸出;f′(netj)是連續(xù)的一次可微函數(shù);δj為隱層神經節(jié)點j的誤差反向傳播系數(shù);δk為下一層神經節(jié)點k的誤差反向傳播系數(shù)。

(3)Boltzmann機學習規(guī)則。它用模擬退火的統(tǒng)計方法來代替廣義的δ規(guī)則。它提供了隱節(jié)點的有效學習方法，能學習復雜的非線性可分函數(shù)。這種方法也屬于梯度下降法，其主要缺點是學習速度太慢。

3)無教師學習規(guī)則

在這種學習規(guī)則中，關鍵不在于實際節(jié)點的輸出怎樣與外部的期望輸出相一致，而在于調整參數(shù)以反映觀測事件的分布。諸如Grossberg的自適應共振理論(ART)、自組織特征映射和Klopf的享樂主義神經元都是無教師學習。

這類無教師學習的系統(tǒng)并不在于尋找一個特殊函數(shù)表示，而是將事件空間分類成輸入活動區(qū)域，且有選擇地對這些區(qū)域響應。它在應用于開發(fā)由多層競爭族組成的網(wǎng)絡等方面有良好的前景。它的輸入可以是連續(xù)值，對噪聲有較強的抗干擾能力，但對較少的輸入樣本，結果可能依賴于輸入順序。在人工神經網(wǎng)絡中，學習規(guī)則是修正網(wǎng)絡權值的一種算法，以獲得適合的映射函數(shù)或其它系統(tǒng)性能。Hebb學習規(guī)則的相關假設是許多規(guī)則的基礎，尤其是相關規(guī)則；Hopfied網(wǎng)絡和自組織特征映射展示了有效的模式識別能力；糾錯規(guī)則采用梯度下降法，因而存在局部極小點問題。無教師學習提供了新的選擇，它利用自適應學習方法，使節(jié)點有選擇地接收輸入空間上的不同特性，從而拋棄了普通神經網(wǎng)絡學習映射函數(shù)的學習概念，并提供了基于檢測特性空間的活動規(guī)律的性能描寫。下面介紹幾種常用的學習方法。

2.常用的神經網(wǎng)絡學習方法

1)Hebb學習方法

基于對生理學和對心理學的長期研究，D.O.Hebb提出了生物神經元學的假設，即當兩個神經同時處于興奮狀態(tài)時，它們之間的連接應當加強。這一假設可描述為

wij(k+1)=wij(k)+IiIj(2-12)

式中，wij(k)為連接從神經元i到神經元j的當前權值；Ii、Ij為神經元i、j的激活水平。

Hebb學習方法是一種無教師的學習方法，它只根據(jù)神經元連接間的激活水平改變權值，因此這種方法亦稱相關規(guī)則。當時，

則Hebb學習方法改寫成

wij(k+1)=wij(k)+yiyj(2-14)

另外，根據(jù)神經元狀態(tài)變化來調整權值的Hebb學習方法稱為微分Hebb學習方法，可描述為

wij(k+1)=wij(k)+[yi(k)-yi(k-1)][yj(k)-yj(k-1)](2-15)(2-13)

2)梯度下降法

梯度下降法是一種有教師的學習方法。假設下列準則函數(shù)

其中，Y(k)代表希望的輸出，為期望的實際輸出，W是所有權值組成的向量，為對y(k)的偏差。現(xiàn)在的問題是如何調整Ｗ使準則函數(shù)最小。梯度下降法可用來解決此問題，其基本思想是沿著J(W)的負梯度方向不斷修正值，直至J(W)達到最小。這種方法的數(shù)學表達式為(2-16)(2-17)其中,μ是控制權值修正速度的變量;J(W)的梯度為(2-18)在上述問題中，把網(wǎng)絡的輸出看成是網(wǎng)絡權值向量W的函數(shù)，因此網(wǎng)絡的學習就是根據(jù)希望的輸出和實際之間的誤差平方最小原則來修正網(wǎng)絡的權向量。根據(jù)不同形式的，可推導出相應的算法：δ規(guī)則和BP算法。

3)d規(guī)則

在B.WidroW的自適應線性元件中，自適應線性元件的輸出表示為

(2-19)

其中，為權值向量，為k時刻的輸入模式。

因此準則函數(shù)的梯度為當時，有Widrow的d規(guī)則為(2-20)這里a是控制算法和收縮性的常數(shù)，實際中往往取0.1<a<1.0。為了便于計算，δ規(guī)則可以表達為下面的形式：

W(k+1)=W(k)+ηε(W(k),k)X(k)

(2-21)或

W(k+1)=W(k)+h(1a)ε(W(k),k)X(k)+a(W(k)-W(k-1))(2-22)

其中,h常取0.01≤h≤100,a取值同上。

4)BP算法

誤差反向傳播的BP算法(BackPropagationAlgorithm)最早是在1974年由Webos在他的論文中提出的一種BP學習理論，到1985年發(fā)展為BP網(wǎng)絡訓練算法。BP網(wǎng)絡不僅有輸入

層節(jié)點、輸出層節(jié)點，而且有隱層節(jié)點(可以是一層或多層)。其作用函數(shù)通常選用連續(xù)可導的Sigmoid函數(shù)：(2-23)或者雙曲型函數(shù)(又稱之為對稱的sigmoid函數(shù))

式中在系統(tǒng)辨識中常用的是一種典型的多層并行網(wǎng)，即多層BP網(wǎng)。這是一種正向的、各層相互全連接的網(wǎng)絡。輸入信號要經過輸入層向前傳遞給隱層節(jié)點，經過激發(fā)(作用)函數(shù)后，把隱層節(jié)點的輸出傳遞到輸出節(jié)點，再經過激發(fā)函數(shù)后才給出輸出結果。如果輸出層得不到期望的輸出，則轉入反向傳播，將誤差信號沿原來的連接通路返回。通過修改各層神經網(wǎng)絡的權值，使過程的輸出yp和神經網(wǎng)絡模型的輸出ym之間的誤差信號最小為止。BP算法是梯度下降法的改進算法，我們在第3章討論BP網(wǎng)絡時將展開討論。

5)競爭式學習

競爭式學習屬于無教師學習方式。這種學習方式是指，不同層間的神經元發(fā)生興奮性連接，同一層內距離很近的神經元間發(fā)生同樣的興奮性連接，而距離較遠的神經元則產生抑制性連接，在這種連接機制中引入競爭機制的學習方式稱為競爭式學習。其本質在于神經元網(wǎng)絡中高層次的神經