第4章人工神經(jīng)元網(wǎng)絡(luò)模型

第四章人工神經(jīng)元網(wǎng)絡(luò)模型神經(jīng)元模型前向神經(jīng)網(wǎng)絡(luò)模型動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型主要內(nèi)容第一節(jié)神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是模擬人腦細(xì)胞的分布式工作特點(diǎn)和自組織功能，從而實(shí)現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等能力。它是另一種典型的智能控制方法。模糊控制

解決了智能控制中的描述和推理問題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。但它在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面表現(xiàn)欠佳。

神經(jīng)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)自組織網(wǎng)絡(luò)前向網(wǎng)絡(luò)CMACRNN

MLP

HopfieldKohonenBoltzmanMachineART神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分類示意圖生物神經(jīng)元模型生物神經(jīng)元主要由細(xì)胞體、樹突和軸突組成，樹突和軸突負(fù)責(zé)傳入和傳出信息，興奮性的沖動(dòng)沿樹突抵達(dá)細(xì)胞體，在細(xì)胞膜上累積形成興奮性電位；相反，抑制性沖動(dòng)到達(dá)細(xì)胞膜則形成抑制性電位。兩種電位進(jìn)行累加，若代數(shù)和超過某個(gè)閾值，神經(jīng)元將產(chǎn)生沖動(dòng)。

一、神經(jīng)元模型人工神經(jīng)元模型人工神經(jīng)元是模仿生物神經(jīng)元產(chǎn)生沖動(dòng)的過程，可以建立一個(gè)典型的人工神經(jīng)元數(shù)學(xué)模型

[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發(fā)函數(shù)，θ為閾值。Wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度，也稱權(quán)值。那么，所示的模型可描述為:通常情況下，可以假設(shè)常用的神經(jīng)元非線性特征有以下四種：1）閾值型函數(shù)2）分段線性型函數(shù)3）Sigmoid函數(shù)型4）Tan函數(shù)型函數(shù)二、神經(jīng)網(wǎng)絡(luò)的模型分類根據(jù)人工神經(jīng)網(wǎng)絡(luò)對生物神經(jīng)系統(tǒng)的不同組織層次和抽象層次的模擬，神經(jīng)網(wǎng)絡(luò)模型可分為：神經(jīng)元層次模型研究單一神經(jīng)元的動(dòng)態(tài)特性和自適應(yīng)特性，探索神經(jīng)元對輸入信息的處理和存儲(chǔ)能力。組合式模型這種模型是由數(shù)種相互補(bǔ)充、相互協(xié)作的神經(jīng)元組成，用于完成某些特定的任務(wù)。網(wǎng)絡(luò)層次模型它是由眾多相同神經(jīng)元相互連接而成的網(wǎng)絡(luò)，著重研究神經(jīng)網(wǎng)絡(luò)的整體性能。神經(jīng)系統(tǒng)層次模型一般由多個(gè)不同性質(zhì)的神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜、更抽象的特性。已有近40余種各式各樣的神經(jīng)網(wǎng)絡(luò)模型，其中典型的有多層前向傳播網(wǎng)絡(luò)（BP網(wǎng)），Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART自適應(yīng)共振理論、BAM雙向聯(lián)想記憶、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。

神經(jīng)網(wǎng)絡(luò)的強(qiáng)大功能是通過神經(jīng)元的互連而達(dá)到的。根據(jù)連接方式的不同。神經(jīng)網(wǎng)絡(luò)可分為以下四種形式：(1)前向網(wǎng)絡(luò)輸入層中間層輸出層神經(jīng)元分層排列；每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入；各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播算法中使用的網(wǎng)絡(luò)都屬于這種類型。

特點(diǎn)：(2)反饋網(wǎng)絡(luò)輸出層到輸入層存在反饋；這種模式可用來存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類，也可以用于動(dòng)態(tài)時(shí)間序列過程的神經(jīng)網(wǎng)絡(luò)建模。特點(diǎn)：(3)相互結(jié)合型網(wǎng)絡(luò)網(wǎng)狀結(jié)構(gòu)，任意兩個(gè)神經(jīng)元之間都可能有連接；信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞；網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)之中，HNN或Boltzman機(jī)網(wǎng)絡(luò)都屬于這一類。特點(diǎn)：(4)混合型網(wǎng)絡(luò)層次型網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)的一種結(jié)合；通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制。這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來動(dòng)作。

特點(diǎn)：學(xué)習(xí)是針對一組給定輸入使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望輸出的過程?？偟膩碚f，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法分為兩大類，有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)，分別如下圖：三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法距離計(jì)算神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)圖4-8有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式圖4-9無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)——在訓(xùn)練過程中，紿終存在一個(gè)期望的網(wǎng)絡(luò)輸出。期望輸出和實(shí)際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。無導(dǎo)師學(xué)習(xí)——網(wǎng)絡(luò)不存在一個(gè)期望的輸出值，因而沒有直接的誤差信息，因此，為實(shí)現(xiàn)對網(wǎng)絡(luò)的訓(xùn)練，需建立一個(gè)間接的評(píng)價(jià)函數(shù)，以對網(wǎng)絡(luò)的某種行為趨向作出評(píng)價(jià)。學(xué)習(xí)規(guī)則根據(jù)連接權(quán)系數(shù)的改變方式不同又可以分為以下三類：

（1）相關(guān)學(xué)習(xí)僅僅根據(jù)連接間的激活水平改變權(quán)系數(shù)。它常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的死記式學(xué)習(xí)。最常見的學(xué)習(xí)算法是Hebb規(guī)則。

（3）無導(dǎo)師學(xué)習(xí)學(xué)習(xí)表現(xiàn)為自動(dòng)實(shí)現(xiàn)輸入空間的檢測和分類，關(guān)鍵不在于實(shí)際節(jié)點(diǎn)的輸出怎樣與外部期望輸出相一致，而在于調(diào)整參數(shù)以反映所觀察事件的分布。（2）糾錯(cuò)學(xué)習(xí)依賴關(guān)于輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)，它常用于感知器網(wǎng)絡(luò)、多層前向傳播網(wǎng)絡(luò)和Boltzman

機(jī)網(wǎng)絡(luò)。其學(xué)習(xí)方法是梯度下降法。最常見的學(xué)習(xí)方法有規(guī)則、模擬退火學(xué)習(xí)規(guī)則。四、神經(jīng)網(wǎng)絡(luò)的泛化能力

人們希望人工神經(jīng)網(wǎng)絡(luò)能容許某些變化，如當(dāng)輸入矢量帶有噪聲時(shí)，即與樣本輸入矢量存在差異時(shí)，其神經(jīng)網(wǎng)絡(luò)的輸出同樣能夠準(zhǔn)確地呈現(xiàn)出應(yīng)有的輸出。這種能力就稱這神經(jīng)網(wǎng)絡(luò)的泛化能力。泛化或插值都需要一定數(shù)量的樣本訓(xùn)練集。很顯然，如果僅僅只有少數(shù)樣本點(diǎn)，那么點(diǎn)之間的曲線形狀的不確定性將是相當(dāng)嚴(yán)重的。

第二節(jié)前向神經(jīng)網(wǎng)絡(luò)模型前向神經(jīng)網(wǎng)絡(luò)——由一層或多層非線性處理單元組成的。相鄰層之間通過突觸權(quán)陣連接起來。由于前一層的輸出作為下一層的輸入，因此稱此類網(wǎng)絡(luò)結(jié)構(gòu)為前向神經(jīng)網(wǎng)絡(luò)?；靖拍钤谇跋蚓W(wǎng)絡(luò)結(jié)構(gòu)中輸入輸出之間包含著一層或多層隱含層。前向神經(jīng)網(wǎng)絡(luò)可以看成一種一組輸入模式到一組輸出模式的系統(tǒng)變換。這種變換通過對某一給定的輸入樣本相應(yīng)的輸出數(shù)據(jù)集的訓(xùn)練而得到。此神經(jīng)網(wǎng)絡(luò)為有導(dǎo)師指導(dǎo)下的學(xué)習(xí)。一、單一人工神經(jīng)元（單元）

單一人工神經(jīng)元的激勵(lì)輸出是由一組連續(xù)輸入信號(hào)決定的。這些輸入信號(hào)代表著從另外神經(jīng)元傳遞過來的神經(jīng)脈沖的瞬間激勵(lì)。設(shè)代表神經(jīng)元的連續(xù)輸出狀態(tài)值，在離散情況下，取0或1來表示神經(jīng)元的興奮或抑制。圖4-11單一人工神經(jīng)元的示意圖

單一神經(jīng)元的輸入項(xiàng)Net由輸入信號(hào)

的線性組合構(gòu)成，即

式中，為閾值；是決定第個(gè)輸入的突觸權(quán)系數(shù)。

式中，表示神經(jīng)元激勵(lì)函數(shù)。

如果輸出變量是一個(gè)二值元素，則在平衡點(diǎn)

表示興奮狀態(tài)，表示抑制狀態(tài)。因此，每一神經(jīng)元的輸出都可以用一個(gè)閾值型非線性激勵(lì)函數(shù)來表示。通常取一般情況下，Net應(yīng)該是輸入的非線性函數(shù)：此時(shí)，神經(jīng)元的平衡態(tài)輸出為：圖4-12只含二次項(xiàng)的神經(jīng)元結(jié)構(gòu)示意圖二值輸出的神經(jīng)元：只含興奮和抑制兩種狀態(tài)的單一神經(jīng)元可以看作是一個(gè)分類器，即能對任意一組輸入信號(hào)進(jìn)行是否屬于的分類映射。連續(xù)輸出的單一神經(jīng)元：神經(jīng)元可以作為一個(gè)最簡單的神經(jīng)控制器進(jìn)行參數(shù)自適應(yīng)控制，如傳統(tǒng)的PID調(diào)節(jié)器就可以用單一神經(jīng)元來實(shí)現(xiàn)。這樣，可以通過神經(jīng)元的連接權(quán)系數(shù)來達(dá)到PID參數(shù)的自適應(yīng)。二、單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是由個(gè)輸入單元和個(gè)輸出單元組成的，見下圖。圖4-13單層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖系統(tǒng)個(gè)輸入變量用表示，個(gè)輸出變量用表示。則每一個(gè)輸出神經(jīng)元滿足三、多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

多層傳播結(jié)構(gòu)是在輸入層和輸出層之間嵌入一層或多層隱含層的網(wǎng)絡(luò)結(jié)構(gòu)。隱含單元既可以與輸入輸出單元相連，也可以與其它隱含單元相連。

隱含層單元與輸入單元之間通過突觸權(quán)系數(shù)連接，并可用矩陣表示全部的連接關(guān)系，隱含單元與輸出單元通過突觸權(quán)系數(shù)表示，全部連接關(guān)系可用矩陣記之。圖4-14a)含一個(gè)隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖由圖中可知，輸入變量向個(gè)隱含層單元傳遞輸入信號(hào)，即每一隱含單元的激勵(lì)式中，為隱含層神經(jīng)元的激勵(lì)函數(shù)。每一層內(nèi)的各神經(jīng)元激勵(lì)函數(shù)可以是不一樣的。不失一般性，這里取為相同的激勵(lì)函數(shù)。同樣，輸出層單元為式中為輸出層神經(jīng)元的激勵(lì)函數(shù)。

不難看出，可以簡單地直接將以上結(jié)論推廣到多層隱含層的神經(jīng)網(wǎng)絡(luò)上去。同樣，輸出層單元為注意：

真正意義上的多層神經(jīng)網(wǎng)絡(luò)指的是，隱含層單元至少含有一個(gè)非線性單元，否則多層前向網(wǎng)絡(luò)就退化為一個(gè)單層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)了。式中，為各神經(jīng)元的激勵(lì)函數(shù)，為層到層的連接權(quán)矩陣，為了便于數(shù)學(xué)推導(dǎo)，不失一般性，假設(shè)每一層的神經(jīng)元激勵(lì)函數(shù)相同，則對于L＋1層前向傳播網(wǎng)絡(luò)，其網(wǎng)絡(luò)輸出的數(shù)學(xué)表達(dá)式一律采用其中一般取為與網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的非線性算子。神經(jīng)網(wǎng)絡(luò)可以通過合適樣本集，即外部給定的輸入輸出矢量對，來進(jìn)行訓(xùn)練，調(diào)整其權(quán)值矩陣。四、多層傳播網(wǎng)絡(luò)的學(xué)習(xí)算法

前向傳播網(wǎng)絡(luò)實(shí)質(zhì)上表示的是一種從輸入空間到輸出空間的映射。對于給定的輸入矢量，其神經(jīng)網(wǎng)絡(luò)的響應(yīng)為權(quán)值矩陣系數(shù)的調(diào)整是通過對所有樣本

的誤差指標(biāo)達(dá)到極小的方法來實(shí)現(xiàn)的。式中，表示期望的輸出；表示當(dāng)前網(wǎng)絡(luò)的實(shí)際輸出；表示距離函數(shù)。誤差指標(biāo)函數(shù)可以用平方誤差和來表示，即：針對所有的樣本集，前向神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值矩陣系數(shù)的迭代調(diào)整，直到誤差指標(biāo)滿足要求為止?，F(xiàn)在考慮多層前向傳播網(wǎng)絡(luò)見下圖。設(shè)輸入模式為，則相應(yīng)的隱含單元的輸出為：圖4-14b)L+1層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖很顯然，隱含單元輸出是輸入矢量和它們之間的突觸權(quán)系數(shù)的函數(shù)。突觸權(quán)系數(shù)由學(xué)習(xí)算法來訓(xùn)練。

根據(jù)層網(wǎng)絡(luò)結(jié)構(gòu)可知，網(wǎng)絡(luò)的輸出為

其中，第個(gè)隱含層的輸入是第個(gè)隱含層的輸出，所以反向傳播：將誤差信號(hào)按神經(jīng)網(wǎng)絡(luò)通路反向計(jì)算，按梯度下降法調(diào)整各層神經(jīng)元的權(quán)值和閥值，使誤差信號(hào)減小。正向傳播：輸入信號(hào)從輸入層經(jīng)隱含層傳向輸出層，若輸出層達(dá)到期望的輸出，學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。BP學(xué)習(xí)算法——誤差反向傳播學(xué)習(xí)算法

梯度下降法——求函數(shù)極小值的迭代算法基本概念設(shè)是準(zhǔn)則函數(shù)，為一向量。是在點(diǎn)的梯度，為一向量，其方向是增長最快的方向；負(fù)梯度方向，則是減小最快的方向。因此，若求某函數(shù)的極大值，沿著梯度方向走，可最快達(dá)到最大點(diǎn)；反之，沿負(fù)梯度方向走，可最快達(dá)到最小點(diǎn)。根據(jù)誤差指標(biāo)函數(shù)：按照梯度下降法反向計(jì)算：定義

其中又稱為廣義誤差。

則式（4-24）可記為：這就是說，要使按梯度下降，就必須按下式進(jìn)行權(quán)值調(diào)整：其中，上標(biāo)變量表示第個(gè)隱含層，

為第層第單元到第層的第單元連接系數(shù)；為學(xué)習(xí)步長。若為輸出單元層，則若為輸出單元層，考慮到所有層的神經(jīng)元輸入激勵(lì)信號(hào)都與第層的神經(jīng)元輸出相關(guān)，利用復(fù)合微分規(guī)則對求微分需對所有層的輸入激勵(lì)信號(hào)分別求微分之和：BP學(xué)習(xí)算法的訓(xùn)練過程給定P組樣本。這里為維輸入矢量，為維期望的輸出矢量，，假設(shè)矢量和分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。則訓(xùn)練過程可分為：1）選，作為最大容許誤差，并將權(quán)系數(shù)，初始化成某一小的隨機(jī)權(quán)矩陣。2）訓(xùn)練開始

根據(jù)計(jì)算出各隱含層神經(jīng)元的激勵(lì)輸出和各輸出層神經(jīng)元的激勵(lì)輸出。3）計(jì)算誤差4）計(jì)算出廣義誤差5）調(diào)整權(quán)陣系數(shù)6）若，轉(zhuǎn)2），否則轉(zhuǎn)7）

7）若，結(jié)束，否則，轉(zhuǎn)2）從理論上來說，具有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)能實(shí)現(xiàn)任意連續(xù)函數(shù)的逼近。但在訓(xùn)練過程中仍有許多問題值得討論。對訓(xùn)練過程有較大影響的是有權(quán)系數(shù)的初值、學(xué)習(xí)方式、激勵(lì)函數(shù)、學(xué)習(xí)速率等。學(xué)習(xí)方式本書所采用的學(xué)習(xí)算法是根據(jù)廣義誤差

得到的，這種學(xué)習(xí)算法又稱增量型學(xué)習(xí)算法。其缺點(diǎn)是權(quán)值調(diào)整只滿足逼近最近的那個(gè)樣本。權(quán)系數(shù)的初值一般情況下，權(quán)系數(shù)通常初始化成小的隨機(jī)值，盡量可能覆蓋整個(gè)權(quán)陣的空間域。從而可以避免出現(xiàn)初始權(quán)陣系數(shù)相同的情況。若采用累積型學(xué)習(xí)方法，則有：激勵(lì)函數(shù)常規(guī)Sigmoid函數(shù)在輸入趨于1時(shí)其導(dǎo)數(shù)接近0，從而容易產(chǎn)生飽和現(xiàn)象。因此，可以通過調(diào)節(jié)Sigmoid函數(shù)的斜率或采用其它激勵(lì)單元來改善網(wǎng)絡(luò)的學(xué)習(xí)性能。學(xué)習(xí)速度一般說來，學(xué)習(xí)速率越大，收劍越快，但容易產(chǎn)生振蕩；而學(xué)習(xí)速率越小，收劍越慢。小結(jié)BP學(xué)習(xí)算法本質(zhì)上屬于一次收斂的學(xué)習(xí)算法；BP學(xué)習(xí)算法存在局部極小問題，且學(xué)習(xí)速度很慢，甚至?xí)跇O值點(diǎn)附近出現(xiàn)振蕩現(xiàn)象，而不能平滑地趨于最優(yōu)解；可采用某種平滑的權(quán)值更新公式例如下圖所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)假設(shè)對于期望的輸入

試用BP算法訓(xùn)練此網(wǎng)絡(luò)。這里，取神經(jīng)元激勵(lì)函數(shù)：學(xué)習(xí)步長為圖4-15例4-1的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖解：

1）輸入最大容許逼近誤差值最大迭代學(xué)習(xí)次數(shù)iterafemax.

置初始迭代學(xué)習(xí)次數(shù)iterate=02）計(jì)算當(dāng)前輸入狀態(tài)下、當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出。3)判斷神經(jīng)網(wǎng)絡(luò)逼近誤差滿足要求或迭代學(xué)習(xí)達(dá)到最大容許值否？若上述不等式中有一個(gè)滿足，則退出學(xué)習(xí)。否則進(jìn)入下一步。4）計(jì)算廣義誤差輸出層隱含層5）連接權(quán)系數(shù)更新令，繼續(xù)迭代計(jì)算直至滿足終止條件為止例利用多層前向傳播神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)解訓(xùn)練算法采用傳統(tǒng)的BP學(xué)習(xí)算法，其中樣本集取20點(diǎn)，即選擇MLP網(wǎng)絡(luò)結(jié)構(gòu)為：1個(gè)輸入神經(jīng)元、6個(gè)隱含層神經(jīng)元和1個(gè)輸出神經(jīng)元。神經(jīng)元激勵(lì)函數(shù)都為Sigmoid函數(shù)初始權(quán)系數(shù)陣由（0,1）之間的隨機(jī)數(shù)組成。學(xué)習(xí)步長選擇為，下面給出了此神經(jīng)網(wǎng)絡(luò)的BP學(xué)習(xí)算法的平方誤差曲線的收斂過程。為了驗(yàn)證此神經(jīng)網(wǎng)絡(luò)逼近的泛化性，我們又選擇了30個(gè)校驗(yàn)樣本數(shù)據(jù)集，它們的取值為圖4-16多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)圖均方誤差y針對同樣的樣本集對含有兩個(gè)隱含層的MLP進(jìn)行了仿真試驗(yàn)。第一隱含層的隱含神元經(jīng)數(shù)為4、第二隱含層的隱含神元經(jīng)數(shù)為2,學(xué)習(xí)步長BP算法的學(xué)習(xí)曲線神經(jīng)網(wǎng)絡(luò)的逼近性能均方誤差y圖4-16

b)多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)結(jié)論增加隱含層的數(shù)目并不一定意味著能夠改善逼近精度；傳統(tǒng)的BP學(xué)習(xí)算法在極值點(diǎn)附近訓(xùn)練速度相當(dāng)慢；如果神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果不夠理想，應(yīng)該重新對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；當(dāng)輸入信號(hào)與訓(xùn)練的樣本信號(hào)相距較遠(yuǎn)時(shí)，神經(jīng)網(wǎng)絡(luò)的輸出可能會(huì)產(chǎn)生完全不準(zhǔn)確的結(jié)果；第三節(jié)動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型雖然前向傳播網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，系統(tǒng)結(jié)構(gòu)簡單且易于編程，但其并不注重系統(tǒng)的動(dòng)力學(xué)行為，而現(xiàn)實(shí)世界中的許多系統(tǒng)恰恰是非線性動(dòng)態(tài)系統(tǒng)，如何利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)動(dòng)態(tài)系統(tǒng)的逼近和控制？問題的提出

解決方法研究反饋動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)模型由簡單非線性神經(jīng)元互連而成的反饋動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有如下兩個(gè)重要的特征。

1）系統(tǒng)有若干個(gè)穩(wěn)定狀態(tài)。如果從某一初始狀態(tài)開紿運(yùn)動(dòng)，系統(tǒng)總可以進(jìn)入某一穩(wěn)定狀態(tài)。

2）系統(tǒng)的穩(wěn)定狀態(tài)可以通過改變相連單元的權(quán)值而產(chǎn)生。因此，神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和應(yīng)用必須建立在對其動(dòng)力學(xué)特性的理解的基礎(chǔ)上，穩(wěn)定性是其重要性質(zhì)，而能量函數(shù)是判定網(wǎng)絡(luò)穩(wěn)定性的基本概念。穩(wěn)定性——神經(jīng)網(wǎng)絡(luò)從任一初態(tài)X（0）開紿運(yùn)動(dòng)，若存在某一有限的時(shí)刻。從以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即則稱網(wǎng)絡(luò)是穩(wěn)定的處于穩(wěn)定時(shí)刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點(diǎn)吸引子?；靖拍?/p>

反饋的引入是構(gòu)成動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。反饋網(wǎng)絡(luò)的一個(gè)重要特征是系統(tǒng)具有穩(wěn)定狀態(tài)。動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的典型代表是Hopfitlol網(wǎng)絡(luò)、帶時(shí)滯的多層感知器網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)等等。一、帶時(shí)滯的多層感知器網(wǎng)絡(luò)一個(gè)帶時(shí)滯的多層感知器網(wǎng)絡(luò)結(jié)構(gòu)圖如下所示多層感知器網(wǎng)絡(luò)描頭時(shí)滯環(huán)節(jié)這種網(wǎng)絡(luò)結(jié)構(gòu)可以有效地描述輸出是有限維獨(dú)立的輸入序列圖4-18時(shí)滯神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由于不存在反饋，故其訓(xùn)練方法完全套用傳統(tǒng)的BP學(xué)習(xí)算法。而帶反饋的動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)具有比純前饋神經(jīng)網(wǎng)絡(luò)更優(yōu)越的性能。此類帶反饋的神經(jīng)網(wǎng)絡(luò)通常又稱為回歸神經(jīng)網(wǎng)絡(luò)。一種將反饋引入到神經(jīng)網(wǎng)絡(luò)中來的簡單方法是將輸出的時(shí)延直接加到網(wǎng)絡(luò)輸入端。多層感知器網(wǎng)絡(luò)抽頭時(shí)滯環(huán)節(jié)

抽頭時(shí)滯環(huán)節(jié)X(k)X(k-1)X(k-n)X(k-m)Y(k-2)Y(k-1)X(k)Y(k)回歸神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以直接利用靜態(tài)前向傳播神經(jīng)網(wǎng)絡(luò)的BP算法解決。圖4-19帶反饋的時(shí)滯神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)二、Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)可以用一組耦合的非線性微分方程來表示；在任何初始狀態(tài)下都能漸進(jìn)趨于穩(wěn)定態(tài)，這一穩(wěn)定態(tài)是由神經(jīng)元之間的連接權(quán)系數(shù)決定的；具備快速優(yōu)化能力；1、二值型的Hopfield網(wǎng)絡(luò)(離散型的Hopfield網(wǎng)絡(luò))只有一個(gè)神經(jīng)元層次,每個(gè)處理單元均有一個(gè)活躍值，又可稱為狀態(tài)，它取兩個(gè)可能的狀態(tài)值之一，通常用0和1或－1和1來表示神經(jīng)元的抑制和興奮狀態(tài).整個(gè)網(wǎng)絡(luò)的狀態(tài)由單一神經(jīng)元的狀態(tài)組成。網(wǎng)絡(luò)的狀態(tài)可用一個(gè)由0(-1)/1組成的矢量來表示，其中每一元素對應(yīng)于某個(gè)神經(jīng)元的狀態(tài)。通常二值型的Hopfield網(wǎng)絡(luò)可以用如下節(jié)點(diǎn)方程式來描述。式中，表示時(shí)間變量；表示外部輸入；表示神經(jīng)元輸出；表示神經(jīng)元內(nèi)部狀態(tài)；表示閥值函數(shù)。神經(jīng)元之間實(shí)現(xiàn)全連接，即每個(gè)神經(jīng)元的輸出都通過權(quán)系數(shù)反饋到所有其它神經(jīng)元（包括自身神經(jīng)元）圖4-20二值型Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)圖含有n個(gè)節(jié)點(diǎn)的離散Hopfield網(wǎng)絡(luò)有2n個(gè)可能的狀態(tài)；網(wǎng)絡(luò)狀態(tài)變化采用隨機(jī)性異步更新策略；節(jié)點(diǎn)狀態(tài)更新包括三種情況：0→1、1→0，或狀態(tài)保持；某一時(shí)刻網(wǎng)絡(luò)中只有一個(gè)節(jié)點(diǎn)被選擇進(jìn)行狀態(tài)更新，其余的節(jié)點(diǎn)保持原有狀態(tài)；Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移例4-3假設(shè)一個(gè)3節(jié)點(diǎn)的離散Hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閥值如下圖所示。計(jì)算狀態(tài)轉(zhuǎn)移關(guān)系。0.00.00.1-0.50.22/30.6解以初始狀態(tài)為例，我們可以依次選擇節(jié)點(diǎn)，確定其節(jié)點(diǎn)興奮的條件及狀態(tài)的轉(zhuǎn)移。圖4-21a)

3節(jié)點(diǎn)離散hopfield網(wǎng)絡(luò)假設(shè)首先選擇節(jié)點(diǎn)，激勵(lì)函數(shù)為:可見，節(jié)點(diǎn)處于興奮狀態(tài)并且狀態(tài)由0→1。網(wǎng)絡(luò)狀態(tài)由000→100，轉(zhuǎn)移概率為1/3。同樣其它兩個(gè)節(jié)點(diǎn)也可以以等概率發(fā)生狀態(tài)變化，它們的激勵(lì)函數(shù)為節(jié)點(diǎn)和狀態(tài)保持不變。因此，由狀態(tài)000不會(huì)轉(zhuǎn)移到001和010。110000001-0.6-0.43/31/30100111111000.41/30.01/3-0.32/32/31/31/30.01/31/31/30.01/3-0.11/31/31/31/31/31012/3從這個(gè)例子上可以看出，系統(tǒng)狀態(tài)是一個(gè)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)；網(wǎng)絡(luò)從任意一個(gè)初始狀態(tài)開始經(jīng)幾次的狀態(tài)更新后都將到達(dá)此穩(wěn)態(tài)。圖4-21b)

3節(jié)點(diǎn)離散hopfield網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移圖Hopfield網(wǎng)絡(luò)狀態(tài)變化的核心是每個(gè)狀態(tài)定義一個(gè)能量E，任意一個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)變化時(shí)，能量E都將減小。這也是Hopfield網(wǎng)絡(luò)系統(tǒng)穩(wěn)定的重要標(biāo)記。引入能量函數(shù)研究反饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。Hopfield神經(jīng)網(wǎng)絡(luò)中的狀態(tài)變化導(dǎo)致能量函數(shù)E的下降，并且能量函數(shù)的極小值點(diǎn)與網(wǎng)絡(luò)穩(wěn)定狀態(tài)有著緊密的關(guān)系定理4-1離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。例4-4計(jì)算例4-2中的各狀態(tài)能量。

解：首先看狀態(tài)時(shí)，由4-21b)圖可知，狀態(tài)111可以轉(zhuǎn)移到011。狀態(tài)011的能量為同理，可以計(jì)算出其它狀態(tài)對應(yīng)的能量，結(jié)果如圖4-21b所示。方框內(nèi)的數(shù)字所示為能量。顯然，狀態(tài)處的能量最小。從任意初始狀態(tài)開始，網(wǎng)絡(luò)沿能量減小方向更新狀態(tài)，最終能達(dá)到能量極小所對應(yīng)的穩(wěn)定。

神經(jīng)網(wǎng)絡(luò)的能量極小狀態(tài)又稱為能量井。能量井的存在為信息的分布存儲(chǔ)記憶、神經(jīng)優(yōu)化計(jì)算提供了基礎(chǔ)。能量井的分布是由連接權(quán)值決定的。因此，設(shè)計(jì)能量井的核心是如何獲得一組合適的權(quán)值。權(quán)值設(shè)計(jì)通常有兩種方法:靜態(tài)產(chǎn)生方法——

根據(jù)求解問題的要求直接計(jì)算出所需要的連接權(quán)值，一旦權(quán)值確定下來就不再改變；動(dòng)態(tài)產(chǎn)生方法——

通過提供一種學(xué)習(xí)機(jī)制來訓(xùn)練網(wǎng)絡(luò)，使其能自動(dòng)調(diào)整連接權(quán)值，產(chǎn)生期望的能量井；例4-5以圖（下圖）所示的3節(jié)點(diǎn)DHNN為例，要求設(shè)計(jì)的能量井為狀態(tài)和111。權(quán)值和閥值可在[-1,1]區(qū)間取值。試確定網(wǎng)絡(luò)權(quán)值和閥值。圖4-22

3節(jié)點(diǎn)DHNN模型當(dāng)神經(jīng)網(wǎng)絡(luò)達(dá)到能量井時(shí)，神經(jīng)網(wǎng)絡(luò)狀態(tài)則進(jìn)入穩(wěn)定狀態(tài)，不再發(fā)生變化。要想使其進(jìn)入所選擇的穩(wěn)態(tài)，只有修改網(wǎng)絡(luò)的權(quán)值和閥值。分析

記為狀態(tài)A，為狀態(tài)B。對于狀態(tài)A，節(jié)點(diǎn)激勵(lì)函數(shù)必須滿足下列不等式：

解：因?yàn)辄c(diǎn)的神經(jīng)元輸入激勵(lì)函數(shù)值為：，當(dāng)系統(tǒng)處于穩(wěn)態(tài)時(shí)，必須要求，這樣才能保持狀態(tài)不變。①②③同理，可得其余兩個(gè)神經(jīng)元也應(yīng)該滿足相應(yīng)的不等式。對于狀態(tài)B，權(quán)系數(shù)也必須滿足以下不等式。

利用上面6個(gè)不等式可以求出6個(gè)未知量的允許取值范圍。假設(shè)取，則由上面節(jié)①式得④⑤⑥取由④得，

由②得，

由⑤得，

由⑥得，

由③得，取取取取取因此，需要記憶穩(wěn)定A和B的3點(diǎn)DHNN網(wǎng)絡(luò)的一組權(quán)系數(shù)值為：可以驗(yàn)證，利用這組參數(shù)構(gòu)成的DHNN，對于任一初始狀態(tài)，最終都將達(dá)到所期望的穩(wěn)態(tài)A或B。由于網(wǎng)絡(luò)權(quán)值和閥值的選擇可以在某一個(gè)范圍內(nèi)進(jìn)行，因此，它的解并不是唯一的，有可能產(chǎn)生我們不期望的能量井。針對上例。如果選擇權(quán)值和閥值為：可以驗(yàn)證，這組值是滿足上面約束的要求，由這組參數(shù)構(gòu)成DHNN有三個(gè)能量井，除010、111外，還有一假能量井100。100101001011001000010111110圖4-23例4-5的DHNN狀態(tài)轉(zhuǎn)移圖DHNN的學(xué)習(xí)只是在此神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶時(shí)才有意義。其實(shí)質(zhì)是通過一定的學(xué)習(xí)規(guī)則自動(dòng)調(diào)整連接權(quán)值，使網(wǎng)絡(luò)具有期望的能