人工智能（神經(jīng)網(wǎng)絡(luò)）課件

神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)1人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來(lái)高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過(guò)研究人腦的組成機(jī)理和思維方式，探索人類(lèi)智能的奧秘，進(jìn)而通過(guò)模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類(lèi)似人類(lèi)的智能。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專(zhuān)家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。本章將簡(jiǎn)要介紹神經(jīng)網(wǎng)絡(luò)基本的概念、模型以及學(xué)習(xí)算法。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信2神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.1生物神經(jīng)元的結(jié)構(gòu)與功能特性

1.生物神經(jīng)元的結(jié)構(gòu)神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱(chēng)之為生物神經(jīng)元，簡(jiǎn)稱(chēng)神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成：（1）細(xì)胞體;（2）軸突;（3）樹(shù)突;(如圖)生物神經(jīng)元結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.1生物神經(jīng)元的結(jié)構(gòu)與功3神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹(shù)突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

2.神經(jīng)元的功能特性（1）時(shí)空整合功能。（2）神經(jīng)元的動(dòng)態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結(jié)構(gòu)的可塑性。（5）脈沖與電位信號(hào)的轉(zhuǎn)換。（6）突觸延期和不應(yīng)期。（7）學(xué)習(xí)、遺忘和疲勞。神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性突觸是神經(jīng)元之間相互連接的接口49.1.2人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)

1.人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱(chēng)作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹(shù)突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.2人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)9.1神經(jīng)網(wǎng)絡(luò)的基本5

圖9.2人工神經(jīng)網(wǎng)絡(luò)的組成

圖9.3M－P神經(jīng)元模型

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性圖9.2人工神經(jīng)網(wǎng)絡(luò)的組成圖9.36

2.人工神經(jīng)元的工作過(guò)程對(duì)于某個(gè)處理單元（神經(jīng)元）來(lái)說(shuō)，假設(shè)來(lái)自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi,i=0,1,…,n-1,處理單元的內(nèi)部閾值為θ。那么本處理單元（神經(jīng)元）的輸入為而處理單元的輸出為（9.1.1）（9.1.2）式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重。f稱(chēng)為激發(fā)函數(shù)或作用函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性2.人工神經(jīng)元的工作過(guò)程而處理單元的輸出7

(a)閾值型

(b)分段線性型

(c)Sigmoid函數(shù)型

(d)雙曲正切型

圖

常用的激發(fā)函數(shù)

這里，激發(fā)函數(shù)一般具有非線性特性,常用的非線性激發(fā)函數(shù)如圖所示稱(chēng)為激活值9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性(a)閾值型(b)分段線性型(c)S8閾值型函數(shù)又稱(chēng)階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元，也就是我們前面提到的M-P模型。線性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿(mǎn)足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。

S型函數(shù)是一個(gè)有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為激發(fā)函數(shù)的神經(jīng)元也具有飽和特性。雙曲正切型函數(shù)實(shí)際只是一種特殊的S型函數(shù)，其飽和值是－1和1。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性閾值型函數(shù)又稱(chēng)階躍函數(shù)，它表示激活值σ和其輸出f(σ)93.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元的不同連接方式就構(gòu)成了網(wǎng)絡(luò)的不同連接模型。常見(jiàn)的連接模型有:

前向網(wǎng)絡(luò)。從輸入層到輸出層有反饋的網(wǎng)絡(luò)。層內(nèi)有互聯(lián)的網(wǎng)絡(luò)?；ヂ?lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性3.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特104.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)及其主要特征分類(lèi)按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。按拓?fù)浣Y(jié)構(gòu)分：有反饋網(wǎng)絡(luò)和無(wú)反饋網(wǎng)絡(luò)。按學(xué)習(xí)方法分：有教師的學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)。按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性4.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)及其主要特征9.1神經(jīng)網(wǎng)絡(luò)的11人工神經(jīng)網(wǎng)絡(luò)具有以下主要特征：（1）能較好的模擬人的形象思維。

（2）具有大規(guī)模并行協(xié)同處理能力。

（3）具有較強(qiáng)的學(xué)習(xí)能力。

（4）具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力。（5）是一個(gè)大規(guī)模自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性人工神經(jīng)網(wǎng)絡(luò)具有以下主要特征：9.1神經(jīng)網(wǎng)絡(luò)的基本概念129.1.3人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了不少的曲折，大體上可分為四個(gè)階段:

產(chǎn)生時(shí)期(20世紀(jì)50年代中期之前)

高潮時(shí)期(20世紀(jì)50年代中期到20世紀(jì)60年代末期)

低潮時(shí)期(20世紀(jì)60年代末到20世紀(jì)80年代初期)

蓬勃發(fā)展時(shí)期(20世紀(jì)80年代以后)

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.3人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展9.1神經(jīng)網(wǎng)絡(luò)的13人工智能（神經(jīng)網(wǎng)絡(luò)）14人工智能（神經(jīng)網(wǎng)絡(luò)）15人工智能（神經(jīng)網(wǎng)絡(luò)）16人工智能（神經(jīng)網(wǎng)絡(luò)）179.2.1感知器模型感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過(guò)程而提出的一類(lèi)具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。

Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，稱(chēng)為單層感知器。9.2感知器模型及其學(xué)習(xí)算法9.2.1感知器模型9.2感知器模型及其學(xué)習(xí)算法189.2.2單層感知器模型的學(xué)習(xí)算法算法思想：首先把連接權(quán)和閾值初始化為較小的非零隨機(jī)數(shù)，然后把有n個(gè)連接權(quán)值的輸入送入網(wǎng)絡(luò)，經(jīng)加權(quán)運(yùn)算處理，得到的輸出如果與所期望的輸出有較大的差別，就對(duì)連接權(quán)值參數(shù)按照某種算法進(jìn)行自動(dòng)調(diào)整，經(jīng)過(guò)多次反復(fù)，直到所得到的輸出與所期望的輸出間的差別滿(mǎn)足要求為止。為簡(jiǎn)單起見(jiàn)，僅考慮只有一個(gè)輸出的簡(jiǎn)單情況。設(shè)xi(t)是時(shí)刻t感知器的輸入（i=1,2,......,n），ωi(t)是相應(yīng)的連接權(quán)值，y(t)是實(shí)際的輸出，d(t)是所期望的輸出，且感知器的輸出或者為1，或者為0，則單層感知器的學(xué)習(xí)算法9.2感知器模型及其學(xué)習(xí)算法9.2.2單層感知器模型的學(xué)習(xí)算法9.2感知器模型及其19感知器模型學(xué)習(xí)算法感知器模型學(xué)習(xí)算法209.2.3線性不可分問(wèn)題

單層感知器不能表達(dá)的問(wèn)題被稱(chēng)為線性不可分問(wèn)題。

1969年，明斯基證明了“異或”問(wèn)題是線性不可分問(wèn)題：“異或”（XOR）運(yùn)算的定義如下：其相應(yīng)的邏輯運(yùn)算真值表9.2感知器模型及其學(xué)習(xí)算法9.2.3線性不可分問(wèn)題9.2感知器模型及其學(xué)習(xí)算法21由于單層感知器的輸出為

y(x1,x2)=f(ω1×x1+ω2×x2-θ)所以，用感知器實(shí)現(xiàn)簡(jiǎn)單邏輯運(yùn)算的情況如下：

（1）“與”運(yùn)算（x1∧x2）令ω1=ω2=1，θ=2，則

y=f(1×x1+1×x2-2)顯然，當(dāng)x1和x2均為1時(shí)，y的值1；而當(dāng)x1和x2有一個(gè)為0時(shí)，y的值就為0。（2）“或”運(yùn)算（x1∨x2）令ω1=ω2=1,θ=0.5y=f(1×x1+1×x2-0.5)顯然，只要x1和x2中有一個(gè)為1，則y的值就為1；只有當(dāng)x1和x2都為0時(shí)，y的值才為0。9.2感知器模型及其學(xué)習(xí)算法由于單層感知器的輸出為9.2感知器模型及其學(xué)習(xí)算法22（3）“非”運(yùn)算（～X1）令ω1=-1，ω2=O，θ=-0.5，則

y=f((-1)×x1+1×x2+0.5))顯然，無(wú)論x2為何值，x1為1時(shí)，y的值都為0；x1為O時(shí)，y的值為1。即y總等于～x1。（4）“異或”運(yùn)算（x1XORx2）如果“異或”（XOR）問(wèn)題能用單層感知器解決，則由XOR的真值表9-1可知，ω1、ω2

和θ必須滿(mǎn)足如下方程組：

ω1+ω2-θ＜0ω1+0-θ≥00+0-θ＜00+ω2-θ≥0顯然，該方程組是無(wú)解，這就說(shuō)明單層感知器是無(wú)法解決異或問(wèn)題的。9.2感知器模型及其學(xué)習(xí)算法（3）“非”運(yùn)算（～X1）9.2感知器模型及其學(xué)習(xí)算法23異或問(wèn)題是一個(gè)只有兩個(gè)輸入和一個(gè)輸出，且輸入輸出都只取1和0兩個(gè)值的問(wèn)題，分析起來(lái)比較簡(jiǎn)單。對(duì)于比較復(fù)雜的多輸入變量函數(shù)來(lái)說(shuō)，到底有多少是線性可分的？多少是線性不可分的呢？相關(guān)研究表明，線性不可分函數(shù)的數(shù)量隨著輸入變量個(gè)數(shù)的增加而快速增加，甚至遠(yuǎn)遠(yuǎn)超過(guò)了線性可分函數(shù)的個(gè)數(shù)。也就是說(shuō)，單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了它所能表達(dá)的問(wèn)題的數(shù)量。這也難怪當(dāng)Minsky給出單層感知器的這一致命缺陷時(shí)，會(huì)使人工神經(jīng)網(wǎng)絡(luò)的研究跌入漫長(zhǎng)的黑暗期。9.2感知器模型及其學(xué)習(xí)算法異或問(wèn)題是一個(gè)只有兩個(gè)輸入和一個(gè)輸出，且輸入輸出都只取1249.2.4多層感知器在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構(gòu)成了二層或多層感知器。在多層感知器模型中，只允許某一層的連接權(quán)值可調(diào)，這是因?yàn)闊o(wú)法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出，因而難以給出一個(gè)有效的多層感知器學(xué)習(xí)算法。多層感知器克服了單層感知器的許多缺點(diǎn)，原來(lái)一些單層感知器無(wú)法解決的問(wèn)題，在多層感知器中就可以解決。例如，應(yīng)用二層感知器就可以解決異或邏輯運(yùn)算問(wèn)題

9.2感知器模型及其學(xué)習(xí)算法9.2.4多層感知器9.2感知器模型及其學(xué)習(xí)算法259.3.1反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型也稱(chēng)B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱(chēng)它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱(chēng)作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來(lái)決定連接權(quán)值的修改。9.3反向傳播模型及其學(xué)習(xí)算法9.3.1反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)9.3反向傳播模型及其26B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。

9.3反向傳播模型及其學(xué)習(xí)算法B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。9.3279.3.2反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過(guò)網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過(guò)計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。9.3反向傳播模型及其學(xué)習(xí)算法9.3.2反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法9.3反向傳播模型及其學(xué)28B-P算法的學(xué)習(xí)過(guò)程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）—（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。9.3反向傳播模型及其學(xué)習(xí)算法B-P算法的學(xué)習(xí)過(guò)程如下：9.3反向傳播模型及其學(xué)習(xí)算法29在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問(wèn)題。

9.3反向傳播模型及其學(xué)習(xí)算法在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一30圖9.11B-P學(xué)習(xí)算法的流程圖圖9.11B-P學(xué)習(xí)算法的流程圖31B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過(guò)程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來(lái)訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：（1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問(wèn)題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問(wèn)題的真正解。所以B-P算法是不完備的。9.3反向傳播模型及其學(xué)習(xí)算法B-P算法的優(yōu)缺點(diǎn)：9.3反向傳播模型及其學(xué)習(xí)算法329.3.3反向傳播計(jì)算的舉例設(shè)圖9.12是一個(gè)簡(jiǎn)單的前向傳播網(wǎng)絡(luò)，用B-P算法確定其中的各連接權(quán)值時(shí)，的計(jì)算方法如下：9.3反向傳播模型及其學(xué)習(xí)算法9.3.3反向傳播計(jì)算的舉例9.3反向傳播模型及其學(xué)習(xí)算339.3反向傳播模型及其學(xué)習(xí)算法9.3反向傳播模型及其學(xué)習(xí)算法349.3反向傳播模型及其學(xué)習(xí)算法9.3反向傳播模型及其學(xué)習(xí)算法359.3反向傳播模型及其學(xué)習(xí)算法9.3反向傳播模型及其學(xué)習(xí)算法369.4.1Hopfield模型Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。圖9.13給出了一個(gè)簡(jiǎn)單的反饋神經(jīng)網(wǎng)絡(luò)圖。

9.4Hopfield模型及其學(xué)習(xí)算法9.4.1Hopfield模型9.4Hopfield模37由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開(kāi)始，網(wǎng)絡(luò)的狀態(tài)不再改變。

設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開(kāi)始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開(kāi)始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即

(9.4.1)

就稱(chēng)此網(wǎng)絡(luò)是穩(wěn)定的。

9.4Hopfield模型及其學(xué)習(xí)算法由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中38

離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來(lái)表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個(gè)對(duì)角線為0的對(duì)稱(chēng)矩陣，即

(9.4.2）

如果用x(t)表示整個(gè)網(wǎng)絡(luò)在時(shí)刻ｔ的狀態(tài)，則X是一個(gè)向量，它包含了網(wǎng)絡(luò)中每個(gè)人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個(gè)數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個(gè)數(shù)。假設(shè)網(wǎng)絡(luò)中的節(jié)點(diǎn)（人工神經(jīng)元）個(gè)數(shù)為n，則向量X的構(gòu)成如下：9.4Hopfield模型及其學(xué)習(xí)算法離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩39

這里，,其中的Ｗij為節(jié)點(diǎn)ｉ到節(jié)點(diǎn)ｊ的連接權(quán)值；為節(jié)點(diǎn)ｊ的閾值。

(9.4.3)Xi(t)表示節(jié)點(diǎn)i（第個(gè)i神經(jīng)元）在時(shí)刻t的狀態(tài)，該節(jié)點(diǎn)在時(shí)刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4)9.4Hopfield模型及其學(xué)習(xí)算法(9.4.3)Xi(t)表示節(jié)點(diǎn)i（第個(gè)i神經(jīng)元）在時(shí)刻40

Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：（1）串行方式，是指在任一時(shí)刻t，只有一個(gè)神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時(shí)刻t，都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。

有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明

，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對(duì)角元的對(duì)稱(chēng)矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性。9.4Hopfield模型及其學(xué)習(xí)算法Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：9.4H41

1984年，Hopfield又提出了連續(xù)時(shí)間的神經(jīng)網(wǎng)絡(luò)，在這種神經(jīng)網(wǎng)絡(luò)中，各節(jié)點(diǎn)可在0到1的區(qū)間內(nèi)取任一實(shí)數(shù)值。

Hopfield網(wǎng)絡(luò)是一種非線性的動(dòng)力網(wǎng)絡(luò)，可通過(guò)反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來(lái)求解問(wèn)題，這是符號(hào)邏輯方法所不具有的特性。在求解某些問(wèn)題時(shí)，其求解問(wèn)題的方法與人類(lèi)求解問(wèn)題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問(wèn)題的策略

9.4Hopfield模型及其學(xué)習(xí)算法1984年，Hopfield又提出了連續(xù)時(shí)間的神429.4.2Hopfield網(wǎng)絡(luò)的學(xué)習(xí)算法(1)設(shè)置互連權(quán)值。

(9.4.5）其中，是s類(lèi)樣例的第i個(gè)分量，它可以為1或0，樣例類(lèi)別數(shù)為m，節(jié)點(diǎn)數(shù)為n。

9.4Hopfield模型及其學(xué)習(xí)算法9.4.2Hopfield網(wǎng)絡(luò)的學(xué)習(xí)算法(1)設(shè)置互連權(quán)43(2)未知類(lèi)別樣本初始化。

(9.4.6)其中，yi(t)為節(jié)點(diǎn)I在t時(shí)刻的輸出，當(dāng)t=0時(shí)，yi(0)就是節(jié)點(diǎn)I的初始值，xi為輸入樣本的第I個(gè)分量。(3)迭代直到收斂。

(9.4.7)式(9.4.7)中f為閾值型激發(fā)函數(shù)。該過(guò)程一直迭代到不再改變節(jié)點(diǎn)的輸出為止。這時(shí)各節(jié)點(diǎn)的輸出與輸入樣例達(dá)到最佳匹配。否則(4)轉(zhuǎn)（2）繼續(xù)。9.4Hopfield模型及其學(xué)習(xí)算法(2)未知類(lèi)別樣本初始化。(3)迭代直到收斂。9.444前面已經(jīng)指出，當(dāng)Hopfield模型的網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值所構(gòu)成的矩陣是一個(gè)非負(fù)對(duì)角元的對(duì)稱(chēng)矩陣時(shí)或者是一個(gè)非負(fù)定矩陣時(shí)，上述算法是收斂的。

人工神經(jīng)網(wǎng)絡(luò)的類(lèi)型很多，這里只簡(jiǎn)單介紹了三種比較重要且常用的模型及其算法，即感知器模型、B-P網(wǎng)絡(luò)模型和Hopfield網(wǎng)絡(luò)模型。若想更深入地了解，請(qǐng)參閱人工神經(jīng)網(wǎng)絡(luò)相關(guān)的專(zhuān)著或教材。

9.4Hopfield模型及其學(xué)習(xí)算法返回目錄前面已經(jīng)指出，當(dāng)Hopfield模型的網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)45神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)46人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來(lái)高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過(guò)研究人腦的組成機(jī)理和思維方式，探索人類(lèi)智能的奧秘，進(jìn)而通過(guò)模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類(lèi)似人類(lèi)的智能。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專(zhuān)家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。本章將簡(jiǎn)要介紹神經(jīng)網(wǎng)絡(luò)基本的概念、模型以及學(xué)習(xí)算法。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信47神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.1生物神經(jīng)元的結(jié)構(gòu)與功能特性

1.生物神經(jīng)元的結(jié)構(gòu)神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱(chēng)之為生物神經(jīng)元，簡(jiǎn)稱(chēng)神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成：（1）細(xì)胞體;（2）軸突;（3）樹(shù)突;(如圖)生物神經(jīng)元結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.1生物神經(jīng)元的結(jié)構(gòu)與功48神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹(shù)突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

2.神經(jīng)元的功能特性（1）時(shí)空整合功能。（2）神經(jīng)元的動(dòng)態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結(jié)構(gòu)的可塑性。（5）脈沖與電位信號(hào)的轉(zhuǎn)換。（6）突觸延期和不應(yīng)期。（7）學(xué)習(xí)、遺忘和疲勞。神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性突觸是神經(jīng)元之間相互連接的接口499.1.2人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)

1.人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱(chēng)作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹(shù)突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.2人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)9.1神經(jīng)網(wǎng)絡(luò)的基本50

圖9.2人工神經(jīng)網(wǎng)絡(luò)的組成

圖9.3M－P神經(jīng)元模型

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性圖9.2人工神經(jīng)網(wǎng)絡(luò)的組成圖9.351

2.人工神經(jīng)元的工作過(guò)程對(duì)于某個(gè)處理單元（神經(jīng)元）來(lái)說(shuō)，假設(shè)來(lái)自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi,i=0,1,…,n-1,處理單元的內(nèi)部閾值為θ。那么本處理單元（神經(jīng)元）的輸入為而處理單元的輸出為（9.1.1）（9.1.2）式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重。f稱(chēng)為激發(fā)函數(shù)或作用函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性2.人工神經(jīng)元的工作過(guò)程而處理單元的輸出52

(a)閾值型

(b)分段線性型

(c)Sigmoid函數(shù)型

(d)雙曲正切型

圖

常用的激發(fā)函數(shù)

這里，激發(fā)函數(shù)一般具有非線性特性,常用的非線性激發(fā)函數(shù)如圖所示稱(chēng)為激活值9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性(a)閾值型(b)分段線性型(c)S53閾值型函數(shù)又稱(chēng)階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元，也就是我們前面提到的M-P模型。線性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿(mǎn)足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。

S型函數(shù)是一個(gè)有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為激發(fā)函數(shù)的神經(jīng)元也具有飽和特性。雙曲正切型函數(shù)實(shí)際只是一種特殊的S型函數(shù)，其飽和值是－1和1。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性閾值型函數(shù)又稱(chēng)階躍函數(shù)，它表示激活值σ和其輸出f(σ)543.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元的不同連接方式就構(gòu)成了網(wǎng)絡(luò)的不同連接模型。常見(jiàn)的連接模型有:

前向網(wǎng)絡(luò)。從輸入層到輸出層有反饋的網(wǎng)絡(luò)。層內(nèi)有互聯(lián)的網(wǎng)絡(luò)?；ヂ?lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性3.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特554.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)及其主要特征分類(lèi)按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。按拓?fù)浣Y(jié)構(gòu)分：有反饋網(wǎng)絡(luò)和無(wú)反饋網(wǎng)絡(luò)。按學(xué)習(xí)方法分：有教師的學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)。按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性4.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)及其主要特征9.1神經(jīng)網(wǎng)絡(luò)的56人工神經(jīng)網(wǎng)絡(luò)具有以下主要特征：（1）能較好的模擬人的形象思維。

（2）具有大規(guī)模并行協(xié)同處理能力。

（3）具有較強(qiáng)的學(xué)習(xí)能力。

（4）具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力。（5）是一個(gè)大規(guī)模自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)。

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性人工神經(jīng)網(wǎng)絡(luò)具有以下主要特征：9.1神經(jīng)網(wǎng)絡(luò)的基本概念579.1.3人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了不少的曲折，大體上可分為四個(gè)階段:

產(chǎn)生時(shí)期(20世紀(jì)50年代中期之前)

高潮時(shí)期(20世紀(jì)50年代中期到20世紀(jì)60年代末期)

低潮時(shí)期(20世紀(jì)60年代末到20世紀(jì)80年代初期)

蓬勃發(fā)展時(shí)期(20世紀(jì)80年代以后)

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性9.1.3人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展9.1神經(jīng)網(wǎng)絡(luò)的58人工智能（神經(jīng)網(wǎng)絡(luò)）59人工智能（神經(jīng)網(wǎng)絡(luò)）60人工智能（神經(jīng)網(wǎng)絡(luò)）61人工智能（神經(jīng)網(wǎng)絡(luò)）629.2.1感知器模型感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過(guò)程而提出的一類(lèi)具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。

Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，稱(chēng)為單層感知器。9.2感知器模型及其學(xué)習(xí)算法9.2.1感知器模型9.2感知器模型及其學(xué)習(xí)算法639.2.2單層感知器模型的學(xué)習(xí)算法算法思想：首先把連接權(quán)和閾值初始化為較小的非零隨機(jī)數(shù)，然后把有n個(gè)連接權(quán)值的輸入送入網(wǎng)絡(luò)，經(jīng)加權(quán)運(yùn)算處理，得到的輸出如果與所期望的輸出有較大的差別，就對(duì)連接權(quán)值參數(shù)按照某種算法進(jìn)行自動(dòng)調(diào)整，經(jīng)過(guò)多次反復(fù)，直到所得到的輸出與所期望的輸出間的差別滿(mǎn)足要求為止。為簡(jiǎn)單起見(jiàn)，僅考慮只有一個(gè)輸出的簡(jiǎn)單情況。設(shè)xi(t)是時(shí)刻t感知器的輸入（i=1,2,......,n），ωi(t)是相應(yīng)的連接權(quán)值，y(t)是實(shí)際的輸出，d(t)是所期望的輸出，且感知器的輸出或者為1，或者為0，則單層感知器的學(xué)習(xí)算法9.2感知器模型及其學(xué)習(xí)算法9.2.2單層感知器模型的學(xué)習(xí)算法9.2感知器模型及其64感知器模型學(xué)習(xí)算法感知器模型學(xué)習(xí)算法659.2.3線性不可分問(wèn)題

單層感知器不能表達(dá)的問(wèn)題被稱(chēng)為線性不可分問(wèn)題。

1969年，明斯基證明了“異或”問(wèn)題是線性不可分問(wèn)題：“異或”（XOR）運(yùn)算的定義如下：其相應(yīng)的邏輯運(yùn)算真值表9.2感知器模型及其學(xué)習(xí)算法9.2.3線性不可分問(wèn)題9.2感知器模型及其學(xué)習(xí)算法66由于單層感知器的輸出為

y(x1,x2)=f(ω1×x1+ω2×x2-θ)所以，用感知器實(shí)現(xiàn)簡(jiǎn)單邏輯運(yùn)算的情況如下：

（1）“與”運(yùn)算（x1∧x2）令ω1=ω2=1，θ=2，則

y=f(1×x1+1×x2-2)顯然，當(dāng)x1和x2均為1時(shí)，y的值1；而當(dāng)x1和x2有一個(gè)為0時(shí)，y的值就為0。（2）“或”運(yùn)算（x1∨x2）令ω1=ω2=1,θ=0.5y=f(1×x1+1×x2-0.5)顯然，只要x1和x2中有一個(gè)為1，則y的值就為1；只有當(dāng)x1和x2都為0時(shí)，y的值才為0。9.2感知器模型及其學(xué)習(xí)算法由于單層感知器的輸出為9.2感知器模型及其學(xué)習(xí)算法67（3）“非”運(yùn)算（～X1）令ω1=-1，ω2=O，θ=-0.5，則

y=f((-1)×x1+1×x2+0.5))顯然，無(wú)論x2為何值，x1為1時(shí)，y的值都為0；x1為O時(shí)，y的值為1。即y總等于～x1。（4）“異或”運(yùn)算（x1XORx2）如果“異或”（XOR）問(wèn)題能用單層感知器解決，則由XOR的真值表9-1可知，ω1、ω2

和θ必須滿(mǎn)足如下方程組：

ω1+ω2-θ＜0ω1+0-θ≥00+0-θ＜00+ω2-θ≥0顯然，該方程組是無(wú)解，這就說(shuō)明單層感知器是無(wú)法解決異或問(wèn)題的。9.2感知器模型及其學(xué)習(xí)算法（3）“非”運(yùn)算（～X1）9.2感知器模型及其學(xué)習(xí)算法68異或問(wèn)題是一個(gè)只有兩個(gè)輸入和一個(gè)輸出，且輸入輸出都只取1和0兩個(gè)值的問(wèn)題，分析起來(lái)比較簡(jiǎn)單。對(duì)于比較復(fù)雜的多輸入變量函數(shù)來(lái)說(shuō)，到底有多少是線性可分的？多少是線性不可分的呢？相關(guān)研究表明，線性不可分函數(shù)的數(shù)量隨著輸入變量個(gè)數(shù)的增加而快速增加，甚至遠(yuǎn)遠(yuǎn)超過(guò)了線性可分函數(shù)的個(gè)數(shù)。也就是說(shuō)，單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了它所能表達(dá)的問(wèn)題的數(shù)量。這也難怪當(dāng)Minsky給出單層感知器的這一致命缺陷時(shí)，會(huì)使人工神經(jīng)網(wǎng)絡(luò)的研究跌入漫長(zhǎng)的黑暗期。9.2感知器模型及其學(xué)習(xí)算法異或問(wèn)題是一個(gè)只有兩個(gè)輸入和一個(gè)輸出，且輸入輸出都只取1699.2.4多層感知器在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構(gòu)成了二層或多層感知器。在多層感知器模型中，只允許某一層的連接權(quán)值可調(diào)，這是因?yàn)闊o(wú)法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出，因而難以給出一個(gè)有效的多層感知器學(xué)習(xí)算法。多層感知器克服了單層感知器的許多缺點(diǎn)，原來(lái)一些單層感知器無(wú)法解決的問(wèn)題，在多層感知器中就可以解決。例如，應(yīng)用二層感知器就可以解決異或邏輯運(yùn)算問(wèn)題

9.2感知器模型及其學(xué)習(xí)算法9.2.4多層感知器9.2感知器模型及其學(xué)習(xí)算法709.3.1反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型也稱(chēng)B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱(chēng)它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱(chēng)作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來(lái)決定連接權(quán)值的修改。9.3反向傳播模型及其學(xué)習(xí)算法9.3.1反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)9.3反向傳播模型及其71B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。

9.3反向傳播模型及其學(xué)習(xí)算法B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。9.3729.3.2反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過(guò)網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過(guò)計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。9.3反向傳播模型及其學(xué)習(xí)算法9.3.2反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法9.3反向傳播模型及其學(xué)73B-P算法的學(xué)習(xí)過(guò)程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）—（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。9.3反向傳播模型及其學(xué)習(xí)算法B-P算法的學(xué)習(xí)過(guò)程如下：9.3反向傳播模型及其學(xué)習(xí)算法74在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問(wèn)題。

9.3反向傳播模型及其學(xué)習(xí)算法在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一75圖9.11B-P學(xué)習(xí)算法的流程圖圖9.11B-P學(xué)習(xí)算法的流程圖76B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過(guò)程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來(lái)訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：（1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問(wèn)題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問(wèn)題的真正解。所以B-P算法是不完備的。9.3反向傳播模型及其學(xué)習(xí)算法B-P算法的優(yōu)缺點(diǎn)：9.3反向傳播模型及其學(xué)習(xí)算法779.3.3反向傳播計(jì)算的舉例設(shè)圖9.12是一個(gè)簡(jiǎn)單的前向傳播網(wǎng)絡(luò)，用B-P算法確定其中的各連接權(quán)值時(shí)，的計(jì)算方法如下：9.3反向傳播模型及其學(xué)習(xí)算法9.3.3反向傳播計(jì)算的舉例9.3反向傳播模型及其學(xué)習(xí)算789.3反向傳播模型及其學(xué)習(xí)算法9.3反向傳播模型及其學(xué)習(xí)算法799.3反向傳播模型及其學(xué)習(xí)算法9.3反向傳播模型及其學(xué)習(xí)算法809.3反向傳播模型及其學(xué)習(xí)算法9.3反向傳播模型及其學(xué)習(xí)算法819.4.1Hopfield模型Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。圖9.13給出了一個(gè)簡(jiǎn)單的反饋神經(jīng)網(wǎng)絡(luò)圖。

9.4Hopfield模型及其學(xué)習(xí)算法9.4.1Hopfield模型9.4Hopfield模82由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開(kāi)始，網(wǎng)絡(luò)的狀態(tài)不再改變。

設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開(kāi)始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開(kāi)始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即

(9.4.1)

就稱(chēng)此網(wǎng)絡(luò)是穩(wěn)定的。

9.4Hopfield模型及其學(xué)習(xí)算法由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中83

離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來(lái)表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個(gè)對(duì)角線為0的對(duì)稱(chēng)矩陣，即

(9.4.2）

如果用x(t)表示整個(gè)網(wǎng)絡(luò)在時(shí)刻ｔ的狀態(tài)，則X是一個(gè)向量，它包含了網(wǎng)絡(luò)中每個(gè)人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個(gè)數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個(gè)數(shù)。假設(shè)網(wǎng)絡(luò)中的節(jié)點(diǎn)（人工神經(jīng)元）個(gè)數(shù)為n，則向量X的構(gòu)成如下：9.4