第9章 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介課件

第9章人工神經(jīng)網(wǎng)絡(luò)第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來(lái)高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過(guò)研究人腦的組成機(jī)理和思維方式，探索人類(lèi)智能的奧秘，進(jìn)而通過(guò)模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類(lèi)似人類(lèi)的智能。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專(zhuān)家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。本章將簡(jiǎn)要介紹神經(jīng)網(wǎng)絡(luò)基本的概念、模型以及學(xué)習(xí)算法。

第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.1.1生物神經(jīng)元的結(jié)構(gòu)與功能特性

1.生物神經(jīng)元的結(jié)構(gòu)

神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱(chēng)之為生物神經(jīng)元，簡(jiǎn)稱(chēng)神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成：（1）細(xì)胞體;（2）軸突;（3）樹(shù)突;(如圖9.1)圖9.1生物神經(jīng)元結(jié)構(gòu)9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹(shù)突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

2.神經(jīng)元的功能特性（1）時(shí)空整合功能。（2）神經(jīng)元的動(dòng)態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結(jié)構(gòu)的可塑性。（5）脈沖與電位信號(hào)的轉(zhuǎn)換。（6）突觸延期和不應(yīng)期。（7）學(xué)習(xí)、遺忘和疲勞。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.1.2人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)

1.人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱(chēng)作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹(shù)突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

圖9.2人工神經(jīng)網(wǎng)絡(luò)的組成

圖9.3M－P神經(jīng)元模型

9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

2.人工神經(jīng)元的工作過(guò)程

對(duì)于某個(gè)處理單元（神經(jīng)元）來(lái)說(shuō)，假設(shè)來(lái)自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi,i=0,1,…,n-1,處理單元的內(nèi)部閾值為θ。那么本處理單元（神經(jīng)元）的輸入為而處理單元的輸出為（9.1.1）（9.1.2）式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重。f稱(chēng)為激發(fā)函數(shù)或作用函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

(a)閾值型(b)分段線(xiàn)性型(c)Sigmoid函數(shù)型(d)雙曲正切型圖常用的激發(fā)函數(shù)這里，激發(fā)函數(shù)一般具有非線(xiàn)性特性,常用的非線(xiàn)性激發(fā)函數(shù)如圖所示稱(chēng)為激活值9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

閾值型函數(shù)又稱(chēng)階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元，也就是我們前面提到的M-P模型。線(xiàn)性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線(xiàn)性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿(mǎn)足線(xiàn)性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。

S型函數(shù)是一個(gè)有最大輸出值的非線(xiàn)性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為激發(fā)函數(shù)的神經(jīng)元也具有飽和特性。雙曲正切型函數(shù)實(shí)際只是一種特殊的S型函數(shù)，其飽和值是－1和1。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介3.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元的不同連接方式就構(gòu)成了網(wǎng)絡(luò)的不同連接模型。常見(jiàn)的連接模型有:

前向網(wǎng)絡(luò)。從輸入層到輸出層有反饋的網(wǎng)絡(luò)。層內(nèi)有互聯(lián)的網(wǎng)絡(luò)?；ヂ?lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介4.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)及其主要特征分類(lèi)按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。按拓?fù)浣Y(jié)構(gòu)分：有反饋網(wǎng)絡(luò)和無(wú)反饋網(wǎng)絡(luò)。按學(xué)習(xí)方法分：有教師的學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)。按連接突觸性質(zhì)分：一階線(xiàn)性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線(xiàn)性關(guān)聯(lián)網(wǎng)絡(luò)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)具有以下主要特征：（1）能較好的模擬人的形象思維。（2）具有大規(guī)模并行協(xié)同處理能力。（3）具有較強(qiáng)的學(xué)習(xí)能力。（4）具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力。（5）是一個(gè)大規(guī)模自組織、自適應(yīng)的非線(xiàn)性動(dòng)力系統(tǒng)。9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.1.3人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了不少的曲折，大體上可分為四個(gè)階段:

產(chǎn)生時(shí)期(20世紀(jì)50年代中期之前)

高潮時(shí)期(20世紀(jì)50年代中期到20世紀(jì)60年代末期)

低潮時(shí)期(20世紀(jì)60年代末到20世紀(jì)80年代初期)

蓬勃發(fā)展時(shí)期(20世紀(jì)80年代以后)9.1神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.2.1感知器模型

感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過(guò)程而提出的一類(lèi)具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。

Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，稱(chēng)為單層感知器。教材中圖9.5所示的即為一個(gè)單層感知器模型。9.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.2.2單層感知器模型的學(xué)習(xí)算法算法思想：首先把連接權(quán)和閾值初始化為較小的非零隨機(jī)數(shù)，然后把有n個(gè)連接權(quán)值的輸入送入網(wǎng)絡(luò)，經(jīng)加權(quán)運(yùn)算處理，得到的輸出如果與所期望的輸出有較大的差別，就對(duì)連接權(quán)值參數(shù)按照某種算法進(jìn)行自動(dòng)調(diào)整，經(jīng)過(guò)多次反復(fù)，直到所得到的輸出與所期望的輸出間的差別滿(mǎn)足要求為止。為簡(jiǎn)單起見(jiàn)，僅考慮只有一個(gè)輸出的簡(jiǎn)單情況。設(shè)xi(t)是時(shí)刻t感知器的輸入（i=1,2,......,n），ωi(t)是相應(yīng)的連接權(quán)值，y(t)是實(shí)際的輸出，d(t)是所期望的輸出，且感知器的輸出或者為1，或者為0，則單層感知器的學(xué)習(xí)算法請(qǐng)參見(jiàn)教材P3259.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.2.3線(xiàn)性不可分問(wèn)題

單層感知器不能表達(dá)的問(wèn)題被稱(chēng)為線(xiàn)性不可分問(wèn)題。1969年，明斯基證明了“異或”問(wèn)題是線(xiàn)性不可分問(wèn)題：

“異或”（XOR）運(yùn)算的定義如下：其相應(yīng)的邏輯運(yùn)算真值表如表9-1所示。（見(jiàn)教材）9.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介由于單層感知器的輸出為

y(x1,x2)=f(ω1×x1+ω2×x2-θ)所以，用感知器實(shí)現(xiàn)簡(jiǎn)單邏輯運(yùn)算的情況如下：

（1）“與”運(yùn)算（x1∧x2）令ω1=ω2=1，θ=2，則

y=f(1×x1+1×x2-2)顯然，當(dāng)x1和x2均為1時(shí)，y的值1；而當(dāng)x1和x2有一個(gè)為0時(shí)，y的值就為0。（2）“或”運(yùn)算（x1∨x2）令ω1=ω2=1,θ=0.5y=f(1×x1+1×x2-0.5)顯然，只要x1和x2中有一個(gè)為1，則y的值就為1；只有當(dāng)x1和x2都為0時(shí)，y的值才為0。9.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介（3）“非”運(yùn)算（～X1）令ω1=-1，ω2=O，θ=-0.5，則

y=f((-1)×x1+1×x2+0.5))顯然，無(wú)論x2為何值，x1為1時(shí)，y的值都為0；x1為O時(shí)，y的值為1。即y總等于～x1。（4）“異或”運(yùn)算（x1XORx2）如果“異或”（XOR）問(wèn)題能用單層感知器解決，則由XOR的真值表9-1可知，ω1、ω2

和θ必須滿(mǎn)足如下方程組：

ω1+ω2-θ＜0ω1+0-θ≥00+0-θ＜00+ω2-θ≥0顯然，該方程組是無(wú)解，這就說(shuō)明單層感知器是無(wú)法解決異或問(wèn)題的。9.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

異或問(wèn)題是一個(gè)只有兩個(gè)輸入和一個(gè)輸出，且輸入輸出都只取1和0兩個(gè)值的問(wèn)題，分析起來(lái)比較簡(jiǎn)單。對(duì)于比較復(fù)雜的多輸入變量函數(shù)來(lái)說(shuō)，到底有多少是線(xiàn)性可分的？多少是線(xiàn)性不可分的呢？相關(guān)研究表明（參見(jiàn)文獻(xiàn)[19]），線(xiàn)性不可分函數(shù)的數(shù)量隨著輸入變量個(gè)數(shù)的增加而快速增加，甚至遠(yuǎn)遠(yuǎn)超過(guò)了線(xiàn)性可分函數(shù)的個(gè)數(shù)。也就是說(shuō)，單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了它所能表達(dá)的問(wèn)題的數(shù)量。這也難怪當(dāng)Minsky給出單層感知器的這一致命缺陷時(shí)，會(huì)使人工神經(jīng)網(wǎng)絡(luò)的研究跌入漫長(zhǎng)的黑暗期。9.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.2.4多層感知器

在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構(gòu)成了二層或多層感知器。在多層感知器模型中，只允許某一層的連接權(quán)值可調(diào)，這是因?yàn)闊o(wú)法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出，因而難以給出一個(gè)有效的多層感知器學(xué)習(xí)算法。多層感知器克服了單層感知器的許多缺點(diǎn)，原來(lái)一些單層感知器無(wú)法解決的問(wèn)題，在多層感知器中就可以解決。例如，應(yīng)用二層感知器就可以解決異或邏輯運(yùn)算問(wèn)題，如圖9.8所示(見(jiàn)教材P329)。9.2感知器模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.3.1反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型也稱(chēng)B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱(chēng)它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱(chēng)作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來(lái)決定連接權(quán)值的修改。9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.3.2反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過(guò)網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過(guò)計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介B-P算法的學(xué)習(xí)過(guò)程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）—（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問(wèn)題。9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介圖9.11B-P學(xué)習(xí)算法的流程圖第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過(guò)程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來(lái)訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：（1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問(wèn)題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問(wèn)題的真正解。所以B-P算法是不完備的。9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.3.3反向傳播計(jì)算的舉例設(shè)圖9.12是一個(gè)簡(jiǎn)單的前向傳播網(wǎng)絡(luò)，用B-P算法確定其中的各連接權(quán)值時(shí)，的計(jì)算方法如下：9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.3反向傳播模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.4.1Hopfield模型Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。圖9.13給出了一個(gè)簡(jiǎn)單的反饋神經(jīng)網(wǎng)絡(luò)圖。9.4Hopfield模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開(kāi)始，網(wǎng)絡(luò)的狀態(tài)不再改變。設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開(kāi)始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開(kāi)始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即

(9.4.1)

就稱(chēng)此網(wǎng)絡(luò)是穩(wěn)定的。9.4Hopfield模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來(lái)表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個(gè)對(duì)角線(xiàn)為0的對(duì)稱(chēng)矩陣，即

(9.4.2）

如果用x(t)表示整個(gè)網(wǎng)絡(luò)在時(shí)刻ｔ的狀態(tài)，則X是一個(gè)向量，它包含了網(wǎng)絡(luò)中每個(gè)人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個(gè)數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個(gè)數(shù)。假設(shè)網(wǎng)絡(luò)中的節(jié)點(diǎn)（人工神經(jīng)元）個(gè)數(shù)為n，則向量X的構(gòu)成如下：9.4Hopfield模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

這里，,其中的Ｗij為節(jié)點(diǎn)ｉ到節(jié)點(diǎn)ｊ的連接權(quán)值；為節(jié)點(diǎn)ｊ的閾值。

(9.4.3)Xi(t)表示節(jié)點(diǎn)i（第個(gè)i神經(jīng)元）在時(shí)刻t的狀態(tài)，該節(jié)點(diǎn)在時(shí)刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4)9.4Hopfield模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：（1）串行方式，是指在任一時(shí)刻t，只有一個(gè)神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時(shí)刻t，都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對(duì)角元的對(duì)稱(chēng)矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性。9.4Hopfield模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1984年，Hopfield又提出了連續(xù)時(shí)間的神經(jīng)網(wǎng)絡(luò)，在這種神經(jīng)網(wǎng)絡(luò)中，各節(jié)點(diǎn)可在0到1的區(qū)間內(nèi)取任一實(shí)數(shù)值。

Hopfield網(wǎng)絡(luò)是一種非線(xiàn)性的動(dòng)力網(wǎng)絡(luò)，可通過(guò)反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來(lái)求解問(wèn)題，這是符號(hào)邏輯方法所不具有的特性。在求解某些問(wèn)題時(shí)，其求解問(wèn)題的方法與人類(lèi)求解問(wèn)題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問(wèn)題的策略9.4Hopfield模型及其學(xué)習(xí)算法第9章人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.4.2Hopfield網(wǎng)絡(luò)的學(xué)習(xí)算法(1)設(shè)置互連權(quán)值。