神經(jīng)網(wǎng)絡(luò)導(dǎo)論第三章

神經(jīng)網(wǎng)絡(luò)導(dǎo)論第三章第1頁，共64頁，2023年，2月20日，星期六概述反饋神經(jīng)網(wǎng)絡(luò)模型可用一完備的無向圖表示。從系統(tǒng)的觀點(diǎn)看，反饋神經(jīng)網(wǎng)絡(luò)模型是一反饋動力學(xué)系統(tǒng)，它具有極復(fù)雜的動力學(xué)特性。在反饋神經(jīng)網(wǎng)絡(luò)模型中，我們關(guān)心的是其穩(wěn)定性,穩(wěn)定性是神經(jīng)網(wǎng)絡(luò)相聯(lián)存儲性質(zhì)的體現(xiàn)，可以說穩(wěn)定就意味著完成回憶。從計(jì)算的角度講，反饋神經(jīng)網(wǎng)絡(luò)模型具有比前饋神經(jīng)網(wǎng)絡(luò)模型更強(qiáng)的計(jì)算能力。第2頁，共64頁，2023年，2月20日，星期六內(nèi)容提要

Hopfield神經(jīng)網(wǎng)絡(luò)模型

海明神經(jīng)網(wǎng)絡(luò)模型雙向聯(lián)想存儲器應(yīng)用實(shí)例分析第3頁，共64頁，2023年，2月20日，星期六第一節(jié)Hopfield模型第4頁，共64頁，2023年，2月20日，星期六Hopfield神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)第5頁，共64頁，2023年，2月20日，星期六Hopfield神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)描述

Hopfield神經(jīng)網(wǎng)絡(luò)模型一般由單層全互連的神經(jīng)元ui(i=1,…，n)組成。神經(jīng)元沒有自連接,即wii＝0；神經(jīng)元與神經(jīng)元之間的連接是對稱的，即wij＝wji。第6頁，共64頁，2023年，2月20日，星期六Hopfield模型數(shù)學(xué)描述

輸入該模型中神經(jīng)元實(shí)際上是一線性閾值單元。圖中x1，x2，…，xn為該自適應(yīng)線性元在t時刻的外部輸入，用向量表示為:X＝（x1，x2，…，xn）T

這個向量稱為自適應(yīng)線性元的輸入信號向量或輸入模式向量。第7頁，共64頁，2023年，2月20日，星期六Hopfield模型數(shù)學(xué)描述

連接權(quán)值第8頁，共64頁，2023年，2月20日，星期六Hopfield模型數(shù)學(xué)描述

輸出

二值輸出第9頁，共64頁，2023年，2月20日，星期六Hopfield模型的學(xué)習(xí)當(dāng)用Hopfield網(wǎng)絡(luò)作相聯(lián)存儲器時，其權(quán)值賦予的規(guī)則稱為外積存儲規(guī)則。假設(shè)有m個樣本向量X1、X2、…、Xm要存入Hopfield神經(jīng)網(wǎng)絡(luò)中，則第i個神經(jīng)元與第j個神經(jīng)元之間相連的權(quán)值ｗij為：第10頁，共64頁，2023年，2月20日，星期六Hopfoeld模型回憶過程圖解第11頁，共64頁，2023年，2月20日，星期六Hopfield模型的回憶過程描述首先要將模式向量X的n個元素x1,x2,…，xn分別賦予與之對應(yīng)的神經(jīng)元，作為相應(yīng)神經(jīng)元元的初始狀態(tài)，即：ai(0)=xi。然后在Hopfield神經(jīng)網(wǎng)絡(luò)模型中按其動力學(xué)特性sgn函數(shù)進(jìn)行操作，反復(fù)迭代，直到收斂為止。當(dāng)整個神經(jīng)網(wǎng)絡(luò)穩(wěn)定后，處理單元的輸出就最終給出了匹配輸入模式X的標(biāo)準(zhǔn)樣本模式，直接完成了提取記憶信息的操作。第12頁，共64頁，2023年，2月20日，星期六Hopfield模型的學(xué)習(xí)舉例假設(shè)Hopfield模型有4個神經(jīng)元，現(xiàn)希望其儲存如下模式向量：(11-1-1)T/(-1-111)T。第13頁，共64頁，2023年，2月20日，星期六Hopfield模型的回憶舉例要求回憶樣本(11-1-1)T、(1-111)T。第14頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用之模式補(bǔ)全問題描述

10×10的點(diǎn)陣表示的圖案存儲在Hopfield網(wǎng)絡(luò)中?，F(xiàn)將受損壞的圖案輸入，讓受損壞的圖案恢復(fù)原狀。去噪過程。模擬第15頁，共64頁，2023年，2月20日，星期六Hopfield模型的容量問題作為相聯(lián)存儲器的Hopfield網(wǎng)絡(luò)有兩個局限，第一是存儲在Hopfield神經(jīng)網(wǎng)絡(luò)模型中的標(biāo)準(zhǔn)樣本模式不能太多，可以證明，當(dāng)m≤0.15n時，一般都能達(dá)到比較好的匹配。第二是如果兩類標(biāo)準(zhǔn)樣本模式向量中相同的元素很多，那么其中任何一個標(biāo)準(zhǔn)樣本模式開始迭代，但最后可能會收斂于另一個標(biāo)準(zhǔn)樣本模式。第16頁，共64頁，2023年，2月20日，星期六Hopfield模型與組合優(yōu)化求解

在組合優(yōu)化問題中，讓神經(jīng)元的某狀態(tài)表示某命題的真假，而神經(jīng)元之間的連接則表示兩命題的關(guān)聯(lián)程度，正為相互支持，負(fù)為相互否定。當(dāng)兩命題關(guān)聯(lián)程度為wij時，有花費(fèi)（cost）值wijaiaj，則可以用能量函數(shù)代表其總花費(fèi)。第17頁，共64頁，2023年，2月20日，星期六Hopfield模型與組合優(yōu)化求解能量函數(shù)要根據(jù)不同的問題進(jìn)行不同的構(gòu)造，只要定義好適當(dāng)?shù)哪芰亢瘮?shù)，就能通過類比的方法設(shè)置神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，然后用上述迭代方法得到組合優(yōu)化問題的近似解。因此，網(wǎng)絡(luò)收斂于穩(wěn)定點(diǎn)過程表示在眾多約束之下不斷調(diào)整網(wǎng)絡(luò)狀態(tài)，直到使總花費(fèi)值達(dá)到某個局部極小值或全局極小值的近似。

第18頁，共64頁，2023年，2月20日，星期六能量函數(shù)

能量函數(shù)展現(xiàn)的是神經(jīng)網(wǎng)絡(luò)系統(tǒng)集團(tuán)計(jì)算能力而不是單個神經(jīng)元的計(jì)算能力。能量的概念也可以推廣到其它類型的神經(jīng)網(wǎng)絡(luò)模型中。在能量概念的基礎(chǔ)上，神經(jīng)計(jì)算可以描述為在能量曲面上的一條軌跡。

第19頁，共64頁，2023年，2月20日，星期六能量函數(shù)收斂性證明第20頁，共64頁，2023年，2月20日，星期六能量函數(shù)收斂性證明當(dāng)狀態(tài)由0或1變?yōu)?時，因?yàn)椋?/p>

所以：

第21頁，共64頁，2023年，2月20日，星期六能量函數(shù)收斂性證明當(dāng)狀態(tài)由0或1變?yōu)?時，因?yàn)椋?/p>

所以：

第22頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題問題描述

8皇后問題是：給定一個標(biāo)準(zhǔn)的棋盤和8個皇后，要求正確地放置8個皇后，使得沒有任何一個皇后可以攻擊到另外的一個皇后。這里我們將用Hopfield模型求解這一問題。第23頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義定義表示處于位置(i,j)的方塊。有：第24頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義考察下式：該式表明當(dāng)每行只有一個皇后時，該式可以取得最小值0，否則該式的值將大于0。第25頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義考察下式：該式表明當(dāng)每列只有一個皇后時，該式可以取得最小值0，否則該式的值將大于0。第26頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義第27頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義每條對角線只有一個皇后時，該式取最小值。第28頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題能量函數(shù)的定義顯然，H取得最小值時，可以得到最優(yōu)解。

第29頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題權(quán)值定義第30頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題神經(jīng)元狀態(tài)修改為溫度系數(shù)，目的是為了避免局部極小。第31頁，共64頁，2023年，2月20日，星期六Hopfield模型應(yīng)用實(shí)例8皇后問題模擬第32頁，共64頁，2023年，2月20日，星期六第二節(jié)海明神經(jīng)網(wǎng)絡(luò)模型第33頁，共64頁，2023年，2月20日，星期六海明模型的結(jié)構(gòu)第34頁，共64頁，2023年，2月20日，星期六海明模型的結(jié)構(gòu)描述

海明網(wǎng)絡(luò)由匹配子網(wǎng)和競爭子網(wǎng)組成。匹配子網(wǎng)的功能是將輸入樣本和存儲在該子網(wǎng)中的標(biāo)準(zhǔn)模板相互匹配（如計(jì)算海明距離等）。而競爭子網(wǎng)是迭代尋找匹配子網(wǎng)中的最大匹配輸出。第35頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的運(yùn)行機(jī)理匹配子網(wǎng)在學(xué)習(xí)階段將若干類別的樣本記憶存儲在網(wǎng)絡(luò)的連接權(quán)值中；在工作階段（回憶階段），該子網(wǎng)計(jì)算輸入模式和各個樣本模式的匹配程度，并將結(jié)果送入競爭子網(wǎng)中，由競爭子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實(shí)現(xiàn)了對離散輸入模式進(jìn)行在海明距離最小意義下的識別和分類。第36頁，共64頁，2023年，2月20日，星期六海明距離如果將模式用向量來表示，Hamming距離是指兩個模式不同元素的個數(shù)。如：A＝(00110)B=(10101）則：H(A,B)=3第37頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的學(xué)習(xí)之權(quán)值設(shè)置競爭子網(wǎng)的連接權(quán)值設(shè)置方法：匹配子網(wǎng)的連接權(quán)值設(shè)置方法：第38頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的學(xué)習(xí)之閾值設(shè)置競爭子網(wǎng)神經(jīng)元的閾值設(shè)置為0；匹配子網(wǎng)神經(jīng)元閾值的設(shè)置為：

N為匹配子網(wǎng)中神經(jīng)元的個數(shù)。第39頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的回憶過程第40頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的回憶過程匹配子網(wǎng)計(jì)算匹配度：將匹配子網(wǎng)的輸出送入競爭子網(wǎng)第41頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的回憶過程計(jì)算競爭子網(wǎng)的初始輸出：競爭子網(wǎng)迭代直至收斂：第42頁，共64頁，2023年，2月20日，星期六函數(shù)f的選擇函數(shù)f

為非線性閾值函數(shù)：第43頁，共64頁，2023年，2月20日，星期六海明網(wǎng)絡(luò)的特點(diǎn)這種神經(jīng)網(wǎng)絡(luò)與Hopfield神經(jīng)網(wǎng)絡(luò)不同，它分別計(jì)算未知輸入模式與每個已知標(biāo)準(zhǔn)樣本模式的Hamming距離，對應(yīng)距離最小的那個標(biāo)準(zhǔn)樣本模式即是可以和輸入模式匹配的模式。而對Hopfield網(wǎng)絡(luò)而言，作為一識別器，要么精確地找到一個可以匹配的標(biāo)準(zhǔn)樣本模式，要么找不到，即得到“不能匹配”的結(jié)果。第44頁，共64頁，2023年，2月20日，星期六海明神經(jīng)網(wǎng)絡(luò)應(yīng)用模式識別海明網(wǎng)絡(luò)中保存了5幅圖象，現(xiàn)對其加噪，或挑選一幅沒有學(xué)習(xí)過的圖象，通過求相似性，選取最佳匹配的圖象。模擬第45頁，共64頁，2023年，2月20日，星期六第三節(jié)雙向聯(lián)想存儲器（BAM）第46頁，共64頁，2023年，2月20日，星期六BAM模型簡介雙向聯(lián)想存儲器是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是ART神經(jīng)網(wǎng)絡(luò)模型（將在第4章中介紹）的一種簡化形式，是一種異聯(lián)想存儲器。它能存儲成對的模式(A1,B1),(A2,B2),…，(AN,BN)。Ai和Bi是不同向量空間中的向量。如果模式A輸入到BAM，輸出是模式B，且若A與Ai最為接近，B就是在BAM所存儲的向量Bi。第47頁，共64頁，2023年，2月20日，星期六BAM模型的結(jié)構(gòu)在FA中有n個處理單元FA={a1,a2,…，an}，在FB中有p個處理單元FB={b1,b2,…,bp}。每一個域中的神經(jīng)元均與另域中所有神經(jīng)元相連；第48頁，共64頁，2023年，2月20日，星期六BAM模型的神經(jīng)元處理特性雙向聯(lián)想存儲器神經(jīng)網(wǎng)絡(luò)模型中的神經(jīng)元為非線性單元，每個神經(jīng)元的作用相當(dāng)于一個非線性函數(shù)，這個函數(shù)一般取為Ｓ型函數(shù)：第49頁，共64頁，2023年，2月20日，星期六BAM模型神經(jīng)元的輸出一般情況下,每個處理單元的輸出?。?,1］之間的值，但在應(yīng)用中通常取輸出值為二值：0或1，這樣按處理單元門限規(guī)定，每個處理單元要么為開狀態(tài)，要么為關(guān)狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當(dāng)輸入與閾值相等時，處理單元輸出保持原來狀態(tài)不變。第50頁，共64頁，2023年，2月20日，星期六BAM模型的信息存儲在雙向聯(lián)想存儲模型中，所有的信息都是包含在一個n×p的矩陣M中的。這個矩陣M實(shí)際上是一個權(quán)值矩陣，信息就是由這個權(quán)值矩陣來表達(dá)。如果M產(chǎn)生一個穩(wěn)定的雙向聯(lián)想存儲器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。第51頁，共64頁，2023年，2月20日，星期六BAM模型的存儲能力由于要將不同的聯(lián)想模式對（Ai，Bi）收斂到局部能量極小點(diǎn)上，所以所要學(xué)習(xí)的模式對或聯(lián)想個數(shù)m必須小于域FA和域FB中處理單元的個數(shù)，即：m＜min(n,p)第52頁，共64頁，2023年，2月20日，星期六BAM模型學(xué)習(xí)基礎(chǔ)雙極矩陣（向量）雙極矩陣（或向量）是在二元矩陣（或向量）的基礎(chǔ)上，將0代之以－1而得到的。如：二元向量

A1=(101010)和B1=(1100)

其相應(yīng)的雙極向量為

X1=(1-11-11-1)和Y1=(11-1-1)第53頁，共64頁，2023年，2月20日，星期六BAM模型的學(xué)習(xí)雙向聯(lián)想存儲器在學(xué)習(xí)時，先將二元向量對(Ai,Bi)轉(zhuǎn)換成雙極向量對(Xi,Yi)，然后計(jì)算雙極伴隨矩陣XiTYi，最后將所有的雙極伴隨矩陣相加起來便得到權(quán)值矩陣M，即:第54頁，共64頁，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例聯(lián)想對到雙極向量對的轉(zhuǎn)換第55頁，共64頁，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例計(jì)算雙極伴隨矩陣第56頁，共64頁，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例計(jì)算雙極伴隨矩陣第57頁，共64頁，2023年，2月20日，星期六BAM學(xué)習(xí)過程舉例計(jì)算權(quán)值矩陣第58頁，共64頁，2023年，2月20日，星期六BAM模型記憶模式擦除要從雙向聯(lián)想存儲器中擦去某個記憶模式，例如要去掉模式對(Ai,Bi)，只要在權(quán)值矩陣