神經(jīng)網(wǎng)絡(luò)2-hopfield網(wǎng)絡(luò)課件

智能控制技術(shù)電信學(xué)院

宋曉茹第七章神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)

7.4反饋神經(jīng)網(wǎng)絡(luò)模型——Hopfield網(wǎng)絡(luò)

Hopfield網(wǎng)絡(luò)屬于無監(jiān)督學(xué)習(xí)神經(jīng)元網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是單層反饋網(wǎng)絡(luò)，是一種全連接加權(quán)無向圖，可分為連續(xù)型和離散型二種形式。

7.4反饋神經(jīng)網(wǎng)絡(luò)模型——Hopfield網(wǎng)絡(luò)

1982年，J．Hopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡(luò)，這個網(wǎng)絡(luò)稱為Hopfield網(wǎng)絡(luò)模型，也稱Hopfield模型。Hopfield神經(jīng)網(wǎng)絡(luò)模型是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，從輸出到輸入有反饋連接。Hopfield網(wǎng)絡(luò)是單層反饋網(wǎng)絡(luò)，有n個神經(jīng)元節(jié)點，每個神經(jīng)元的輸出連接到其它神經(jīng)元的輸入。各個節(jié)點自己沒有反饋，圖中的每個節(jié)點都附有一個閾值和權(quán)系數(shù)。每個節(jié)點都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激越過其閾值時，神經(jīng)元處于一種狀態(tài)（比如1）。否則神經(jīng)元就始終處于另一狀態(tài)（比如－1），圖中頂點的個數(shù)就是該神經(jīng)網(wǎng)絡(luò)的階數(shù)

。

從時域上來看，Hopfield網(wǎng)可以用一組耦合的非線性微分方程來表示。在一定條件下，Hopfield網(wǎng)絡(luò)可以用作聯(lián)想存儲器。Hopfield網(wǎng)絡(luò)得到廣泛應(yīng)用的另一個特點是它具備快速優(yōu)化能力

。

離散型的Hopfield網(wǎng)絡(luò)即二值型的Hopfield網(wǎng)絡(luò)，只有一個神經(jīng)元層次。每個處理單元均有一個活躍值（狀態(tài)）取兩個可能的狀態(tài)值之一，通常用0和1或－1和1來表示神經(jīng)元的兩個狀態(tài)，即抑制或興奮。整個網(wǎng)絡(luò)的狀態(tài)由單一神經(jīng)元的狀態(tài)組成。網(wǎng)絡(luò)的狀態(tài)可用一個由0(-1)/1組成的矢量來表示，其中每一元素對應(yīng)于某個神經(jīng)元的狀態(tài)

。

其特點：1)自聯(lián)想回歸(或全連接)，所有神經(jīng)元與其它單元相連，但無自連接；2)按內(nèi)容編址存貯器方式進行操作，新提供的輸入模式可自動找到已存貯的合適模式。Hopfield網(wǎng)絡(luò)可以看成是一個動態(tài)系統(tǒng)，其相空間包含代表系統(tǒng)基本存貯內(nèi)容的固定(穩(wěn)定)點的集合。Hopfield網(wǎng)絡(luò)可以檢索信息,以一定的誤差恢復(fù)信息。如果Hopfield網(wǎng)絡(luò)是一個能收斂的穩(wěn)定網(wǎng)絡(luò)，則反饋與迭代過程所產(chǎn)生的變化越來越小，一旦到達(dá)了穩(wěn)定平衡狀態(tài)；那么Hopfield網(wǎng)絡(luò)就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡(luò)來說，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。應(yīng)該指出：反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對于Hopfield網(wǎng)絡(luò)來說，還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)，亦或是不穩(wěn)定的問題；而判別依據(jù)是什么，也是需要確定的。1離散Hopfield網(wǎng)絡(luò)

Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。在離散HopfieId網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。先考慮由三個神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖7—13中所示

。第一層是實際神經(jīng)元，故而執(zhí)行對輸人信息和權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)f處理后產(chǎn)生輸出信息。f是一個簡單的閾值函效，如果神經(jīng)元的輸出信息大于閾值θ，那么，神經(jīng)元的輸出就取值為1；小于閾值θ，則神經(jīng)元的輸出就取值為θ

。對于二值神經(jīng)元，它的計算公式如下其中：xi為外部輸入。并且有：Yi=1,當(dāng)Ui≥θi時Yi=0,當(dāng)Ui<θi時對于一個離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡(luò)，則其t時刻的狀態(tài)為一個n維向量：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T故而，網(wǎng)絡(luò)狀態(tài)有2n個狀態(tài)；因為Yj(t)(j＝1……n)可以取值為1或0；故n維向量Y(t)有2n種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。

對于三個神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進制數(shù)；每一個三位二進制數(shù)就是一種網(wǎng)絡(luò)狀態(tài)，從而共有8個網(wǎng)絡(luò)狀態(tài)。網(wǎng)絡(luò)狀態(tài)如圖7—14中所示。立方體的每個頂角表示一種網(wǎng)絡(luò)狀態(tài)。同理，對于n個神經(jīng)元的輸出層，它有2n個網(wǎng)絡(luò)狀態(tài)，也和一個n維超立方體的頂角相對應(yīng)。

結(jié)構(gòu)如圖7—13對于一個網(wǎng)絡(luò)來說，穩(wěn)定性是一個重大的性能指標(biāo)！對于離散Hopfield網(wǎng)絡(luò)，其狀態(tài)為Y(t)：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T如果，對于任何△t>0．當(dāng)神經(jīng)網(wǎng)絡(luò)從t＝0開始，有初始狀態(tài)Y(0)；經(jīng)過有限時刻t，有：Y(t+△t)=Y(t)則稱網(wǎng)絡(luò)是穩(wěn)定的。對Hopfield網(wǎng)絡(luò)引入一個Lyapunov函數(shù)，即所謂能量函數(shù)即：

對于神經(jīng)元j，其能量函數(shù)可表示為

：

即：

神經(jīng)元j的能量變化量表示為△Ej：如果存在條件

Wii=0,i=1,2,...,nWij=Wji

i=1,2,...,n

j=1,2,...,n則有：1．如果Uj≥θj，即神經(jīng)元j的輸入結(jié)果的值大于閥值，則Uj-θj≥0，則從二值神經(jīng)元的計算公式知道：Yj的值保持為1，或者從0變到1。這說明Yj的變化△Yj只能是0或正值。這時很明顯有△Ej：△Ej≤0這說明Hopfield網(wǎng)絡(luò)神經(jīng)元的能量減少或不變。

2．如果Uj≤θj，即神經(jīng)元j的輸入結(jié)果的值小于閥值，則Uj-θj≥0，則從二值神經(jīng)元的計算公式可知：Yj的值保持為0，或者從1變到0。這說明Yj的變化△Yj只能是零或負(fù)位。這時則有△Ej：△Ej≤0這也說明Hopfield網(wǎng)絡(luò)神經(jīng)元的能量減少。。上面兩點說明了Hopfield網(wǎng)絡(luò)在權(quán)系數(shù)矩陣W的對角線元素為0，而且W矩陣元素對稱時，Hopfield網(wǎng)絡(luò)是穩(wěn)定的。hopfield網(wǎng)絡(luò)的一個功能是可用于聯(lián)想記憶，也即是聯(lián)想存儲器。這是人類的智能特點之一。對于Hopfield網(wǎng)絡(luò)，用它作聯(lián)想記憶時，首先通過一個學(xué)習(xí)訓(xùn)練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù)，使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個頂角的能量最小。當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后，只要向網(wǎng)絡(luò)給出輸入向量，這個向量可能是局部數(shù)據(jù)．即不完全或部分不正確的數(shù)據(jù)，但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出。1984年Hopfield開發(fā)了一種用n維Hopfield網(wǎng)絡(luò)作聯(lián)想存儲器的結(jié)構(gòu)。在這個網(wǎng)絡(luò)中，權(quán)系數(shù)的賦值規(guī)則為存儲向量的外積存儲規(guī)則(outproductstorageprescription)其原理省略。

2連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)的拓樸結(jié)構(gòu)和離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)相同。這種拓樸結(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存在的神經(jīng)反饋回路是相一致的。在連續(xù)Hopfield網(wǎng)絡(luò)中，和離散Hopfield網(wǎng)絡(luò)一樣，其穩(wěn)定條件也要求Wij=Wji。

最后結(jié)論：當(dāng)Hopfield網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)g是連續(xù)且有界的，eg：Sigmoid函數(shù)，并且網(wǎng)絡(luò)的權(quán)系數(shù)矩陣對稱，則這個連續(xù)Hopfield網(wǎng)絡(luò)是穩(wěn)定的。在實際應(yīng)用中任一系統(tǒng)，如果其優(yōu)化問題可以用能量函數(shù)E(t)作為目標(biāo)函數(shù)，則總可以用連續(xù)Hopfield網(wǎng)絡(luò)對其進行求解。由于引入能量函數(shù)E(t)，Hopfield使神經(jīng)網(wǎng)絡(luò)和問題優(yōu)化直接對應(yīng)；這種工作是具開拓性的。利用神經(jīng)網(wǎng)絡(luò)進行優(yōu)化計算，就是在神經(jīng)網(wǎng)絡(luò)這一動力系統(tǒng)給出初始的估計點，即初始條件；然后隨網(wǎng)絡(luò)的運動傳遞而找到相應(yīng)極小點。這樣，大量的優(yōu)化問題都可以用連續(xù)的Hopfield網(wǎng)來求解。這也是Hopfield網(wǎng)絡(luò)用于神經(jīng)計算的基本原因。例2：由3個神經(jīng)元組成的Hopfield網(wǎng)絡(luò)，有2個基本存貯器，存貯2個向量[1，-1，1]和[-1，1，-1]，設(shè)計權(quán)連接矩陣。

解析：按公式：

其它點都是不穩(wěn)定的點，例如，對[1，1，1]，和[1，1，-1]，迭代結(jié)果都移向穩(wěn)定點。對[1，1，1]對[1，1，-1]

此過程可用圖表示如7－29：

Hopfield網(wǎng)絡(luò)的工作過程有4個步驟：1）存貯（學(xué)習(xí)），異步、隨機。2）初始化，加入初始試樣，然后移走。3）迭代直至收斂4）輸出，得到穩(wěn)定點

。例7-3假設(shè)一個3節(jié)點的離散Hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閾值如下圖7－30所示，已知網(wǎng)絡(luò)權(quán)值初值圈內(nèi)為閾值，線上為連接函數(shù)。計算狀態(tài)轉(zhuǎn)移關(guān)系。圖7－30離散Hopfield神經(jīng)網(wǎng)絡(luò)解析：以初始狀態(tài)為例，我們可以依次選擇節(jié)點，確定其節(jié)點興奮的條件及狀態(tài)的轉(zhuǎn)移。假設(shè)首先選擇節(jié)點，激勵函數(shù)為

可見，節(jié)點處于興奮狀態(tài)并且狀態(tài)y1由0→1。網(wǎng)絡(luò)狀態(tài)由000→100，轉(zhuǎn)移概率為1/3。同樣其它兩個節(jié)點也可以以等概率發(fā)生狀態(tài)變化，它們的激勵函數(shù)為節(jié)點狀態(tài)保持不變。因此，由狀態(tài)000不會轉(zhuǎn)移到001和010。

圖2－30b)網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移，圈內(nèi)為狀態(tài)，線上為轉(zhuǎn)移概率

從這個例子上可以看出，系統(tǒng)狀態(tài)是一個網(wǎng)絡(luò)的穩(wěn)定狀態(tài)；網(wǎng)絡(luò)從任意一個初始狀態(tài)開始經(jīng)幾次的狀態(tài)更新后都將到達(dá)此穩(wěn)態(tài)。仔細(xì)觀察圖中的狀態(tài)轉(zhuǎn)移關(guān)系，就會發(fā)現(xiàn)Hopfield網(wǎng)絡(luò)神經(jīng)元狀態(tài)要么在同一“高度”上變化，要么從上向下轉(zhuǎn)移。這樣的一種狀態(tài)變化有著它必然的規(guī)律。Hopfield網(wǎng)絡(luò)狀態(tài)變化的核心是每個狀態(tài)定義一個能量E，任意一個神經(jīng)元節(jié)點狀態(tài)變化時，能量E都將減小。這也是