霍普菲爾德(Hopfield)人工神經(jīng)網(wǎng)絡(luò)介紹

1、霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò)1、網(wǎng)絡(luò)結(jié)構(gòu)形式2、非線性系統(tǒng)狀態(tài)演變的形式3、離散型的霍普菲爾德網(wǎng)絡(luò)（DHNN）4、連續(xù)性的霍普菲爾德網(wǎng)絡(luò)（CHNN）網(wǎng)絡(luò)結(jié)構(gòu)形式 Hopfield網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型和連續(xù)性兩種（ DHNN,CHNN）。DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計算。 反饋網(wǎng)絡(luò)的結(jié)構(gòu)如圖2.8.1所示。 圖2.8.1Hopfield網(wǎng)絡(luò)結(jié)構(gòu)非線性系統(tǒng)狀態(tài)演變的形式 在Hopfield網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán) 輸入和ui，i=1n為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為y1yn， 則u,

2、y的變化過程為一個非線性動力學系統(tǒng)?？捎梅蔷€性差（微）分方程來描述。一般有如下的幾種狀態(tài)演變形式： （1）漸進穩(wěn)定 （2）極限環(huán) （3）混沌現(xiàn)象 （4）狀態(tài)軌跡發(fā)散 Hopfield網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)進行分析。 目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進穩(wěn)定點來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點視為一個記憶的話，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是尋找記憶的過程。初態(tài)可以認為是給定的有關(guān)記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點視為一個能量函數(shù)的極小點，把能量函數(shù)視為一個優(yōu)化問題的目標函數(shù)，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是一個求該優(yōu)化問題的過程。這樣的優(yōu)點在于它的解并不需要真的去計算，而只要構(gòu)成這種反

3、饋網(wǎng)絡(luò)，適當?shù)脑O(shè)計其連接值和輸入就可達到目的。離散型的 Hopfield神經(jīng)網(wǎng)絡(luò)1、I/O關(guān)系2、兩種工作方式3、網(wǎng)絡(luò)的穩(wěn)定性分析4、DHNN網(wǎng)絡(luò)設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)及I/O關(guān)系 圖2.8.2是一個有三個節(jié)點的DHNN結(jié)構(gòu)。 對于以符號函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為： 圖2.8.2 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1兩種工作方式 DHNN主要有以下兩種工作方式： （1）串行工作方式 在某一時刻只有一個神經(jīng)元按照上式改變狀態(tài)，而其它神經(jīng)元的輸出不變。這一變化的神經(jīng)元可以按照隨機的方式或預(yù)定的順序來選擇。 （2）并行工作方式 在某一時刻有N個神

4、經(jīng)元按照上式改變狀態(tài)，而其它的神經(jīng)元的輸出不變。變化的這一組神經(jīng)元可以按照隨機方式或某種規(guī)則來選擇。當N=n時，稱為全并行方式。DHNN的穩(wěn)定工作點Xi(t+1)= Xi(t)=sgn(j=1nWijXi(t)-i ) i=1,2,n網(wǎng)絡(luò)的穩(wěn)定性分析 DHNN的能量函數(shù)定義為：有界EwxxxwEXWXXxxxwEniininjijniiininjjiijTTniiininjjiij 11111111121 2121 21 關(guān)于DHNN的穩(wěn)定性有如下的定理： 當網(wǎng)絡(luò)工作在串行方式下時，若W為對稱陣，且其對角元素非負，則其能量函數(shù)單調(diào)下降，網(wǎng)絡(luò)總能收斂到一個穩(wěn)定點。 kkkkknjjkjkniii

5、kkkkkkkkkkkkkxxwtxwxtxwxEtutxtutxtutxxxtxtxxtE 211sgn, 1 21sgn, 1 2sgn 0 1 1 1tEE 211證明 一個局部極小點。所以它總能收斂到它的的，。另外能量函數(shù)是有界有故對任意的神經(jīng)元，。又因為的運行規(guī)則，根據(jù)故有因為根據(jù)定理條件有0001 211 21 ,221EkwtuxDHNNkwtuxkwtxwxEwwkkkkkkkkkknjkjkjkjiij 全并行方式下也有同樣的結(jié)論。DHNN網(wǎng)絡(luò)設(shè)計 用 DHNN實現(xiàn)聯(lián)想記憶需要考慮兩個重要的問題：怎樣按記憶確定網(wǎng)絡(luò)的W和；網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論。1、

6、權(quán)值設(shè)計的方法2、記憶容量分析3、權(quán)值修正的其它方法 在MATLAB中，用函數(shù)newhop.m來設(shè)計一個Hopfield網(wǎng)絡(luò)： net = newhop(T)權(quán)值設(shè)計的方法 權(quán)值設(shè)計的方法有外積法、偽逆法、正交設(shè)計法等。下面僅介紹外積法，它是一種比較簡單，在一定條件下行之有效的方法。niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11單位陣，則為給定輸入例例 設(shè)計DHNN，并考察其聯(lián)想性能。說明所設(shè)計的網(wǎng)絡(luò)沒有準確的記憶所有期望的模式。3233222!1131sgn Y sgn Y sgn Y031301110 111111111 TTWXTWXTWXIXX

7、WTXKTKK驗證：解：記憶容量分析 當網(wǎng)絡(luò)只記憶一個穩(wěn)定的模式時，該模式肯定被網(wǎng)絡(luò)準確無誤的記憶住。但當所要記憶的模式增加時，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點上：1、權(quán)值移動2、交叉干擾權(quán)值移動 在網(wǎng)絡(luò)的學習過程中，網(wǎng)絡(luò)對權(quán)值的記憶實際上是逐個實現(xiàn)的。即對權(quán)值W，有程序:當網(wǎng)絡(luò)準確的X1時，為了記憶X2,需要在記憶樣本X1的權(quán)值上加上對樣本X2的記憶項X2 X2T-I，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動。這樣網(wǎng)絡(luò)有可能部分得遺忘了以前以記憶住的模式。endIXXWWqkforWTKK, 1 0 從動力學的角度來看，k值較小時，網(wǎng)絡(luò)Hebb學習規(guī)則，可以使輸入學習樣本成為其吸引子。隨著k值的

8、增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動。對一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。交叉干擾 網(wǎng)絡(luò)在學習多個樣本后，在回憶階段即驗證該記憶樣本時，所產(chǎn)生的干擾，稱為交叉干擾。 對外積型設(shè)計而言，如果輸入樣本是彼此正交的，n個神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大多數(shù)情況下，學習樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比n小得多，一般為(0.130.15)n，n為神經(jīng)元數(shù)。權(quán)值修正的其它方法1、學習規(guī)則2、偽逆法3、正交化權(quán)值設(shè)計 學習規(guī)則 學習規(guī)則基本公式是： 即通過計算該神經(jīng)元節(jié)點的實際激活值

9、A(t)，與期望狀態(tài)T(t)進行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變。 tPtAtTtwtwPWijij1偽逆法 來。求出權(quán)矩陣滿秩，其逆存在，則可線性無關(guān)的，則如果樣本之間是為偽逆，有其中由此可得來映射，則有輸入輸出之間用權(quán)值設(shè)輸入樣本W(wǎng)PPPPPPPPNWNYXWNWXXXXTTTN, sgn, 121正交化權(quán)值設(shè)計 這一方法的基本思想和出發(fā)點是為了滿足下面四個要求： 1）保證系統(tǒng)在異步工作時的穩(wěn)定性，即它的權(quán)值是對稱的； 2）保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己； 3）使偽穩(wěn)定點的數(shù)目盡可能的少； 4）使穩(wěn)定點的吸引域盡可能的大。MA

10、TLAB函數(shù)w,b=solvehop(T);連續(xù)性的Hopfield網(wǎng)絡(luò) CHNN是在DHNN的基礎(chǔ)上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實時性、分布存儲、協(xié)同性等方面比DHNN更接近于生物神經(jīng)網(wǎng)絡(luò)。我們將從以下幾點來討論CHNN。1、網(wǎng)絡(luò)模型2、CHNN方程的解及穩(wěn)定性分析3、關(guān)于Hopfield能量函數(shù)的幾點說明4、關(guān)于CHNN的幾點結(jié)論CHNN的網(wǎng)絡(luò)模型 圖2.8.3是Hopfield動態(tài)神經(jīng)元模型。 對于神經(jīng)元，放大器的I/O關(guān)系可用如下的方程來描述： 圖2.8.4是CHNN的結(jié)構(gòu)圖。

11、xxexuvIuvRRudtducxiiinjijijiiiitanh 11 110或Hopfield動態(tài)神經(jīng)元模型圖2.8.4u1 u 1 u 2 u n v 1 v n v 2 對上述方程變形得：iiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtdu ,1 ,111101的一種特殊情況。視為可以此可見，模型有相同的形式。由上式與則有如果令為向量矩陣形式：CHNNDHNNDHNNWvuuRvdiagwwwwWWvuunnnnnn , 0, , , 12111111CHNN方程的解及穩(wěn)定性分析 對于CHNN來說，關(guān)心的同樣是穩(wěn)定性問題。在所有影響電路系統(tǒng)穩(wěn)定的所有參

12、數(shù)種，一個比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當放大器的放大倍數(shù)足夠大時，網(wǎng)絡(luò)由連續(xù)性轉(zhuǎn)化成離散型，狀態(tài)與輸出之間的關(guān)系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個網(wǎng)絡(luò)的特點，所以，下面著重分析不同激活函數(shù)關(guān)系對系統(tǒng)的穩(wěn)定性的影響。1、激活函數(shù)為線性函數(shù)時2、激活函數(shù)為非線性函數(shù)時 當激活函數(shù)為線性函數(shù)時，即不同的系統(tǒng)解的情況。的不同情況，可以得到，解出的特征值為單位對角陣。通過對其中此系統(tǒng)的特征方程為：。其中：此時系統(tǒng)的狀態(tài)方程為riiIIAWBRABAUUuv21 0 1 對于非線性系統(tǒng)進行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點附近對系統(tǒng)進行線性化處理。也可以基于

13、網(wǎng)絡(luò)的能量函數(shù)。下面介紹Hopfield能量函數(shù)法。 :121 :101111的穩(wěn)定性有如下的定理關(guān)于能量項。入狀態(tài)和輸出值關(guān)系的上式第三項表示一種輸能量函數(shù)定義為CHNNdvvRIvvvwEniviiniiininjjiiji dtdvvcdtducRuIvwRuIvwvwvEdtdvvEdtdEnidtdEdtdvdtdEwwcviiiiiiiiinjjijiiinjjjinjjijiniiiijiijii111111 2121 , 2 , 100, 0 , 0 證明：，時，當且僅當，有則隨著網(wǎng)絡(luò)狀態(tài)的變化，且為單調(diào)連續(xù)遞增的函數(shù)定理：若 idtdEdtdvdtdEvcdtdvvcdtdE

14、iiiiniiiii 0 00 , 0 1121時僅當單調(diào)遞增， 此定理表明，隨著時間的演化，網(wǎng)絡(luò)的狀態(tài)總是朝能量減少的方向運動。網(wǎng)絡(luò)的平衡點就是E的極小點。關(guān)于Hopfield能量函數(shù)的幾點說明 當對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始狀態(tài)開始，因為在每次迭代后都能滿足E0，所以網(wǎng)絡(luò)的能量將會越來越小，最后趨于穩(wěn)定點E=0。 Hopfield能量函數(shù)的物理意義是：在那些漸進穩(wěn)定點的吸引域內(nèi)，離吸引點越遠的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運動方向能從遠離吸引點處，不斷地趨于吸引點，直到達到穩(wěn)定點。 幾點說明： 1）能量函數(shù)為反饋網(wǎng)絡(luò)的重要概念。根據(jù)能量函數(shù)可以方便的

15、判斷系統(tǒng)的穩(wěn)定性； 2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內(nèi)，且要求在零點值為零； 3）Hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。關(guān)于CHNN的幾點結(jié)論 1）具有良好的收斂性； 2）具有有限個平衡點； 3）如果平衡點是穩(wěn)定的，那么它也一定是漸進穩(wěn)定的； 4）漸進穩(wěn)定平衡點為其能量函數(shù)的局部極小點； 5）能將任意一組希望存儲的正交化矢量綜合為網(wǎng)絡(luò)的漸進平衡點； 6）網(wǎng)絡(luò)的存儲信息表現(xiàn)為神經(jīng)元之間互連的分布式動態(tài)存儲； 7）網(wǎng)絡(luò)以大規(guī)模、非線性、連續(xù)時間并行方式處理信息，其計算時間就是網(wǎng)絡(luò)趨于平衡點的時間

16、。Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 w組合優(yōu)化問題，就是在給定約束條件下，求出使目標函數(shù)極?。ɑ驑O大）的變量組合問題。 w將Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問題，就是把目標函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣當網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時，問題的最優(yōu)解也隨之求出。 w旅行商問題，簡稱TSP（Traveling Salesman Problem）。問題的提法是：設(shè)有N個城市， ,記為： ,用dij表示ci和cj之間的距離， dij0,(i,j=1,2,n) 。w有一旅行商從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。Nc

17、cc,21NcccC,21N=5 TSP Probelm N=5，并用字母A、B、C、D、E、分別代表這5個城市。當任選一條路徑如B-D-E-A-C,，則其總路徑長度可表示為 第一步就是將問題映照到一個神經(jīng)網(wǎng)絡(luò)。假定每個神經(jīng)元的放大器有很高的放大倍數(shù)，神經(jīng)元的輸出限制在二值0和1上，則映照問題可以用一個換位矩陣（Permutation Matrix）來進行，換位矩陣可如下圖所示。 CBACEADEBDdddddS換位矩陣次序城市12345A00010B10000C00001D01000E00100約束條件和最優(yōu)條件 矩陣的每個元素對應(yīng)于神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元，則這個問題可用N2=52=25個神

18、經(jīng)元組成的Hop-field網(wǎng)絡(luò)來求解。 問題的約束條件和最優(yōu)條件如下： （1) 一個城市只能被訪問一次=換位矩陣每行只有一個“1”。 （2）一次只能訪問一個城市=換拉矩陣每列只有一個“1”。 （3）總共有N個城市=換位矩陣元素之和為N。 (4）求巡回路徑最短=網(wǎng)絡(luò)能量函數(shù)的最小值對應(yīng)于TSP的最短路徑。 結(jié)論 用vij表示換位矩陣第i行、第j列的元素，顯然只能取1或0。同時，vij也是網(wǎng)絡(luò)神經(jīng)元的狀態(tài)。 結(jié)論: 構(gòu)成最短路徑的換位矩陣一定是形成網(wǎng)絡(luò)能量函數(shù)極小點的網(wǎng)絡(luò)狀態(tài)。網(wǎng)絡(luò)能量函數(shù)的構(gòu)成 1） 第x行 的 所 有 元 素xi按 順 序 兩 兩 相 乘 之 和xiNxNijxi 111應(yīng)

19、為0。 2） N 個 行 的 所 有 元 素 按 順 序 兩 兩 相 乘 之 和xjNxNiNijxi 1111也 應(yīng) 為0。 3） 將 第 2）項 前 乘 系 數(shù) A/2，則 可 作 為 網(wǎng) 絡(luò) 能 量 函 數(shù) 的 第 一 項 xiNxniNijxiA11112 同 理 ， 對 應(yīng) 于 第 （ 2） 個 約 束 條 件 ， 可 得 能 量 函 數(shù) 的 第 二 項 yiNiNxNxyxiB 11112 式 中 ， B/2 為 系 數(shù) 。 續(xù)1續(xù)2第（4）項為優(yōu)化目標，即優(yōu)化要求其表達式為 1,1,iydiydxixyxixy和 由前三個約束條件可知，這兩項至少有一項為 0，順序訪問x、y兩城市所有可能途徑（長度）可表示為 ),() 1,1,(111iyiyxixyNixixyyxixydiydid 續(xù)3N個 城 市 兩 兩 之 間 所 有 可 能 的 訪 問 路 徑 的 長 度可 表 示 為 ),(11111 iyiyxiNxNyNixyd 當 這 項 最 小 時