Hopfield神經(jīng)網(wǎng)絡(luò)

1、霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò)1、網(wǎng)絡(luò)結(jié)構(gòu)形式2、非線性系統(tǒng)狀態(tài)演變的形式3、離散型的霍普菲爾德網(wǎng)絡(luò)（DHNN）4、連續(xù)性的霍普菲爾德網(wǎng)絡(luò)（CHNN）網(wǎng)絡(luò)結(jié)構(gòu)形式 Hopfield網(wǎng)絡(luò)是單層對(duì)稱全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型和連續(xù)性兩種（ DHNN,CHNN）。DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計(jì)算。 反饋網(wǎng)絡(luò)的結(jié)構(gòu)如圖2.8.1所示。 圖2.8.1Hopfield網(wǎng)絡(luò)結(jié)構(gòu)非線性系統(tǒng)狀態(tài)演變的形式 在Hopfield網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán) 輸入和ui，i=1n為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為y1yn， 則u,

2、y的變化過(guò)程為一個(gè)非線性動(dòng)力學(xué)系統(tǒng)?？捎梅蔷€性差（微）分方程來(lái)描述。一般有如下的幾種狀態(tài)演變形式： （1）漸進(jìn)穩(wěn)定 （2）極限環(huán) （3）混沌現(xiàn)象 （4）狀態(tài)軌跡發(fā)散 Hopfield網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)進(jìn)行分析。 目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進(jìn)穩(wěn)定點(diǎn)來(lái)解決某些問(wèn)題。例如，如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè)記憶的話，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過(guò)程就是尋找記憶的過(guò)程。初態(tài)可以認(rèn)為是給定的有關(guān)記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè)能量函數(shù)的極小點(diǎn)，把能量函數(shù)視為一個(gè)優(yōu)化問(wèn)題的目標(biāo)函數(shù)，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過(guò)程就是一個(gè)求該優(yōu)化問(wèn)題的過(guò)程。這樣的優(yōu)點(diǎn)在于它的解并不需要真的去計(jì)算，而只要構(gòu)成這種反

3、饋網(wǎng)絡(luò)，適當(dāng)?shù)脑O(shè)計(jì)其連接值和輸入就可達(dá)到目的。離散型的 Hopfield神經(jīng)網(wǎng)絡(luò)1、I/O關(guān)系2、兩種工作方式3、網(wǎng)絡(luò)的穩(wěn)定性分析4、DHNN網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及I/O關(guān)系 圖2.8.2是一個(gè)有三個(gè)節(jié)點(diǎn)的DHNN結(jié)構(gòu)。 對(duì)于以符號(hào)函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫(xiě)為： 圖2.8.2 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1兩種工作方式 DHNN主要有以下兩種工作方式： （1）串行工作方式 在某一時(shí)刻只有一個(gè)神經(jīng)元按照上式改變狀態(tài)，而其它神經(jīng)元的輸出不變。這一變化的神經(jīng)元可以按照隨機(jī)的方式或預(yù)定的順序來(lái)選擇。 （2）并行工作方式 在某一時(shí)刻有N個(gè)神

4、經(jīng)元按照上式改變狀態(tài)，而其它的神經(jīng)元的輸出不變。變化的這一組神經(jīng)元可以按照隨機(jī)方式或某種規(guī)則來(lái)選擇。當(dāng)N=n時(shí)，稱為全并行方式。DHNN的穩(wěn)定工作點(diǎn)Xi(t+1)= Xi(t)=sgn(j=1nWijXi(t)-i ) i=1,2,n網(wǎng)絡(luò)的穩(wěn)定性分析 DHNN的能量函數(shù)定義為：有界EwxxxwEXWXXxxxwEniininjijniiininjjiijTTniiininjjiij 11111111121 2121 21 關(guān)于DHNN的穩(wěn)定性有如下的定理： 當(dāng)網(wǎng)絡(luò)工作在串行方式下時(shí)，若W為對(duì)稱陣，且其對(duì)角元素非負(fù)，則其能量函數(shù)單調(diào)下降，網(wǎng)絡(luò)總能收斂到一個(gè)穩(wěn)定點(diǎn)。 kkkkknjjkjkniii

5、kkkkkkkkkkkkkxxwtxwxtxwxEtutxtutxtutxxxtxtxxtE 211sgn, 1 21sgn, 1 2sgn 0 1 1 1tEE 211證明 一個(gè)局部極小點(diǎn)。所以它總能收斂到它的的，。另外能量函數(shù)是有界有故對(duì)任意的神經(jīng)元，。又因?yàn)榈倪\(yùn)行規(guī)則，根據(jù)故有因?yàn)楦鶕?jù)定理?xiàng)l件有0001 211 21 ,221EkwtuxDHNNkwtuxkwtxwxEwwkkkkkkkkkknjkjkjkjiij 全并行方式下也有同樣的結(jié)論。DHNN網(wǎng)絡(luò)設(shè)計(jì) 用 DHNN實(shí)現(xiàn)聯(lián)想記憶需要考慮兩個(gè)重要的問(wèn)題：怎樣按記憶確定網(wǎng)絡(luò)的W和；網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論。1、

6、權(quán)值設(shè)計(jì)的方法2、記憶容量分析3、權(quán)值修正的其它方法 在MATLAB中，用函數(shù)newhop.m來(lái)設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)： net = newhop(T)權(quán)值設(shè)計(jì)的方法 權(quán)值設(shè)計(jì)的方法有外積法、偽逆法、正交設(shè)計(jì)法等。下面僅介紹外積法，它是一種比較簡(jiǎn)單，在一定條件下行之有效的方法。niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11單位陣，則為給定輸入例例 設(shè)計(jì)DHNN，并考察其聯(lián)想性能。說(shuō)明所設(shè)計(jì)的網(wǎng)絡(luò)沒(méi)有準(zhǔn)確的記憶所有期望的模式。3233222!1131sgn Y sgn Y sgn Y031301110 111111111 TTWXTWXTWXIXX

7、WTXKTKK驗(yàn)證：解：記憶容量分析 當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤的記憶住。但當(dāng)所要記憶的模式增加時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點(diǎn)上：1、權(quán)值移動(dòng)2、交叉干擾權(quán)值移動(dòng) 在網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的。即對(duì)權(quán)值W，有程序:當(dāng)網(wǎng)絡(luò)準(zhǔn)確的X1時(shí)，為了記憶X2,需要在記憶樣本X1的權(quán)值上加上對(duì)樣本X2的記憶項(xiàng)X2 X2T-I，將權(quán)值在原來(lái)值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分得遺忘了以前以記憶住的模式。endIXXWWqkforWTKK, 1 0 從動(dòng)力學(xué)的角度來(lái)看，k值較小時(shí)，網(wǎng)絡(luò)Hebb學(xué)習(xí)規(guī)則，可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著k值的

8、增加，不但難以使后來(lái)的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來(lái)處于吸引子位置上的樣本從吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。交叉干擾 網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)樣本后，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的干擾，稱為交叉干擾。 對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的，n個(gè)神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比n小得多，一般為(0.130.15)n，n為神經(jīng)元數(shù)。權(quán)值修正的其它方法1、學(xué)習(xí)規(guī)則2、偽逆法3、正交化權(quán)值設(shè)計(jì) 學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則基本公式是： 即通過(guò)計(jì)算該神經(jīng)元節(jié)點(diǎn)的實(shí)際激活值

9、A(t)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變。 tPtAtTtwtwPWijij1偽逆法 來(lái)。求出權(quán)矩陣滿秩，其逆存在，則可線性無(wú)關(guān)的，則如果樣本之間是為偽逆，有其中由此可得來(lái)映射，則有輸入輸出之間用權(quán)值設(shè)輸入樣本W(wǎng)PPPPPPPPNWNYXWNWXXXXTTTN, sgn, 121正交化權(quán)值設(shè)計(jì) 這一方法的基本思想和出發(fā)點(diǎn)是為了滿足下面四個(gè)要求： 1）保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性，即它的權(quán)值是對(duì)稱的； 2）保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己； 3）使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少； 4）使穩(wěn)定點(diǎn)的吸引域盡可能的大。MA

10、TLAB函數(shù)w,b=solvehop(T);連續(xù)性的Hopfield網(wǎng)絡(luò) CHNN是在DHNN的基礎(chǔ)上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布存儲(chǔ)、協(xié)同性等方面比DHNN更接近于生物神經(jīng)網(wǎng)絡(luò)。我們將從以下幾點(diǎn)來(lái)討論CHNN。1、網(wǎng)絡(luò)模型2、CHNN方程的解及穩(wěn)定性分析3、關(guān)于Hopfield能量函數(shù)的幾點(diǎn)說(shuō)明4、關(guān)于CHNN的幾點(diǎn)結(jié)論CHNN的網(wǎng)絡(luò)模型 圖2.8.3是Hopfield動(dòng)態(tài)神經(jīng)元模型。 對(duì)于神經(jīng)元，放大器的I/O關(guān)系可用如下的方程來(lái)描述： 圖2.8.4是CHNN的結(jié)構(gòu)圖。

11、xxexuvIuvRRudtducxiiinjijijiiiitanh 11 110或Hopfield動(dòng)態(tài)神經(jīng)元模型圖2.8.4u1 u 1 u 2 u n v 1 v n v 2 對(duì)上述方程變形得：iiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtdu ,1 ,111101的一種特殊情況。視為可以此可見(jiàn)，模型有相同的形式。由上式與則有如果令為向量矩陣形式：CHNNDHNNDHNNWvuuRvdiagwwwwWWvuunnnnnn , 0, , , 12111111CHNN方程的解及穩(wěn)定性分析 對(duì)于CHNN來(lái)說(shuō)，關(guān)心的同樣是穩(wěn)定性問(wèn)題。在所有影響電路系統(tǒng)穩(wěn)定的所有參

12、數(shù)種，一個(gè)比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當(dāng)放大器的放大倍數(shù)足夠大時(shí)，網(wǎng)絡(luò)由連續(xù)性轉(zhuǎn)化成離散型，狀態(tài)與輸出之間的關(guān)系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個(gè)網(wǎng)絡(luò)的特點(diǎn)，所以，下面著重分析不同激活函數(shù)關(guān)系對(duì)系統(tǒng)的穩(wěn)定性的影響。1、激活函數(shù)為線性函數(shù)時(shí)2、激活函數(shù)為非線性函數(shù)時(shí) 當(dāng)激活函數(shù)為線性函數(shù)時(shí)，即不同的系統(tǒng)解的情況。的不同情況，可以得到，解出的特征值為單位對(duì)角陣。通過(guò)對(duì)其中此系統(tǒng)的特征方程為：。其中：此時(shí)系統(tǒng)的狀態(tài)方程為riiIIAWBRABAUUuv21 0 1 對(duì)于非線性系統(tǒng)進(jìn)行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點(diǎn)附近對(duì)系統(tǒng)進(jìn)行線性化處理。也可以基于

13、網(wǎng)絡(luò)的能量函數(shù)。下面介紹Hopfield能量函數(shù)法。 :121 :101111的穩(wěn)定性有如下的定理關(guān)于能量項(xiàng)。入狀態(tài)和輸出值關(guān)系的上式第三項(xiàng)表示一種輸能量函數(shù)定義為CHNNdvvRIvvvwEniviiniiininjjiiji dtdvvcdtducRuIvwRuIvwvwvEdtdvvEdtdEnidtdEdtdvdtdEwwcviiiiiiiiinjjijiiinjjjinjjijiniiiijiijii111111 2121 , 2 , 100, 0 , 0 證明：，時(shí)，當(dāng)且僅當(dāng)，有則隨著網(wǎng)絡(luò)狀態(tài)的變化，且為單調(diào)連續(xù)遞增的函數(shù)定理：若 idtdEdtdvdtdEvcdtdvvcdtdE

14、iiiiniiiii 0 00 , 0 1121時(shí)僅當(dāng)單調(diào)遞增， 此定理表明，隨著時(shí)間的演化，網(wǎng)絡(luò)的狀態(tài)總是朝能量減少的方向運(yùn)動(dòng)。網(wǎng)絡(luò)的平衡點(diǎn)就是E的極小點(diǎn)。關(guān)于Hopfield能量函數(shù)的幾點(diǎn)說(shuō)明 當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始狀態(tài)開(kāi)始，因?yàn)樵诿看蔚蠖寄軡M足E0，所以網(wǎng)絡(luò)的能量將會(huì)越來(lái)越小，最后趨于穩(wěn)定點(diǎn)E=0。 Hopfield能量函數(shù)的物理意義是：在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi)，離吸引點(diǎn)越遠(yuǎn)的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處，不斷地趨于吸引點(diǎn)，直到達(dá)到穩(wěn)定點(diǎn)。 幾點(diǎn)說(shuō)明： 1）能量函數(shù)為反饋網(wǎng)絡(luò)的重要概念。根據(jù)能量函數(shù)可以方便的

15、判斷系統(tǒng)的穩(wěn)定性； 2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內(nèi)，且要求在零點(diǎn)值為零； 3）Hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。關(guān)于CHNN的幾點(diǎn)結(jié)論 1）具有良好的收斂性； 2）具有有限個(gè)平衡點(diǎn)； 3）如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的； 4）漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的局部極小點(diǎn)； 5）能將任意一組希望存儲(chǔ)的正交化矢量綜合為網(wǎng)絡(luò)的漸進(jìn)平衡點(diǎn)； 6）網(wǎng)絡(luò)的存儲(chǔ)信息表現(xiàn)為神經(jīng)元之間互連的分布式動(dòng)態(tài)存儲(chǔ)； 7）網(wǎng)絡(luò)以大規(guī)模、非線性、連續(xù)時(shí)間并行方式處理信息，其計(jì)算時(shí)間就是網(wǎng)絡(luò)趨于平衡點(diǎn)的時(shí)間

16、。Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 w組合優(yōu)化問(wèn)題，就是在給定約束條件下，求出使目標(biāo)函數(shù)極?。ɑ驑O大）的變量組合問(wèn)題。 w將Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問(wèn)題，就是把目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù)，把問(wèn)題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時(shí)，問(wèn)題的最優(yōu)解也隨之求出。 w旅行商問(wèn)題，簡(jiǎn)稱TSP（Traveling Salesman Problem）。問(wèn)題的提法是：設(shè)有N個(gè)城市， ,記為： ,用dij表示ci和cj之間的距離， dij0,(i,j=1,2,n) 。w有一旅行商從某一城市出發(fā)，訪問(wèn)各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。Nc

17、cc,21NcccC,21N=5 TSP Probelm N=5，并用字母A、B、C、D、E、分別代表這5個(gè)城市。當(dāng)任選一條路徑如B-D-E-A-C,，則其總路徑長(zhǎng)度可表示為 第一步就是將問(wèn)題映照到一個(gè)神經(jīng)網(wǎng)絡(luò)。假定每個(gè)神經(jīng)元的放大器有很高的放大倍數(shù)，神經(jīng)元的輸出限制在二值0和1上，則映照問(wèn)題可以用一個(gè)換位矩陣（Permutation Matrix）來(lái)進(jìn)行，換位矩陣可如下圖所示。 CBACEADEBDdddddS換位矩陣次序城市12345A00010B10000C00001D01000E00100約束條件和最優(yōu)條件 矩陣的每個(gè)元素對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元，則這個(gè)問(wèn)題可用N2=52=25個(gè)神

18、經(jīng)元組成的Hop-field網(wǎng)絡(luò)來(lái)求解。 問(wèn)題的約束條件和最優(yōu)條件如下： （1) 一個(gè)城市只能被訪問(wèn)一次=換位矩陣每行只有一個(gè)“1”。 （2）一次只能訪問(wèn)一個(gè)城市=換拉矩陣每列只有一個(gè)“1”。 （3）總共有N個(gè)城市=換位矩陣元素之和為N。 (4）求巡回路徑最短=網(wǎng)絡(luò)能量函數(shù)的最小值對(duì)應(yīng)于TSP的最短路徑。 結(jié)論 用vij表示換位矩陣第i行、第j列的元素，顯然只能取1或0。同時(shí)，vij也是網(wǎng)絡(luò)神經(jīng)元的狀態(tài)。 結(jié)論: 構(gòu)成最短路徑的換位矩陣一定是形成網(wǎng)絡(luò)能量函數(shù)極小點(diǎn)的網(wǎng)絡(luò)狀態(tài)。網(wǎng)絡(luò)能量函數(shù)的構(gòu)成 1） 第x行 的 所 有 元 素xi按 順 序 兩 兩 相 乘 之 和xiNxNijxi 111應(yīng)

19、為0。 2） N 個(gè) 行 的 所 有 元 素 按 順 序 兩 兩 相 乘 之 和xjNxNiNijxi 1111也 應(yīng) 為0。 3） 將 第 2）項(xiàng) 前 乘 系 數(shù) A/2，則 可 作 為 網(wǎng) 絡(luò) 能 量 函 數(shù) 的 第 一 項(xiàng) xiNxniNijxiA11112 同 理 ， 對(duì) 應(yīng) 于 第 （ 2） 個(gè) 約 束 條 件 ， 可 得 能 量 函 數(shù) 的 第 二 項(xiàng) yiNiNxNxyxiB 11112 式 中 ， B/2 為 系 數(shù) 。 續(xù)1續(xù)2第（4）項(xiàng)為優(yōu)化目標(biāo)，即優(yōu)化要求其表達(dá)式為 1,1,iydiydxixyxixy和 由前三個(gè)約束條件可知，這兩項(xiàng)至少有一項(xiàng)為 0，順序訪問(wèn)x、y兩城市所有可能途徑（長(zhǎng)度）可表示為 ),() 1,1,(111iyiyxixyNixixyyxixydiydid 續(xù)3N個(gè) 城 市 兩 兩 之 間 所 有 可 能 的 訪 問(wèn) 路 徑 的 長(zhǎng) 度可 表 示 為 ),(11111 iyiyxiNxNyNixyd 當(dāng) 這 項(xiàng) 最 小 時(shí)