第07講反饋網(wǎng)絡(luò)

1、第07講 反饋網(wǎng)絡(luò) 鄒江反饋網(wǎng)絡(luò)(Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 1982年，美國(guó)加州工學(xué)院物理學(xué)家霍普菲爾德(JHopfield)發(fā)表了一篇對(duì)人工神經(jīng)網(wǎng)絡(luò)研究頗有影響的論文。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。 在本章中，我們將集中討論反饋網(wǎng)

2、絡(luò)，通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果。在這里，著重關(guān)心的是網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題，研究的重點(diǎn)是怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò)。 霍普菲爾德網(wǎng)絡(luò)是單層對(duì)稱全反饋網(wǎng)絡(luò)，根據(jù)其激活函數(shù)的選取不同，可分為離散型的霍普菲爾德網(wǎng)絡(luò)(Discrete Hopfield Neural Network，簡(jiǎn)稱DHNN)和連續(xù)型的霍普菲爾德網(wǎng)絡(luò)(Continuous Hopfield Neural Network，簡(jiǎn)稱CHNN)。DHNN的激活函數(shù)為二值型的，其輸入、輸出為0，1的反饋網(wǎng)絡(luò)，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關(guān)系為連續(xù)可微的單調(diào)上升函數(shù)，主要用于

3、優(yōu)化計(jì)算。 71 霍普菲爾德網(wǎng)絡(luò)模型 圖71 反饋網(wǎng)絡(luò)結(jié)構(gòu)圖 在反饋網(wǎng)絡(luò)中如果其激活函數(shù)f()是一個(gè)二值型的硬函數(shù)，如圖72所示，即aisgn(ni)，il, 2, r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果ai=f(ni)中的f()為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)。圖73中所示為一個(gè)具有飽和線性激活函數(shù)，它滿足連續(xù)單調(diào)上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。 圖72 DHNN中的激活函數(shù) 圖73 CHNN中的激活函數(shù) 72 狀態(tài)軌跡 設(shè)狀態(tài)矢量N=n1, n2, ，nr，網(wǎng)絡(luò)的輸出矢量為Aa1，a2，asT ，在一個(gè)r維狀態(tài)空間上，可以用一條軌跡來(lái)描述狀態(tài)變化情況。

4、從初始值N(t0)出發(fā)，N(t0+t)N(t0+2t)N(t0+mt)，這些在空間上的點(diǎn)組成的確定軌跡，是演化過(guò)程中所有可能狀態(tài)的集合，我們稱這個(gè)狀態(tài)空間為相空間。 圖74 三維空間中的狀態(tài)軌跡 對(duì)于DHNN，因?yàn)镹(t)中每個(gè)值只可能為1，或0，1，對(duì)于確定的權(quán)值wij，其軌跡是跳躍的階梯式，如圖中A所示。對(duì)于CHNN，因?yàn)閒()是連續(xù)的，因而，其軌跡也是連續(xù)的。如圖中B、C所示。 對(duì)于不同的連接權(quán)值wij和輸入Pj(i, j=1, 2, r)，反饋網(wǎng)絡(luò)狀態(tài)軌跡可能出現(xiàn)以下幾種情況。 721 狀態(tài)軌跡為穩(wěn)定點(diǎn) 狀態(tài)軌跡從系統(tǒng)在t0時(shí)狀態(tài)的初值N(t0)開始，經(jīng)過(guò)一定的時(shí)間t(t0)后，到達(dá)N

5、(t0+t)。如果N(t0+t+t)=N(t0+t)，t0，則狀態(tài)N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn)。 即反饋網(wǎng)絡(luò)從任一初始態(tài)P(0)開始運(yùn)動(dòng)，若存在某一有限時(shí)刻t，從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化：P(t+t)= P(t)，t0，則稱該網(wǎng)絡(luò)是穩(wěn)定的。 處于穩(wěn)定時(shí)的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子。 在一個(gè)反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)，根據(jù)不同情況，這些穩(wěn)定點(diǎn)可以分為：1)漸近穩(wěn)定點(diǎn)：如果在穩(wěn)定點(diǎn)Ne周圍的N()區(qū)域內(nèi)，從任一個(gè)初始狀態(tài)N(t0)出發(fā)的每個(gè)運(yùn)動(dòng)，當(dāng)t時(shí)都收斂于Ne，則稱Ne為漸近穩(wěn)定點(diǎn)。 2)不穩(wěn)定平衡點(diǎn)Nen：在某些特定的軌跡演化過(guò)程中，網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn)Nen，但對(duì)于

6、其它方向上的任意一個(gè)小的區(qū)域N()，不管N()取多么小，其軌跡在時(shí)間t以后總是偏離Nen； 3)網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解； 4)網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解，這個(gè)穩(wěn)定點(diǎn)為偽穩(wěn)定點(diǎn)。 722 狀態(tài)軌跡為極限環(huán)如果在某些參數(shù)的情況下，狀態(tài)N(t)的軌跡是一個(gè)圓，或一個(gè)環(huán)，狀態(tài)N(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時(shí)的輸出A(t)也出現(xiàn)周期變化，即出現(xiàn)振蕩，如圖74中C的軌跡即是極限環(huán)出現(xiàn)的情形。對(duì)于DHNN，軌跡變化可能在兩種狀態(tài)下來(lái)回跳動(dòng)，其極限環(huán)為2。如果在r種狀態(tài)下循

7、環(huán)變化，稱其極限環(huán)為r。 723 混沌現(xiàn)象如果狀態(tài)N(t)的軌跡在某個(gè)確定的范圍內(nèi)運(yùn)動(dòng)，但既不重復(fù)，又不能停下來(lái)，狀態(tài)變化為無(wú)窮多個(gè)，而軌跡也不能發(fā)散到無(wú)窮遠(yuǎn)，這種現(xiàn)象稱為混沌(chaos)。在出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無(wú)窮多個(gè)，并且隨時(shí)間推移不能趨向穩(wěn)定，但又不發(fā)散。 724 狀態(tài)軌跡發(fā)散如果狀態(tài)N(t)的軌跡隨時(shí)間一直延伸到無(wú)窮遠(yuǎn)，此時(shí)狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散。在人工神經(jīng)網(wǎng)絡(luò)中，由于輸入、輸出激活函數(shù)上一個(gè)有界函數(shù)，雖然狀態(tài)N(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而A（t）的穩(wěn)定反過(guò)來(lái)又限制了狀態(tài)的發(fā)散。一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激活函

8、數(shù)是線性的。 目前的人工神經(jīng)網(wǎng)絡(luò)是利用第一種情況即穩(wěn)定的專門軌跡來(lái)解決某些問(wèn)題的。如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過(guò)程就是尋找該記憶的過(guò)程。 狀態(tài)的初始值可以認(rèn)為是給定的有關(guān)該記憶的部分信息，狀態(tài)N(t)移動(dòng)的過(guò)程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過(guò)程。 如果把系統(tǒng)的穩(wěn)定點(diǎn)考慮為一個(gè)能量函數(shù)的極小點(diǎn)，在狀態(tài)空間中，從初始狀態(tài)N(t0)N(t0+t)，最后到達(dá)N*。若N*為穩(wěn)定點(diǎn)，則可以看作是N*把N(t0)吸引了過(guò)去，在N(t0)時(shí)能量比較大，而吸引到N*時(shí)能量已為極小了。 根據(jù)這個(gè)道理，可以把這個(gè)能量的極小點(diǎn)作為一個(gè)優(yōu)化目標(biāo)函數(shù)的極小點(diǎn)，把狀態(tài)

9、變化的過(guò)程看成是優(yōu)化某一個(gè)目標(biāo)函數(shù)的過(guò)程。因此反饋網(wǎng)絡(luò)的狀態(tài)移動(dòng)的過(guò)程實(shí)際上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過(guò)程。它的解并不需要真的去計(jì)算，只需要去形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)赜懻撈錂?quán)重值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)的移動(dòng)就可以達(dá)到這個(gè)目的。 霍普菲爾德網(wǎng)絡(luò)是利用穩(wěn)定吸引子來(lái)對(duì)信息進(jìn)行儲(chǔ)存的，利用從初始狀態(tài)到穩(wěn)定吸引子的運(yùn)行過(guò)程來(lái)實(shí)現(xiàn)對(duì)信息的聯(lián)想存取的。 通過(guò)對(duì)神經(jīng)元之間的權(quán)和閾值的設(shè)計(jì)，要求單層的反饋網(wǎng)絡(luò)達(dá)到下列目標(biāo)：(1)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂 (2)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) (3)吸引域的設(shè)計(jì) 73 離散型霍普菲爾德網(wǎng)絡(luò)（DHNN） 731 DHNN模型結(jié)構(gòu) 其輸出類似于MP神經(jīng)元，可

10、表示為： 在上式中，取b0，權(quán)矩陣中有wijwji，且取wii0。即DHNN采用對(duì)稱聯(lián)接。因此，其網(wǎng)絡(luò)結(jié)構(gòu)可以用一個(gè)加權(quán)元向量圖表示。 圖75 霍普菲爾德網(wǎng)絡(luò)圖 由圖75(a)，考慮到DHNN的權(quán)值特性wijwji，網(wǎng)絡(luò)各節(jié)點(diǎn)加權(quán)輸入和分別為： 對(duì)于以符號(hào)函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為： 732 聯(lián)想記憶 聯(lián)想記憶功能是DHNN的一個(gè)重要應(yīng)用范圍。要想實(shí)現(xiàn)聯(lián)想記憶，反饋網(wǎng)絡(luò)必須具有兩個(gè)基本條件：網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。 DHNN實(shí)現(xiàn)聯(lián)想記憶的過(guò)程分為兩個(gè)階段：學(xué)習(xí)記憶階段和聯(lián)想回憶階段。在學(xué)習(xí)記

11、憶階段中，設(shè)計(jì)者通過(guò)某一設(shè)計(jì)方法確定一組合適的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點(diǎn)。聯(lián)想回憶階段則是網(wǎng)絡(luò)的工作過(guò)程。 反饋網(wǎng)絡(luò)有兩種基本的工作方式：串行異步和并行同步方式。 1)串行異步方式： 2)并行同步方式： 在狀態(tài)更新過(guò)程中，包括三種情況：由-1變?yōu)?；由1變?yōu)?1及狀態(tài)保持不變。在任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過(guò)多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。這種更新方式的特點(diǎn)是： 實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有自己的狀態(tài)更新時(shí)刻，不需要同步機(jī)制； 功能上的串行狀態(tài)更新可以限制網(wǎng)絡(luò)的輸出狀態(tài)，避免不同穩(wěn)態(tài)等概率的出現(xiàn)； 異步狀態(tài)更新更接近實(shí)際的

12、生物神經(jīng)系統(tǒng)的表現(xiàn)。 733 DHNN的海布(Hebb)學(xué)習(xí)規(guī)則 在DHNN的網(wǎng)絡(luò)訓(xùn)練過(guò)程中，運(yùn)用的是海布調(diào)節(jié)規(guī)則：當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的狀態(tài)相同(即同時(shí)興奮或抑制)時(shí)，從第j個(gè)到第i個(gè)神經(jīng)元之間的連接強(qiáng)度則增強(qiáng)，否則則減弱。海布法則是一種無(wú)指導(dǎo)的死記式學(xué)習(xí)算法。 離散型霍普菲爾德網(wǎng)絡(luò)的學(xué)習(xí)目的：對(duì)具有q個(gè)不同的輸入樣本組PrqP1, P2 Pq，希望通過(guò)調(diào)節(jié)計(jì)算有限的權(quán)值矩陣W，使得當(dāng)每一組輸入樣本Pk，k=1，2，q，作為系統(tǒng)的初始值，經(jīng)過(guò)網(wǎng)絡(luò)的工作運(yùn)行后，系統(tǒng)能夠收斂到各自輸入樣本矢量本身。 當(dāng)k1時(shí)，對(duì)于第i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對(duì)輸入矢量的學(xué)習(xí)關(guān)系式為： 其中，0，i

13、1，2，r；j=1，2，r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取1或1/r。 那么由(72)式求出的權(quán)值wij是否能夠保證aipi？ 取l，我們來(lái)驗(yàn)證一下，對(duì)于第i個(gè)輸出節(jié)點(diǎn)，有： 根據(jù)海布規(guī)則的權(quán)值設(shè)計(jì)方法，當(dāng)k由1增加到2，直至q時(shí)，則是在原有己設(shè)計(jì)出的權(quán)值的基礎(chǔ)上，增加一個(gè)新量pjkpik，k2, q，所以對(duì)網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計(jì)公式為： (7.3)式中矢量T為記憶樣本，TP。上式稱為推廣的學(xué)習(xí)調(diào)節(jié)規(guī)則。當(dāng)系數(shù)1時(shí)，稱(73)式為T的外積和公式。 DHNN的設(shè)計(jì)目的是使任意輸入矢量經(jīng)過(guò)網(wǎng)絡(luò)循環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個(gè)樣本上。因?yàn)榛羝辗茽柕戮W(wǎng)絡(luò)有wijwji，所以完整的霍普菲爾德網(wǎng)絡(luò)權(quán)

14、值設(shè)計(jì)公式應(yīng)當(dāng)為：用向量形式表示為： 當(dāng)1時(shí)有：其中，I為單位對(duì)角矩陣。 （7.4） （7.5） （7.6） 在神經(jīng)網(wǎng)絡(luò)工具箱中有關(guān)采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m，后者為帶有衰減學(xué)習(xí)速率的函數(shù)：dW1earnh(P，A，lr)；或 dWlearnhd(W，P，A，lr，dr)；對(duì)于簡(jiǎn)單的情況，lr可以選擇1；對(duì)于復(fù)雜的應(yīng)用，可取lr0.10.5，drlr3。 734 影響記憶容量的因素設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望通過(guò)所設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期望模式。從海布學(xué)習(xí)公式的推導(dǎo)過(guò)程中可以看出：當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住，

15、即所設(shè)計(jì)的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系。但當(dāng)需要記憶的模式增多時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下面兩點(diǎn)上：(1)權(quán)值移動(dòng) 當(dāng)k=1時(shí)，有：此時(shí)，網(wǎng)絡(luò)準(zhǔn)確的記住了樣本T1，當(dāng)k=2時(shí)，為了記憶樣本T2，需要在記憶了樣本Tl的權(quán)值上加上對(duì)樣本T2的記憶項(xiàng)T2T2T-I，將權(quán)值在原來(lái)值的基礎(chǔ)上產(chǎn)生了移動(dòng)。 另一方面，由于在學(xué)習(xí)樣本T2時(shí)，權(quán)矩陣W是在已學(xué)習(xí)了T1的基礎(chǔ)上進(jìn)行修正的。此時(shí)，因W起始值不再為零，所以由此調(diào)整得出的新的W值，對(duì)記憶樣本T2來(lái)說(shuō)，也未必對(duì)所有的s個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，即難以保證網(wǎng)絡(luò)對(duì)T2的精確的記憶。 隨著學(xué)習(xí)樣本數(shù)k的增加，權(quán)值移動(dòng)現(xiàn)象將進(jìn)一步發(fā)生

16、，當(dāng)學(xué)習(xí)了第q個(gè)樣本Tq后，權(quán)值又在前q1個(gè)樣本修正的基礎(chǔ)上產(chǎn)生了移動(dòng)，這也是網(wǎng)絡(luò)在精確的學(xué)習(xí)了第一個(gè)樣本后的第q-1次移動(dòng)。 對(duì)已記憶的樣本發(fā)生遺忘，這種現(xiàn)象成為“疲勞”。 (2)交叉干擾設(shè)輸入矢量P維數(shù)為rq，取=1/r，因?yàn)閷?duì)于DHNN有Pk-1，1，k=1，2，q，所以有pik*pjkpjk*pjk1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量Pl，l1,q，作為網(wǎng)絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和nil為： 上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)則是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的相互干擾，稱為交叉干擾項(xiàng)。 735 網(wǎng)絡(luò)的記憶容量確定只要滿足rq，則有sgn(Nl)Pl，保證P

17、l為網(wǎng)絡(luò)的穩(wěn)定解。DHNN用于聯(lián)想記憶有兩個(gè)突出的特點(diǎn)：即記憶是分布式的，而聯(lián)想是動(dòng)態(tài)的。DHNN局限性，主要表現(xiàn)在以下幾點(diǎn)：記憶容量的有限性；偽穩(wěn)定點(diǎn)的聯(lián)想與記憶；當(dāng)記憶樣本較接近時(shí)，網(wǎng)絡(luò)不能始終回憶出正確的記憶等。另外網(wǎng)絡(luò)的平衡穩(wěn)定點(diǎn)并不可以任意設(shè)置的，也沒有一個(gè)通用的方式來(lái)事先知道平衡穩(wěn)定點(diǎn)。 所以真正想利用好霍普菲爾德網(wǎng)絡(luò)并不是一件容易的事情。 736DHNN權(quán)值設(shè)計(jì)的其他方法(1)學(xué)習(xí)規(guī)則：(2)偽逆法 WNP* （7. 9）其中P*為P的偽逆，有P*(PTP)-1PT，如果樣本之間是線性無(wú)關(guān)的，則PTP滿秩，其逆存在，則可求出(79)式求權(quán)矩陣W來(lái)。由于存在求逆等運(yùn)算，偽逆法較為繁

18、瑣，而海布法則要容易求得多。 (3)正交化的權(quán)值設(shè)計(jì)這一方法的基本思想和出發(fā)點(diǎn)是為了滿足下面四個(gè)要求： 1)保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性；2)保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己；3)使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少；4)使穩(wěn)定點(diǎn)的吸引域盡可能的大。 雖然正交化設(shè)計(jì)方法的數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，但與外積和法相比較，所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)能夠保證收斂到自己并且有較大的穩(wěn)定域。更主要的是在MATLAB工具箱中已將此設(shè)計(jì)方法寫進(jìn)了函數(shù)solvehop.m中： W，bsolvehop(T)； 例71考慮一個(gè)具有兩個(gè)神經(jīng)元的霍普菲爾德網(wǎng)絡(luò)，每個(gè)神經(jīng)元具有兩個(gè)權(quán)值和一個(gè)偏差。網(wǎng)絡(luò)所要存儲(chǔ)的目標(biāo)平衡點(diǎn)為一個(gè)列矢量T

19、：T1 -1； -1 1；W,b=solvehop(T); 設(shè)計(jì)Hopfield網(wǎng)絡(luò)。用來(lái)進(jìn)行測(cè)試的函數(shù)為simuhop.m； 74 連續(xù)型霍普菲爾德網(wǎng)絡(luò) 霍普菲爾德網(wǎng)絡(luò)可以推廣到輸入和輸出都取連續(xù)數(shù)值的情形。這時(shí)網(wǎng)絡(luò)的基本結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。若定義網(wǎng)絡(luò)中第i個(gè)神經(jīng)元的輸入總和為ni，輸出狀態(tài)為ai，則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移方程可寫為：其中神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù))： 或 圖78 連續(xù)霍普菲爾德網(wǎng)絡(luò)激活函數(shù) 例72TSP問(wèn)題。所謂TSP(Traveling Salesman Problem)問(wèn)題，即“旅行商問(wèn)題”是一個(gè)十分有名的難以求解的優(yōu)化問(wèn)題，其要求很簡(jiǎn)單：在

20、n個(gè)城市的集合中，找出一條經(jīng)過(guò)每個(gè)城市各一次，最終回到起點(diǎn)的最短路徑。如果已知城市A，B，C，D，之間的距離為dAB，dBC，dCD；那么總的距離ddAB+dBC+dCD+，對(duì)于這種動(dòng)態(tài)規(guī)化問(wèn)題，要去求其min(d)的解。因?yàn)閷?duì)于n個(gè)城市的全排列共有n!種，而TSP并沒有限定路徑的方向，即為全組合，所以對(duì)于固定的城市數(shù)n的條件下，其路徑總數(shù)Sn為Snn!2n (n4) 圖7. 9 n4時(shí)的TSP路徑圖 表7. 2 城市數(shù)和對(duì)應(yīng)的旅行方案數(shù) 采用連續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來(lái)求解TSP，開辟了一條解決這一問(wèn)題的新途徑。其基本思想是把TSP映射到CHNN上，通過(guò)網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)演化逐步趨向穩(wěn)態(tài)而自動(dòng)地搜索出優(yōu)化解。 TSP的解是若干城市的有序排列，任何一個(gè)城市在最終路徑上的位置