人工神經(jīng)網(wǎng)絡(luò)HOPFIELD神經(jīng)網(wǎng)絡(luò)講義

人工神經(jīng)網(wǎng)絡(luò)HOPFIELD神經(jīng)網(wǎng)絡(luò)講義要點(diǎn)簡介1.研究背景2.Hopfield神經(jīng)網(wǎng)絡(luò)3.Hopfield神經(jīng)網(wǎng)絡(luò)4.Hopfield網(wǎng)絡(luò)求解TSP問題2研究背景前幾章介紹的神經(jīng)網(wǎng)絡(luò)模型屬于前向神經(jīng)網(wǎng)絡(luò)，從學(xué)習(xí)的觀點(diǎn)上看，它們是強(qiáng)有力的學(xué)習(xí)系統(tǒng)，結(jié)構(gòu)簡單，易于編程。從系統(tǒng)的觀點(diǎn)看，它們屬于一種靜態(tài)的非線性映射，通過簡單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力，但它們因缺乏反饋，所以并不是一個強(qiáng)有力的動力學(xué)系統(tǒng)。3/3/20233研究背景Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重要的里程碑。由美國加州理工學(xué)院物理學(xué)家J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。3/3/20234研究背景1985年，和建立了相互連接型的神經(jīng)網(wǎng)絡(luò)模型，并用它成功地探討了旅行商問題(TSP)的求解方法。3/3/20235研究背景Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計算的角度上講，它具有很強(qiáng)的計算能力。這樣的系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問題。穩(wěn)定性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核心，學(xué)習(xí)記憶的過程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問題的求解。3/3/20236研究背景反饋型神經(jīng)網(wǎng)絡(luò)作為非線性動力學(xué)系統(tǒng)，可表現(xiàn)出豐富多樣的動態(tài)特性，如穩(wěn)定性、極限環(huán)、奇怪吸引子(混沌)等。這些特性是神經(jīng)網(wǎng)絡(luò)引起研究人員極大興趣的原因之一。研究表明，由簡單非線性神經(jīng)元互連而成的反饋動力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有兩個重要特征：1.系統(tǒng)有若干個穩(wěn)定狀態(tài)，如果從某一個初始狀態(tài)開始運(yùn)動，系統(tǒng)總可以進(jìn)入其中某一個穩(wěn)定狀態(tài)；2.系統(tǒng)的穩(wěn)定狀態(tài)可以通過改變各個神經(jīng)元間的連接權(quán)值而得到。研究背景Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計與應(yīng)用的關(guān)鍵是對其動力學(xué)特性的正確理解：網(wǎng)絡(luò)的穩(wěn)定性是其重要性質(zhì)，而能量函數(shù)是判定網(wǎng)絡(luò)穩(wěn)定性的基本概念。Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。3/3/20239網(wǎng)絡(luò)模型表示法一離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）離散Hopfield神經(jīng)網(wǎng)絡(luò)3/3/202310網(wǎng)絡(luò)模型表示法二離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中每個神經(jīng)元的輸出都與其它神經(jīng)元的輸入相連3/3/202311反饋網(wǎng)絡(luò)結(jié)構(gòu)(單層全反饋網(wǎng))3/3/202312反饋網(wǎng)絡(luò)的特性網(wǎng)絡(luò)輸出不僅依賴網(wǎng)絡(luò)參數(shù)和輸入，還是時間的函數(shù)。對不同的輸入和參數(shù)，網(wǎng)絡(luò)的輸出（或狀態(tài)）可能出現(xiàn)如下幾種情況：發(fā)散：網(wǎng)絡(luò)狀態(tài)的軌跡隨時間一直延伸到無窮遠(yuǎn)；混沌：網(wǎng)絡(luò)狀態(tài)隨時間推移不能穩(wěn)定，但又不發(fā)散，而是在某個確定范圍內(nèi)變化，狀態(tài)有無窮多個；振蕩：網(wǎng)絡(luò)狀態(tài)隨時間呈現(xiàn)周期（環(huán)狀）變化，永遠(yuǎn)不會停止；收斂：經(jīng)過一段時間后，網(wǎng)絡(luò)狀態(tài)停止在一點(diǎn)上，不再變化，稱該點(diǎn)為網(wǎng)絡(luò)的平衡點(diǎn)反饋網(wǎng)絡(luò)的特性平衡點(diǎn)可分為：漸近穩(wěn)定平衡點(diǎn)：在該平衡點(diǎn)周圍區(qū)域內(nèi)，從任意一初始點(diǎn)出發(fā)，當(dāng)時間趨向無窮時都收斂到這個點(diǎn)。不穩(wěn)定平衡點(diǎn)：在某些特定的軌跡演化過程中，能夠使網(wǎng)絡(luò)達(dá)到該穩(wěn)定點(diǎn)，但對該點(diǎn)其它方向上任一個無論多么小的區(qū)域，其軌跡在某個時刻以后總是偏離該點(diǎn)。網(wǎng)絡(luò)的穩(wěn)定點(diǎn)解：網(wǎng)絡(luò)最后是穩(wěn)定到設(shè)計所要求的平衡點(diǎn)上，而且平衡點(diǎn)又是漸近穩(wěn)定平衡點(diǎn)。網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最后是穩(wěn)定到一個穩(wěn)定平衡點(diǎn)上，但這個穩(wěn)定平衡點(diǎn)不是設(shè)計所要求的解。反饋網(wǎng)絡(luò)的作用反饋網(wǎng)絡(luò)是利用漸近穩(wěn)定平衡點(diǎn)來解決某些問題聯(lián)想記憶：把漸近穩(wěn)定平衡點(diǎn)視為一個記憶，從初始點(diǎn)朝這個漸近穩(wěn)定平衡點(diǎn)流動的過程就是尋找該記憶的過程。初始點(diǎn)可認(rèn)為是給定的有關(guān)記憶的部分信息，這時就是從部分信息去尋找全部信息的聯(lián)想記憶過程。優(yōu)化計算：把漸近穩(wěn)定平衡點(diǎn)視為某能量函數(shù)的極小點(diǎn)，從初始點(diǎn)到達(dá)穩(wěn)定點(diǎn)，可看作是穩(wěn)定點(diǎn)把初始點(diǎn)吸引了過來，在初始點(diǎn)時，能量比較大，而吸引到穩(wěn)定點(diǎn)時能量比較小，漸近穩(wěn)定平衡點(diǎn)就可以作為一個優(yōu)化目標(biāo)函數(shù)的極小點(diǎn)。反饋網(wǎng)絡(luò)研究的內(nèi)容網(wǎng)絡(luò)穩(wěn)定性：即研究在什么條件下，網(wǎng)絡(luò)不會出現(xiàn)發(fā)散、振蕩和混沌現(xiàn)象。網(wǎng)絡(luò)穩(wěn)定點(diǎn)：非線性的網(wǎng)絡(luò)可能有很多個穩(wěn)定點(diǎn)，如何設(shè)計權(quán)使其中的某些穩(wěn)定點(diǎn)是所要求的解。對于用作聯(lián)想記憶的網(wǎng)絡(luò)，希望穩(wěn)定點(diǎn)都是一個記憶，那么記憶容量就與穩(wěn)定點(diǎn)的數(shù)目有關(guān)，若要求記憶容量大，穩(wěn)定點(diǎn)的數(shù)目也就要大。但穩(wěn)定點(diǎn)的數(shù)目增加可能會引起吸引域的減少，從而使其聯(lián)想功能減弱。對于用作優(yōu)化計算的網(wǎng)絡(luò)，由于目標(biāo)函數(shù)往往要求只有一個全局最小，因而希望穩(wěn)定點(diǎn)(局部極小點(diǎn))越少越好。反饋網(wǎng)絡(luò)研究的內(nèi)容吸引域的設(shè)計：希望解的穩(wěn)定點(diǎn)有盡可能大吸引域網(wǎng)絡(luò)模型表示法一離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）離散Hopfield神經(jīng)網(wǎng)絡(luò)3/3/202318…

注：…或連接權(quán)閾值-1輸入輸出關(guān)系：離散Hopfield神經(jīng)網(wǎng)絡(luò)3/3/202319離散Hopfield神經(jīng)網(wǎng)絡(luò)激勵函數(shù)3/3/202320離散Hopfield神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明任意神經(jīng)元i與j間的突觸權(quán)值wij為，神經(jīng)元之間連接是對稱的，神經(jīng)元自身無連接.每個神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號經(jīng)過其他神經(jīng)元又有可能反饋給自己設(shè)Hopfield網(wǎng)絡(luò)中有n個神經(jīng)元，其中任意神經(jīng)元的輸入用xi(t)表示，輸出xi(t+1)用表示，它們都是時間的函數(shù)，其中xi(t)也稱為神經(jīng)元在時刻t的狀態(tài)。離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的狀態(tài)離散型Hopfield網(wǎng)絡(luò)的狀態(tài)由n個神經(jīng)元的狀態(tài)集合構(gòu)成。因此，在任何一個給定的時刻t，離散型Hopfield網(wǎng)絡(luò)的的狀態(tài)可以表示為

3/3/202322離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式

在任—時刻，只有某—神經(jīng)元(隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式

在任一時刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時改變。3/3/202323工作方式異步（串行）方式:同步（并行）方式:離散Hopfield神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步對網(wǎng)絡(luò)進(jìn)行初始化；第二步從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元i；第三步求出該神經(jīng)元i的輸出；第四步求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。離散Hopfield神經(jīng)網(wǎng)絡(luò)3/3/202325例：一個3個節(jié)點(diǎn)離散型Hopfield神經(jīng)網(wǎng)絡(luò)的初始狀態(tài)X(0)=(-1,-1,-1)，網(wǎng)絡(luò)連接權(quán)值w和各個節(jié)點(diǎn)的閾值θ分別如下，試求解網(wǎng)絡(luò)穩(wěn)定狀態(tài)。離散Hopfield神經(jīng)網(wǎng)絡(luò)3/3/202326異步（串行）方式:離散Hopfield神經(jīng)網(wǎng)絡(luò)3/3/202327X(0)=(x1,x2,x3)X(0)=(-1,-1,-1)x1(1)=sgn[1×(-1)+2×(-1)-(-5)]=sgn[2]=1X(1)=(1,-1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)X(1)=(x1,x2,x3)X(1)=(1,-1,-1)x2(2)=sgn[1×1+(-3)×(-1)-(0)]=sgn[4]=1X(2)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)X(2)=(x1,x2,x3)X(2)=(1,1,-1)x3(3)=sgn[2×1+(-3)×1-3]=sgn[-4]=-1X(3)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)X(3)=(x1,x2,x3)X(3)=(1,1,-1)x1(4)=sgn[1×1+2×(-1)-5]=sgn[4]=1X(4)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)X(4)=(x1,x2,x3)X(4)=(1,1,-1)x2(5)=sgn[1×1+2×(-1)-5]=sgn[4]=1X(5)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)X(5)=(x1,x2,x3)X(5)=(1,1,-1)x3(6)=sgn[2×1+(-3)×1-3]=sgn[-4]=-1X(6)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)(Lyapunovfunction)因Hopfield并無訓(xùn)練目標(biāo)值，因此無法以MSE、RMSE或誤判率來衡量網(wǎng)絡(luò)誤差大小因此，以能量函數(shù)進(jìn)行誤差的衡量離散Hopfield網(wǎng)絡(luò)的能量函數(shù)3/3/202334能量函數(shù)(Lyapunovfunction)用以判斷是否會收斂能量函數(shù)趨近于0，表示會收斂離散Hopfield網(wǎng)絡(luò)的能量函數(shù)3/3/202335簡化能量函數(shù)當(dāng)各處理單元的狀態(tài)變量值所構(gòu)成向量與訓(xùn)練范例特征向量之一相似或相同時，能量函數(shù)傾向較低的值離散Hopfield網(wǎng)絡(luò)的能量函數(shù)3/3/202336離散型Hopfield網(wǎng)絡(luò)的能量函數(shù)網(wǎng)絡(luò)中任意一個神經(jīng)元的能量為離散Hopfield網(wǎng)絡(luò)的能量函數(shù)3/3/202337穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對稱連接，即；神經(jīng)元自身無連接能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，

最后達(dá)到穩(wěn)定離散Hopfield網(wǎng)絡(luò)的能量函數(shù)3/3/202338網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會趨于穩(wěn)定狀態(tài)。離散Hopfield網(wǎng)絡(luò)的能量函數(shù)3/3/202339離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計設(shè)計原則：為保證異步方式工作時網(wǎng)絡(luò)收斂，權(quán)矩陣應(yīng)為對稱陣；為保證同步方式工作時網(wǎng)絡(luò)收斂，權(quán)矩陣應(yīng)為非負(fù)定對稱陣；保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有盡可能大的吸引域。離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計外積法當(dāng)所需要的吸引子較多時，可采用Hebb規(guī)則的外積法。設(shè)給定m個要記憶樣本

設(shè)樣本兩兩正交，且n>m，則權(quán)值矩陣為記憶樣本的外積和為例：一個3個節(jié)點(diǎn)離散型Hopfield神經(jīng)網(wǎng)絡(luò)的3個學(xué)習(xí)模式為X1=(-1,-1,-1)，X2=(-1,-1,-1)，X3=(-1,-1,-1)，試計算其連接矩陣并驗(yàn)證其聯(lián)想記憶能力。離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計3/3/2023431-1-3離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計3/3/202344定理：若DHNN網(wǎng)絡(luò)的規(guī)模為n，且權(quán)矩陣對角元素為0，則該網(wǎng)絡(luò)的信息容量上界為n。定理：若m個記憶模式aj=(a1,…,an),j=1,…,m，兩兩正交，n>m，且權(quán)矩陣W由外積法得到，則m個模式都是網(wǎng)絡(luò)(W,0)的吸引子。Hopfield的統(tǒng)計實(shí)驗(yàn)結(jié)論：

DHNN的記憶容量為0.13n～0.15n。DHNN的存儲容量DHNN的存儲容量連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)CHNN是在DHNN的基礎(chǔ)上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實(shí)時性、分布存儲、協(xié)同性等方面比DHNN更接近于生物神經(jīng)網(wǎng)絡(luò)。連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)令整理得連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)若令電導(dǎo)

(electricalconductance)是表示一個物體或電路，從某一點(diǎn)到另外一點(diǎn)，傳輸電流能力強(qiáng)弱的一種測量值，與物體的電導(dǎo)率和幾何形狀和尺寸有關(guān)。連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)若令則連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析

連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析

連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析

E是李雅譜諾夫函數(shù)(Lyapunov)，f(x)為sigmoid函數(shù).我們對sigmoid函數(shù)做個小的修改，函數(shù)特性不變連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)的反函數(shù)可以寫作能量函數(shù)的最后一項(xiàng)可以寫為連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)當(dāng)很大時，最后一項(xiàng)可以忽略不計因此能量函數(shù)可以寫作

連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)CHNN的能量函數(shù)不是物理意義上的能量函數(shù)，而是在表達(dá)形式上與物理意義的能量函數(shù)一致，表征網(wǎng)絡(luò)狀態(tài)的變化趨勢。定理：若作用函數(shù)是單調(diào)遞增且連續(xù)的，則能量函數(shù)E是單調(diào)遞減且有界的。連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)CHNN用非線性微分方程描述，網(wǎng)絡(luò)的穩(wěn)定性通過構(gòu)造其能量函數(shù)（又稱李雅譜諾夫函數(shù)），并用李雅譜諾夫第二穩(wěn)定性定理進(jìn)行判斷。(1)李雅譜諾夫函數(shù)并不唯一；(2)若找不到網(wǎng)絡(luò)的李雅譜諾夫函數(shù)，不能證明網(wǎng)絡(luò)不穩(wěn)定；(3)目前沒有統(tǒng)一的找李雅譜諾夫函數(shù)的方法(4)用能量函數(shù)的方法研究網(wǎng)絡(luò)的穩(wěn)定性，在數(shù)學(xué)上欠嚴(yán)謹(jǐn)。

連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)如果把一個最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。應(yīng)用Hopfield神經(jīng)網(wǎng)絡(luò)來解決優(yōu)化計算問題的一般步驟為：(1)分析問題：網(wǎng)絡(luò)輸出與問題的解相對應(yīng)；(2)構(gòu)造網(wǎng)絡(luò)能量函數(shù)：使其最小值對應(yīng)問題最佳解(3)設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)：由能量函數(shù)和網(wǎng)絡(luò)穩(wěn)定條件設(shè)計網(wǎng)絡(luò)參數(shù)，得到動力學(xué)方程；(4)硬件實(shí)現(xiàn)或軟件模擬。連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用TravelingSalesmanProblem一個旅行推銷員要到N個城市做生意，試找出一條從某城市出發(fā)，連貫這些城市，又回到原出發(fā)城市的最短路徑（每個城市只能走一次）ABCDEFABCDEFABCDEFTravelingSalesmanProblem不考慮方向性和周期性，在給定n的條件下，可能存在的閉合路徑數(shù)目為1/2(n-1)!。隨著n的增大，計算量急劇增大，會發(fā)生所謂的“組合爆炸”問題。連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用城市數(shù)路徑數(shù)城市數(shù)路徑數(shù)31121.9958×10743132.3950×108512143.1135×109660154.3589×10107360166.5384×101182520171.0461×1013920160181.7784×101410181440193.2012×101511206.0823×1016連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用vxiv：狀態(tài)變量x：城市i：拜訪的順序

次序城市1234A0100B1000C0001D0010表示城市x是推銷員所到的第i站表示城市x不是推銷員所到的第i站狀態(tài)矩陣連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用狀態(tài)要求設(shè)計限制每個城市只去一次每次只去一個城市N個城市都要到ABCDEF起始點(diǎn)終點(diǎn)※找出一條從某城市出發(fā)，連貫這些城市，又回到原出發(fā)點(diǎn)的最短路徑連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用狀態(tài)表現(xiàn)對于n個城市的旅行推銷員的一個解答可用n2個神經(jīng)元的狀態(tài)變量來代表狀態(tài)變量的排列矩陣元素※假設(shè)有四個城市

(其神經(jīng)元連結(jié)方式，舉右上角神經(jīng)元為例)0100100000010010連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用狀態(tài)函數(shù)(限制函數(shù))(1)每個城市只能經(jīng)過一次，因此不會有第i站等于第j站的情形(2)每個城市只能經(jīng)過一次，因此第i

站的城市不可能會重復(fù)(3)每個城市都要到過一次(4)城市最短總距離設(shè)計連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用綜合上述四式，設(shè)計以下能量函數(shù)連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用每個狀態(tài)的微分方程為輸入輸出函數(shù)為連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用網(wǎng)絡(luò)初始連接權(quán)值為連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用權(quán)重值矩陣連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用

（1）網(wǎng)絡(luò)參數(shù)的選擇網(wǎng)絡(luò)參數(shù)A，B，C，D，u0等對網(wǎng)絡(luò)的變化相當(dāng)敏感，原則上不能隨意改變，Hopfield和Tank給出的參數(shù)值為：A＝B＝D＝500，C＝200，u0＝0.02。這種選擇是考慮了以下兩點(diǎn)后的折中：①D值較小時，容易獲得合法路徑；D值較大時，可增加路徑長度的權(quán)重，從而使合法路徑趨于最優(yōu)；②u0是放大器的增益，太小時閾值函數(shù)接近于符號函數(shù)，不能獲得較好的解；太大時，S型閾值函數(shù)過于平坦，神經(jīng)元狀態(tài)不易于收斂到0和1，從而使獲得合法路徑的概率下降。連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用除了以上兩點(diǎn)外，考慮網(wǎng)絡(luò)參數(shù)對收斂速度的影響。實(shí)際上選擇為A＝B＝D＝0.5．C＝0.2，u0＝0.02。這樣的選擇使能量函數(shù)數(shù)量級差異減小，從而使能量的數(shù)值也減小。程序中是以?E為收斂判據(jù)，因而這種選擇加快了程序收斂的速度。（2）網(wǎng)絡(luò)初始狀態(tài)的選擇對于網(wǎng)絡(luò)初始狀態(tài)u0的選擇問題，常采用隨機(jī)擾動的方法。即給初始值u0增加一個小的擾動δ連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用(3)閾值函數(shù)的處理雙曲正切函數(shù)閾值函數(shù)的計算包括二次指數(shù)計算、二次除法計算、三次加法計算，運(yùn)算量很大，并且在每次迭代中都要調(diào)用N2次，這祥的運(yùn)算嚴(yán)重彤響了網(wǎng)絡(luò)的收斂速度。為此把該函數(shù)離散化，即在函數(shù)值變化敏感區(qū)域預(yù)先計算好足夠多的離散函數(shù)值，形成表格存入計算機(jī)。這樣在迭代過程中就無需經(jīng)常計算函數(shù)值，而代之以查表值(只需一