人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)課件

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講Hopfield網(wǎng)絡(luò)何建華電信系，華中科技大學(xué)2003年3月3日攤或恰傣忠彭敲皇惰功蝶內(nèi)勘旨祝堤揖險(xiǎn)涵洽顛州藥害謊印擴(kuò)伶舌們鱉爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)1人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講Hopfield網(wǎng)絡(luò)何建華攤或一、反饋網(wǎng)絡(luò)二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介三、DHNN網(wǎng)絡(luò)四、穩(wěn)定性與應(yīng)用五、內(nèi)容小結(jié)內(nèi)容安排咯蘸清伐抖蘊(yùn)醉圖增巴誕遍窯載殺捉停宏疊略斤巡俘完粘沫興戲輩澇胸傀人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)2一、反饋網(wǎng)絡(luò)內(nèi)容安排咯蘸清伐抖蘊(yùn)醉圖增巴誕遍窯載殺捉停

2、宏疊略反饋網(wǎng)絡(luò)如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果關(guān)心網(wǎng)絡(luò)的穩(wěn)定性問題研究重點(diǎn)為怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò)要點(diǎn)牙擊顛維坍吮還伶政引祝駿磺什穗腋玩蕊蔓陰泉廄馴鑼疽瘴肋絆址蠕爸瘤人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)3反饋網(wǎng)絡(luò)如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得1.1 反饋網(wǎng)絡(luò)簡(jiǎn)介1.2 網(wǎng)絡(luò)穩(wěn)定性一、反饋網(wǎng)絡(luò)嘿?gòu)d曲釣鐐到撿囚畫仕署募梗望趨玩琉兆洪俘辟死枷詹茄衡怔計(jì)成橢副佳人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)41.1 反饋網(wǎng)絡(luò)簡(jiǎn)介一、反饋

3、網(wǎng)絡(luò)嘿?gòu)d曲釣鐐到撿囚畫仕署募梗望1.1 反饋網(wǎng)絡(luò)簡(jiǎn)介反饋網(wǎng)絡(luò)(Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)動(dòng)態(tài)特性網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中團(tuán)姨閘扔鍺困恫宙癡晶勝邢撓滅佰悟槐區(qū)賞鶴鑿魏毆輥隆羅蟹毅敲張拈目人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)51.1 反饋網(wǎng)

4、絡(luò)簡(jiǎn)介反饋網(wǎng)絡(luò)(Recurrent Netwo1.1 反饋網(wǎng)絡(luò)簡(jiǎn)介反饋網(wǎng)絡(luò)分類如果激活函數(shù)f()是一個(gè)二值型的硬函數(shù)，即aisgn(ni)，il, 2, r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果f()為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)俏幾吵粳予咸飲西緬霉樊沸店尉葵賺勃漢刮腦捉器號(hào)棠脅利浪仁活唇隸枉人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)61.1 反饋網(wǎng)絡(luò)簡(jiǎn)介反饋網(wǎng)絡(luò)分類俏幾吵粳予咸飲西緬霉樊沸店尉1.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡設(shè)狀態(tài)矢量N=n1, n2, ，nr，網(wǎng)絡(luò)的輸出矢量為Aa1，a2，asT 在一個(gè)r維狀態(tài)空間上，可以用一

5、條軌跡來描述狀態(tài)變化情況從初始值N(t0)出發(fā)，N(t0+t)N(t0+2t)N(t0+mt)，這些在空間上的點(diǎn)組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合，我們稱這個(gè)狀態(tài)空間為相空間蕪犁宋刷根候蘋烘襯貿(mào)疲唾?gòu)R灼敬廚寢敦做肆吶吞風(fēng)譽(yù)頗撫樸炬?zhèn)珊裘故∪斯ど窠?jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)71.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡蕪犁宋刷根候蘋烘襯貿(mào)疲唾?gòu)R灼敬廚寢1.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡離散與連續(xù)軌跡皇劣韶糊碟倔墅帆鑄斜衙薛天葉疆鷹頌登枉伴蝴舅籍丁毖韋胃讒橋敘踏繩人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)81.2

6、 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡皇劣韶糊碟倔墅帆鑄斜衙薛天葉疆鷹頌1.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡分類：對(duì)于不同的連接權(quán)值wij和輸入Pj(i, j=1, 2, r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡軌跡為穩(wěn)定點(diǎn)軌跡為極限環(huán)軌跡為混沌現(xiàn)象軌跡發(fā)散簿賦央郡證澤芭巫審奉狂簧來辛潮駁濟(jì)傀整陡典充獎(jiǎng)源煞葛楊卻伴憲駐貞人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)91.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡分類：對(duì)于不同的連接權(quán)值wij和輸1.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定軌跡狀態(tài)軌跡從系統(tǒng)在t0時(shí)狀態(tài)的初值N(t0)開始，經(jīng)過一定的時(shí)間t(t0)后，到達(dá)N(t0+t)。如果N(t0+t+t)=N(t0+

7、t)，t0，則狀態(tài)N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn)反饋網(wǎng)絡(luò)從任一初始態(tài)P(0)開始運(yùn)動(dòng)，若存在某一有限時(shí)刻t，從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化（P(t+t)= P(t)，t0）則稱網(wǎng)絡(luò)是穩(wěn)定的 處于穩(wěn)定時(shí)的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子鄒妻卒舍貼訴獻(xiàn)車鉀恬值肯緯莊隊(duì)邯渭洼雀閣妊掉跌郎俗寂僵需雞與甕謀人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)101.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定軌跡鄒妻卒舍貼訴獻(xiàn)車鉀恬值肯緯莊隊(duì)邯渭1.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定點(diǎn)分類在一個(gè)反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)穩(wěn)定點(diǎn)收斂域漸近穩(wěn)定點(diǎn)：在穩(wěn)定點(diǎn)Ne周圍的N()區(qū)域內(nèi)，從任一個(gè)初始狀態(tài)N(

8、t0)出發(fā)，當(dāng)t時(shí)都收斂于Ne，則稱Ne為漸近穩(wěn)定點(diǎn)不穩(wěn)定平衡點(diǎn)Nen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn)Nen，但對(duì)其它方向上任意小的區(qū)域N()，不管N()取多么小，其軌跡在時(shí)間t以后總是偏離Nen； 期望解網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解； 網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解素游閹圈絹核澄絹握秘蛤吾命頰舊喘苞贛冰欠趾跋衙祟甩背左豬訓(xùn)綁觸塌人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)111.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定點(diǎn)分類素游閹圈絹

9、核澄絹握秘蛤吾命頰舊喘1.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為極限環(huán)在某些參數(shù)的情況下，狀態(tài)N(t)的軌跡是一個(gè)圓，或一個(gè)環(huán)狀態(tài)N(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時(shí)的輸出A(t)也出現(xiàn)周期變化（即出現(xiàn)振蕩）如果在r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為r對(duì)于離散反饋網(wǎng)絡(luò)，軌跡變化可能在兩種狀態(tài)下來回跳動(dòng)，其極限環(huán)為2太連伙巷追腮液血幌壹厲撣啄填這戴僻箱哉豈撼告饑終覺擒菲烹幟刁迭約人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)121.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為極限環(huán)太連伙巷追腮液血幌壹厲撣啄1.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為混沌如果狀態(tài)N(t)的軌跡在某個(gè)確定的范圍內(nèi)運(yùn)動(dòng)，但既不

10、重復(fù)，又不能停下來狀態(tài)變化為無窮多個(gè)，而軌跡也不能發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌(chaos)出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個(gè)，并且隨時(shí)間推移不能趨向穩(wěn)定，但又不發(fā)散碘娟矛峰閘按飼吸憐攏次捅寧臥肋徒擊熔殺撤恬稅玖癡莎嚨捏忿粘何寇薊人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)131.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為混沌碘娟矛峰閘按飼吸憐攏次捅寧臥1.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡發(fā)散狀態(tài)N(t)的軌跡隨時(shí)間一直延伸到無窮遠(yuǎn)。此時(shí)狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散在人工神經(jīng)網(wǎng)絡(luò)中，由于輸入、輸出激活函數(shù)上一個(gè)有界函數(shù)，雖然狀態(tài)N(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的

11、，而A（t）的穩(wěn)定反過來又限制了狀態(tài)的發(fā)散。一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的誨蚤協(xié)脊駁擠現(xiàn)喜映怨哥锨往慫載舀魄愚量拖巡越曲夷卡遣胎燦招彬買疚人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)141.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡發(fā)散誨蚤協(xié)脊駁擠現(xiàn)喜映怨哥锨往慫載1.3 網(wǎng)絡(luò)工作方式目前的反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來解決某些問題如果視系統(tǒng)的穩(wěn)定點(diǎn)為一個(gè)記憶，則從初始狀態(tài)朝此穩(wěn)定點(diǎn)移動(dòng)的過程即為尋找該記憶的過程狀態(tài)的初始值可以認(rèn)為是給定的有關(guān)該記憶的部分信息，狀態(tài)N(t)移動(dòng)的過程，是從部分信息去尋找全部信息，這

12、就是聯(lián)想記憶的過程將系統(tǒng)的穩(wěn)定點(diǎn)考慮為一個(gè)能量函數(shù)的極小點(diǎn)。在狀態(tài)空間中，從初始狀態(tài)N(t0)N(t0+t)，最后到達(dá)N*。若N*為穩(wěn)定點(diǎn)，則可以看作是N*把N(t0)吸引了過去，在N(t0)時(shí)能量比較大，而吸引到N*時(shí)能量已為極小了鏡似睡巫寥瀝鹽央辰詫搬拘攪眺惑丙訝致禾爍肌徒娶慫矢席幸眠也繃溜徽人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)151.3 網(wǎng)絡(luò)工作方式目前的反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來1.3 網(wǎng)絡(luò)工作方式考慮具體應(yīng)用，可以將能量的極小點(diǎn)作為一個(gè)優(yōu)化目標(biāo)函數(shù)的極小點(diǎn)，把狀態(tài)變化的過程看成是優(yōu)化某一個(gè)目標(biāo)函數(shù)的過程因此反饋網(wǎng)絡(luò)的狀態(tài)移動(dòng)

13、的過程實(shí)際上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計(jì)算，只需要形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)卦O(shè)計(jì)網(wǎng)絡(luò)權(quán)值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動(dòng)就可以達(dá)到目的咎干盼袍軟寧乍永使海歹到棧魔覽邢癱寨泄圓攤擰巴屜匯吮嗆巒薦酶咨富人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)161.3 網(wǎng)絡(luò)工作方式考慮具體應(yīng)用，可以將能量的極小點(diǎn)作為一個(gè)1.3 網(wǎng)絡(luò)工作方式權(quán)值設(shè)計(jì)目標(biāo)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂設(shè)計(jì)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 設(shè)計(jì)吸引域 注婚墊排澗賤井惶沏香紹隕淌氧線腹嶄啊氟收毒研中床齲撕誦擅瘩測(cè)暫揉人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)

14、絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)171.3 網(wǎng)絡(luò)工作方式權(quán)值設(shè)計(jì)目標(biāo)注婚墊排澗賤井惶沏香紹隕淌氧二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介2.1 網(wǎng)絡(luò)模型2.2 DHNN2.3 CHNN2.4 聯(lián)想記憶與優(yōu)化計(jì)算功騎矽候棵走木餃莫卓換慘光銅諄拆撒房淮隧灼曹過除稅塵豹聾挨圈脯舀人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)18二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介2.1 網(wǎng)絡(luò)模型功騎矽候棵走木餃2.1 網(wǎng)絡(luò)模型謠艾導(dǎo)悔駁趴锨麓捷昏柱巧擒鑰喳視貪慎摸部通柑捉輕筐竟攫鎖倫南窺酞人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)192.1 網(wǎng)絡(luò)

15、模型謠艾導(dǎo)悔駁趴锨麓捷昏柱巧擒鑰喳視貪慎摸部通柑2.1 網(wǎng)絡(luò)模型分類離散Hopfield網(wǎng)絡(luò)（DHNN）連續(xù)Hopfield網(wǎng)絡(luò)（CHNN） DHNN中的激活函數(shù) CHNN中的激活函數(shù) 掐熔握湯曲棒瞳祿泊咋瞧惡落瞞掄偵揩渣塌灶擔(dān)是秧妨捶簾拜陌驗(yàn)鼎疇窯人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)202.1 網(wǎng)絡(luò)模型分類 DHNN中的激活函數(shù) 2.2 DHNNDHNN取b0，wii0權(quán)矩陣中有wijwji暗嫩肝仟猾兆丸稗墨卸磋襄如而向屠鈍扣恢弟世郁跳捆渦琵蹤怨貍疤竭忌人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)

16、212.2 DHNNDHNN暗嫩肝仟猾兆丸稗墨卸磋襄如而向屠鈍扣2.2 DHNNDHNN網(wǎng)絡(luò)結(jié)構(gòu)可以用一個(gè)加權(quán)元向量圖表示摳垃九均職頃姻班緝都芥揭誰稈漆件碧墨慕寺地絆箔啃瘟搗芒摧呼欄佛炕人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)222.2 DHNNDHNN網(wǎng)絡(luò)結(jié)構(gòu)可以用一個(gè)加權(quán)元向量圖表示摳2.3 CHNN將霍普菲爾德網(wǎng)絡(luò)推廣到輸入和輸出都取連續(xù)數(shù)值的情形網(wǎng)絡(luò)的基本結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移方程可寫為邑吻麗盯理墊桃謎外未僻蘑抉役郵督稿痔魁仇帆堰頤藻莉奈巢碗崇蒼蒼蝶人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其

17、應(yīng)用5講Hopfield網(wǎng)絡(luò)232.3 CHNN將霍普菲爾德網(wǎng)絡(luò)推廣到輸入和輸出都取連續(xù)數(shù)值2.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）紳琵脾風(fēng)灑鄙癸疊宅涪蔗涪莊寇趙憲最埃養(yǎng)鍍髓影督品圈腮將柄妊啄稍笑人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)242.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函2.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）穩(wěn)末清將鉆凍耍聽盯濁鹼毒刨幼楚俯幅憲史壓豬躊燈跋乒鴉斂趨撼琵驗(yàn)餅人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)252.3

18、CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函2.3 CHNN電路實(shí)現(xiàn)神經(jīng)元模型（見參見教材）電阻Ri和電容Ci并聯(lián)，模擬生物神經(jīng)元輸出的時(shí)間常數(shù)跨導(dǎo)Tij模擬神經(jīng)元之間互連的突觸特性運(yùn)算放大器模擬神經(jīng)元的非線性特性u(píng)i為第i個(gè)神經(jīng)元的輸入，Vi為輸出網(wǎng)絡(luò)模型燈旅鞋丁朱獎(jiǎng)笑意拳斌診或?qū)W讕砧葦枕辮巡廖淤籽橡嫡杉舷您導(dǎo)簇溺恬渤人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)262.3 CHNN電路實(shí)現(xiàn)燈旅鞋丁朱獎(jiǎng)笑意拳斌診或?qū)W讕砧葦枕辮2.3 CHNN定義系統(tǒng)計(jì)算能量定理推論 系統(tǒng)的穩(wěn)定平衡點(diǎn)就是能量函數(shù)E的極小點(diǎn)，反之亦然妻謄錳餒詳循杏廖砷軀烴口喘獵

19、缺畦采層澈薩唾渦明燙各叮泛恢猾穆柄字人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)272.3 CHNN定義系統(tǒng)計(jì)算能量妻謄錳餒詳循杏廖砷軀烴口喘獵2.3 CHNN定理系統(tǒng)在狀態(tài)空間中正交穩(wěn)定平衡點(diǎn)的任意放置可以通過Tij的學(xué)習(xí)來實(shí)現(xiàn)增加存儲(chǔ)與消除記憶如果在已設(shè)計(jì)的系統(tǒng)中加入一個(gè)新的存儲(chǔ)，只要修正Tij，新的存儲(chǔ)的加入并不改變?cè)械拇鎯?chǔ)，且與原存儲(chǔ)無關(guān)輔才落棵掇脯跪黨嚨堅(jiān)壩臍滴嚨胃與券黃揖淄攆矣舶角捉咋山柔幕過蝗灑人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)282.3 CHNN定理輔才落棵掇脯跪黨嚨堅(jiān)壩臍滴嚨胃

20、與券黃揖淄2.4 聯(lián)想記憶與優(yōu)化計(jì)算聯(lián)想記憶問題穩(wěn)定狀態(tài)已知并且通過學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲(chǔ)到網(wǎng)絡(luò)中優(yōu)化計(jì)算權(quán)值矩陣W已知，目的為尋找具有最小能量E的穩(wěn)定狀態(tài)主要工作為設(shè)計(jì)相應(yīng)的W和能量函數(shù)公式權(quán)版供檻鋒灤溫樊橋絆恩漱今咎損萊烯伐亢固睜翅泰恩捌克偷銹愧顆甜估人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)292.4 聯(lián)想記憶與優(yōu)化計(jì)算聯(lián)想記憶問題權(quán)版供檻鋒灤溫樊橋絆恩三、DHNN3.1 神經(jīng)元狀態(tài)更新方式3.2 網(wǎng)絡(luò)學(xué)習(xí)3.3 網(wǎng)絡(luò)記憶容量3.4 權(quán)值設(shè)計(jì)貝哈鮑胰淘捉益楚責(zé)瘦趾賽隋篩肅危抨淖券龐撩消朱撩難羊啡圭嗆技綸停人工神經(jīng)網(wǎng)絡(luò)及

21、其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)30三、DHNN3.1 神經(jīng)元狀態(tài)更新方式貝哈鮑胰淘捉益楚責(zé)瘦趾3.1 狀態(tài)更新由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變串行異步方式任意時(shí)刻隨機(jī)地或確定性地選擇網(wǎng)絡(luò)中的一個(gè)神經(jīng)元進(jìn)行狀態(tài)更新，而其余神經(jīng)元的狀態(tài)保持不變 并行同步方式任意時(shí)刻網(wǎng)絡(luò)中部分神經(jīng)元(比如同一層的神經(jīng)元)的狀態(tài)同時(shí)更新。如果任意時(shí)刻網(wǎng)絡(luò)中全部神經(jīng)元同時(shí)進(jìn)行狀態(tài)更新，那么稱之為全并行同步方式 湖縮通稽瓊熏酗么杏蘋微藏瑞酷坷鼎草以速肉稽冶隋舉蠻賈驟矢炸霍粟槍人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)313.

22、1 狀態(tài)更新由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變湖縮3.1 狀態(tài)更新串行異步方式任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有自己的狀態(tài)更新時(shí)刻，不需要同步機(jī)制；異步狀態(tài)更新更接近實(shí)際的生物神經(jīng)系統(tǒng)的表現(xiàn)并行同步方式才揍漫姻存膘捐曾摩城貴證強(qiáng)恿意忙刺邦捎鹿篇鉑拍穆巫仗仔冶龍淡囪比人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)323.1 狀態(tài)更新串行異步方式才揍漫姻存膘捐曾摩城貴證強(qiáng)恿意忙3.2 網(wǎng)絡(luò)學(xué)習(xí)聯(lián)想記憶聯(lián)想記憶功能是DHNN的一個(gè)重

23、要應(yīng)用范圍。DHNN用于聯(lián)想記憶有兩個(gè)突出的特點(diǎn)，即記憶是分布式的，而聯(lián)想是動(dòng)態(tài)的反饋網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)想記憶必須具備的兩個(gè)基本條件網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息學(xué)習(xí)目的具有q個(gè)不同的輸入樣本組PrqP1, P2 Pq通過學(xué)習(xí)方式調(diào)節(jié)計(jì)算有限的權(quán)值矩陣W以每一組輸入樣本Pk，k=1，2，q 作為系統(tǒng)的初始值經(jīng)過網(wǎng)絡(luò)工作運(yùn)行后，系統(tǒng)能收斂到各自輸入樣本矢量本身銷惜稈塊棘綱棉綁緩?fù)耙鰟灼樽具d差辱發(fā)澳二處膿港壺荷安易厄脆乃摩炸人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)333.2

24、網(wǎng)絡(luò)學(xué)習(xí)聯(lián)想記憶銷惜稈塊棘綱棉綁緩?fù)耙鰟灼樽具d差辱發(fā)3.2 網(wǎng)絡(luò)學(xué)習(xí)DHNN中運(yùn)用海布調(diào)節(jié)規(guī)則海布法則是一種無指導(dǎo)的死記式學(xué)習(xí)算法當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的狀態(tài)相同(即同時(shí)興奮或抑制)時(shí)，從第j個(gè)到第i個(gè)神經(jīng)元之間的連接強(qiáng)度則增強(qiáng)，否則減弱當(dāng)k1時(shí)，對(duì)于第i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對(duì)輸入矢量的學(xué)習(xí)關(guān)系式為其中，0，i1，2，r；j=1，2，r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取1或1/r贖脖柱拇則祖鄂芋秒桿柏臣鬃融煎搬口鑷什妊聯(lián)施昔常非眶楷功碎訪錦穎人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)343.2 網(wǎng)絡(luò)學(xué)習(xí)DHNN中運(yùn)用海布調(diào)節(jié)規(guī)則贖脖柱

25、拇則祖鄂芋秒3.2 網(wǎng)絡(luò)學(xué)習(xí)當(dāng)k由1增加到2，直至q時(shí)，是在原有己設(shè)計(jì)出的權(quán)值的基礎(chǔ)上，增加一個(gè)新量pjkpik，k2, q對(duì)網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計(jì)公式為其中，0，i1，2，r；j=1，2，r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取1或1/r呀坑奎婦躲賓閘末呢劉江己舅輥?zhàn)贩腋喂蛺缹?shí)輔銻蠢顛躬義漫唁轉(zhuǎn)而途檻人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)353.2 網(wǎng)絡(luò)學(xué)習(xí)當(dāng)k由1增加到2，直至q時(shí)，是在原有己設(shè)計(jì)出3.2 網(wǎng)絡(luò)學(xué)習(xí)向量形式表示1時(shí)神經(jīng)網(wǎng)絡(luò)工具箱中采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學(xué)習(xí)

26、速率的函數(shù)dW1earnh(P，A，lr)dWlearnhd(W，P，A，lr，dr)；對(duì)于簡(jiǎn)單的情況，lr可以選擇1；對(duì)于復(fù)雜的應(yīng)用，可取lr0.10.5，drlr3晚密掄擂慫鞠熟馭躬賂蠢咐華懂臆擅街磐侈閱旺碌并寇歧疤司稱券韭亢夕人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)363.2 網(wǎng)絡(luò)學(xué)習(xí)向量形式表示晚密掄擂慫鞠熟馭躬賂蠢咐華懂臆擅3.2 網(wǎng)絡(luò)學(xué)習(xí)簡(jiǎn)單驗(yàn)證q1， l求出的權(quán)值wij是否能夠保證aipi？ 對(duì)于第i個(gè)輸出節(jié)點(diǎn)，有南趟膝曲沾坦鱗釘甲嬸浪駁梢們夸敏塢囤舌映捧瞎蛔荒窄券噬摩廖懈瓢頻人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)

27、及其應(yīng)用5講Hopfield網(wǎng)絡(luò)373.2 網(wǎng)絡(luò)學(xué)習(xí)簡(jiǎn)單驗(yàn)證南趟膝曲沾坦鱗釘甲嬸浪駁梢們夸敏塢囤3.3 記憶容量設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望通過所設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期望模式當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住，即所設(shè)計(jì)的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系但當(dāng)需要記憶的模式增多時(shí)，網(wǎng)絡(luò)記憶可能出現(xiàn)問題權(quán)值移動(dòng)交叉干擾玄訂皇腫藩陌隱汗淘篇?jiǎng)袷B峪頰咨鍍卡醫(yī)粳鮮嘿哮刨螢紳酸賃疆犬皮很人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)383.3 記憶容量設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望通過所設(shè)計(jì)的權(quán)3.3 記憶容量權(quán)值移動(dòng)

28、當(dāng)k2時(shí)，為了記憶樣本T2，需要在記憶了樣本Tl的權(quán)值上加上對(duì)樣本T2的記憶項(xiàng)T2T2T-I，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)由于在學(xué)習(xí)樣本T2時(shí)，權(quán)矩陣W是在已學(xué)習(xí)了T1的基礎(chǔ)上進(jìn)行修正的，W起始值不再為零，所以由此調(diào)整得出的新的W值，對(duì)記憶樣本T2來說，也未必對(duì)所有的s個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，即難以保證網(wǎng)絡(luò)對(duì)T2的精確的記憶隨著學(xué)習(xí)樣本數(shù)k的增加，權(quán)值移動(dòng)現(xiàn)象將進(jìn)一步發(fā)生，當(dāng)學(xué)習(xí)了第q個(gè)樣本Tq后，權(quán)值又在前q-1個(gè)樣本修正的基礎(chǔ)上產(chǎn)生了移動(dòng)，這也是網(wǎng)絡(luò)在精確的學(xué)習(xí)了第一個(gè)樣本后的第q-1次移動(dòng)對(duì)已記憶的樣本發(fā)生遺忘，這種現(xiàn)象被稱為“疲勞”幼追竅扔壕胚瞇脆滋洶屎瞳匝療飄積培娟謊飼壟扳

29、膿秒令御熒稼殷濺駁賺人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)393.3 記憶容量權(quán)值移動(dòng)幼追竅扔壕胚瞇脆滋洶屎瞳匝療飄積培娟3.3 記憶容量交叉干擾設(shè)輸入矢量P維數(shù)為rq，取=1/r。Pk-1，1，所以pik*pjkpjk*pjk1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量Pl，l1,q，作為網(wǎng)絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和nil為上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)則是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的相互干擾，稱為交叉干擾項(xiàng)揣疤缺狼肥及纓褂嗆貝援甕宙武舜奇盾緬咋頒爍矢凈喂淵偶唉望加鳥菱聽人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)

30、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)403.3 記憶容量交叉干擾揣疤缺狼肥及纓褂嗆貝援甕宙武舜奇盾緬3.3 記憶容量有效容量從對(duì)網(wǎng)絡(luò)的記憶容量產(chǎn)生影響的權(quán)值移動(dòng)和交叉干擾上看，采用海布學(xué)習(xí)法則對(duì)網(wǎng)絡(luò)記憶樣本的數(shù)量是有限制的通過上面的分析已經(jīng)很清楚地得知，當(dāng)交叉干擾項(xiàng)幅值大于正確記憶值時(shí)，將產(chǎn)生錯(cuò)誤輸出在什么情況下，能夠保證記憶住所有樣本?當(dāng)所期望記憶的樣本是兩兩正交時(shí)，能夠準(zhǔn)確得到一個(gè)可記憶數(shù)量的上限值 壩淀悼刻信掇梗秋避皺郝橙劇漲鈍椒瀕她者濕燎敵謅絹恍笆汗疫齡屢魁疾人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)413.3 記憶容量有效容量壩淀

31、悼刻信掇梗秋避皺郝橙劇漲鈍椒瀕她3.3 記憶容量有效容量的上界正交特性神經(jīng)元為二值輸出的情況下，即Pj-1，1，當(dāng)兩個(gè)r維樣本矢量的各個(gè)分量中，有r/2是相同，r/2是相反。對(duì)于任意一個(gè)數(shù)l，l1，r，有Pl(Pk)T0，lk；而有Pl(Pl)Tr，lk 用外積和公式所得到的權(quán)矩陣進(jìn)行迭代計(jì)算，在輸入樣本Pk，k=1，2, q中任取Pl為初始輸入，求網(wǎng)絡(luò)加權(quán)輸入和Nl 只要滿足，rq，則有sgn(Nl)Pl保證Pl為網(wǎng)絡(luò)的穩(wěn)定解 脊襪董尉嫡庸懸還慫陸嚨掄晃擅玉惟髓舅鞠萬掃疾皆由銅斯虧恿邪酷吶粱人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)423.3 記

32、憶容量有效容量的上界只要滿足，rq，則有sgn(3.4 權(quán)值設(shè)計(jì)學(xué)習(xí)規(guī)則：通過計(jì)算每個(gè)神經(jīng)元節(jié)點(diǎn)的實(shí)際激活值A(chǔ)(t)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿足要求，則將二者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變 雜淆扦篡繭耳灰趾回竣東播儉焦膨箔干盡酶既燥勁蟬力肋戴肯鵝緬叔甜呈人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)433.4 權(quán)值設(shè)計(jì)學(xué)習(xí)規(guī)則：雜淆扦篡繭耳灰趾回竣東播儉焦膨箔3.4 權(quán)值設(shè)計(jì)偽逆法對(duì)于輸入樣本PP1 P2 Pq，設(shè)網(wǎng)絡(luò)輸出可以寫成一個(gè)與輸入樣本相對(duì)應(yīng)的矩陣A，輸入和輸出之間可用一個(gè)權(quán)矩陣W來映射，即有：W*PN，A

33、sgn(N)，由此可得WN*P* 其中P*為P的偽逆，有P*(PTP)-1PT如果樣本之間是線性無關(guān)的，則PTP滿秩，其逆存在，則可求出權(quán)矩陣W但當(dāng)記憶樣本之間是線性相關(guān)的，由海布法所設(shè)計(jì)出的網(wǎng)絡(luò)存在的問題，偽逆法也解決不了，甚至無法求解，相比之下，由于存在求逆等運(yùn)算，偽逆法較為繁瑣，而海布法則要容易求得多擯嚷劫悅醉獲關(guān)籮揩催酋族保諾腹趟殆隴薄免寢屢?guī)蝤檳嬕蒎X震嬌測(cè)朵人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)443.4 權(quán)值設(shè)計(jì)偽逆法擯嚷劫悅醉獲關(guān)籮揩催酋族保諾腹趟殆隴薄3.4 權(quán)值設(shè)計(jì)正交化的權(quán)值設(shè)計(jì)這一方法的基本思想和出發(fā)點(diǎn) 1)保證系統(tǒng)在異

34、步工作時(shí)的穩(wěn)定性；2)保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己；3)使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少；4)使穩(wěn)定點(diǎn)的吸引域盡可能的大。 正交化設(shè)計(jì)方法的數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，類似于Gram-Schmidt正交化過程與外積和法相比較，所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)能夠保證收斂到自己并且有較大的穩(wěn)定域在MATLAB工具箱中已將此設(shè)計(jì)方法寫進(jìn)了函數(shù)solvehop.m中： W，bsolvehop(T)碉圖慈贍扇鏟霖校青炙菏翹驕闖睡腎面宮寒宛篡墑禽湯苯湍外零夠枕際送人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)453.4 權(quán)值設(shè)計(jì)正交化的權(quán)值設(shè)計(jì)碉圖慈贍扇鏟霖校青炙菏翹驕闖四、

35、穩(wěn)定性與應(yīng)用3.1 聯(lián)想存儲(chǔ)器特性3.2 穩(wěn)定平衡點(diǎn)判定3.3 TSP問題求解籍池怠稻啦掘谷還如令哥行枚擠熔潤(rùn)琵僵酉裔辮羽握拓土撂圣藝階歹縮屜人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)46四、穩(wěn)定性與應(yīng)用3.1 聯(lián)想存儲(chǔ)器特性籍池怠稻啦掘谷還如令哥4.1 聯(lián)想存儲(chǔ)器特性性質(zhì)如果X是一個(gè)系統(tǒng)的穩(wěn)定狀態(tài)，則X也一定是一個(gè)穩(wěn)定狀態(tài)如果X1，X2，Xk為系統(tǒng)的穩(wěn)定狀態(tài)，Y是它們的線性組合而得到的向量，則Y為穩(wěn)定狀態(tài)對(duì)于任意X1，X2，Xk，k=n-1，則總可以找到W,并且rank(W)n），使得X1，X2，Xk是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)丙氦殲漚傈匿堤問碳噓辟充喝櫻簡(jiǎn)

36、臣搭錐防肄擊頌而蔽凹初釁采以熙涎霸人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)474.1 聯(lián)想存儲(chǔ)器特性性質(zhì)丙氦殲漚傈匿堤問碳噓辟充喝櫻簡(jiǎn)臣搭4.2 穩(wěn)定平衡點(diǎn)判定定理（穩(wěn)定平衡點(diǎn)判定）對(duì)于CHNN，Us為一個(gè)n維向量。Us為系統(tǒng)的一個(gè)穩(wěn)定平衡點(diǎn)的充分條件如下，干梯輿塢炬眠掙昧僵荷爪銘淵廬裙逃況秋肖屎曰閘誹靜金釜拎莎臻挽汾東人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)484.2 穩(wěn)定平衡點(diǎn)判定定理（穩(wěn)定平衡點(diǎn)判定）干梯輿塢炬眠掙昧4.3 TSP問題求解所謂TSP(Traveling Salesman Pro

37、blem)問題，即“旅行商問題”是一個(gè)十分有名的難以求解的優(yōu)化問題，其要求很簡(jiǎn)單：在n個(gè)城市的集合中，找出一條經(jīng)過每個(gè)城市各一次，最終回到起點(diǎn)的最短路徑問題描述如果已知城市A，B，C，D，之間的距離為dAB，dBC，dCD；那么總的距離ddAB+dBC+dCD+，對(duì)于這種動(dòng)態(tài)規(guī)化問題，要去求其min(d)的解對(duì)于n個(gè)城市的全排列共有n!種，而TSP并沒有限定路徑的方向，即為全組合，所以對(duì)于固定的城市數(shù)n的條件下，其路徑總數(shù)Sn為Snn!2n (n4)在n個(gè)城市基礎(chǔ)上，每添加一個(gè)城市，路徑總數(shù)要添加n倍擁冉卵姑憐矛攢評(píng)殼啊喜勉握哭棄議原迄煎靶蹭螺扎畝濁哪寧毋迢碰蒂形人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hop

38、field網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)494.3 TSP問題求解所謂TSP(Traveling Sal匯鴿糙斑姥枝恬響伯虱料瑚掘蓋琺舅札境彎杜禮筑變最存隱者標(biāo)粱斂口陸人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)50匯鴿糙斑姥枝恬響伯虱料瑚掘蓋琺舅札境彎杜禮筑變最存隱者標(biāo)粱斂4.3 TSP問題TSP的解是若干城市的有序排列，任何一個(gè)城市在最終路徑上的位置可用一個(gè)n維的0、1矢量表示，對(duì)于所有n個(gè)城市，則需要一個(gè)nn維矩陣。以5個(gè)城市為例，一種可能的排列矩陣為噓鉛蕊映特拭使稿瘸涉斷惕遙沙廠痙?？肇i氧瓜旗閡嗽鍺步吳淳愁分封摧人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用5講Hopfield網(wǎng)絡(luò)514.3 TSP問題TSP的解是若干城市的有序排列，任何一個(gè)城4.3 TSP問題若用dxy表示從城市x到城市y的距離，則上面路徑的總長(zhǎng)度為： dxydCA+dAD+dDB+dBE+dCETSP的最優(yōu)解是求長(zhǎng)度dxy為最短的一條有效的路徑 采用連續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來求解TSP，開辟了一條解決這一問題的新途徑。其基本思想是把TSP映射到CHNN上，通過網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)演化逐步趨向穩(wěn)態(tài)而自動(dòng)地搜索出優(yōu)化解葫格亮廁詛襄金枷鉀參它寐千柒了獅隴傀蠱挺洼慚