人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第1頁2一、反饋網(wǎng)絡(luò)二、Hopfield網(wǎng)絡(luò)介紹三、DHNN網(wǎng)絡(luò)四、穩(wěn)定性與應(yīng)用五、內(nèi)容小結(jié)內(nèi)容安排人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第2頁3反饋網(wǎng)絡(luò)怎樣經(jīng)過網(wǎng)絡(luò)神經(jīng)元狀態(tài)變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存放或優(yōu)化計(jì)算結(jié)果關(guān)心網(wǎng)絡(luò)穩(wěn)定性問題研究重點(diǎn)為怎樣得到和利用穩(wěn)定反饋網(wǎng)絡(luò)關(guān)鍵點(diǎn)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第3頁41.1反饋網(wǎng)絡(luò)介紹1.2網(wǎng)絡(luò)穩(wěn)定性一、反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第4頁51.1反饋網(wǎng)絡(luò)介紹反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目標(biāo)是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)經(jīng)過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)平衡點(diǎn)上。反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)動(dòng)態(tài)特征網(wǎng)絡(luò)系統(tǒng)含有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總能夠收斂到某一個(gè)穩(wěn)定平衡狀態(tài)；系統(tǒng)穩(wěn)定平衡狀態(tài)能夠經(jīng)過設(shè)計(jì)網(wǎng)絡(luò)權(quán)值而被存放到網(wǎng)絡(luò)中人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第5頁61.1反饋網(wǎng)絡(luò)介紹反饋網(wǎng)絡(luò)分類假如激活函數(shù)f(·)是一個(gè)二值型硬函數(shù)，即ai＝sgn(ni)，i＝l,2,…r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；假如f(·)為一個(gè)連續(xù)單調(diào)上升有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第6頁71.2網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡設(shè)狀態(tài)矢量N=[n1,n2,…，nr]，網(wǎng)絡(luò)輸出矢量為A＝[a1，a2…，as]T

在一個(gè)r維狀態(tài)空間上，能夠用一條軌跡來描述狀態(tài)改變情況從初始值N(t0)出發(fā)，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，這些在空間上點(diǎn)組成確實(shí)定軌跡，是演化過程中全部可能狀態(tài)集合，咱們稱這個(gè)狀態(tài)空間為相空間人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第7頁81.2網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡離散與連續(xù)軌跡人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第8頁91.2網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡分類：對于不一樣連接權(quán)值wij和輸入Pj(i,j=1,2,…r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不一樣性質(zhì)狀態(tài)軌跡軌跡為穩(wěn)定點(diǎn)軌跡為極限環(huán)軌跡為混沌現(xiàn)象軌跡發(fā)散人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第9頁101.2網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定軌跡狀態(tài)軌跡從系統(tǒng)在t0時(shí)狀態(tài)初值N(t0)開始，經(jīng)過一定時(shí)間t(t＞0)后，抵達(dá)N(t0+t)。假如N(t0+t+Δt)=N(t0+t)，Δt＞0，則狀態(tài)N(t0+t)稱為網(wǎng)絡(luò)穩(wěn)定點(diǎn)，或平衡點(diǎn)反饋網(wǎng)絡(luò)從任一初始態(tài)P(0)開始運(yùn)動(dòng)，若存在某一有限時(shí)刻t，從t以后網(wǎng)絡(luò)狀態(tài)不再發(fā)生改變（P(t+Δt)=P(t)，Δt＞0）則稱網(wǎng)絡(luò)是穩(wěn)定處于穩(wěn)定時(shí)網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第10頁111.2網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定點(diǎn)分類在一個(gè)反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)穩(wěn)定點(diǎn)收斂域漸近穩(wěn)定點(diǎn)：在穩(wěn)定點(diǎn)Ne周圍N(σ)區(qū)域內(nèi)，從任一個(gè)初始狀態(tài)N(t0)出發(fā)，當(dāng)t→∞時(shí)都收斂于Ne，則稱Ne為漸近穩(wěn)定點(diǎn)不穩(wěn)定平衡點(diǎn)Nen：在一些特定軌跡演化過程中，網(wǎng)絡(luò)能夠抵達(dá)穩(wěn)定點(diǎn)Nen，但對其它方向上任意小區(qū)域N(σ)，不論N(σ)取多么小，其軌跡在時(shí)間t以后總是偏離Nen；期望解網(wǎng)絡(luò)解：假如網(wǎng)絡(luò)最終穩(wěn)定到設(shè)計(jì)人員期望穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)解；網(wǎng)絡(luò)偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求解人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第11頁121.2網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為極限環(huán)在一些參數(shù)情況下，狀態(tài)N(t)軌跡是一個(gè)圓，或一個(gè)環(huán)狀態(tài)N(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停頓，此時(shí)輸出A(t)也出現(xiàn)周期改變（即出現(xiàn)振蕩）假如在r種狀態(tài)下循環(huán)改變，稱其極限環(huán)為r對于離散反饋網(wǎng)絡(luò)，軌跡改變可能在兩種狀態(tài)下往返跳動(dòng)，其極限環(huán)為2人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第12頁131.2網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為混沌假如狀態(tài)N(t)軌跡在某個(gè)確定范圍內(nèi)運(yùn)動(dòng)，但既不重復(fù)，又不能停下來狀態(tài)改變?yōu)闊o窮多個(gè)，而軌跡也不能發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌(chaos)出現(xiàn)混沌情況下，系統(tǒng)輸出改變?yōu)闊o窮多個(gè)，而且隨時(shí)間推移不能趨向穩(wěn)定，但又不發(fā)散人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第13頁141.2網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡發(fā)散狀態(tài)N(t)軌跡隨時(shí)間一直延伸到無窮遠(yuǎn)。此時(shí)狀態(tài)發(fā)散，系統(tǒng)輸出也發(fā)散在人工神經(jīng)網(wǎng)絡(luò)中，因?yàn)檩斎?、輸出激活函?shù)上一個(gè)有界函數(shù)，即使?fàn)顟B(tài)N(t)是發(fā)散，但其輸出A(t)還是穩(wěn)定，而A（t）穩(wěn)定反過來又限制了狀態(tài)發(fā)散。普通非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會發(fā)生，除非神經(jīng)元輸入輸出激活函數(shù)是線性人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第14頁151.3網(wǎng)絡(luò)工作方式當(dāng)前反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定特定軌跡來處理一些問題假如視系統(tǒng)穩(wěn)定點(diǎn)為一個(gè)記憶，則從初始狀態(tài)朝此穩(wěn)定點(diǎn)移動(dòng)過程即為尋找該記憶過程狀態(tài)初始值能夠認(rèn)為是給定相關(guān)該記憶個(gè)別信息，狀態(tài)N(t)移動(dòng)過程，是從個(gè)別信息去尋找全部信息，這就是聯(lián)想記憶過程將系統(tǒng)穩(wěn)定點(diǎn)考慮為一個(gè)能量函數(shù)極小點(diǎn)。在狀態(tài)空間中，從初始狀態(tài)N(t0)＝N(t0+t)，最終抵達(dá)N*。若N*為穩(wěn)定點(diǎn)，則能夠看作是N*把N(t0)吸引了過去，在N(t0)時(shí)能量比較大，而吸引到N*時(shí)能量已為極小了人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第15頁161.3網(wǎng)絡(luò)工作方式考慮詳細(xì)應(yīng)用，能夠?qū)⒛芰繕O小點(diǎn)作為一個(gè)優(yōu)化目標(biāo)函數(shù)極小點(diǎn)，把狀態(tài)改變過程看成是優(yōu)化某一個(gè)目標(biāo)函數(shù)過程所以反饋網(wǎng)絡(luò)狀態(tài)移動(dòng)過程實(shí)際上是一個(gè)計(jì)算聯(lián)想記憶或優(yōu)化過程。它解并不需要真去計(jì)算，只需要形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)卦O(shè)計(jì)網(wǎng)絡(luò)權(quán)值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動(dòng)就能夠到達(dá)目標(biāo)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第16頁171.3網(wǎng)絡(luò)工作方式權(quán)值設(shè)計(jì)目標(biāo)網(wǎng)絡(luò)系統(tǒng)能夠到達(dá)穩(wěn)定收斂設(shè)計(jì)網(wǎng)絡(luò)穩(wěn)定點(diǎn)設(shè)計(jì)吸引域人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第17頁18二、Hopfield網(wǎng)絡(luò)介紹2.1網(wǎng)絡(luò)模型2.2DHNN2.3CHNN2.4聯(lián)想記憶與優(yōu)化計(jì)算人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第18頁192.1網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第19頁202.1網(wǎng)絡(luò)模型分類離散Hopfield網(wǎng)絡(luò)（DHNN）連續(xù)Hopfield網(wǎng)絡(luò)（CHNN）DHNN中激活函數(shù)

CHNN中激活函數(shù)

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第20頁212.2DHNNDHNN取b＝0，wii＝0權(quán)矩陣中有wij＝wji人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第21頁222.2DHNNDHNN網(wǎng)絡(luò)結(jié)構(gòu)能夠用一個(gè)加權(quán)元向量圖表示人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第22頁232.3CHNN將霍普菲爾德網(wǎng)絡(luò)推廣到輸入和輸出都取連續(xù)數(shù)值情形網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。則網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移方程可寫為人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第23頁242.3CHNN神經(jīng)元激活函數(shù)f為S型函數(shù)(或線性飽和函數(shù)）人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第24頁252.3CHNN神經(jīng)元激活函數(shù)f為S型函數(shù)(或線性飽和函數(shù)）人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第25頁262.3CHNN電路實(shí)現(xiàn)神經(jīng)元模型（見參見教材）電阻Ri和電容Ci并聯(lián)，模擬生物神經(jīng)元輸出時(shí)間常數(shù)跨導(dǎo)Tij模擬神經(jīng)元之間互連突觸特征運(yùn)算放大器模擬神經(jīng)元非線性特征ui為第i個(gè)神經(jīng)元輸入，Vi為輸出網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第26頁272.3CHNN定義系統(tǒng)計(jì)算能量定理推論系統(tǒng)穩(wěn)定平衡點(diǎn)就是能量函數(shù)E極小點(diǎn)，反之亦然人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第27頁282.3CHNN定理系統(tǒng)在狀態(tài)空間中正交穩(wěn)定平衡點(diǎn)任意放置能夠經(jīng)過Tij學(xué)習(xí)來實(shí)現(xiàn)增加存放與消除記憶假如在已設(shè)計(jì)系統(tǒng)中加入一個(gè)新存放，只要修正Tij，新存放加入并不改變原有存放，且與原存放無關(guān)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第28頁292.4聯(lián)想記憶與優(yōu)化計(jì)算聯(lián)想記憶問題穩(wěn)定狀態(tài)已知而且經(jīng)過學(xué)習(xí)和設(shè)計(jì)算法尋求適當(dāng)權(quán)值矩陣將穩(wěn)定狀態(tài)存放到網(wǎng)絡(luò)中優(yōu)化計(jì)算權(quán)值矩陣W已知，目標(biāo)為尋找含有最小能量E穩(wěn)定狀態(tài)主要工作為設(shè)計(jì)對應(yīng)W和能量函數(shù)公式人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第29頁30三、DHNN3.1神經(jīng)元狀態(tài)更新方式3.2網(wǎng)絡(luò)學(xué)習(xí)3.3網(wǎng)絡(luò)記憶容量3.4權(quán)值設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第30頁313.1狀態(tài)更新由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變串行異步方式任意時(shí)刻隨機(jī)地或確定性地選擇網(wǎng)絡(luò)中一個(gè)神經(jīng)元進(jìn)行狀態(tài)更新，而其余神經(jīng)元狀態(tài)保持不變并行同時(shí)方式任意時(shí)刻網(wǎng)絡(luò)中個(gè)別神經(jīng)元(比如同一層神經(jīng)元)狀態(tài)同時(shí)更新。假如任意時(shí)刻網(wǎng)絡(luò)中全部神經(jīng)元同時(shí)進(jìn)行狀態(tài)更新，那么稱之為全并行同時(shí)方式人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第31頁323.1狀態(tài)更新串行異步方式任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過屢次更新狀態(tài)后才能夠到達(dá)某種穩(wěn)態(tài)。實(shí)現(xiàn)上輕易，每個(gè)神經(jīng)元有自己狀態(tài)更新時(shí)刻，不需要同時(shí)機(jī)制；異步狀態(tài)更新更靠近實(shí)際生物神經(jīng)系統(tǒng)表現(xiàn)并行同時(shí)方式人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第32頁333.2網(wǎng)絡(luò)學(xué)習(xí)聯(lián)想記憶聯(lián)想記憶功效是DHNN一個(gè)主要應(yīng)用范圍。DHNN用于聯(lián)想記憶有兩個(gè)突出特點(diǎn)，即記憶是分布式，而聯(lián)想是動(dòng)態(tài)反饋網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)想記憶必須具備兩個(gè)基礎(chǔ)條件網(wǎng)絡(luò)能收斂到穩(wěn)定平衡狀態(tài)，并以其作為樣本記憶信息；含有回想能力，能夠從某一殘缺信息回想起所屬完整記憶信息學(xué)習(xí)目標(biāo)含有q個(gè)不一樣輸入樣本組Pr×q＝[P1,P2

…Pq]經(jīng)過學(xué)習(xí)方式調(diào)整計(jì)算有限權(quán)值矩陣W以每一組輸入樣本Pk，k=1，2，…，q作為系統(tǒng)初始值經(jīng)過網(wǎng)絡(luò)工作運(yùn)行后，系統(tǒng)能收斂到各自輸入樣本矢量本身人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第33頁343.2網(wǎng)絡(luò)學(xué)習(xí)DHNN中利用海布調(diào)整規(guī)則海布法則是一個(gè)無指導(dǎo)死記式學(xué)習(xí)算法當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)狀態(tài)相同(即同時(shí)興奮或抑制)時(shí)，從第j個(gè)到第i個(gè)神經(jīng)元之間連接強(qiáng)度則增強(qiáng)，不然減弱當(dāng)k＝1時(shí)，對于第i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對輸入矢量學(xué)習(xí)關(guān)系式為其中，α＞0，i＝1，2…，r；j=1，2…，r。在實(shí)際學(xué)習(xí)規(guī)則利用中，普通取α＝1或1/r人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第34頁353.2網(wǎng)絡(luò)學(xué)習(xí)當(dāng)k由1增加到2，直至q時(shí)，是在原有己設(shè)計(jì)出權(quán)值基礎(chǔ)上，增加一個(gè)新量pjkpik，k＝2…,q對網(wǎng)絡(luò)全部輸入樣本記憶權(quán)值設(shè)計(jì)公式為其中，α＞0，i＝1，2…，r；j=1，2…，r。在實(shí)際學(xué)習(xí)規(guī)則利用中，普通取α＝1或1/r人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第35頁363.2網(wǎng)絡(luò)學(xué)習(xí)向量形式表示α＝1時(shí)神經(jīng)網(wǎng)絡(luò)工具箱中采取海布公式求解網(wǎng)絡(luò)權(quán)矩陣改變函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學(xué)習(xí)速率函數(shù)dW＝1earnh(P，A，lr)dW＝learnhd(W，P，A，lr，dr)；對于簡單情況，lr能夠選擇1；對于復(fù)雜應(yīng)用，可取lr＝0.1~0.5，dr＝lr／3人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第36頁373.2網(wǎng)絡(luò)學(xué)習(xí)簡單驗(yàn)證q＝1，α＝l求出權(quán)值wij是否能夠確保ai＝pi？對于第i個(gè)輸出節(jié)點(diǎn)，有人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第37頁383.3記憶容量設(shè)計(jì)DHNN網(wǎng)絡(luò)目標(biāo)，是希望經(jīng)過所設(shè)計(jì)權(quán)值矩陣W儲存多個(gè)期望模式當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)，該模式必定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住，即所設(shè)計(jì)W值一定能夠滿足正比于輸入和輸出矢量乘積關(guān)系但當(dāng)需要記憶模式增多時(shí)，網(wǎng)絡(luò)記憶可能出現(xiàn)問題權(quán)值移動(dòng)交叉干擾人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第38頁393.3記憶容量權(quán)值移動(dòng)當(dāng)k＝2時(shí)，為了記憶樣本T2，需要在記憶了樣本Tl權(quán)值上加上對樣本T2記憶項(xiàng)T2T2T-I，將權(quán)值在原來值基礎(chǔ)上產(chǎn)生了移動(dòng)因?yàn)樵趯W(xué)習(xí)樣本T2時(shí)，權(quán)矩陣W是在已學(xué)習(xí)了T1基礎(chǔ)上進(jìn)行修正，W起始值不再為零，所以由此調(diào)整得出新W值，對記憶樣本T2來說，也未必對全部s個(gè)輸出同時(shí)滿足符號函數(shù)條件，即難以確保網(wǎng)絡(luò)對T2準(zhǔn)確記憶伴隨學(xué)習(xí)樣本數(shù)k增加，權(quán)值移動(dòng)現(xiàn)象將深入發(fā)生，當(dāng)學(xué)習(xí)了第q個(gè)樣本Tq后，權(quán)值又在前q-1個(gè)樣本修正基礎(chǔ)上產(chǎn)生了移動(dòng)，這也是網(wǎng)絡(luò)在準(zhǔn)確學(xué)習(xí)了第一個(gè)樣本后第q-1次移動(dòng)對已記憶樣本發(fā)生遺忘，這種現(xiàn)象被稱為“疲勞”人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第39頁403.3記憶容量交叉干擾設(shè)輸入矢量P維數(shù)為r×q，取α=1/r。Pk∈{-1，1}，所以pik*pjk＝pjk*pjk＝1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量Pl，l∈[1,q]，作為網(wǎng)絡(luò)輸入矢量時(shí)，可得網(wǎng)絡(luò)加權(quán)輸入和nil為上式右邊中第一項(xiàng)為期望記憶樣本，而第二項(xiàng)則是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回想階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生相互干擾，稱為交叉干擾項(xiàng)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第40頁413.3記憶容量有效容量從對網(wǎng)絡(luò)記憶容量產(chǎn)生影響權(quán)值移動(dòng)和交叉干擾上看，采取海布學(xué)習(xí)法則對網(wǎng)絡(luò)記憶樣本數(shù)量是有限制經(jīng)過上面分析已經(jīng)很清楚地得知，當(dāng)交叉干擾項(xiàng)幅值大于正確記憶值時(shí)，將產(chǎn)生錯(cuò)誤輸出在什么情況下，能夠確保記憶住全部樣本?當(dāng)所期望記憶樣本是兩兩正交時(shí)，能夠準(zhǔn)確得到一個(gè)可記憶數(shù)量上限值人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第41頁423.3記憶容量有效容量上界正交特征神經(jīng)元為二值輸出情況下，即Pj∈{-1，1}，當(dāng)兩個(gè)r維樣本矢量各個(gè)分量中，有r/2是相同，r/2是相反。對于任意一個(gè)數(shù)l，l∈[1，r]，有Pl(Pk)T＝0，l≠k；而有Pl(Pl)T＝r，l＝k用外積和公式所得到權(quán)矩陣進(jìn)行迭代計(jì)算，在輸入樣本Pk，k=1，2…,q中任取Pl為初始輸入，求網(wǎng)絡(luò)加權(quán)輸入和Nl

只要滿足，r＞q，則有sgn(Nl)＝Pl確保Pl為網(wǎng)絡(luò)穩(wěn)定解人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第42頁433.4權(quán)值設(shè)計(jì)δ學(xué)習(xí)規(guī)則：經(jīng)過計(jì)算每個(gè)神經(jīng)元節(jié)點(diǎn)實(shí)際激活值A(chǔ)(t)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿足要求，則將二者誤差一個(gè)別作為調(diào)整量，若滿足要求，則對應(yīng)權(quán)值保持不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第43頁443.4權(quán)值設(shè)計(jì)偽逆法對于輸入樣本P＝[P1P2

…Pq]，設(shè)網(wǎng)絡(luò)輸出能夠?qū)懗梢粋€(gè)與輸入樣本相對應(yīng)矩陣A，輸入和輸出之間可用一個(gè)權(quán)矩陣W來映射，即有：W*P＝N，A＝sgn(N)，由此可得W＝N*P*

其中P*為P偽逆，有P*＝(PTP)-1PT假如樣本之間是線性無關(guān)，則PTP滿秩，其逆存在，則可求出權(quán)矩陣W但當(dāng)記憶樣本之間是線性相關(guān)，由海布法所設(shè)計(jì)出網(wǎng)絡(luò)存在問題，偽逆法也處理不了，甚至無法求解，相比之下，因?yàn)榇嬖谇竽娴冗\(yùn)算，偽逆法較為繁瑣，而海布法則要輕易求得多人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第44頁453.4權(quán)值設(shè)計(jì)正交化權(quán)值設(shè)計(jì)這一方法基礎(chǔ)思想和出發(fā)點(diǎn)1)確保系統(tǒng)在異步工作時(shí)穩(wěn)定性；2)確保全部要求記憶穩(wěn)定平衡點(diǎn)都能收斂到自己；3)使偽穩(wěn)定點(diǎn)數(shù)目盡可能少；4)使穩(wěn)定點(diǎn)吸引域盡可能大。正交化設(shè)計(jì)方法數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，類似于Gram-Schmidt正交化過程與外積和法相比較，所設(shè)計(jì)出平衡穩(wěn)定點(diǎn)能夠確保收斂到自己而且有較大穩(wěn)定域在MATLAB工具箱中已將此設(shè)計(jì)方法寫進(jìn)了函數(shù)solvehop.m中：[W，b]＝solvehop(T)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第45頁46四、穩(wěn)定性與應(yīng)用3.1聯(lián)想存放器特征3.2穩(wěn)定平衡點(diǎn)判定3.3TSP問題求解人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第46頁474.1聯(lián)想存放器特征性質(zhì)假如X是一個(gè)系統(tǒng)穩(wěn)定狀態(tài)，則－X也一定是一個(gè)穩(wěn)定狀態(tài)假如X1，X2，…，Xk為系統(tǒng)穩(wěn)定狀態(tài)，Y是它們線性組合而得到向量，則Y為穩(wěn)定狀態(tài)對于任意X1，X2，…，Xk，k<=n-1，則總能夠找到W,而且rank(W)<n），使得X1，X2，…，Xk是網(wǎng)絡(luò)穩(wěn)定狀態(tài)人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第47頁484.2穩(wěn)定平衡點(diǎn)判定定理（穩(wěn)定平衡點(diǎn)判定）對于CHNN，Us為一個(gè)n維向量。Us為系統(tǒng)一個(gè)穩(wěn)定平衡點(diǎn)充分條件以下，人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第48頁494.3TSP問題求解所謂TSP(TravelingSalesmanProblem)問題，即“旅行商問題”是一個(gè)十分有名難以求解優(yōu)化問題，其要求很簡單：在n個(gè)城市集合中，找出一條經(jīng)過每個(gè)城市各一次，最終回到起點(diǎn)最短路徑問題描述假如已知城市A，B，C，D，…，之間距離為dAB，dBC，dCD…；那么總距離d＝dAB+dBC+dCD+…，對于這種動(dòng)態(tài)規(guī)化問題，要去求其min(d)解對于n個(gè)城市全排列共有n!種，而TSP并沒有限定路徑方向，即為全組合，所以對于固定城市數(shù)n條件下，其路徑總數(shù)Sn為Sn＝n!／2n(n≥4)在n個(gè)城市基礎(chǔ)上，每添加一個(gè)城市，路徑總數(shù)要添加n倍人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第49頁50人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第50頁514.3TSP問題TSP解是若干城市有序排列，任何一個(gè)城市在最終路徑上位置可用一個(gè)n維0、1矢量表示，對于全部n個(gè)城市，則需要一個(gè)n×n維矩陣。以5個(gè)城市為例，一個(gè)可能排列矩陣為人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用hopfield網(wǎng)絡(luò)第51頁524.3TSP問題若用dxy