《反饋神經(jīng)網(wǎng)絡(luò)》課件最新ppt

1、第三講 反饋神經(jīng)網(wǎng)絡(luò)本章知識結(jié)構(gòu)概述離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)的應(yīng)用優(yōu)化計算3.1 概述 聯(lián)想特性是ANN的一個重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向NN，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過簡單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并不是強(qiáng)有力的動力學(xué)系統(tǒng)。聯(lián)想特性是ANN的一個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋NN中，我們將著重介紹NN的聯(lián)想記憶和優(yōu)化計算的能力。3.1 概述 聯(lián)想記憶

2、是指當(dāng)網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)經(jīng)過反饋演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點。優(yōu)化計算是指當(dāng)某一問題存在多種解法時，可以設(shè)計一個目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標(biāo)函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達(dá)到極小點，即能量函數(shù)的穩(wěn)定平衡點?？傊?，反饋網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過反饋計算最后到達(dá)穩(wěn)定狀態(tài)，這時的輸出即是用戶需要的平衡點。1982年,美國加州工學(xué)院J.Hopfield提出了可用作聯(lián)想存儲器和優(yōu)化計算的反饋網(wǎng)絡(luò),這個網(wǎng)絡(luò)稱為Hopfield神經(jīng)網(wǎng)絡(luò)(HN

3、N)模型,也稱Hopfield模型.HNN是一種循環(huán)NN,從輸出到輸入有反饋連接.HNN有離散型和連續(xù)型兩種.3.1 概述 反饋網(wǎng)絡(luò)(Recurrent Network),又稱自聯(lián)想記憶網(wǎng)絡(luò),如下圖所示:3.1 概述 反饋網(wǎng)絡(luò)的目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。 3.1

4、概述由于HNN為動力學(xué)系統(tǒng),且其平衡態(tài)關(guān)系到信息的存儲與聯(lián)想記憶,其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問題。反饋網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為如果激活函數(shù)f()是一個二值型的階躍函數(shù),則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò),主要用于聯(lián)想記憶;如果f()為一個連續(xù)單調(diào)上升的有界函數(shù),這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò),主要用于優(yōu)化計算。3.1 概述反饋NN由于其輸出端有反饋到其輸入端,所以,HNN在輸入的激勵下,會產(chǎn)生不斷的狀態(tài)變化.當(dāng)有輸入之后,可以求取出HNN的輸出,這個輸出反饋到輸入從而產(chǎn)生新的輸出,這個反饋過程一直進(jìn)行下去.如果HNN是一個能穩(wěn)定的網(wǎng)絡(luò),則這個反饋與迭代的計算過程所產(chǎn)生的變化越來越小,一旦到達(dá)

5、了穩(wěn)定平衡狀態(tài),那么HNN就會輸出一個穩(wěn)定的恒值.對于HNN來說,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù).應(yīng)該指出,反饋網(wǎng)絡(luò)有穩(wěn)定的,也有不穩(wěn)定的.對于HNN來說,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò),亦或是不穩(wěn)定的問題.而判別依據(jù)是什么,也是需要確定的.3.1 概述3.1 概述反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性問題。（關(guān)鍵問題）模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時。 反饋網(wǎng)絡(luò)：考慮延時，是一個動態(tài)系統(tǒng)，模型是動態(tài)方程（微分方程）。3.1 概述網(wǎng)絡(luò)的演變過程不同 前向網(wǎng)絡(luò)：通過學(xué)習(xí)得到連接權(quán)然后完成指定任務(wù)。 反饋網(wǎng)絡(luò)：

6、(優(yōu)化計算時)首先確定w（不是通過學(xué)習(xí)而來的，而是通過目標(biāo)函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運動，若穩(wěn)定，則最后達(dá)到一個穩(wěn)定狀態(tài)，對應(yīng)的輸出就是優(yōu)化問題的解。3.1 概述學(xué)習(xí)方法不同 前向網(wǎng)絡(luò)：誤差修正算法（BP算法）。 反向網(wǎng)絡(luò)：海布(Hebb)算法(用于聯(lián)想、分類的時候)3.1 概述應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和約束優(yōu)化問題的求解。對于如HNN類似的反饋網(wǎng)絡(luò),研究的重點為:如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài),得到聯(lián)想存儲或優(yōu)化計算的結(jié)果網(wǎng)絡(luò)的穩(wěn)定性問題怎樣設(shè)計和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂

7、 網(wǎng)絡(luò)的穩(wěn)定點 吸引域的設(shè)計 下面開始介紹HNN,分別介紹兩種主要的HNN:離散Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)3.1 概述3.2 離散Hopfield網(wǎng)絡(luò)Hopfield最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-1二值的NN,所以,也稱離散的HNN (簡稱為DHNN).下面分別討論DHNN的結(jié)構(gòu)動力學(xué)穩(wěn)定性(網(wǎng)絡(luò)收斂性)聯(lián)想存儲中的應(yīng)用記憶容量問題在DHNN網(wǎng)絡(luò)中,神經(jīng)元所輸出的離散值1和0分別表示神經(jīng)元處于興奮和抑制狀態(tài).各神經(jīng)元通過賦有權(quán)重的連接來互聯(lián).下面,首先考慮由三個神經(jīng)元組成的DHNN,其結(jié)構(gòu)如圖3.1所示.3.2.1離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)3.2.1離散Hopfiel

8、d網(wǎng)絡(luò)的結(jié)構(gòu)在圖中,第0層僅僅是作為網(wǎng)絡(luò)的輸入,它不是實際神經(jīng)元,所以無計算功能;而第一層是實際神經(jīng)元,故而執(zhí)行對輸入信息和權(quán)系數(shù)乘積求累加和,并由非線性函數(shù)f處理后產(chǎn)生輸出信息.f是一個簡單的閾值函效,如果神經(jīng)元的輸入信息的綜合大于閾值,那么,神經(jīng)元的輸出就取值為1;小于閾值,則神經(jīng)元的輸出就取值為0.對于二值神經(jīng)元,它的計算公式如下3.2.1離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)其中xj為外部輸入,并且有yj=1,當(dāng)ujj時yj=0,當(dāng)uj0,有:y(t+t)=y(t)則稱網(wǎng)絡(luò)是穩(wěn)定的.吸引子：若y(t)是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱y(t)是網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引域：能夠穩(wěn)定在吸引子y(t)的所有初始狀

9、態(tài)y(0)的集合，稱為吸引子y(t)的吸引域。從DHNN可以看出:它是一種多輸入,含有閾值的二值非線性動力系統(tǒng).在動力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運動過程中,其能量值不斷減小,最后處于最小值.因此,對HNN可引入一個Lyapunov函數(shù),即所謂能量函數(shù):3.2.2 DHNN的動力學(xué)穩(wěn)定性即有3.2.2 DHNN的動力學(xué)穩(wěn)定性對HNN的能量函數(shù)有幾點說明:當(dāng)對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后,從任一初始狀態(tài)開始,因為在每次迭代后都能滿足E0,所以網(wǎng)絡(luò)的能量將會越來越小.由于能量函數(shù)存在下界,因此其最后趨于穩(wěn)定點E=0. Hopfield能量函數(shù)的物理意義是:在那些漸進(jìn)穩(wěn)定點

10、的吸引域內(nèi),離吸引點越遠(yuǎn)的狀態(tài),所具有的能量越大.由于能量函數(shù)的單調(diào)下降特性,保證狀態(tài)的運動方向能從遠(yuǎn)離吸引點處,不斷地趨于吸引點,直到達(dá)到穩(wěn)定點.3.2.2 DHNN的動力學(xué)穩(wěn)定性能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念.根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性;Hopfield選擇的能量函數(shù),只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件,而不是必要條件,其能量函數(shù)也不是唯一的.在狀態(tài)更新過程中，包括三種情況：由0變?yōu)?；由1變?yōu)?及狀態(tài)保持不變。3.2.2 DHNN的動力學(xué)穩(wěn)定性類似于研究動力學(xué)系統(tǒng)穩(wěn)定性的Lyapunov穩(wěn)定性理論,上述DHNN的穩(wěn)定性可由分析上述定義的Lyapunov函數(shù)E的變化規(guī)律而揭示

11、.因此,由神經(jīng)元j的狀態(tài)變化量yj(t)所引起的的能量變化量Ej為:若所討論的HNN是對稱網(wǎng)絡(luò),即有wi,j=wj,i,i,j=1,2,.,n,則有則yj(t+1)=fuj(t)-j式(3)則可記為:Ej(t)=-uj(t)+jyj(t) (3A)下面分別對串行異步方式和并行同步方式,證明對稱二值型HNN是穩(wěn)定的.3.2.2 DHNN的動力學(xué)穩(wěn)定性如果,令A(yù).串行異步方式對串行異步和對稱權(quán)值型的HNN,基于式(3A)Ej(t)=-uj(t)+jyj(t) (3A)考慮如下兩種情況:如果ujj,即神經(jīng)元j的輸入綜合大于閾值,則從二值神經(jīng)元的計算公式知道:yj的值保持為1,或者從0變到1.這說明y

12、j的變化yj只能是0或正值.這時很明顯有Ej:Ej0這說明HNN神經(jīng)元的能量減少或不變.3.2.2 DHNN的動力學(xué)穩(wěn)定性如果ujj,即神經(jīng)元j的輸入綜合小于閾值,則知yj的值保持為0,或者從1變到0,而yj小于等于零.這時則有Ej:Ej0這也說明HNN神經(jīng)元的能量減少.上面兩點說明了DHNN在權(quán)系數(shù)矩陣W的對角線元素為0,而且W矩陣元素對稱時,串行異步方式的DHNN是穩(wěn)定的.3.2.2 DHNN的動力學(xué)穩(wěn)定性B. 并行同步方式由上述對串行異步和對稱權(quán)值型的DHNN的穩(wěn)定性分析過程知,單個神經(jīng)元的狀態(tài)變化引起的Lyapunov函數(shù)的變化量Ej(t)0 因此, 并行同步且權(quán)值對稱的DHNN的所有

13、神經(jīng)元引起的Lyapunov函數(shù)的變化量為:3.2.2 DHNN的動力學(xué)穩(wěn)定性 故上面兩點說明了DHNN在權(quán)系數(shù)矩陣W的對角線元素為0,而且W矩陣元素對稱時,并行同步方式的DHNN是穩(wěn)定的.基于上述分析,Coben和Grossberg在1983年給出了關(guān)于HNN穩(wěn)定的充分條件,他們指出:如果權(quán)系數(shù)矩陣W是一個對稱矩陣,并且,對角線元素為0.則這個網(wǎng)絡(luò)是穩(wěn)定的.即是說在權(quán)系數(shù)矩陣W中,若i=j時, Wij=0ij時,Wij=Wji則HNN是穩(wěn)定的.應(yīng)該指出: 這只是HNN穩(wěn)定的充分條件,而不是必要條件.在實際中有很多穩(wěn)定的HNN,但是它們并不滿足權(quán)系數(shù)矩陣w是對稱矩陣這一條件.3.2.2 DHN

14、N的動力學(xué)穩(wěn)定性3.2.2 DHNN的動力學(xué)穩(wěn)定性由上面的分析可知:無自反饋的權(quán)系數(shù)對稱HNN是穩(wěn)定.它如圖3.4所示.2.2.3 HNN的聯(lián)想記憶所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過程.日常生活中,從一種事物出發(fā),人們會非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù).兩種聯(lián)想形式自聯(lián)想(Auto-association) :由某種代表事物(或該事物的主要特征,或部分主要特征)聯(lián)想到其所標(biāo)示的實際事物。從英文字頭“Newt”聯(lián)想到“Newton”。聽到歌曲的一部分可以聯(lián)想起整個曲子。2.2.3 HNN的聯(lián)想記憶異聯(lián)想(他聯(lián)想)(Hetero -association)

15、:由一種事物(或該事物的主要特征,或部分主要特征)聯(lián)想到與其密切相關(guān)的另一事物。從質(zhì)能關(guān)系式E=mc2聯(lián)想到其發(fā)明者愛因斯坦?？吹侥橙说拿謺?lián)想起他的相貌和特點。人腦從一種事物得到對應(yīng)事物的兩種途徑按時間順序?qū)ο嚓P(guān)事物進(jìn)行思考可通過時間表來回憶某一階段所做的工作.通過事物本質(zhì)特征的對比來確定事物的屬性由提示信息或局部信息對事物進(jìn)行回憶或確認(rèn).2.2.3 HNN的聯(lián)想記憶HNN的一個功能是可用于聯(lián)想記憶,也即是聯(lián)想存儲器.這是人類的智能特點之一.人類的所謂“觸景生情”就是見到一些類同過去接觸的景物,容易產(chǎn)生對過去情景的回昧和思憶.對于HNN,用它作聯(lián)想記憶時,首先通過一個學(xué)習(xí)訓(xùn)練過程確定網(wǎng)絡(luò)中

16、的權(quán)系數(shù),使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個頂角的能量最小.當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后,只要向網(wǎng)絡(luò)給出輸入向量,這個向量可能是局部數(shù)據(jù).即不完全或部分不正確的數(shù)據(jù),但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出.2.2.3 HNN的聯(lián)想記憶1984年Hopfield提出一種用n維HNN作聯(lián)想存儲器的結(jié)構(gòu).HNN聯(lián)想存儲器的主要思想為:根據(jù)欲存儲的信息的表示形式和維數(shù),設(shè)計相應(yīng)的HNN結(jié)構(gòu)將欲存儲的信息設(shè)計為HNN的動力學(xué)過程的已知的漸近穩(wěn)定平衡點通過學(xué)習(xí)和設(shè)計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡(luò)中2.2.3 HNN的聯(lián)想記憶在HNN聯(lián)想存儲器中,權(quán)系數(shù)的賦值規(guī)則Hebb規(guī)則,即為存儲向量的外

17、積存儲規(guī)則,其原理如下:設(shè)有m個樣本存儲向量X1,X2,Xm,其中Xi=Xi1,Xi2,.,Xi,n把這m個樣本向量存儲入HNN中,則在網(wǎng)絡(luò)中第i,j兩個節(jié)點之間權(quán)系數(shù)的值為(權(quán)值學(xué)習(xí)規(guī)則):其中k為樣本向量Xk的下標(biāo),k=1,2,m;i,j分別是樣本向量Xk的第i,j分量Xk,i,Xk,j的下標(biāo).2.2.3 HNN的聯(lián)想記憶如果把系統(tǒng)的穩(wěn)定點視做一個記憶的話，那么從初始狀態(tài)朝這個穩(wěn)定點移動的過程就是尋找該記憶的過程。例1：計算如圖3.5所示3節(jié)點DHNN的狀態(tài)轉(zhuǎn)移關(guān)系。考慮到DHNN的權(quán)值特性wijwji，可簡化為圖3.6右邊的等價圖。2.2.3 HNN的聯(lián)想記憶 圖3.6 一個3節(jié)點的DH

18、NN結(jié)構(gòu)圖2.2.3 HNN的聯(lián)想記憶設(shè)網(wǎng)絡(luò)參數(shù)為：現(xiàn)在以初始狀態(tài)（可任意選定）y1y2y3=(000)為例,以異步運行網(wǎng)絡(luò)，考察各個節(jié)點的狀態(tài)轉(zhuǎn)移情況?，F(xiàn)在考慮每個節(jié)點y1y2y3以等概率（1/n）被選擇。假定首先選擇節(jié)點y1，則節(jié)點狀態(tài)為： Net1=1*0+2*0-(-5)=50節(jié)點1輸出為： y1=1即，網(wǎng)絡(luò)狀態(tài)由（000）變化到（100），轉(zhuǎn)移概率為1/3。2.2.3 HNN的聯(lián)想記憶如選擇節(jié)點y2 ，則節(jié)點狀態(tài)為： Net2=1*0+（-3）*0-0=0節(jié)點2輸出為： y1=0即，網(wǎng)絡(luò)狀態(tài)由（000）變化到（000），轉(zhuǎn)移概率為1/3。如選擇節(jié)點y3 ，則節(jié)點狀態(tài)為： Net3=2

19、*0+（-3）*0-3=-30節(jié)點3輸出為： y3=0即，網(wǎng)絡(luò)狀態(tài)由（000）變化到（000），同樣，轉(zhuǎn)移概率為1/3。從上面的網(wǎng)絡(luò)運行可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)絡(luò)狀態(tài)以1/3的概率轉(zhuǎn)移到（100），以2/3的概率轉(zhuǎn)移到（000），即保持不變，而不會轉(zhuǎn)移到（010）等其它狀態(tài)。2.2.3 HNN的聯(lián)想記憶同理，還可以計算出其它狀態(tài)之間的轉(zhuǎn)移關(guān)系。從這個例子可以看出：（1）狀態(tài)（110）是一個滿足前面穩(wěn)定定義的狀態(tài)，即為穩(wěn)定狀態(tài)；（2）從任意初始狀態(tài)開始，網(wǎng)絡(luò)經(jīng)過有限次狀態(tài)更新后，都將到達(dá)該穩(wěn)定狀態(tài)。2.2.3 HNN的聯(lián)想記憶例2：計算例1中3節(jié)點模型的個狀態(tài)的能量。首先選擇狀態(tài)y1

20、y2y3=（011），此時，網(wǎng)絡(luò)的能量為：再選擇狀態(tài)y1y2y3=（110），同理，網(wǎng)絡(luò)的能量為：2.2.3 HNN的聯(lián)想記憶其余狀態(tài)能量如表2所示： 表2.模型各狀態(tài)能量表y1y2y3E0000001301000116100-5101-4110-6111-2顯然，狀態(tài)y1y2y3=（110）處的能量最小。從任意狀態(tài)開始，網(wǎng)絡(luò)沿能量減?。òㄍ患壞芰浚┓较蚋聽顟B(tài)，最終能達(dá)到對應(yīng)能量極小的穩(wěn)態(tài)。2.2.4 記憶容量問題設(shè)計DHNN網(wǎng)絡(luò)的目的,是希望通過所設(shè)計的權(quán)值矩陣W儲存多個期望模式.因此,在DHNN用于聯(lián)想記憶問題,記憶容量問題是一個必須回答的基本問題.當(dāng)網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時,該模式

21、肯定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住,即所設(shè)計的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系.但當(dāng)需要記憶的模式增多時,網(wǎng)絡(luò)記憶可能出現(xiàn)問題.2.2.4 記憶容量問題按照Hebb規(guī)則求出權(quán)矩陣后，可以認(rèn)為已有M個模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過程中，先給出原始模式m0，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動態(tài)運行，最后到達(dá)一個穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對應(yīng)于已存儲的M個模式中的某個模式mk,則稱模式mk是由模式m0聯(lián)想起來的。在這里舉例說明。例3.對于一個4神經(jīng)元的網(wǎng)絡(luò)，取閾值為0。給定兩個模式存儲于網(wǎng)絡(luò)中： m1:Y(1)=y1,y2,y3,y4=1,1,1,1, m2:Y(2)=y1,y2,y3,y4=-1,-1,-1,-1.2.2.4 記憶容量問題按照Hebb規(guī)則可求得權(quán)矩陣：2.2.4 記憶容量問題給出用于聯(lián)想的原始模式： mA:Y=y1,y2,y3,y4=1,1,-1,1,運用網(wǎng)絡(luò)方程：得到： Y(1)=1,1,1,1,再次運行，得到 Y(2)=1,1,1,1。 這時網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：Y=1,1,1,1。而這個穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m1，