神經(jīng)網(wǎng)絡(luò)導(dǎo)論雙向聯(lián)想記憶

1、?神經(jīng)網(wǎng)絡(luò)導(dǎo)論?實(shí)驗(yàn)二雙向聯(lián)想記憶專業(yè)：信息與通信工程班級(jí)：5030班學(xué)號(hào)：3115091011姓名：王靜一、實(shí)驗(yàn)?zāi)康氖煜osko型雙向聯(lián)想記憶網(wǎng)絡(luò)的原理與結(jié)構(gòu),通過(guò)仿真實(shí)驗(yàn)掌握具體的實(shí)現(xiàn)方法,了解該網(wǎng)絡(luò)的功能及性能,加深對(duì)該類網(wǎng)絡(luò)的穩(wěn)定狀態(tài)和能量函數(shù)等概念的理解.二、實(shí)驗(yàn)原理我們知道,聯(lián)想記憶功能分為自聯(lián)想和異聯(lián)想,異聯(lián)想也稱為雙向聯(lián)想記憶,簡(jiǎn)寫(xiě)為BAM,BAM存儲(chǔ)器可存儲(chǔ)兩組矢量,假設(shè)有如下N維矢量與P維矢量B：A=a.,QniFGB=瓦,瓦,.,bp_iF£-1,1P構(gòu)成M對(duì)矢量4,及,s=0,1,.7M-1,將它們存入bam存儲(chǔ)器即可進(jìn)行由a到b或由B到A的雙向聯(lián)想,即給定

2、A或B可經(jīng)聯(lián)想得到對(duì)應(yīng)的標(biāo)準(zhǔn)樣本B或A,當(dāng)有噪聲或缺損時(shí),聯(lián)想功能可使樣本對(duì)復(fù)原.其實(shí),人腦就具有根據(jù)相關(guān)線索回憶和恢復(fù)信息的水平.例如,片斷曲調(diào)往往可以喚起人們對(duì)整個(gè)樂(lè)曲的回憶；在人群中某人的背影就足以使我們想起一位老朋友.人工神經(jīng)網(wǎng)絡(luò)力圖實(shí)現(xiàn)這種功能.Kosko的BAM網(wǎng)絡(luò)就是其中的一種.如圖1所示,與矢量A相應(yīng)的一層有N個(gè)節(jié)點(diǎn),另一層對(duì)應(yīng)矢量B,有P個(gè)節(jié)點(diǎn),兩層間雙向連接.假定B到A的傳輸為正向,正向的權(quán)矩陣為W,反之,A至IJB為反向傳輸,權(quán)矩陣為“7.如果輸入矢量由上層參加,且相應(yīng)于網(wǎng)絡(luò)中B的穩(wěn)定狀態(tài),那么經(jīng)W之作用產(chǎn)生A穩(wěn)定狀態(tài).同理,如果輸入矢量在下層,且相應(yīng)于網(wǎng)絡(luò)中A的穩(wěn)定狀態(tài)

3、,經(jīng)之作用產(chǎn)生B穩(wěn)定狀態(tài),圖1:雙向底想記憶網(wǎng)絡(luò)當(dāng)輸入任意矢量時(shí),網(wǎng)絡(luò)要經(jīng)假設(shè)干次迭代計(jì)算演變至穩(wěn)定狀態(tài),過(guò)程可示意為:WB(t)->4(t+l)1)tBQ+2)WB(t+2)T7l(t+3)直至A、B為穩(wěn)態(tài),演變過(guò)程結(jié)束.網(wǎng)絡(luò)學(xué)習(xí)遵從Hebb規(guī)那么,假設(shè)給定M個(gè)雙極性矢量對(duì)：(4.,%),那么正、反向權(quán)矩陣為：M-1W=W4s風(fēng)s=0MTW7=W及用s=0如果BAM網(wǎng)絡(luò)神經(jīng)元函數(shù)閾值為0,那么稱為齊次BAM網(wǎng)絡(luò),其能量函數(shù)為：11E(AfB)=-AtWB-BtWtA=-AtWB假設(shè)神經(jīng)元非線性函數(shù)為f,那么描述齊次BAM動(dòng)態(tài)特性的差分方程為：正向聯(lián)想(B=A)4(£+1)=f

4、£：=i卬海反向聯(lián)想(A=B)»(t+2)%.?(£+1)(2)三、實(shí)驗(yàn)內(nèi)容IS1 .連接權(quán)矩陣對(duì)于給定的4對(duì)學(xué)習(xí)樣本根據(jù)Hebb規(guī)那么計(jì)算網(wǎng)絡(luò)的連接權(quán)矩陣,這里只計(jì)算正向傳輸(即從B到A)的權(quán)重連接矩陣,反向權(quán)矩陣為正向權(quán)矩陣的轉(zhuǎn)置.下面為四對(duì)學(xué)習(xí)樣本Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1':A2=l,1,-1,-1,1,1,-1,-1,1,1,-1,-1,I,1,；A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1Y；A4=l,1,1,1,-1,-1,-1,-1,1,1,1,1,-1,-

5、1,-H,；Bl=l,1,1,1,-1,-1,-1,-1,1,1；B2=l,1,1,-1,-1,-1,1,1,1,-1'；B3=l,1,-1,-1,1,1,-1,-1,1,1'；B4=l,-1,1,-1,1,-1,1,-1,1,T'；連接權(quán)矩陣的計(jì)算公式W=即w為15*10的矩陣,那么帶入四對(duì)樣本可得連接權(quán)矩陣W為：表一：連接權(quán)矩陣422-20-20-240200-420202-2200020-2-422-2-4002020-2-20222-4-20200-2000-2024-2-202-2202-4-204-20-4024-20-22422-20-20-2400-22

6、-20-2420-40-2220-20-200-2-4002020-2-22400-20-202202-2-202020002-2202-4-2042.能量值由實(shí)驗(yàn)原理可知,對(duì)于輸入的一對(duì)樣本A、B,其能量值計(jì)算公式為:E(AfB)=-AtWB將四對(duì)樣本分別帶入得能量值分別為：表二：能量值樣本(Al,B1)(A2,B2)(A3,B3)(A4,B4)能量值E1E2E3E4-158-142-158-1463.2 驗(yàn)證網(wǎng)絡(luò)的聯(lián)想水平驗(yàn)證網(wǎng)絡(luò)的聯(lián)想水平即任選標(biāo)準(zhǔn)樣本4輸入網(wǎng)絡(luò)進(jìn)行迭代運(yùn)算直至網(wǎng)絡(luò)穩(wěn)定,觀察上下兩層的狀態(tài)是否為(4,4),同樣,任選區(qū)輸入,觀察穩(wěn)定后的狀態(tài).過(guò)程可按如下所示框圖描述：雙向

7、聯(lián)想網(wǎng)絡(luò)實(shí)臉框圖根據(jù)輸入矢量的長(zhǎng)度確定輸入的是哪個(gè)矢量,進(jìn)而確定進(jìn)入哪個(gè)循環(huán),判斷結(jié)束的條件為網(wǎng)絡(luò)穩(wěn)定,即兩次得到的所求矢量相等.例如,當(dāng)輸入為矢量B時(shí),前一次通過(guò)正向聯(lián)想和反向聯(lián)想得到4,后一次再經(jīng)過(guò)正向聯(lián)想和反向聯(lián)想得到4+1,假設(shè)兩次得到的相等,那么認(rèn)為網(wǎng)絡(luò)穩(wěn)定那么輸出穩(wěn)定矢量A,否那么,繼續(xù)迭代.以下為網(wǎng)絡(luò)聯(lián)想得到的幾組實(shí)驗(yàn)數(shù)據(jù)輸入A1A3B2A2B4輸出B1B3A2B2A4可以看出,該網(wǎng)絡(luò)具有聯(lián)想水平,對(duì)于給定的輸入能正確的得到輸出,沒(méi)有錯(cuò)誤.3.3 驗(yàn)證網(wǎng)絡(luò)的抗噪水平1 .實(shí)驗(yàn)過(guò)程隨機(jī)選取某一保準(zhǔn)矢量的假設(shè)干位取反形成畸變矢量,將其輸入網(wǎng)絡(luò)迭代至穩(wěn)態(tài),觀察對(duì)應(yīng)的輸出是否依然正確.實(shí)

8、驗(yàn)中取了如下五組數(shù)據(jù)：圖中所示為輸出的能量值實(shí)驗(yàn)一：表三：輸入A1且有一位取反標(biāo)準(zhǔn)輸入矢量Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1'標(biāo)準(zhǔn)輸出矢量Bl=l,1,1,1,-1,-1,-1,-1,1,1'一位取反的畸變矢量AV=1,1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1'實(shí)際輸出BV=1,1,1,1,-1,-1,-1,-1,1,=圖一：輸入A1一位取反的能最變化曲線可以看出,當(dāng)輸入A1并且有一位取反時(shí),網(wǎng)絡(luò)通過(guò)聯(lián)想仍能得到正確的輸出B1.因此網(wǎng)絡(luò)此時(shí)的能量與輸入標(biāo)準(zhǔn)矢量Al,B1時(shí)能量相等.實(shí)驗(yàn)二：表四：輸入A

9、1且有兩位取反標(biāo)準(zhǔn)輸入矢量Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1'標(biāo)準(zhǔn)輸出矢量Bl=1,1,1,1,-1,-1,-1,-1,1,1'兩位取反的畸變矢量Al*=l,1,1,_1,1,-1,-1,1,-1,1,-1,1,-1,1,實(shí)際輸出Blz=l,1,1,1,-1,-1,-1,-1,1,=可以看出,當(dāng)4因此網(wǎng)絡(luò)此時(shí)三確的輸出B1.圖二：輸入A1兩位取反的能最變化曲線圖三：輸入B2一位取反的能量變化曲線可以看出,當(dāng)輸入B2并且有一位取反時(shí),網(wǎng)絡(luò)通過(guò)聯(lián)想仍能得到正確的輸出A2.因此網(wǎng)絡(luò)此時(shí)的能量與輸入標(biāo)準(zhǔn)欠量B2,A2時(shí)能量相等.實(shí)驗(yàn)四：表六：

10、輸入B3且有兩位取反標(biāo)準(zhǔn)輸入矢量B3=l,1,-1,-1,1,1,-1,-1,1,1,標(biāo)準(zhǔn)輸出矢量A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1Y一位取反的畸變矢量B3Z=-1,1,-1,-1,1,-1,-1,-1,1,1'實(shí)際輸出A3Z=1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1'=A3-9C-102110.122132圖四：輸入B3兩位取反的能量變化曲線可以看出,當(dāng)輸入B3TTJZLBPlI2L2人“J,叱得到正確的輸出A3.因此網(wǎng)絡(luò)此時(shí)的能量與輸入標(biāo)準(zhǔn)矢量B3,A3時(shí)能量相等.實(shí)驗(yàn)五：表七：輸入B3且有兩位取反標(biāo)準(zhǔn)

11、輸入矢量B3=l,1,-1,-1,1,1,-1,-1,1,1'標(biāo)準(zhǔn)輸出矢量A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1'一位取反的畸變矢量B3Z=-1,1,-1,-1,1,1,T,-1,-1,1'實(shí)際輸出A3#=-l,-L1,-1,1,-1,-1,-1,-1,1,1,1'圖五：輸入B3兩位位取反的能量變化曲線可以看出,當(dāng)輸入B3并且有兩位取反時(shí),網(wǎng)絡(luò)聯(lián)想此時(shí)出現(xiàn)錯(cuò)誤,故此時(shí)網(wǎng)絡(luò)的能量與輸入標(biāo)準(zhǔn)矢量B3,A3時(shí)能量不同.2 .實(shí)驗(yàn)分析從實(shí)驗(yàn)中可以看出,當(dāng)輸入矢量有一位取反時(shí),由于網(wǎng)絡(luò)的聯(lián)想功能,根本可以輸出正確的結(jié)果,但是當(dāng)輸入有多

12、位取反時(shí),那么會(huì)出現(xiàn)錯(cuò)誤,即偽穩(wěn)定狀態(tài).當(dāng)然,這只是幾個(gè)簡(jiǎn)單的實(shí)驗(yàn),并不能說(shuō)明當(dāng)輸入有一位取反時(shí)就完全不會(huì)出現(xiàn)錯(cuò)誤輸出,也不能從此說(shuō)明網(wǎng)絡(luò)的聯(lián)想水平.下面會(huì)從統(tǒng)計(jì)的角度對(duì)網(wǎng)絡(luò)的聯(lián)想水平做出評(píng)估.3.4噪聲大小對(duì)聯(lián)想水平的影響本實(shí)驗(yàn)針對(duì)不同的輸入以及不同的取反位數(shù)計(jì)算網(wǎng)絡(luò)聯(lián)想的正確率,用其表示網(wǎng)絡(luò)的聯(lián)想水平.每次實(shí)驗(yàn)采取1000次輸入,每次輸入通過(guò)迭代得到其對(duì)應(yīng)的輸出,再將輸出與對(duì)應(yīng)的標(biāo)準(zhǔn)輸出矢量比擬,判斷此次輸出是否正確.進(jìn)而得到本次實(shí)驗(yàn)的正確率.1 .輸入為A反位數(shù)輸入取反1位取反2位取反3位A110.99200.9660A210.99100.9000A310.94900.9190A410.

13、89900.76302 .輸入為B取反位數(shù)輸入取反1位取反2位取反3位B110.90400.G710B20.89100.76700.6000B30.91000.77600.4080B40.89400.74100.63303.實(shí)驗(yàn)分析從實(shí)驗(yàn)結(jié)果中可以看出,在一行中即輸入相同時(shí),噪聲越大,正確率越低.同時(shí)可以看出,由于矢量A的維數(shù)較多,所以當(dāng)矢量B與矢量A取相同的取反位數(shù)時(shí),可認(rèn)為B矢量上的信噪比衰落更大,所以正確率下降.而且還可以看出一個(gè)大致上的規(guī)律,當(dāng)輸入矢量?jī)?nèi)部變化較快例Al,B4時(shí),隨著噪聲增加,其正確率比那些內(nèi)部變化較慢例A4的矢量大.3 .5偽穩(wěn)定狀態(tài)偽穩(wěn)定狀態(tài),即當(dāng)帶噪聲的樣本輸入到

14、網(wǎng)絡(luò)后,網(wǎng)絡(luò)仍然迭代至一“穩(wěn)定狀態(tài),但不是標(biāo)準(zhǔn)的輸出矢量.所以稱為偽穩(wěn)定狀態(tài).標(biāo)準(zhǔn)輸入Al=l,-1,1,-1,1,-1,1,-1,1,1,-1,1,-1,1了標(biāo)準(zhǔn)輸出B1=1,1,1,1,-1,-1,-1,-1,1,1Y實(shí)際輸入Al#=l,1,1,-1,-1,-1,1,1,-1,-1,1,-1,1,-1,1'實(shí)際輸出BV=1,1,-1,1,1,1,-1,-1,1,1'E-146該偽穩(wěn)定狀a及是Al加噪聲輸入,輸入有四位取反,輸出有三位錯(cuò)誤.標(biāo)準(zhǔn)輸入B2=i,1,1,-1,-1,-1,1,1,i,-ir標(biāo)準(zhǔn)輸出A2=l,1,-1,-1,1,1,-1,-1,1,1,-1,-1,1

15、,1,T'實(shí)際輸入B2*=l,1,-1,-1,1,-1,-1,1,1,-1,實(shí)際輸出A2Z=1,1,1,-1,-1,-1,-1,-1,1,1,1,-1,1,-1,-l1E-118該偽穩(wěn)定狀X片是B2加噪聲輸入,輸入有三位取反,輸出有五位錯(cuò)誤.四、實(shí)驗(yàn)思考題1、在實(shí)驗(yàn)步驟4中觀察網(wǎng)絡(luò)能量E是如何變化的根據(jù)網(wǎng)絡(luò)機(jī)理說(shuō)明原因.通過(guò)實(shí)驗(yàn)可以看出,在實(shí)驗(yàn)過(guò)程中網(wǎng)絡(luò)能量趨于減小,最終穩(wěn)定.這是由于雙向聯(lián)想網(wǎng)絡(luò)仍是Hopfield網(wǎng)絡(luò),因此它仍具有Hopfield神經(jīng)網(wǎng)絡(luò)的特點(diǎn),即網(wǎng)絡(luò)能量向能量減小的方向走,直至到達(dá)極小值的穩(wěn)定狀態(tài).2、如果我們想要“擦除存儲(chǔ)矢量對(duì)中的某對(duì)4,4,應(yīng)如何調(diào)整網(wǎng)絡(luò)考慮

16、運(yùn)算量雙向聯(lián)想記憶網(wǎng)絡(luò)中,要想去除某對(duì)輸入的影響,只要在連接權(quán)矩陣中減去這對(duì)輸入的影響即可.即W*=W-3、通過(guò)總結(jié)第5步和第6步實(shí)驗(yàn)結(jié)果,能得出什么結(jié)論簡(jiǎn)要解釋其中的原因.從實(shí)驗(yàn)結(jié)果可以看出：1噪聲越大,正確率越低2輸入矢量維數(shù)越大,網(wǎng)絡(luò)對(duì)噪聲的承受水平越好,正確率越高3輸入矢量中元素符號(hào)變化較快,在一定程度上對(duì)網(wǎng)絡(luò)正確率有所提升五、實(shí)驗(yàn)總結(jié)在這次實(shí)驗(yàn)中,我在進(jìn)行實(shí)驗(yàn)時(shí),主要的難點(diǎn)在于判斷迭代停止的條件,剛開(kāi)始是想每對(duì)輸入的能量值已經(jīng)求得,那么穩(wěn)定的輸出結(jié)果就應(yīng)該是對(duì)應(yīng)的輸入與輸出應(yīng)該計(jì)算得出這一對(duì)矢量對(duì)應(yīng)的能量值.因此在實(shí)現(xiàn)時(shí)判斷結(jié)束語(yǔ)句是c=-a*W*b=El,-a*W*b=E2,-a*

17、W*b=E3,-af*W*b=E4,;其中C為邏輯數(shù)組,然后根據(jù)C中是否有1來(lái)判斷迭代是否停止,有1,那么說(shuō)明到達(dá)穩(wěn)定狀態(tài),否那么迭代繼續(xù).但是后來(lái)通過(guò)對(duì)實(shí)驗(yàn)的分析得出,如果輸入有噪聲的話,仍然能到達(dá)一個(gè)偽穩(wěn)定狀態(tài),但是此時(shí)的能量值發(fā)生改變,所以不能用這個(gè)條件作為判斷迭代結(jié)束的條件,后來(lái)我的判斷條件為連續(xù)兩次得到的輸出是否相等,假設(shè)相等那么到達(dá)“穩(wěn)定狀態(tài).六、源代碼cicclear1,-1,1,-1,1,-1,1'a4=(ijjj廠b2=u,ijb3wij/i廣8411廠1,1廠1,1廠1,1廠1,1,-1.；W=zeros(15/10);fors=l:4W=WMseBs'；e

18、ndEl=-Al,eWBl;E2=-A2,>WB2;E3=-A3,eWB3；E4二A4'*WB4;Aa=zeros(15,2)；Bb=zeros(10/2);a=zeros(154);b=zeros(10/l);c=n,L-i,-u；%邏輯數(shù)組,判斷結(jié)果是否穩(wěn)定,即網(wǎng)絡(luò)的能量函數(shù)p=l%輸入的為哪個(gè)變量in=Bp%輸入向量l=length(in);%根據(jù)輸入向量的長(zhǎng)度判斷輸入的是A還是Bif(l=10)testa=0;b=(inT(l-2,randerr(l,10,1),;隨機(jī)取100個(gè)假設(shè)干位取反的輸入%墉人為B時(shí)cha=2eros(15,l)；cha(14)=l;whiles

19、um(cha)=0%第一次計(jì)算afori=l:15origina=a(i,l);%先將原始的a存起來(lái),當(dāng)求和為0時(shí),神經(jīng)元的輸出維持不變forj=L:10enda(i,l);origina;elsea(U)=sign(a(i4);endend%A=WBforj=l:10originb=b(j,l);%先將原始的b存起來(lái),當(dāng)求和為0時(shí),神經(jīng)元的輸出維持不變fori=l:15endif(b0,l)=O)b(j,l)=originb;elseb(j,l)=sign(b(jj);endend%B=W'*AAa(:,l)=a;%將前一次迭代得到的a存入第一列%第二次計(jì)算afori=l:15ori

20、gina=a(i,l);%先將原始的a存起來(lái),當(dāng)求和為.時(shí),神經(jīng)元的描出維持不變forj=l:10endif(a(i,l)=0)a(i,l)二origina;elsea(i,l)=sign(a(i,l);endend%A=WBforj=l:10originb=先將原始的b存起來(lái),當(dāng)求和為0時(shí),神經(jīng)元的飾出維持不變fori=l:15endif(bO,l)=0)b(j,l)=originb;elseb(j,l)=sign(b(j,l);endendAa(:,2)=a;%將后一次迭代得到的a存入第二列cha=Aa(:J)Aa(:,2);end%testa(:;n)=a.*Ap;m=a-Ap;if(sum(mf=0)testa=testafl;elsetesta=testa+0;endend%errora=find(testa=-l);%cittesta中-1的個(gè)數(shù),即輸入為B時(shí)聯(lián)想錯(cuò)誤的元素acca=ltesta/1000;%準(zhǔn)確率%榆入為A時(shí)elsetestb=0;forn=l:1000Einr(l-2ynder15J)7%隨機(jī)取100個(gè)假設(shè)干位取反的輸入chb二zeros(10,l);chb(l,l)=l;wh