《神經(jīng)網(wǎng)絡(luò)導(dǎo)論》實驗二-雙向聯(lián)想記憶

《神經(jīng)網(wǎng)絡(luò)導(dǎo)論》實驗二雙向聯(lián)想記憶專業(yè)班級碩2081學(xué)號3112313038姓名李海玥完成時間2013年1月《神經(jīng)網(wǎng)絡(luò)導(dǎo)論》試驗二雙向聯(lián)想記憶李海玥2013年1月一、實驗?zāi)康氖煜osko型雙向聯(lián)想記憶網(wǎng)絡(luò)的原理與結(jié)構(gòu)，通過仿真實驗掌握具體的實現(xiàn)方法，了解該網(wǎng)絡(luò)的功能及性能，加深對該類網(wǎng)絡(luò)的穩(wěn)定狀態(tài)和能量函數(shù)等概念的理解。二、實驗原理聯(lián)想記憶功能分為自聯(lián)想和異聯(lián)想，異聯(lián)想也稱為雙向聯(lián)想記憶，簡寫為BAM。BAM存儲器可存儲兩組矢量，若有如下N維矢量A和P維矢量B：A=B=構(gòu)成M對矢量As,Bs,s=0,1,?,M-1如圖1所示，與矢量A相應(yīng)的一層有N個節(jié)點，另一層對應(yīng)矢量B，有P個節(jié)點，兩層間雙向連接。假定B到A的傳輸為正向，正向的權(quán)矩陣為W。如果輸入矢量由上層加入，且相應(yīng)于網(wǎng)絡(luò)中B的穩(wěn)定狀態(tài)，則經(jīng)W之作用產(chǎn)生A穩(wěn)定狀態(tài)。圖1：雙向聯(lián)想記憶網(wǎng)絡(luò)當(dāng)任意矢量輸入時，網(wǎng)絡(luò)要經(jīng)若干次次迭代計算演變至穩(wěn)態(tài)，過程可示意為：WBWWB?直至A、B為穩(wěn)態(tài)，演變過程結(jié)束。網(wǎng)絡(luò)學(xué)習(xí)遵從Hebb規(guī)則，若給定M個雙極性矢量對：A則正，反向權(quán)矩陣為：W=W如果BAM網(wǎng)絡(luò)神經(jīng)元函數(shù)值為0，則稱為齊次BAM網(wǎng)絡(luò)，其能量函數(shù)為：E若神經(jīng)元的非線性函數(shù)為f，則描述齊次BAM動態(tài)特性的差分方程為：正向聯(lián)想(B?A)a反向聯(lián)想(A?B)b三、實驗內(nèi)容及步驟1、選擇齊次Kosko型BAM網(wǎng)絡(luò)編制程序?qū)崿F(xiàn)聯(lián)想記憶。設(shè)神經(jīng)元非線性函數(shù)f為硬限幅函數(shù)，即f(x)=san(x)；當(dāng)x=0時，神經(jīng)元的輸出維持不變。2、根據(jù)Hebb規(guī)則算出網(wǎng)絡(luò)的連接權(quán)矩陣并記錄；算出四對矢量所對應(yīng)的穩(wěn)定狀態(tài)的能量值。連接權(quán)值W=4 2 2 -2 0 -2 0 -2 4 02 0 0 -4 2 0 2 0 2 -22 0 0 0 2 0 -2 -4 2 2-2 -4 0 0 2 0 2 0 -2 -20 2 2 2 -4 -2 0 2 0 0-2 0 0 0 -2 0 2 4 -2 -20 2 -2 2 0 2 -4 -2 0 4-2 0 -4 0 2 4 -2 0 -2 24 2 2 -2 0 -2 0 -2 4 00 -2 2 -2 0 -2 4 2 0 -40 -2 2 2 0 -2 0 -2 0 0-2 -4 0 0 2 0 2 0 -2 -22 4 0 0 -2 0 -2 0 2 20 2 -2 -2 0 2 0 2 0 00 2 -2 2 0 2 -4 -2 0 4穩(wěn)定狀態(tài)能量值：E=[3、驗證網(wǎng)絡(luò)的聯(lián)想能力經(jīng)過Matlab編程驗證，經(jīng)過以上計算出的權(quán)值W和對稱硬限幅函數(shù)的非線性作用，選擇標準樣本Ai進行迭代，觀察上下兩層的狀態(tài)是否為(Ai,Bi)。同樣任選Bi輸入觀察穩(wěn)定后的結(jié)果。經(jīng)過前面計算出的權(quán)值W和符號函數(shù)非線性作用，進行一次迭代，聯(lián)想成功沒有偏差。即AB4、驗證網(wǎng)絡(luò)抗噪能力以標準矢量A1隨機兩位取反形成畸變矢量A帶入網(wǎng)絡(luò)中迭代至穩(wěn)定。得到結(jié)果A過程經(jīng)過兩次迭代期間能量變化為：E5、噪聲大小對聯(lián)想能力的影響統(tǒng)計4個矢量分別在1~3位上取反時的聯(lián)想正確率。對于每種情況取2000次運算得到平均性能。表1噪聲對網(wǎng)絡(luò)聯(lián)想力的影響標準矢量取反位數(shù)迭代次數(shù)平均值聯(lián)想正確率A112.0000100%22.000098.97%32.097595.58%A212.0000100%22.016098.49%32.176591.68%A311.920099.52%21.990598.51%32.063695.21%A412.0000100%22.013099.61%32.097589.71%6、正反向聯(lián)想抗噪能力統(tǒng)計4個B矢量分別在1~3位取反時的聯(lián)想正確率，記錄結(jié)果并與第5步結(jié)果比較。表2反向聯(lián)想抗噪能力標準矢量取反位數(shù)迭代次數(shù)平均值聯(lián)想正確率B112.0000100%22.216091.75%32.336077.03%B211.870597.80%22.068594.52%32.339580.03%B311.902099.02%22.027091.43%32.203074.40%B411.795597.95%22.016592.17%32.181576.89%四、實驗思考題1、在實驗步驟4中觀察網(wǎng)絡(luò)能量E是如何變化的？根據(jù)網(wǎng)絡(luò)機理說明原因。從步驟4中可以看出，網(wǎng)絡(luò)能量E隨著跌代的次數(shù)而減小。這是因為雙向聯(lián)想網(wǎng)絡(luò)是Hopfield網(wǎng)絡(luò)的一種，所以也具有Hopfield網(wǎng)絡(luò)特性。而對于標準Hopfield網(wǎng)絡(luò)，其能量函數(shù)E對時間的導(dǎo)數(shù)為負值，dE也就是說網(wǎng)絡(luò)總是朝著能量函數(shù)E減小的方向運動，且達到穩(wěn)態(tài)時，E取極小值。2、如果我們想要“擦除”存儲矢量中的某對(Ai,Bi)，應(yīng)如何調(diào)整網(wǎng)絡(luò)？雙向聯(lián)想記憶網(wǎng)絡(luò)特性主要體現(xiàn)在權(quán)值W上，如果想要“擦除”存儲矢量中的某對(Ai,Bi)，只需要對權(quán)值進行調(diào)整：W或者更新權(quán)值為：W3、通過總結(jié)第5步和第6步的實驗結(jié)果，能得出什么結(jié)論？簡要解釋其中的原因。隨著矢量位取反的位數(shù)增多，即噪聲的增大，網(wǎng)絡(luò)達到穩(wěn)態(tài)所需迭代次數(shù)增加。隨著網(wǎng)絡(luò)噪聲的增大，網(wǎng)絡(luò)聯(lián)想正確率下降，說明網(wǎng)絡(luò)恢復(fù)的記憶力是有限的。網(wǎng)絡(luò)對各組矢量的聯(lián)想記憶力是有限的，如果對其中一組矢量的記憶力增強，則另一組必定減弱。對不同樣本組記憶力大體相同，差異不大。五、實驗結(jié)論雙向聯(lián)想記憶網(wǎng)絡(luò)是一種特殊的Hopfield神經(jīng)網(wǎng)絡(luò)，具有信息記憶和信息記憶的功能。Hopfield神經(jīng)網(wǎng)絡(luò)的特點是每個神經(jīng)元的輸出要反饋給除自身以外的其他所有神經(jīng)元。那么設(shè)網(wǎng)絡(luò)上共有L個神經(jīng)預(yù)案，使得W成為一個L×L的矩陣，我們將L個神經(jīng)元分成N、P兩組。如果每組內(nèi)任一個神經(jīng)元的輸出都反饋給另一組的神經(jīng)元輸入，而不反饋給本組神經(jīng)元輸入端，這樣可以將不反饋的部分的權(quán)值視為0。所以Kosko型BAM網(wǎng)絡(luò)就可以視為一種特殊的Hopfield網(wǎng)絡(luò)。對于雙向聯(lián)想記憶網(wǎng)絡(luò)，它具有Hopfield網(wǎng)絡(luò)所具有的一般特性，在實驗中可以看到，隨著時間的推移，網(wǎng)絡(luò)在狀態(tài)空間中總是朝著能量函數(shù)減小的方向移動，當(dāng)網(wǎng)絡(luò)達到穩(wěn)定時，能量取得極小值。隨著網(wǎng)絡(luò)噪聲的增大，網(wǎng)絡(luò)達到穩(wěn)態(tài)所需迭代次數(shù)增加，網(wǎng)絡(luò)聯(lián)想正確率下降，同時說明網(wǎng)絡(luò)恢復(fù)的記憶力是有限的。Matlab主要源代碼1、Hebb規(guī)則A(:,1)=[1-11-11-11-11-11-11-11];A(:,2)=[11-1-111-1-111-1-111-1];A(:,3)=[111-1-1-1111-1-1-1111];A(:,4)=[1111-1-1-1-11111-1-1-1];B(:,1)=[1111-1-1-1-111];B(:,2)=[111-1-1-1111-1];B(:,3)=[11-1-111-1-111];B(:,4)=[1-11-11-11-11-1];w(1:15,1:10)=0;e(1:4)=0;fori=1:4w=w+A(:,i)*B(:,i)';endforj=1:4e(j)=-(A(:,j))'*w*B(:,j);endA1=A(:,1);B1=B(:,1);temp(15,1)=0;TimeNum=0;%isequal判斷數(shù)組容量是否相等;%hardlims對稱硬限幅功能傳輸函數(shù)；%%驗證網(wǎng)絡(luò)聯(lián)想能力；whileisequal(A1,temp)temp=A1;A1=hardlims(w*B1);B1=hardlims(w*A1);TimeNum=TimeNum+1;End2、網(wǎng)絡(luò)迭代算法%A1任兩位取反A1=A(:,1).*(1-2*randerr(1,15,2)');e(1:k)=0;temp(15,1)=0;k=0;ifA1~=A(:,1)temp=A1(0);B1(k+1)=hardlims(w'*A1(k));k=k+1;A1(k+1)=hardlims(w*B1(k));endforj=1:ke(j)=-(A(:,j))'*w*B(:,j);endChangeNum=length(find(