反饋神經(jīng)網(wǎng)絡

1、1會計學反饋神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡 Hopfield Hopfield網(wǎng)絡分為離散型和連續(xù)型兩網(wǎng)絡分為離散型和連續(xù)型兩種網(wǎng)絡模型，分別記作種網(wǎng)絡模型，分別記作DHNN (Discrete DHNN (Discrete Hopfield Neural Network) Hopfield Neural Network) 和和CHNN CHNN (Continues Hopfield Neural Network)(Continues Hopfield Neural Network)，本章重點討論前一種類型。，本章重點討論前一種類型。 根據(jù)神經(jīng)網(wǎng)絡運行過程中的信息流向根據(jù)神經(jīng)網(wǎng)絡運行過程中的信息流向，

2、可分為前饋式和反饋式兩種基本類型。，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡的輸出僅由當前輸入和權矩陣決前饋網(wǎng)絡的輸出僅由當前輸入和權矩陣決定，而與網(wǎng)絡先前的輸出狀態(tài)無關。定，而與網(wǎng)絡先前的輸出狀態(tài)無關。 美國加州理工學院物理學家美國加州理工學院物理學家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一種單層年提出一種單層反饋神經(jīng)網(wǎng)絡，后來人們將這種反饋網(wǎng)絡反饋神經(jīng)網(wǎng)絡，后來人們將這種反饋網(wǎng)絡稱作稱作Hopfield Hopfield 網(wǎng)。網(wǎng)。 第1頁/共31頁5.1.1 5.1.1 網(wǎng)絡的結構與工作方式網(wǎng)絡的結構與工作方式 離散型反饋網(wǎng)絡的拓撲結構離散型反

3、饋網(wǎng)絡的拓撲結構 x1 x2 xi xn T1 T2 Ti Tn 第2頁/共31頁(1)(1)網(wǎng)絡的狀態(tài)網(wǎng)絡的狀態(tài) DHNN網(wǎng)中的每個神經(jīng)元都有相同的功網(wǎng)中的每個神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用能，其輸出稱為狀態(tài)，用 xj 表示。表示。)net( fxjjj=1,2,n 所有神經(jīng)元狀態(tài)的集合就構成反饋網(wǎng)絡所有神經(jīng)元狀態(tài)的集合就構成反饋網(wǎng)絡的狀態(tài)的狀態(tài)X=x1,x2,xnT 反饋網(wǎng)絡的輸入就是網(wǎng)絡的狀態(tài)初始值反饋網(wǎng)絡的輸入就是網(wǎng)絡的狀態(tài)初始值，表示為，表示為X(0)=x1(0),x2(0),xn(0)T 反饋網(wǎng)絡在外界輸入激發(fā)下，從初始狀反饋網(wǎng)絡在外界輸入激發(fā)下，從初始狀態(tài)進入動態(tài)演變過

4、程，變化規(guī)律為態(tài)進入動態(tài)演變過程，變化規(guī)律為第3頁/共31頁0101sgnjjjjnetnetnetx）（j=1,2,n (5.1) DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號函數(shù)號函數(shù) 式中凈輸入為式中凈輸入為 nijiijjTxwnet1)(j=1,2,n (5.2) 對于對于DHNN網(wǎng)，一般有網(wǎng)，一般有wii=0 ，wij=wji。 反饋網(wǎng)絡穩(wěn)定時每個神經(jīng)元的狀態(tài)都不反饋網(wǎng)絡穩(wěn)定時每個神經(jīng)元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出，表示為出，表示為 t)t(lim X第4頁/共31頁(2)(2)網(wǎng)絡的異步工作方式網(wǎng)絡的異步工作方式 ijtx

5、ijtnettxjjj)()(sgn) 1(5.3) (3)(3)網(wǎng)絡的同步工作方式網(wǎng)絡的同步工作方式 網(wǎng)絡的同步工作方式是一種并行方式網(wǎng)絡的同步工作方式是一種并行方式，所有神經(jīng)元同時調(diào)整狀態(tài)，即，所有神經(jīng)元同時調(diào)整狀態(tài)，即 )(sgn) 1(tnettxjjj=1,2,n (5.4) 網(wǎng)絡運行時每次只有一個網(wǎng)絡運行時每次只有一個神經(jīng)元神經(jīng)元 j 進行進行狀態(tài)的調(diào)整計算，其它神經(jīng)元的狀態(tài)均保持狀態(tài)的調(diào)整計算，其它神經(jīng)元的狀態(tài)均保持不變，即不變，即第5頁/共31頁5.1.2.1 網(wǎng)絡的穩(wěn)網(wǎng)絡的穩(wěn)定性定性 DHNN網(wǎng)實質(zhì)上是一個離散的非線性網(wǎng)實質(zhì)上是一個離散的非線性動力學系統(tǒng)。網(wǎng)絡從初態(tài)動力學系統(tǒng)

6、。網(wǎng)絡從初態(tài)X(0)開始，若能開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即即X(t+1)X(t)，則稱該網(wǎng)絡是穩(wěn)定的。，則稱該網(wǎng)絡是穩(wěn)定的。 如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)：到一個穩(wěn)態(tài)： (a) (b) (c) 第6頁/共31頁若網(wǎng)絡是不穩(wěn)定的，若網(wǎng)絡是不穩(wěn)定的，由于由于DHNNDHNN網(wǎng)每個節(jié)點網(wǎng)每個節(jié)點的狀態(tài)只有的狀態(tài)只有1 1和和-1-1兩種兩種情況，網(wǎng)絡不可能出情況，網(wǎng)絡不可能出現(xiàn)無限發(fā)散的情況，現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡自持振蕩，這種網(wǎng)絡稱為有

7、限環(huán)網(wǎng)絡。稱為有限環(huán)網(wǎng)絡。 (a) (b) (c) 如果網(wǎng)絡狀態(tài)的軌跡如果網(wǎng)絡狀態(tài)的軌跡在某個確定的范圍內(nèi)在某個確定的范圍內(nèi)變遷，但既不重復也變遷，但既不重復也不停止，狀態(tài)變化為不停止，狀態(tài)變化為無窮多個，軌跡也不無窮多個，軌跡也不發(fā)散到無窮遠，這種發(fā)散到無窮遠，這種現(xiàn)象稱為混沌?，F(xiàn)象稱為混沌。 (a) (b) (c) 第7頁/共31頁網(wǎng)絡達到穩(wěn)定時的狀態(tài)網(wǎng)絡達到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡的，稱為網(wǎng)絡的 吸引子吸引子。 如果把問題的解編碼為網(wǎng)絡的吸引子，如果把問題的解編碼為網(wǎng)絡的吸引子，從從初態(tài)向吸引子演變初態(tài)向吸引子演變的過程便是求解計算的的過程便是求解計算的過程。過程。 若把需記憶的樣本信息

8、存儲于網(wǎng)絡不同的若把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當輸入含有部分記憶信息的樣本吸引子，當輸入含有部分記憶信息的樣本時，網(wǎng)絡的演變過程便是時，網(wǎng)絡的演變過程便是從部分信息尋找從部分信息尋找全部信息全部信息，即，即聯(lián)想回憶聯(lián)想回憶的過程。的過程。 定義定義5.1 若網(wǎng)絡的狀態(tài)若網(wǎng)絡的狀態(tài)X 滿足滿足X=f(WX-T) 則稱則稱X為網(wǎng)絡的吸引子。為網(wǎng)絡的吸引子。 第8頁/共31頁定理定理5.1 對于對于DHNN 網(wǎng)，若網(wǎng)，若按異步方式按異步方式調(diào)整網(wǎng)絡狀態(tài)，且連接權矩陣調(diào)整網(wǎng)絡狀態(tài)，且連接權矩陣W 為對稱為對稱陣陣，則對于任意初態(tài)，網(wǎng)絡都最終收斂到，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引

9、子。一個吸引子。 定理定理5.1證明：證明： 定義網(wǎng)絡的能量函數(shù)為：定義網(wǎng)絡的能量函數(shù)為： TXWXX) t () t () t () t ( ETT21(5.5) 令網(wǎng)絡的能量改變量為令網(wǎng)絡的能量改變量為E，狀態(tài)改變量，狀態(tài)改變量為為X，有，有 )() 1()(tttEEE(5.6) )() 1()(tttXXX(5.7) 第9頁/共31頁將式將式(5.4)、(5.6)代入代入(5.5)，則網(wǎng)絡能量可，則網(wǎng)絡能量可進一步展開為進一步展開為 ) t (E) 1t (E) t (E) () () (21)() ()() ()() (21TXWXXTXXXXWXXtttttttttTTTTTXXW

10、XWXX)()()()()(21tttttTTT(5.8) )()()()(21ttTttTTXWXWXX將將 代入上式代入上式 ，并考慮到并考慮到W為對稱矩陣，有為對稱矩陣，有 Tjtxt 0,.,0),(, 0,.,0 )(XjjjnijiijjwtxTxwtxtE)()()()(2211 第10頁/共31頁) t (net) t (x) t (Ejj(5.9) 上式中可能出現(xiàn)的情況上式中可能出現(xiàn)的情況： 情況情況a a ：xj(t)=-1, xj(t+1)=1, 由式由式(5.7)得得xj(t)=2, 由式由式(5.1)知，知，netj(t)0，代入，代入式式(5.9)，得，得E(t)0

11、。情況情況b b ：xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, 由式由式(5.1)知，知，netj(t)0，代入式，代入式(5.9)，得得E(t)P，則權值，則權值矩陣為記憶樣本的外積和矩陣為記憶樣本的外積和 P1pTpp)(XXW(5.16) 第22頁/共31頁若取若取wjj=0，上式應寫，上式應寫為為 P1pTppI)(XXW(5.17) 式中式中I為單位矩陣。上式寫成分量元素形式為單位矩陣。上式寫成分量元素形式，有，有 ji0jixxwP1ppjpiij(5.18) 下面檢驗所給樣本能否稱為吸引子。下面檢驗所給樣本能否稱為吸引子。 因為因為P個樣本個樣本Xp，p

12、=1,2,P，x -1,1n 是兩是兩兩正交的，有兩正交的，有 kpnkpkTp0)(XX第23頁/共31頁kPpTppkI XXXWX1)()(1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)( 因為因為n P，所，所以有以有 ppppPnPnffXXXWX)sgn()(）（可見給定樣本可見給定樣本 Xp，p=1,2,P 是吸是吸引子。引子。 第24頁/共31頁5.1.2.1 網(wǎng)絡的穩(wěn)網(wǎng)絡的穩(wěn)定性定性 DHNN網(wǎng)實質(zhì)上是一個離散的非線性網(wǎng)實質(zhì)上是一個離散的非線性動力學系統(tǒng)。網(wǎng)絡從初態(tài)動力學系統(tǒng)。網(wǎng)絡從初態(tài)X(0)開始，若能開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，經(jīng)

13、有限次遞歸后，其狀態(tài)不再發(fā)生變化，即即X(t+1)X(t)，則稱該網(wǎng)絡是穩(wěn)定的。，則稱該網(wǎng)絡是穩(wěn)定的。 如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)：到一個穩(wěn)態(tài)： (a) (b) (c) 第25頁/共31頁定理定理5.1 對于對于DHNN 網(wǎng)，若網(wǎng)，若按異步方式按異步方式調(diào)整網(wǎng)絡狀態(tài)，且連接權矩陣調(diào)整網(wǎng)絡狀態(tài)，且連接權矩陣W 為對稱為對稱陣陣，則對于任意初態(tài)，網(wǎng)絡都最終收斂到，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。一個吸引子。 定理定理5.1證明：證明： 定義網(wǎng)絡的能量函數(shù)為：定義網(wǎng)絡的能量函數(shù)為： TXWXX) t () t () t () t

14、 ( ETT21(5.5) 令網(wǎng)絡的能量改變量為令網(wǎng)絡的能量改變量為E，狀態(tài)改變量，狀態(tài)改變量為為X，有，有 )() 1()(tttEEE(5.6) )() 1()(tttXXX(5.7) 第26頁/共31頁) t (net) t (x) t (Ejj(5.9) 上式中可能出現(xiàn)的情況上式中可能出現(xiàn)的情況： 情況情況a a ：xj(t)=-1, xj(t+1)=1, 由式由式(5.7)得得xj(t)=2, 由式由式(5.1)知，知，netj(t)0，代入，代入式式(5.9)，得，得E(t)0。情況情況b b ：xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, 由式由式(5.1

15、)知，知，netj(t)0，代入式，代入式(5.9)，得得E(t)0。情況情況c c ：xj(t)=xj(t+1), 所以所以xj(t)=0, 代代入式入式(5.9)，從而有，從而有E(t)=0。 由此可知在任何情況下均有由此可知在任何情況下均有E(t)0 。第27頁/共31頁 由于網(wǎng)絡中各節(jié)點的狀態(tài)只能取由于網(wǎng)絡中各節(jié)點的狀態(tài)只能取1 1 或或 1 1 ，能量函數(shù)，能量函數(shù)E E( (t t) ) 作為網(wǎng)絡狀態(tài)的函數(shù)作為網(wǎng)絡狀態(tài)的函數(shù)是有下界的，因此是有下界的，因此網(wǎng)絡能量函數(shù)最終將收斂網(wǎng)絡能量函數(shù)最終將收斂于一個常數(shù)，此時于一個常數(shù)，此時EE( (t t)=)=0 0 。綜上所述，。綜上所

16、述，當網(wǎng)絡工作方式和權矩陣均滿足定理當網(wǎng)絡工作方式和權矩陣均滿足定理5.15.1的的條件時，網(wǎng)絡最終將收斂到一個吸引子。條件時，網(wǎng)絡最終將收斂到一個吸引子。 綜上所述，當網(wǎng)絡工作方式和權矩陣均綜上所述，當網(wǎng)絡工作方式和權矩陣均滿足定理滿足定理5.1的條件時，網(wǎng)絡最終將收斂到的條件時，網(wǎng)絡最終將收斂到一個吸引子。一個吸引子。 定理定理5.25.2 對于對于DHNNDHNN網(wǎng)，若網(wǎng)，若按同步方按同步方式式調(diào)整狀態(tài)，且連接權矩陣調(diào)整狀態(tài)，且連接權矩陣W W為非負為非負定對稱陣定對稱陣，則對于任意初態(tài)，網(wǎng)絡都，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。最終收斂到一個吸引子。 第28頁/共31頁 由于

17、網(wǎng)絡中各節(jié)點的狀態(tài)只能取由于網(wǎng)絡中各節(jié)點的狀態(tài)只能取1 1 或或 1 1 ，能量函數(shù)，能量函數(shù)E E( (t t) ) 作為網(wǎng)絡狀態(tài)的函數(shù)作為網(wǎng)絡狀態(tài)的函數(shù)是有下界的，因此是有下界的，因此網(wǎng)絡能量函數(shù)最終將收斂網(wǎng)絡能量函數(shù)最終將收斂于一個常數(shù)，此時于一個常數(shù)，此時EE( (t t)=)=0 0 。綜上所述，。綜上所述，當網(wǎng)絡工作方式和權矩陣均滿足定理當網(wǎng)絡工作方式和權矩陣均滿足定理5.15.1的的條件時，網(wǎng)絡最終將收斂到一個吸引子。條件時，網(wǎng)絡最終將收斂到一個吸引子。 綜上所述，當網(wǎng)絡工作方式和權矩陣均綜上所述，當網(wǎng)絡工作方式和權矩陣均滿足定理滿足定理5.1的條件時，網(wǎng)絡最終將收斂到的條件時，網(wǎng)絡最終將收斂到一個吸引子。一個吸引子。 定理定理5.25.2 對于對于DHNNDHNN網(wǎng)，若網(wǎng)，若按同步方按同步方式式調(diào)整狀態(tài)，且連接權矩陣調(diào)整狀態(tài)，且連接權矩陣W W為非負為非負定對稱陣定對稱陣，則對于任意初態(tài)，網(wǎng)絡都，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。最終收斂到一個吸引子。 第29頁/共31頁解：設各節(jié)點狀態(tài)取值為解：設各節(jié)點狀態(tài)取值為1 1 或或0 0 ，3 3 節(jié)點節(jié)點DHNN DHNN 網(wǎng)絡應有網(wǎng)絡應有2 23 3=8=8種狀態(tài)。不妨將種狀態(tài)。不妨將X X=(=(x x1 1,x,x2 2,x,x3 3 ) )T T=(0,0,0)=(0,0,0)T T 作為網(wǎng)