第八章人工神經(jīng)網(wǎng)絡

1、 模糊控制在處理數(shù)值數(shù)據(jù)、自學習模糊控制在處理數(shù)值數(shù)據(jù)、自學習能力等方面還遠沒有達到人腦的境界。能力等方面還遠沒有達到人腦的境界。人工神經(jīng)網(wǎng)絡從另一個角度出發(fā)，即從人工神經(jīng)網(wǎng)絡從另一個角度出發(fā)，即從人腦的生理學和心理學著手，通過人工人腦的生理學和心理學著手，通過人工模擬人腦的工作機理來實現(xiàn)機器的部分模擬人腦的工作機理來實現(xiàn)機器的部分智能行為。智能行為。 一、一、 iuijxnj, 1ijwisjx1 iw2iwinw)(iiugy jiijijisxwnet)(iinetfu iiuug)()(iinetfy 0001)(iiinetnetnetfiliiliiiiiinetnetfnetne

2、tnetknetnetnetnetfmax000)(irnetienetf11)( 神經(jīng)網(wǎng)絡由一些具有自適應能力的簡單單元及神經(jīng)網(wǎng)絡由一些具有自適應能力的簡單單元及其層次組織的大規(guī)模并行聯(lián)結構造而成，它模仿生其層次組織的大規(guī)模并行聯(lián)結構造而成，它模仿生物神經(jīng)系統(tǒng)進行信息處理，是對人腦神經(jīng)網(wǎng)絡的簡物神經(jīng)系統(tǒng)進行信息處理，是對人腦神經(jīng)網(wǎng)絡的簡化模擬。神經(jīng)網(wǎng)絡中的基本單元是神經(jīng)元。所謂神化模擬。神經(jīng)網(wǎng)絡中的基本單元是神經(jīng)元。所謂神經(jīng)元，就是多輸入、單輸出的信息處理單元。經(jīng)元，就是多輸入、單輸出的信息處理單元。 四、神經(jīng)網(wǎng)絡的結構四、神經(jīng)網(wǎng)絡的結構1x2xnx1kw2kwknwknikkikkxwfy

3、1第第 k 神經(jīng)元的神經(jīng)元的 n 個輸入個輸入神經(jīng)元的權值，第神經(jīng)元的權值，第1個神個神經(jīng)元與第經(jīng)元與第 k 個個 神經(jīng)元的神經(jīng)元的 連接強度，正為激活，負連接強度，正為激活，負為抑制。為抑制。神經(jīng)單元的閾值（門限神經(jīng)單元的閾值（門限值）值）神經(jīng)元的輸出神經(jīng)元的輸出神經(jīng)元的輸入總和神經(jīng)元的輸入總和神經(jīng)網(wǎng)絡結構神經(jīng)網(wǎng)絡結構 神經(jīng)網(wǎng)絡結構是指神經(jīng)網(wǎng)絡的聯(lián)結方式。神經(jīng)網(wǎng)絡結構是指神經(jīng)網(wǎng)絡的聯(lián)結方式。 根據(jù)神經(jīng)元之間連接的拓撲結構上的區(qū)別，神根據(jù)神經(jīng)元之間連接的拓撲結構上的區(qū)別，神經(jīng)網(wǎng)絡結構可分分層網(wǎng)絡和相互連接型網(wǎng)絡兩大類。經(jīng)網(wǎng)絡結構可分分層網(wǎng)絡和相互連接型網(wǎng)絡兩大類。 分層網(wǎng)絡的神經(jīng)網(wǎng)絡由若干層組

4、成，每層中有分層網(wǎng)絡的神經(jīng)網(wǎng)絡由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層間的神經(jīng)元單向連接，一定數(shù)量的神經(jīng)元，相鄰層間的神經(jīng)元單向連接，同一層內的神經(jīng)元之間不連接；而相互連接型神經(jīng)同一層內的神經(jīng)元之間不連接；而相互連接型神經(jīng)網(wǎng)絡的任何兩個神經(jīng)元之間都可能雙向連接。網(wǎng)絡的任何兩個神經(jīng)元之間都可能雙向連接。1x2xnx1y2y分層神經(jīng)網(wǎng)絡分層神經(jīng)網(wǎng)絡 相互連接型神經(jīng)網(wǎng)絡中任意兩個單元之間都可相互連接型神經(jīng)網(wǎng)絡中任意兩個單元之間都可能存在連接路徑，可以認為是一種非線性動力學系能存在連接路徑，可以認為是一種非線性動力學系統(tǒng)，因為對于給定的某一輸入模式，由某一初始網(wǎng)統(tǒng)，因為對于給定的某一輸入模式，由

5、某一初始網(wǎng)絡參數(shù)出發(fā)，在一段時間內，網(wǎng)絡處于不斷改變輸絡參數(shù)出發(fā)，在一段時間內，網(wǎng)絡處于不斷改變輸出模式的動態(tài)變化中，最終，網(wǎng)絡有可能進入周期出模式的動態(tài)變化中，最終，網(wǎng)絡有可能進入周期性振蕩模式，也有可能得到一個穩(wěn)定的輸出模式。性振蕩模式，也有可能得到一個穩(wěn)定的輸出模式。 nx2x1y2y1x 五、神經(jīng)網(wǎng)絡的學習與記憶五、神經(jīng)網(wǎng)絡的學習與記憶 5.1 神經(jīng)網(wǎng)絡的學習方式神經(jīng)網(wǎng)絡的學習方式 神經(jīng)網(wǎng)絡能夠通過訓練，獲取環(huán)境知識，改變神經(jīng)網(wǎng)絡能夠通過訓練，獲取環(huán)境知識，改變自身性能，使輸入自身性能，使輸入-輸出變換朝更好的方向發(fā)展。學輸出變換朝更好的方向發(fā)展。學習功能是神經(jīng)網(wǎng)絡最顯著的特征。神經(jīng)網(wǎng)

6、絡的學習習功能是神經(jīng)網(wǎng)絡最顯著的特征。神經(jīng)網(wǎng)絡的學習是通過調整連接權重實現(xiàn)的。是通過調整連接權重實現(xiàn)的。 按學習方式分，神經(jīng)網(wǎng)絡的學習可分為有導師按學習方式分，神經(jīng)網(wǎng)絡的學習可分為有導師學習和無導師學習兩大類。學習和無導師學習兩大類。 （1）有導師學習）有導師學習 有導師學習方式需要外界有導師學習方式需要外界“導師導師”，導師對神，導師對神經(jīng)網(wǎng)絡的訓練過程進行示教，對每一組給定的輸入經(jīng)網(wǎng)絡的訓練過程進行示教，對每一組給定的輸入提供應有的輸出結果，即提供訓練數(shù)據(jù)，組織一批提供應有的輸出結果，即提供訓練數(shù)據(jù)，組織一批正確的輸入正確的輸入輸出數(shù)據(jù)對，把網(wǎng)絡的實際響應輸出輸出數(shù)據(jù)對，把網(wǎng)絡的實際響應輸

7、出與應有響應輸出相比較，得到已知輸出與實際輸出與應有響應輸出相比較，得到已知輸出與實際輸出之間的差值，并據(jù)此來調節(jié)系統(tǒng)的參數(shù)（修改各連之間的差值，并據(jù)此來調節(jié)系統(tǒng)的參數(shù)（修改各連接權），使神經(jīng)網(wǎng)絡朝著能正常響應的方向不斷變接權），使神經(jīng)網(wǎng)絡朝著能正常響應的方向不斷變化，直到實際響應的輸出與應有響應輸出的誤差在化，直到實際響應的輸出與應有響應輸出的誤差在允許范圍內，網(wǎng)絡能夠解決實際應用中遇到的問題。允許范圍內，網(wǎng)絡能夠解決實際應用中遇到的問題。 這種學習方式也稱誤差修正方式，訓練過程中，這種學習方式也稱誤差修正方式，訓練過程中，導師還應進行監(jiān)督。導師還應進行監(jiān)督。 有導師學習方式比較簡單，但要求

8、導師對環(huán)境有導師學習方式比較簡單，但要求導師對環(huán)境和網(wǎng)絡的結構要相當熟悉，并有豐富的經(jīng)驗知識。和網(wǎng)絡的結構要相當熟悉，并有豐富的經(jīng)驗知識。事實上，如果環(huán)境變化較多，而系統(tǒng)又比較復雜時，事實上，如果環(huán)境變化較多，而系統(tǒng)又比較復雜時，環(huán)境變化要求不斷調整加權值，有導師學習就不太環(huán)境變化要求不斷調整加權值，有導師學習就不太適宜了。適宜了。 應有應有響應響應環(huán)境環(huán)境 教教 師師 學習系統(tǒng)學習系統(tǒng) 誤差信號誤差信號 環(huán)境狀態(tài)信號環(huán)境狀態(tài)信號 實際響應實際響應 （2）無導師學習 無導師學習不存在外部導師，學習系統(tǒng)完全按無導師學習不存在外部導師，學習系統(tǒng)完全按照環(huán)境所提供的數(shù)據(jù)的某些統(tǒng)計規(guī)律調節(jié)自身結構照環(huán)

9、境所提供的數(shù)據(jù)的某些統(tǒng)計規(guī)律調節(jié)自身結構與參數(shù)。與參數(shù)。 無導師學習的訓練數(shù)據(jù)集只有輸入，沒有輸出，無導師學習的訓練數(shù)據(jù)集只有輸入，沒有輸出，訓練過程中神經(jīng)網(wǎng)絡自動地將各輸入數(shù)據(jù)的特征提訓練過程中神經(jīng)網(wǎng)絡自動地將各輸入數(shù)據(jù)的特征提取出來，再分成若干類。訓練后的網(wǎng)絡能夠識別訓取出來，再分成若干類。訓練后的網(wǎng)絡能夠識別訓練數(shù)據(jù)集以外的新的輸入類別，并獲得相應的輸出。練數(shù)據(jù)集以外的新的輸入類別，并獲得相應的輸出。這種具有自組織、自學習功能的神經(jīng)網(wǎng)絡具有廣闊這種具有自組織、自學習功能的神經(jīng)網(wǎng)絡具有廣闊的應用前景。的應用前景。 5.2 神經(jīng)網(wǎng)絡的學習算法神經(jīng)網(wǎng)絡的學習算法 學習算法也稱學習規(guī)則。常用的神

10、經(jīng)網(wǎng)絡學習學習算法也稱學習規(guī)則。常用的神經(jīng)網(wǎng)絡學習算法主要有算法主要有hebb學習法、誤差糾正學習法和競爭學習法、誤差糾正學習法和競爭學習法等。學習法等。 （1）hebb學習法學習法 這種由心理學家基于對生理學和心理學的研究這種由心理學家基于對生理學和心理學的研究提出的學習行為的突觸聯(lián)系和神經(jīng)群理論，經(jīng)后來提出的學習行為的突觸聯(lián)系和神經(jīng)群理論，經(jīng)后來的學者引用、發(fā)展，成為一種經(jīng)典使用的學習算法：的學者引用、發(fā)展，成為一種經(jīng)典使用的學習算法： 當某一突觸（連接）兩端的神經(jīng)元同為激活或當某一突觸（連接）兩端的神經(jīng)元同為激活或同為抑制（稱為激活同步）時，該連接的強度應增同為抑制（稱為激活同步）時，該

11、連接的強度應增加；反之，則應減弱。這一理論的數(shù)學描述為加；反之，則應減弱。這一理論的數(shù)學描述為最常用的是最常用的是 nynyfnwjiij, nynynwjiij權權重重的的變變化化量量 兩端兩端神經(jīng)元的狀態(tài)神經(jīng)元的狀態(tài) nwij學習率常數(shù)，也稱為步學習率常數(shù)，也稱為步長，長， 0 （2）誤差糾正學習法）誤差糾正學習法 nyndnekkk誤差信號誤差信號神經(jīng)元神經(jīng)元 k 在在 n 時刻的實際輸出時刻的實際輸出 神經(jīng)元神經(jīng)元 k 在在 n 時刻的應時刻的應有輸出有輸出 誤差糾正學習法的目的是使某一基于誤差糾正學習法的目的是使某一基于 ek(n) 的目的目標函數(shù)達到最小，從而使網(wǎng)絡中的每一輸出單元

12、的標函數(shù)達到最小，從而使網(wǎng)絡中的每一輸出單元的實際輸出在一定的統(tǒng)計意義上逼近于應有響應，即實際輸出在一定的統(tǒng)計意義上逼近于應有響應，即應有輸出。應有輸出。 誤差糾正學習在選定目標函數(shù)形式后，就成為誤差糾正學習在選定目標函數(shù)形式后，就成為一個典型的最優(yōu)化問題。而最常用的目標函數(shù)是均一個典型的最優(yōu)化問題。而最常用的目標函數(shù)是均方根誤差判據(jù)：方根誤差判據(jù)： 即求期望算子運算。其前提是學習的過程必須是寬即求期望算子運算。其前提是學習的過程必須是寬平穩(wěn)的，具體方法可用平穩(wěn)的，具體方法可用 最陡梯度下降法。但直接用最陡梯度下降法。但直接用j 作為目標函數(shù)需要知道整個過程的統(tǒng)計特性，這作為目標函數(shù)需要知道整

13、個過程的統(tǒng)計特性，這樣較為困難，通常的解決方法是用樣較為困難，通常的解決方法是用 j 在時刻在時刻 n 的瞬的瞬時值時值 (n) 代替：代替： kkneej221 kknen221 利用最陡梯度下降法，可以求出利用最陡梯度下降法，可以求出 (n) 對權值對權值 w 的極小值的極小值 nxnenwjkkj學習步長學習步長 （3）競爭學習法）競爭學習法 在學習過程中，網(wǎng)絡各輸出單元相互競爭，最在學習過程中，網(wǎng)絡各輸出單元相互競爭，最后達到只有一個最強者激活。后達到只有一個最強者激活。 最常見的一種情況是輸出神經(jīng)單元之間有側向最常見的一種情況是輸出神經(jīng)單元之間有側向抑制性連接，其中多輸出單元中如果有

14、某一單元較抑制性連接，其中多輸出單元中如果有某一單元較強，它將獲得最終勝利，并處于激活狀態(tài)，而其他強，它將獲得最終勝利，并處于激活狀態(tài)，而其他單元將被抑制。單元將被抑制。 1x2x3x4x輸入層輸入層 輸出層輸出層 最常用的學習規(guī)則為最常用的學習規(guī)則為 失敗獲勝jjwxnwijiij05.3 神經(jīng)網(wǎng)絡的聯(lián)想記憶神經(jīng)網(wǎng)絡的聯(lián)想記憶 神經(jīng)網(wǎng)絡的記憶包括信息的存儲與回憶。神經(jīng)神經(jīng)網(wǎng)絡的記憶包括信息的存儲與回憶。神經(jīng)網(wǎng)絡可以通過學習將獲取的知識信息以分布式方式網(wǎng)絡可以通過學習將獲取的知識信息以分布式方式相對穩(wěn)定地存儲在連接權的變化上，這種記憶稱為相對穩(wěn)定地存儲在連接權的變化上，這種記憶稱為長期記憶。而

15、學習期間的記憶則屬于短期記憶。長期記憶。而學習期間的記憶則屬于短期記憶。 聯(lián)想記憶是指實現(xiàn)模式完善、恢復相關模式的聯(lián)想記憶是指實現(xiàn)模式完善、恢復相關模式的相互回憶。在人工神經(jīng)網(wǎng)絡運行時，如對模式進行相互回憶。在人工神經(jīng)網(wǎng)絡運行時，如對模式進行識別，是在已存貯的識別，是在已存貯的“知識知識”中尋找與該輸入匹配中尋找與該輸入匹配最好的存貯最好的存貯“知識知識”作為其解，是一種回憶過程。作為其解，是一種回憶過程。聯(lián)想記憶是人腦記憶的一種重要形式，可分為自聯(lián)聯(lián)想記憶是人腦記憶的一種重要形式，可分為自聯(lián)想和異聯(lián)想。想和異聯(lián)想。 （1）按內容存取記憶，即信息的存取由信息本）按內容存取記憶，即信息的存取由信

16、息本身的內容來實現(xiàn)。而傳統(tǒng)的計算機信息存取是通過身的內容來實現(xiàn)。而傳統(tǒng)的計算機信息存取是通過尋找存儲器的地址實現(xiàn)的。尋找存儲器的地址實現(xiàn)的。 （2）分布式存儲，即模仿人腦將記憶單元與處）分布式存儲，即模仿人腦將記憶單元與處理單元合一。而傳統(tǒng)的計算機信息存儲是集中地存理單元合一。而傳統(tǒng)的計算機信息存儲是集中地存儲在某些單元中的。儲在某些單元中的。 按照作用方式的不同，聯(lián)想可分為線性聯(lián)想和按照作用方式的不同，聯(lián)想可分為線性聯(lián)想和非線性聯(lián)想。線性聯(lián)想可表示為非線性聯(lián)想。線性聯(lián)想可表示為axy 輸出向量輸出向量 存儲矩陣存儲矩陣 輸入向量輸入向量 聯(lián)想記憶有兩個最突出的特點：聯(lián)想記憶有兩個最突出的特點

17、： 非線性聯(lián)想可表示為非線性函數(shù)非線性聯(lián)想可表示為非線性函數(shù) axfy 最簡單的靜態(tài)聯(lián)想存儲可以用前饋網(wǎng)絡實現(xiàn)。最簡單的靜態(tài)聯(lián)想存儲可以用前饋網(wǎng)絡實現(xiàn)。5.4 前饋型神經(jīng)網(wǎng)絡前饋型神經(jīng)網(wǎng)絡 從結構上來區(qū)分，神經(jīng)網(wǎng)絡大多屬于前饋型神從結構上來區(qū)分，神經(jīng)網(wǎng)絡大多屬于前饋型神經(jīng)網(wǎng)絡（簡稱前饋網(wǎng)絡，也稱前向網(wǎng)絡）。經(jīng)網(wǎng)絡（簡稱前饋網(wǎng)絡，也稱前向網(wǎng)絡）。 前饋網(wǎng)絡是分層結構，信息只能從輸入層單元前饋網(wǎng)絡是分層結構，信息只能從輸入層單元到其上一層單元，即第一層的單元與第二層的所有到其上一層單元，即第一層的單元與第二層的所有單元連接單元連接。感知器網(wǎng)絡、。感知器網(wǎng)絡、bp網(wǎng)絡和競爭學習網(wǎng)網(wǎng)絡和競爭學習網(wǎng)絡是

18、三種典型的前饋網(wǎng)絡。絡是三種典型的前饋網(wǎng)絡。 感知器網(wǎng)絡感知器網(wǎng)絡 （1）單層感知器網(wǎng)絡）單層感知器網(wǎng)絡 單層感知器網(wǎng)絡是一種最基本的兩層網(wǎng)絡，兩單層感知器網(wǎng)絡是一種最基本的兩層網(wǎng)絡，兩層即輸入層和輸出層，每層由多個處理單元構成。層即輸入層和輸出層，每層由多個處理單元構成。1x2xnx1y2ymyw11w12 nmw 單層感知器網(wǎng)絡的學習是典型的有導師學習，單層感知器網(wǎng)絡的學習是典型的有導師學習，其訓練要素包括訓練樣本和訓練規(guī)則。給定一個訓其訓練要素包括訓練樣本和訓練規(guī)則。給定一個訓練模式，輸出單元就會有一個相應的輸出向量，可練模式，輸出單元就會有一個相應的輸出向量，可以用期望輸出與實際輸出的

19、誤差來修正網(wǎng)絡的權值。以用期望輸出與實際輸出的誤差來修正網(wǎng)絡的權值。修正算法如下：修正算法如下： kxkydkwkwijjjiji1 nijijijxkwfky1取值區(qū)間為取值區(qū)間為( 0,1 權值取決于輸入狀態(tài)、輸出誤差以及學習因子。權值取決于輸入狀態(tài)、輸出誤差以及學習因子。由于輸入狀態(tài)為由于輸入狀態(tài)為 10或kxi期望輸出與實際輸出之差為期望輸出與實際輸出之差為 0, 1101, 01jjjjjjjjjdkydkydkykyde 則僅當輸出單元則僅當輸出單元 j 有輸出誤差，且相連輸入狀有輸出誤差，且相連輸入狀態(tài)為態(tài)為 1 時，修正權值應增加或減少一個量，修正量時，修正權值應增加或減少一個

20、量，修正量由學習因子由學習因子 控制，控制， 的取值應恰當，的取值應恰當， 過大，影過大，影響學習的收斂性；響學習的收斂性； 過小，延長訓練時間，影響權過小，延長訓練時間，影響權值的收斂速度。值的收斂速度。 單層感知器網(wǎng)絡是一個前饋（正向傳輸）網(wǎng)絡，單層感知器網(wǎng)絡是一個前饋（正向傳輸）網(wǎng)絡，所有節(jié)點都是線性的。單層感知器網(wǎng)絡可以用來求所有節(jié)點都是線性的。單層感知器網(wǎng)絡可以用來求解線性決策函數(shù)，解決一階謂詞邏輯（如邏輯與、解線性決策函數(shù)，解決一階謂詞邏輯（如邏輯與、邏輯或等）問題。邏輯或等）問題。 （2）多層感知器網(wǎng)絡）多層感知器網(wǎng)絡 兩層感知器網(wǎng)絡兩層感知器網(wǎng)絡 1x2x3x1y2yh1h2h

21、3bp網(wǎng)絡網(wǎng)絡（1）bp網(wǎng)絡模型網(wǎng)絡模型 bp（back-propagation）網(wǎng)絡即誤差向后傳播）網(wǎng)絡即誤差向后傳播神經(jīng)網(wǎng)絡，是神經(jīng)網(wǎng)絡模型中使用最廣泛的一種模神經(jīng)網(wǎng)絡，是神經(jīng)網(wǎng)絡模型中使用最廣泛的一種模型。型。bp網(wǎng)絡與感知器網(wǎng)絡的區(qū)別在于網(wǎng)絡節(jié)點具有網(wǎng)絡與感知器網(wǎng)絡的區(qū)別在于網(wǎng)絡節(jié)點具有非線性單元，采用了廣義非線性單元，采用了廣義 學習規(guī)則。學習規(guī)則。 bp網(wǎng)絡屬典型的多層網(wǎng)絡，包括一個輸入層、網(wǎng)絡屬典型的多層網(wǎng)絡，包括一個輸入層、一個或多個隱層和一個輸出層，每層都有多個節(jié)點。一個或多個隱層和一個輸出層，每層都有多個節(jié)點。bp網(wǎng)絡是正向網(wǎng)絡，層與層之間多采用全連接方式，網(wǎng)絡是正向網(wǎng)絡，

22、層與層之間多采用全連接方式，但同一層的單元之間不存在相互連接。但同一層的單元之間不存在相互連接。 1y2ymy1x2xnx輸入層輸入層 隱隱 層層 輸出層輸出層 對于輸入信號，要經(jīng)過輸入層，向前傳遞到隱對于輸入信號，要經(jīng)過輸入層，向前傳遞到隱層節(jié)點，經(jīng)過轉移函數(shù)作用后，從隱層節(jié)點輸出到層節(jié)點，經(jīng)過轉移函數(shù)作用后，從隱層節(jié)點輸出到輸出層節(jié)點輸出最終結果。輸出層節(jié)點輸出最終結果。 如果輸出響應與期望值有誤差，且不滿足要求，如果輸出響應與期望值有誤差，且不滿足要求，就轉入誤差后向傳播，將誤差值沿連接通路逐層向就轉入誤差后向傳播，將誤差值沿連接通路逐層向后傳送，同時修正連接權值。后傳送，同時修正連接權

23、值。 bp網(wǎng)絡的輸入、輸出可連續(xù)變化，隱層、輸出網(wǎng)絡的輸入、輸出可連續(xù)變化，隱層、輸出層的基本處理單元一般采用層的基本處理單元一般采用 s 型作用函數(shù)為輸入型作用函數(shù)為輸入輸出的非線性關系，即輸出的非線性關系，即 rxekxf1iiijjxwxjxjxjjexfx11)()1 (jjjjxxxx則輸出層神經(jīng)元的輸出：輸出層神經(jīng)元的輸出：jjjllxwx 。0lxlllxxe0nllpee1221l（2）jlwjljllljlpjlxewxewewjljljlwkwkw)() 1(其中 ijwnlijllijpijwxewew1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxx

24、wx)1 (ijijijwkwkw)() 1( 11kwkwwkwkwjljljljljl)1()()() 1(kwkwwkwkwijijijijij其中其中 為學習速率，為學習速率， 為動量因子。為動量因子。 1 , 01 , 05.5 反饋型神經(jīng)網(wǎng)絡反饋型神經(jīng)網(wǎng)絡 前饋型神經(jīng)網(wǎng)絡是單向連接的沒有反饋的靜態(tài)前饋型神經(jīng)網(wǎng)絡是單向連接的沒有反饋的靜態(tài)網(wǎng)絡，缺乏動態(tài)性能。網(wǎng)絡，缺乏動態(tài)性能。1982年，美國物理學家年，美國物理學家hopfield提出了一種由非線性元件構成的單層反饋提出了一種由非線性元件構成的單層反饋神經(jīng)網(wǎng)絡系統(tǒng)，后人稱為神經(jīng)網(wǎng)絡系統(tǒng)，后人稱為hopfield網(wǎng)絡。這種反饋網(wǎng)絡。這

25、種反饋型神經(jīng)網(wǎng)絡是一個反饋動力學系統(tǒng)，通過神經(jīng)元的型神經(jīng)網(wǎng)絡是一個反饋動力學系統(tǒng)，通過神經(jīng)元的狀態(tài)變遷，系統(tǒng)最終可穩(wěn)定在某一狀態(tài)。狀態(tài)變遷，系統(tǒng)最終可穩(wěn)定在某一狀態(tài)。 hopfield網(wǎng)絡是最常用的反饋式人工神經(jīng)網(wǎng)絡。網(wǎng)絡是最常用的反饋式人工神經(jīng)網(wǎng)絡。 反饋神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡的的輸出輸出信號信號反饋到其輸入端反饋到其輸入端，因，因此此，在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。當，在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。當有輸入之后，可以求取有輸入之后，可以求取hopfield的輸出，這個輸出的輸出，這個輸出反饋到輸入從而產(chǎn)生新的輸出，反饋到輸入從而產(chǎn)生新的輸出，如此往復如此往復。 如果如果hop

26、field網(wǎng)絡是能收斂的穩(wěn)定網(wǎng)絡，這個網(wǎng)絡是能收斂的穩(wěn)定網(wǎng)絡，這個反饋與迭代的計算過程所產(chǎn)生的變化反饋與迭代的計算過程所產(chǎn)生的變化將將越來越小，越來越小，hopfield網(wǎng)絡會輸出一個穩(wěn)定的恒值。對于網(wǎng)絡會輸出一個穩(wěn)定的恒值。對于hopfield網(wǎng)絡，關鍵網(wǎng)絡，關鍵在于在于穩(wěn)定條件下的權系數(shù)。穩(wěn)定條件下的權系數(shù)。 反饋網(wǎng)絡有穩(wěn)定的，也有不穩(wěn)定的。對于反饋網(wǎng)絡有穩(wěn)定的，也有不穩(wěn)定的。對于hopfield網(wǎng)絡來說，如何判別它是穩(wěn)定網(wǎng)絡網(wǎng)絡來說，如何判別它是穩(wěn)定網(wǎng)絡？判別判別的的依據(jù)是什么依據(jù)是什么？ 反饋型神經(jīng)網(wǎng)絡的所有節(jié)點之間都可互相連接，反饋型神經(jīng)網(wǎng)絡的所有節(jié)點之間都可互相連接，一個節(jié)點在接受

27、其它節(jié)點的輸入的同時，也向其它一個節(jié)點在接受其它節(jié)點的輸入的同時，也向其它節(jié)點輸出。節(jié)點輸出。 hopfield網(wǎng)絡是一種網(wǎng)狀網(wǎng)絡，可分為離散型網(wǎng)絡是一種網(wǎng)狀網(wǎng)絡，可分為離散型與連續(xù)型兩種，兩種網(wǎng)絡的結構相同。與連續(xù)型兩種，兩種網(wǎng)絡的結構相同。離散型離散型hopfield網(wǎng)絡網(wǎng)絡 hopfield最早提出的網(wǎng)絡是二值神經(jīng)網(wǎng)絡，神最早提出的網(wǎng)絡是二值神經(jīng)網(wǎng)絡，神經(jīng)元的輸出只取經(jīng)元的輸出只取1和和0這兩個值，也稱離散這兩個值，也稱離散hopfield神經(jīng)網(wǎng)絡。在離散神經(jīng)網(wǎng)絡。在離散hopfield網(wǎng)絡中，采用的神經(jīng)元網(wǎng)絡中，采用的神經(jīng)元是二值神經(jīng)元是二值神經(jīng)元，1和和0分別表示神經(jīng)元處于激活和抑分

28、別表示神經(jīng)元處于激活和抑制狀態(tài)。制狀態(tài)。 由三個神經(jīng)元組成的離散由三個神經(jīng)元組成的離散hopfield神經(jīng)網(wǎng)絡，神經(jīng)網(wǎng)絡，其結構如圖所示。其結構如圖所示。第第0層層第第1層層第第0層僅僅是作為網(wǎng)絡的輸入，它層僅僅是作為網(wǎng)絡的輸入，它不是實際神經(jīng)元，所以無計算功能不是實際神經(jīng)元，所以無計算功能第一層是實際神經(jīng)元，執(zhí)行對輸入第一層是實際神經(jīng)元，執(zhí)行對輸入信息和權系數(shù)乘積求累加和，并由信息和權系數(shù)乘積求累加和，并由非線性函數(shù)非線性函數(shù)f處理后產(chǎn)生輸出信息處理后產(chǎn)生輸出信息 f 是一個簡單的閥值函效，如果神經(jīng)元的輸出是一個簡單的閥值函效，如果神經(jīng)元的輸出信息大于閥值信息大于閥值，那么，神經(jīng)元的輸出就取

29、值為，那么，神經(jīng)元的輸出就取值為1；小于閥值小于閥值，則神經(jīng)元的輸出就取值為，則神經(jīng)元的輸出就取值為0。 對于二值神經(jīng)元，它的計算公式如下：對于二值神經(jīng)元，它的計算公式如下： 其中：其中： 為外部輸入。并且有：為外部輸入。并且有： yi=1,當當uii時時 yi=0,當當ui0，經(jīng)過有限時刻，經(jīng)過有限時刻 t，有：，有：y(t+t)=y(t)則稱網(wǎng)絡是穩(wěn)定的。則稱網(wǎng)絡是穩(wěn)定的。 三個神經(jīng)元的離散三個神經(jīng)元的離散hopfield網(wǎng)絡的輸出層就是三網(wǎng)絡的輸出層就是三位二進制數(shù)；每一個三位二進制數(shù)就是一種網(wǎng)絡狀位二進制數(shù)；每一個三位二進制數(shù)就是一種網(wǎng)絡狀態(tài)，從而共有態(tài)，從而共有8個網(wǎng)絡狀態(tài)。這些網(wǎng)絡

30、狀態(tài)如圖所個網(wǎng)絡狀態(tài)。這些網(wǎng)絡狀態(tài)如圖所示。在圖中，立方體的每一個頂角表示一種網(wǎng)絡狀示。在圖中，立方體的每一個頂角表示一種網(wǎng)絡狀態(tài)。態(tài)。 同理，對于同理，對于n個神經(jīng)元的輸出層，它有個神經(jīng)元的輸出層，它有2n個網(wǎng)絡個網(wǎng)絡狀態(tài)，也和一個狀態(tài)，也和一個n維超立方體的頂角相對應。維超立方體的頂角相對應。 如果如果hopfield網(wǎng)絡是一個穩(wěn)定網(wǎng)絡，那么在網(wǎng)絡網(wǎng)絡是一個穩(wěn)定網(wǎng)絡，那么在網(wǎng)絡的輸入端加入一個輸入向量，則網(wǎng)絡的狀態(tài)會產(chǎn)生的輸入端加入一個輸入向量，則網(wǎng)絡的狀態(tài)會產(chǎn)生變化，也就是從超立方體的一個頂角轉移向另一個變化，也就是從超立方體的一個頂角轉移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。頂角

31、，并且最終穩(wěn)定于一個特定的頂角。 對于一個由對于一個由n個神經(jīng)元組成的離散個神經(jīng)元組成的離散hopfield網(wǎng)絡，網(wǎng)絡，則有則有 n * n 權系數(shù)矩陣權系數(shù)矩陣 w ：w=wij i=1,2,.,n j=1,2,.,n同時，有同時，有n維閥值向量維閥值向量：=1,2,.nt 一船一船而言，而言，w和和可以確定一個唯一的離散可以確定一個唯一的離散hopfield網(wǎng)絡。網(wǎng)絡。 考慮離散考慮離散hopfield網(wǎng)絡的一般節(jié)點狀態(tài)，用網(wǎng)絡的一般節(jié)點狀態(tài)，用yj(t)表示第表示第j個神經(jīng)元，即節(jié)點個神經(jīng)元，即節(jié)點j在時刻在時刻t的狀態(tài)，則節(jié)點的狀態(tài)，則節(jié)點的下一個時刻的下一個時刻(t+1)的狀態(tài)可以求

32、出如下：的狀態(tài)可以求出如下： 通過狀態(tài)不斷變化，最后狀態(tài)會穩(wěn)定下來最通過狀態(tài)不斷變化，最后狀態(tài)會穩(wěn)定下來最終的狀態(tài)是和給定向量終的狀態(tài)是和給定向量x最接近的樣本向量。所以，最接近的樣本向量。所以，hopfield網(wǎng)絡的最終輸出也就是給定向量聯(lián)想檢索網(wǎng)絡的最終輸出也就是給定向量聯(lián)想檢索結果。這個過程說明，即使給定向量并不完全或部結果。這個過程說明，即使給定向量并不完全或部分不正確，也能找到正確的分不正確，也能找到正確的結果。結果。 在本質上，它也有濾波功能。在本質上，它也有濾波功能。 連續(xù)連續(xù)hopfield網(wǎng)絡網(wǎng)絡 連續(xù)連續(xù)hopfield網(wǎng)絡的拓撲結構和離散網(wǎng)絡的拓撲結構和離散hopfield網(wǎng)網(wǎng)絡相同。連續(xù)絡相同。連續(xù)hopfield網(wǎng)絡和離散網(wǎng)絡和離散hopfield網(wǎng)絡一網(wǎng)絡一樣，其穩(wěn)定條件為樣，其穩(wěn)定條件為wij=wji。不同之處在于函數(shù)。不同之處在于函數(shù)g不不是階躍函數(shù)