神經(jīng)網(wǎng)絡(luò)模式識別法介紹課件

第8章第8章18.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況8.2神經(jīng)網(wǎng)絡(luò)基本概念8.3前饋神經(jīng)網(wǎng)絡(luò)8.4反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)第8章神經(jīng)網(wǎng)絡(luò)模式識別法8.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況第8章神經(jīng)網(wǎng)絡(luò)模式識別法28.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細胞的工作特點：與目前按串行安排程序指令的計算機結(jié)構(gòu)截然不同。*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應的學習能力等。優(yōu)點：(1)較強的容錯性;(2)很強的自適應學習能力；(3)可將識別和若干預處理融為一體進行；8.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(Artifici3(4)并行工作方式；(5)對信息采用分布式記憶，具有魯棒性。四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經(jīng)元的數(shù)學模型提出。第二階段：低潮期，始于1969年?！陡兄鳌?Perceptions)一書出版，指出局限性。第三階段：復興期，從1982年到1986年。Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型；《并行分布處理》出版，提出反向傳播算法。第四個階段：1987年至今，趨于平穩(wěn)?；仡櫺跃C述文章“神經(jīng)網(wǎng)絡(luò)與人工智能”。(4)并行工作方式；(5)對信息采用分布式記憶，具有魯48.2神經(jīng)網(wǎng)絡(luò)基本概念8.2.1生物神經(jīng)元1．生物神經(jīng)元的結(jié)構(gòu)細胞體、樹突、軸突和突觸。8.2神經(jīng)網(wǎng)絡(luò)基本概念8.2.1生物神經(jīng)元1．生物神52．生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)元由樹突和細胞體接收傳來的興奮電位不應期產(chǎn)生輸出脈沖輸入興奮總量超過閾值神經(jīng)元被激發(fā)進入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元2．生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)68.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個互連的神經(jīng)元之間相互作用的強弱。圖8.2人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強度作比較的閾值n維輸入向量X

輸出輸出函數(shù)8.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡7神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時：設(shè)，點積形式：式中，神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型88.2.3神經(jīng)網(wǎng)絡(luò)的學習學習：同一個訓練集的樣本輸入輸出模式反復作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓練規(guī)則自動調(diào)節(jié)神經(jīng)元之間的連接強度或拓撲結(jié)構(gòu)，使實際輸出滿足期望的要求或者趨于穩(wěn)定。實質(zhì)：1．Hebb學習規(guī)則典型的權(quán)值修正方法：Hebb學習規(guī)則、誤差修正學習如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度應該加強。神經(jīng)網(wǎng)絡(luò)的最重要特征之一。8.2.3神經(jīng)網(wǎng)絡(luò)的學習學習：同一個訓練9wij(t+1)：修正一次后的某一權(quán)值；η：學習因子，表示學習速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經(jīng)元的狀態(tài)（輸出）。由有：神經(jīng)元間的連接wij(t+1)：修正一次后的某一權(quán)值；由102.δ學習規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）的一個權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計算某一輸入模式對應的實際輸出與期望輸出的誤差；式中，（4）返回(2)，直到對所有訓練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個神經(jīng)元的期望輸出與實際輸出；xi(t)：第j個神經(jīng)元的第i個輸入。神經(jīng)網(wǎng)絡(luò)的學習體現(xiàn)在：η：學習因子；權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。2.δ學習規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）的118.2.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向由輸入層到輸出層。——前饋網(wǎng)絡(luò)沒有明顯層次，任意兩個神經(jīng)元之間可達，具有輸出單元到隱層單元或輸入單元的反饋連接。——反饋網(wǎng)絡(luò)相互連接結(jié)構(gòu)8.2.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向128.3前饋神經(jīng)網(wǎng)絡(luò)8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器結(jié)構(gòu)示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點：*輸出層神經(jīng)元個數(shù)等于類別數(shù)（兩類問題時輸出層為一個神經(jīng)元）。8.3前饋神經(jīng)網(wǎng)絡(luò)8.3.1感知器感知器（Perce13設(shè)輸入模式向量，，共M類。輸出層第j個神經(jīng)元對應第j個模式類，θj：第j個神經(jīng)元的閾值；wij：輸入模式第i個分量與輸出層第j個神經(jīng)元間的連接權(quán)。令。取

有輸出為輸出單元對所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。設(shè)輸入模式向量，14M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵：輸出層每個神經(jīng)元必須有一組合適的權(quán)值。*感知器采用監(jiān)督學習算法得到權(quán)值；*權(quán)值更新方法：δ學習規(guī)則。算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計算神經(jīng)元的實際輸出。M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵15設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第j個神經(jīng)元的實際輸出為第四步：修正權(quán)值。dj：第j個神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當全部學習樣本都能正確分類時，學習過程結(jié)束。經(jīng)驗證明，當η隨k的增加而減小時，算法一定收斂。設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第168.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法（Back-PropagationTrainingAlgorithm）的多層感知器。誤差反向傳播算法認識最清楚、應用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器針對感知器學習算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。8.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法（Back-Pr172．BP算法兩個階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學習過程設(shè)：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。jiwij：神經(jīng)元i與j之間的連接權(quán)；f(?)：神經(jīng)元的輸出函數(shù)。2．BP算法兩個正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差18S型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個神經(jīng)元的實際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。S型輸出函數(shù)：θj：神經(jīng)元閾值；設(shè)：輸出層中第k個神經(jīng)元的實19對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望輸出為dpk，實際輸出為ypk。輸出層的輸出方差：若輸入N個模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當輸入Xp時，wjk的修正增量：其中，由式得到：對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望20令，可得輸出單元的誤差：輸出單元的修正增量：對于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i：輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對各層之間的權(quán)值進行修正。令21BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。第三步：依次計算每層神經(jīng)元的實際輸出，直到輸出層。第四步：從輸出層開始修正每個權(quán)值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上22改進的權(quán)值修正：——收斂快、權(quán)值平滑變化α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數(shù)目的選取無一般指導原則；*新加入的學習樣本影響已學完樣本的學習結(jié)果。改進的權(quán)值修正：——收斂快、權(quán)值平滑變化α：平滑因子，023*輸出層各單元之間相互用較大的負權(quán)值輸入對方，構(gòu)成正反饋。8.3.3競爭學習神經(jīng)網(wǎng)絡(luò)1．競爭學習典型的非監(jiān)督學習策略。與二層前饋網(wǎng)絡(luò)類似；結(jié)構(gòu)特點：輸出層具有側(cè)抑制。競爭層：競爭學習網(wǎng)絡(luò)的核心側(cè)抑制：加強自身*具有最高輸入總和的單元的輸出狀態(tài)為1，其他單元為0。*輸出層各單元之間相互用較大的負權(quán)值輸入對方，8.3.3242．漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)：仿效生物神經(jīng)網(wǎng)“中心激勵，側(cè)向抑制”的功能。2．漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)：仿效生物神經(jīng)網(wǎng)“中25工作原理：*每個模式類由一個典型樣本代表；*匹配網(wǎng)計算輸入樣本與各類典型樣本的匹配度，由匹配度決定匹配網(wǎng)的輸出；*由最大網(wǎng)給出輸入樣本所在類別號（分類）。匹配度=n－輸入樣本與典型樣本之間的漢明距離xij：第j類典型樣本的第i個分量；xi：輸入樣本的第i個分量；n：樣本向量的維數(shù)。輸入樣本與典型樣本越相似：漢明距離越小，匹配度越大。二值模式向量(分量：+1,-1)分類準則：樣本間漢明距離最小。工作原理：*每個模式類由一個典型樣本代表；*匹配網(wǎng)計26匹配網(wǎng)上層每個神經(jīng)元的輸出：：輸入樣本第i個分量與匹配網(wǎng)上層第j個神經(jīng)元的連接權(quán)；：第j個神經(jīng)元的閾值。

wij由第j類典型樣本的各分量確定。匹配網(wǎng)輸出函數(shù)f(?)：匹配網(wǎng)上層每個神經(jīng)元的輸出：：輸入樣本第i個分量與匹配網(wǎng)上層27漢明網(wǎng)算法步驟：第一步：設(shè)置權(quán)值和神經(jīng)元閾值。wlk：最大網(wǎng)中第l個神經(jīng)元和第k個神經(jīng)元的連接權(quán)；最大網(wǎng)中神經(jīng)元的閾值為零。xij：第j類典型樣本的第i個分量；wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個分量的連接權(quán);θj

：神經(jīng)元j的閾值。漢明網(wǎng)算法步驟：第一步：設(shè)置權(quán)值和神經(jīng)元閾值。wlk：最28第三步，進行迭代運算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸入未知樣本，計算匹配網(wǎng)上層各神經(jīng)元的輸出sj，設(shè)置最大網(wǎng)中神經(jīng)元輸出的初始值。設(shè)最大網(wǎng)中第j個神經(jīng)元在t時刻的輸出為y(t)，則第三步，進行迭代運算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸293．自組織特征映射神經(jīng)網(wǎng)絡(luò)

（SOM網(wǎng)絡(luò)）圖8.10神經(jīng)元之間相互作用與距離的關(guān)系神經(jīng)網(wǎng)絡(luò)中鄰近的各神經(jīng)元通過側(cè)向交互作用彼此相互競爭，自適應地發(fā)展成檢測不同信號的特殊檢測器。T.Kohonen關(guān)于自組織特征映射的含義：3．自組織特征映射神經(jīng)網(wǎng)絡(luò)（SOM網(wǎng)絡(luò)）圖8.10神30輸入層：每個神經(jīng)元與輸出層所有神經(jīng)元連接。輸入連續(xù)值模式向量。SOM網(wǎng)絡(luò)結(jié)構(gòu)：輸出層：廣泛連接，格陣形式。競爭學習算法：由交互作用函數(shù)取代簡單的側(cè)抑制。輸入層：每個神經(jīng)元與輸出層所有神經(jīng)元連接。SOM網(wǎng)絡(luò)結(jié)構(gòu)：輸31自組織特征映射算法步驟：第一步：設(shè)置初始權(quán)值，定義輸出層神經(jīng)元的鄰域。第二步：輸入新的模式向量。第三步：計算輸入模式到每個輸出層神經(jīng)元j的距離dj。wij(t)：t時刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間的連接權(quán)。第四步：選擇與輸入模式距離最小的輸出層神經(jīng)元j*。第五步：修改與j*及其鄰域中神經(jīng)元連接的權(quán)值。設(shè)t時刻神經(jīng)元j*的鄰域用表示，權(quán)值修改為：：修正參數(shù)，，隨t的增加而減小。第六步：轉(zhuǎn)到第二步。自組織特征映射算法步驟：第一步：設(shè)置初始權(quán)值，定義輸出層神32聚類中心：存儲在與神經(jīng)元j*連接的權(quán)值上。輸出層神經(jīng)元鄰域的選擇：初始鄰域選擇大些，隨算法的進行逐步收縮。聚類中心：存儲在與神經(jīng)元j*連接的權(quán)值上。輸出層神經(jīng)元鄰域的338.4反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)尋找記憶：模擬人腦聯(lián)想記憶功能的神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)由初始狀態(tài)向穩(wěn)定狀態(tài)演化的過程。初始輸出模式向量單層全互連、權(quán)值對稱的神經(jīng)網(wǎng)絡(luò)。結(jié)構(gòu)：Hopfield網(wǎng)絡(luò)（HNN）離散型HNN(DHNN)：M-P模型二值神經(jīng)元連續(xù)型HNN(CHNN)：神經(jīng)元為連續(xù)時間輸出。8.4反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)尋找記憶：模擬人腦34*每個神經(jīng)元的輸出通過加權(quán)與其余神經(jīng)元的輸入端連接；*輸入模式向量的各分量及神經(jīng)元的輸出值取(+1)或(-1)；*神經(jīng)元的個數(shù)與輸入模式向量的維數(shù)相同；*記憶樣本記憶在神經(jīng)元之間的連接權(quán)上。DHNN：*每個模式類有一個記憶樣本，是網(wǎng)絡(luò)的一個穩(wěn)定輸出狀態(tài)。*每個神經(jīng)元的輸出通過加權(quán)與其余神經(jīng)元的輸入端連接；DH35設(shè)是第s類的記憶樣本。為了存儲M個記憶樣本，神經(jīng)元i和神經(jīng)元j之間的權(quán)值wij為設(shè)有M類模式，則有M個記憶樣本，分別是網(wǎng)絡(luò)的M個穩(wěn)定輸出狀態(tài)。若神經(jīng)元i的輸入為ui，輸出為，則式中，設(shè)36若輸入一個未知類別的模式X，網(wǎng)絡(luò)初始狀態(tài)由X決定，根據(jù)上述算法，網(wǎng)絡(luò)從初始狀態(tài)開始逐步演化，最終趨向于一個穩(wěn)定狀態(tài)，即輸出一個與未知類別模式相似的記憶樣本。說明：定義網(wǎng)絡(luò)的能量函數(shù)由某一神經(jīng)元的狀態(tài)的變化量引起的E變化量為式中，，。?E<0，E有界，網(wǎng)絡(luò)最終可達到一個不隨時間變化的穩(wěn)定狀態(tài)。若輸入一個未知類別的模式X，網(wǎng)絡(luò)初始狀態(tài)由X37算法步驟：第一步：給神經(jīng)元的連接權(quán)賦值，即存貯記憶樣本。第二步：用輸入的未知類別的模式

設(shè)置網(wǎng)絡(luò)的初始狀態(tài)。

若表示神經(jīng)元i在t時刻的輸出狀態(tài)，則初始值：第三步：迭代計算至算法收斂。第四步：轉(zhuǎn)到第二步，輸入新模式。神經(jīng)元輸出與未知模式匹配最好的記憶樣本。算法步驟：第一步：給神經(jīng)元的連接權(quán)賦值，即存貯記憶樣本。38Hopfield神經(jīng)網(wǎng)絡(luò)的局限性：*網(wǎng)絡(luò)能記憶和正確回憶的樣本數(shù)相當有限；*如果記憶中的某一樣本的某些分量與別的記憶樣本的對應分量相同，這個記憶樣本可能是一個不穩(wěn)定的平衡點。已證明：當記憶不同模式類的樣本數(shù)小于網(wǎng)絡(luò)中神經(jīng)元個數(shù)（或模式向量的維數(shù)）的0.15倍時，收斂于偽樣本的情況才不會發(fā)生?？梢岳谜凰惴ㄏ?。Hopfield神經(jīng)網(wǎng)絡(luò)的局限性：*網(wǎng)絡(luò)能記憶和正確回憶39結(jié)束結(jié)束40第8章第8章418.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況8.2神經(jīng)網(wǎng)絡(luò)基本概念8.3前饋神經(jīng)網(wǎng)絡(luò)8.4反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)第8章神經(jīng)網(wǎng)絡(luò)模式識別法8.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況第8章神經(jīng)網(wǎng)絡(luò)模式識別法428.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細胞的工作特點：與目前按串行安排程序指令的計算機結(jié)構(gòu)截然不同。*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應的學習能力等。優(yōu)點：(1)較強的容錯性;(2)很強的自適應學習能力；(3)可將識別和若干預處理融為一體進行；8.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(Artifici43(4)并行工作方式；(5)對信息采用分布式記憶，具有魯棒性。四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經(jīng)元的數(shù)學模型提出。第二階段：低潮期，始于1969年?！陡兄鳌?Perceptions)一書出版，指出局限性。第三階段：復興期，從1982年到1986年。Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型；《并行分布處理》出版，提出反向傳播算法。第四個階段：1987年至今，趨于平穩(wěn)?；仡櫺跃C述文章“神經(jīng)網(wǎng)絡(luò)與人工智能”。(4)并行工作方式；(5)對信息采用分布式記憶，具有魯448.2神經(jīng)網(wǎng)絡(luò)基本概念8.2.1生物神經(jīng)元1．生物神經(jīng)元的結(jié)構(gòu)細胞體、樹突、軸突和突觸。8.2神經(jīng)網(wǎng)絡(luò)基本概念8.2.1生物神經(jīng)元1．生物神452．生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)元由樹突和細胞體接收傳來的興奮電位不應期產(chǎn)生輸出脈沖輸入興奮總量超過閾值神經(jīng)元被激發(fā)進入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元2．生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)468.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個互連的神經(jīng)元之間相互作用的強弱。圖8.2人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強度作比較的閾值n維輸入向量X

輸出輸出函數(shù)8.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡47神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時：設(shè)，點積形式：式中，神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型488.2.3神經(jīng)網(wǎng)絡(luò)的學習學習：同一個訓練集的樣本輸入輸出模式反復作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓練規(guī)則自動調(diào)節(jié)神經(jīng)元之間的連接強度或拓撲結(jié)構(gòu)，使實際輸出滿足期望的要求或者趨于穩(wěn)定。實質(zhì)：1．Hebb學習規(guī)則典型的權(quán)值修正方法：Hebb學習規(guī)則、誤差修正學習如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度應該加強。神經(jīng)網(wǎng)絡(luò)的最重要特征之一。8.2.3神經(jīng)網(wǎng)絡(luò)的學習學習：同一個訓練49wij(t+1)：修正一次后的某一權(quán)值；η：學習因子，表示學習速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經(jīng)元的狀態(tài)（輸出）。由有：神經(jīng)元間的連接wij(t+1)：修正一次后的某一權(quán)值；由502.δ學習規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）的一個權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計算某一輸入模式對應的實際輸出與期望輸出的誤差；式中，（4）返回(2)，直到對所有訓練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個神經(jīng)元的期望輸出與實際輸出；xi(t)：第j個神經(jīng)元的第i個輸入。神經(jīng)網(wǎng)絡(luò)的學習體現(xiàn)在：η：學習因子；權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。2.δ學習規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）的518.2.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向由輸入層到輸出層?！梆伨W(wǎng)絡(luò)沒有明顯層次，任意兩個神經(jīng)元之間可達，具有輸出單元到隱層單元或輸入單元的反饋連接?！答伨W(wǎng)絡(luò)相互連接結(jié)構(gòu)8.2.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向528.3前饋神經(jīng)網(wǎng)絡(luò)8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器結(jié)構(gòu)示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點：*輸出層神經(jīng)元個數(shù)等于類別數(shù)（兩類問題時輸出層為一個神經(jīng)元）。8.3前饋神經(jīng)網(wǎng)絡(luò)8.3.1感知器感知器（Perce53設(shè)輸入模式向量，，共M類。輸出層第j個神經(jīng)元對應第j個模式類，θj：第j個神經(jīng)元的閾值；wij：輸入模式第i個分量與輸出層第j個神經(jīng)元間的連接權(quán)。令。取

有輸出為輸出單元對所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。設(shè)輸入模式向量，54M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵：輸出層每個神經(jīng)元必須有一組合適的權(quán)值。*感知器采用監(jiān)督學習算法得到權(quán)值；*權(quán)值更新方法：δ學習規(guī)則。算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計算神經(jīng)元的實際輸出。M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵55設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第j個神經(jīng)元的實際輸出為第四步：修正權(quán)值。dj：第j個神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當全部學習樣本都能正確分類時，學習過程結(jié)束。經(jīng)驗證明，當η隨k的增加而減小時，算法一定收斂。設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第568.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法（Back-PropagationTrainingAlgorithm）的多層感知器。誤差反向傳播算法認識最清楚、應用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器針對感知器學習算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。8.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法（Back-Pr572．BP算法兩個階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學習過程設(shè)：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。jiwij：神經(jīng)元i與j之間的連接權(quán)；f(?)：神經(jīng)元的輸出函數(shù)。2．BP算法兩個正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差58S型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個神經(jīng)元的實際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。S型輸出函數(shù)：θj：神經(jīng)元閾值；設(shè)：輸出層中第k個神經(jīng)元的實59對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望輸出為dpk，實際輸出為ypk。輸出層的輸出方差：若輸入N個模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當輸入Xp時，wjk的修正增量：其中，由式得到：對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望60令，可得輸出單元的誤差：輸出單元的修正增量：對于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i：輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對各層之間的權(quán)值進行修正。令61BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。第三步：依次計算每層神經(jīng)元的實際輸出，直到輸出層。第四步：從輸出層開始修正每個權(quán)值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上62改進的權(quán)值修正：——收斂快、權(quán)值平滑變化α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數(shù)目的選取無一般指導原則；*新加入的學習樣本影響已學完樣本的學習結(jié)果。改進的權(quán)值修正：——收斂快、權(quán)值平滑變化α：平滑因子，063*輸出層各單元之間相互用較大的負權(quán)值輸入對方，構(gòu)成正反饋。8.3.3競爭學習神經(jīng)網(wǎng)絡(luò)1．競爭學習典型的非監(jiān)督學習策略。與二層前饋網(wǎng)絡(luò)類似；結(jié)構(gòu)特點：輸出層具有側(cè)抑制。競爭層：競爭學習網(wǎng)絡(luò)的核心側(cè)抑制：加強自身*具有最高輸入總和的單元的輸出狀態(tài)為1，其他單元為0。*輸出層各單元之間相互用較大的負權(quán)值輸入對方，8.3.3642．漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)：仿效生物神經(jīng)網(wǎng)“中心激勵，側(cè)向抑制”的功能。2．漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)：仿效生物神經(jīng)網(wǎng)“中65工作原理：*每個模式類由一個典型樣本代表；*匹配網(wǎng)計算輸入樣本與各類典型樣本的匹配度，由匹配度決定匹配網(wǎng)的輸出；*由最大網(wǎng)給出輸入樣本所在類別號（分類）。匹配度=n－輸入樣本與典型樣本之間的漢明距離xij：第j類典型樣本的第i個分量；xi：輸入樣本的第i個分量；n：樣本向量的維數(shù)。輸入樣本與典型樣本越相似：漢明距離越小，匹配度越大。二值模式向量(分量：+1,-1)分類準則：樣本間漢明距離最小。工作原理：*每個模式類由一個典型樣本代表；*匹配網(wǎng)計66匹配網(wǎng)上層每個神經(jīng)元的輸出：：輸入樣本第i個分量與匹配網(wǎng)上層第j個神經(jīng)元的連接權(quán)；：第j個神經(jīng)元的閾值。

wij由第j類典型樣本的各分量確定。匹配網(wǎng)輸出函數(shù)f(?)：匹配網(wǎng)上層每個神經(jīng)元的輸出：：輸入樣本第i個分量與匹配網(wǎng)上層67漢明網(wǎng)算法步驟：第一步：設(shè)置權(quán)值和神經(jīng)元閾值。wlk：最大網(wǎng)中第l個神經(jīng)元和第k個神經(jīng)元的連接權(quán)；最大網(wǎng)中神經(jīng)元的閾值為零。xij：第j類典型樣本的第i個分量；wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個分量的連接權(quán);θj

：神經(jīng)元j的閾值。漢明網(wǎng)算法步驟：第一步：設(shè)置權(quán)值和神經(jīng)元閾值。wlk：最68第三步，進行迭代運算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸入未知樣本，計算匹配網(wǎng)上層各神經(jīng)元的輸出sj，設(shè)置最大網(wǎng)中神經(jīng)元輸出的初始值。設(shè)最大網(wǎng)中第j個神經(jīng)元在t時刻的輸出為y(t)，則第三步，進行迭代運算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸693．自組織特征映射神經(jīng)網(wǎng)絡(luò)

（SOM網(wǎng)絡(luò)）圖8.10神經(jīng)元之間相互作用與距離的關(guān)系神經(jīng)網(wǎng)絡(luò)中鄰近的各神經(jīng)元通過側(cè)向交互作用彼此相互競爭，自適應地發(fā)展成檢測不同信號的特殊檢測器。T.Kohonen關(guān)于自組織特征映射的含義：3．自組織特征映射神經(jīng)網(wǎng)絡(luò)（SOM網(wǎng)絡(luò)）圖8.10神70輸入層：每個神經(jīng)元與輸出層所有神經(jīng)元連接。輸入連續(xù)值模式向量。SOM網(wǎng)絡(luò)結(jié)構(gòu)：輸出層：廣泛連接，格陣形式。競爭學習算法：由交互作用函數(shù)取代簡單的側(cè)抑制。輸入層：每個神經(jīng)元與輸出層所有神經(jīng)元連接。SOM網(wǎng)絡(luò)結(jié)構(gòu)：輸71自組織特征映射算法步驟：第一步：設(shè)置初始權(quán)值，定義輸出層神經(jīng)元的鄰域。第二步：輸入新的模式向量。第三步：計算輸入模式到每個輸出層神經(jīng)元j的距離dj。wij(t)：t時刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間的連接權(quán)。第四步：選擇與輸入模式距離最小的輸出層神經(jīng)元j*。第五步：修改與j*及其鄰域中神經(jīng)元連接的權(quán)值。設(shè)t時刻神經(jīng)元j*的鄰域用表示，權(quán)值修改為：：修正參數(shù)，，隨