智能控制理論及應用 課件 第8章-BP神經(jīng)網(wǎng)絡

主要內容8.1BP神經(jīng)網(wǎng)絡的結構8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題8.4反向傳播算法的改進算法8.5BP神經(jīng)網(wǎng)絡仿真示例多層前向BP網(wǎng)絡MultilayerFeedforwardNeuralNetwork1980年代中期，由Rumelhart等人提出。RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].nature,1986,323(6088):533-536.Rumelhart,D.E.,Hinton,G.E.,&Williams,R.J.(1985).

Learninginternalrepresentationsbyerrorpropagation

(No.ICS-8506).CaliforniaUnivSanDiegoLaJollaInstforCognitiveScience.DavidEverettRumelhart

(1942-2011)第8章8.1BP神經(jīng)網(wǎng)絡的結構8.1BP神經(jīng)網(wǎng)絡的結構……輸入層隱含層輸出層…XYx1xny1ym全連接

n個輸入

m個輸出包含至少一個隱含層x2第8章8.1BP神經(jīng)網(wǎng)絡的結構8.1BP神經(jīng)網(wǎng)絡的結構BP神經(jīng)網(wǎng)絡一般使用sigmoid函數(shù)或線性函數(shù)作為激勵函數(shù)。根據(jù)輸出值是否包含負值，sigmoid函數(shù)又可分為logsig和tansig兩種。兩種函數(shù)的表達式分別如下：第8章8.1BP神經(jīng)網(wǎng)絡的結構8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程一

個

示

例第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程前向計算隱含層輸出輸出層輸出(1)前向計算第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程誤差計算(2)損失計算第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程(3)反向傳播廣義誤差第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程反向傳播(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程BP神經(jīng)網(wǎng)絡學習過程第8章8.2BP神經(jīng)網(wǎng)絡的參數(shù)學習過程8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題1.網(wǎng)絡結構的選擇2.學習算法的收斂性3.網(wǎng)絡的泛化能力第8章8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題1.網(wǎng)絡結構的選擇【例8.1】用BP神經(jīng)網(wǎng)絡逼近如下函數(shù)：1-3-1BP網(wǎng)絡第8章8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題網(wǎng)絡結構的選擇1-S-1BP網(wǎng)絡一個隱含層采用sigmoid型神經(jīng)元，輸出層采用線性神經(jīng)元的1-S-1網(wǎng)絡，其響應曲線由S個sigmoid函數(shù)疊加構成。如果要逼近一個具有大量拐點的函數(shù)，就需要隱含層中有足夠的神經(jīng)元。第8章8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題隨著函數(shù)復雜程度的增加，需要增加隱層節(jié)點數(shù)以保證網(wǎng)絡收斂。2.學習算法的收斂性【例8.2】用BP神經(jīng)網(wǎng)絡逼近如下函數(shù)。1-3-1BP網(wǎng)絡第8章8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題采用隨機函數(shù)初始化權值和偏置量，運行若干次，選取其中4次的仿真結果如右圖所示。圖中黑色曲線為原曲線，紅色曲線為網(wǎng)絡的擬合曲線。對于上述函數(shù)，1-3-1的網(wǎng)絡結構已經(jīng)足夠，但有時依然無法準確逼近該函數(shù)，這是因為每次運行權值和偏置的初始值不同，導致均方誤差的收斂結果不同，從一個初始條件開始算法收斂到全局最小點，而從另一個初始條件開始算法卻可能收斂到局部極小點。3.網(wǎng)絡的泛化能力泛化能力是指模型對未知數(shù)據(jù)的預測能力給定11個樣本一個網(wǎng)絡的泛化能力強，它包含的參數(shù)個數(shù)應該小于訓練集中數(shù)據(jù)點的個數(shù)。因此，在實際建模問題中，我們需要選擇能充分表示訓練集的最簡單的網(wǎng)絡，如果小規(guī)模的網(wǎng)絡能夠勝任就不需要用大規(guī)模的網(wǎng)絡。第8章8.3BP神經(jīng)網(wǎng)絡設計中的幾個問題【例8.3】假設對于要擬合的理想函數(shù)我們只能通過在處得到的11個采樣點作為訓練樣本進行訓練。分別采用1-1-1和1-12-1的網(wǎng)絡（激勵函數(shù)同前）進行訓練，訓練結果如下圖所示。8.4反向傳播算法的改進算法8.4.1動量BP法8.4.2可變學習率BP法8.4.3LM(Levenberg-Marquardt)算法第8章8.4反向傳播算法的改進算法8.4.1動量BP法第8章8.4反向傳播算法的改進算法稱作動量因子標準GDBP算法動量BP算法8.4.2可變學習率BP法第8章8.4反向傳播算法的改進算法8.4.3LM(Levenberg-Marquardt)算法第8章8.4反向傳播算法的改進算法LM算法根據(jù)下式修正網(wǎng)絡權值：J為性能函數(shù)對網(wǎng)絡權值一階導數(shù)的雅克比矩陣1.模式分類8.5BP神經(jīng)網(wǎng)絡仿真示例第8章8.5BP神經(jīng)網(wǎng)絡仿真示例BP神經(jīng)網(wǎng)絡選用單隱層，隱層節(jié)點數(shù)為2，MATLAB程序代碼