智能控制理論及應(yīng)用 課件 第8章-BP神經(jīng)網(wǎng)絡(luò)

主要內(nèi)容8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題8.4反向傳播算法的改進(jìn)算法8.5BP神經(jīng)網(wǎng)絡(luò)仿真示例多層前向BP網(wǎng)絡(luò)MultilayerFeedforwardNeuralNetwork1980年代中期，由Rumelhart等人提出。RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].nature,1986,323(6088):533-536.Rumelhart,D.E.,Hinton,G.E.,&Williams,R.J.(1985).

Learninginternalrepresentationsbyerrorpropagation

(No.ICS-8506).CaliforniaUnivSanDiegoLaJollaInstforCognitiveScience.DavidEverettRumelhart

(1942-2011)第8章8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)……輸入層隱含層輸出層…XYx1xny1ym全連接

n個(gè)輸入

m個(gè)輸出包含至少一個(gè)隱含層x2第8章8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)一般使用sigmoid函數(shù)或線(xiàn)性函數(shù)作為激勵(lì)函數(shù)。根據(jù)輸出值是否包含負(fù)值，sigmoid函數(shù)又可分為logsig和tansig兩種。兩種函數(shù)的表達(dá)式分別如下：第8章8.1BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程一

個(gè)

示

例第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程前向計(jì)算隱含層輸出輸出層輸出(1)前向計(jì)算第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程誤差計(jì)算(2)損失計(jì)算第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程(3)反向傳播廣義誤差第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程反向傳播(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程(3)反向傳播第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程第8章8.2BP神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過(guò)程8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題1.網(wǎng)絡(luò)結(jié)構(gòu)的選擇2.學(xué)習(xí)算法的收斂性3.網(wǎng)絡(luò)的泛化能力第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題1.網(wǎng)絡(luò)結(jié)構(gòu)的選擇【例8.1】用BP神經(jīng)網(wǎng)絡(luò)逼近如下函數(shù)：1-3-1BP網(wǎng)絡(luò)第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題網(wǎng)絡(luò)結(jié)構(gòu)的選擇1-S-1BP網(wǎng)絡(luò)一個(gè)隱含層采用sigmoid型神經(jīng)元，輸出層采用線(xiàn)性神經(jīng)元的1-S-1網(wǎng)絡(luò)，其響應(yīng)曲線(xiàn)由S個(gè)sigmoid函數(shù)疊加構(gòu)成。如果要逼近一個(gè)具有大量拐點(diǎn)的函數(shù)，就需要隱含層中有足夠的神經(jīng)元。第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題隨著函數(shù)復(fù)雜程度的增加，需要增加隱層節(jié)點(diǎn)數(shù)以保證網(wǎng)絡(luò)收斂。2.學(xué)習(xí)算法的收斂性【例8.2】用BP神經(jīng)網(wǎng)絡(luò)逼近如下函數(shù)。1-3-1BP網(wǎng)絡(luò)第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題采用隨機(jī)函數(shù)初始化權(quán)值和偏置量，運(yùn)行若干次，選取其中4次的仿真結(jié)果如右圖所示。圖中黑色曲線(xiàn)為原曲線(xiàn)，紅色曲線(xiàn)為網(wǎng)絡(luò)的擬合曲線(xiàn)。對(duì)于上述函數(shù)，1-3-1的網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)足夠，但有時(shí)依然無(wú)法準(zhǔn)確逼近該函數(shù)，這是因?yàn)槊看芜\(yùn)行權(quán)值和偏置的初始值不同，導(dǎo)致均方誤差的收斂結(jié)果不同，從一個(gè)初始條件開(kāi)始算法收斂到全局最小點(diǎn)，而從另一個(gè)初始條件開(kāi)始算法卻可能收斂到局部極小點(diǎn)。3.網(wǎng)絡(luò)的泛化能力泛化能力是指模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力給定11個(gè)樣本一個(gè)網(wǎng)絡(luò)的泛化能力強(qiáng)，它包含的參數(shù)個(gè)數(shù)應(yīng)該小于訓(xùn)練集中數(shù)據(jù)點(diǎn)的個(gè)數(shù)。因此，在實(shí)際建模問(wèn)題中，我們需要選擇能充分表示訓(xùn)練集的最簡(jiǎn)單的網(wǎng)絡(luò)，如果小規(guī)模的網(wǎng)絡(luò)能夠勝任就不需要用大規(guī)模的網(wǎng)絡(luò)。第8章8.3BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的幾個(gè)問(wèn)題【例8.3】假設(shè)對(duì)于要擬合的理想函數(shù)我們只能通過(guò)在處得到的11個(gè)采樣點(diǎn)作為訓(xùn)練樣本進(jìn)行訓(xùn)練。分別采用1-1-1和1-12-1的網(wǎng)絡(luò)（激勵(lì)函數(shù)同前）進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如下圖所示。8.4反向傳播算法的改進(jìn)算法8.4.1動(dòng)量BP法8.4.2可變學(xué)習(xí)率BP法8.4.3LM(Levenberg-Marquardt)算法第8章8.4反向傳播算法的改進(jìn)算法8.4.1動(dòng)量BP法第8章8.4反向傳播算法的改進(jìn)算法稱(chēng)作動(dòng)量因子標(biāo)準(zhǔn)GDBP算法動(dòng)量BP算法8.4.2可變學(xué)習(xí)率BP法第8章8.4反向傳播算法的改進(jìn)算法8.4.3LM(Levenberg-Marquardt)算法第8章8.4反向傳播算法的改進(jìn)算法LM算法根據(jù)下式修正網(wǎng)絡(luò)權(quán)值：J為性能函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值一階導(dǎo)數(shù)的雅克比矩陣1.模式分類(lèi)8.5BP神經(jīng)網(wǎng)絡(luò)仿真示例第8章8.5BP神經(jīng)網(wǎng)絡(luò)仿真示例BP神經(jīng)網(wǎng)絡(luò)選用單隱層，隱層節(jié)點(diǎn)數(shù)為2，MATLAB程序代碼