BP神經(jīng)網(wǎng)絡(luò)的基本原理很清楚

1、BP(BackPropagation)網(wǎng)絡(luò)是1986年由Rinehart和“TV.McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ阋?XSSgb一法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型二浮于歲二Z之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，-一而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值輸入層障層輸出層和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)圖5，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不意圖構(gòu)包括輸入層(input)、隱層(hidelayer)和輸出層(outputlayer)(如圖5.2所示)。5.4

2、.1 BP神經(jīng)元圖5.3給出了第j個(gè)基本BP神經(jīng)元(節(jié)點(diǎn))，它只模仿了生物神經(jīng)元所具有的三個(gè)最基本也是最重要的功能：加權(quán)、求和與轉(zhuǎn)移。其中X1、X2XiXn分別代表來(lái)自神經(jīng)元1、2in的輸入；W1、W2wr-Wn則分別表示神經(jīng)元1、27與第j個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值；bj為閾值；f()為傳遞函數(shù)；yj為第j個(gè)神經(jīng)元的輸出。第j個(gè)神經(jīng)元的凈輸入值為為：8產(chǎn)工叫r舊+為=郎/+/u(5.12)其中：才再三小工丁巴嗎一界嗎.,%.若視=1,嗎。=可，即令及%包括近及嗎。，則于是節(jié)點(diǎn)j的凈輸入與可表示為：2=工3東/=%Xi-A凈輸入邑通過(guò)傳遞函數(shù)(TransferFunction)f()后，便得到

3、第j個(gè)神經(jīng)元的輸出刀:M(5.14)式中f()是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因?yàn)榧?xì)胞傳遞的信號(hào)不可能無(wú)限增加，必有一最大值。5.4.2 BP網(wǎng)絡(luò)BP算法由數(shù)據(jù)流的前向計(jì)算(正向傳播)和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳播方向?yàn)檩斎雽右浑[層一輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程。通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動(dòng)態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過(guò)程。設(shè)BP網(wǎng)絡(luò)的輸入層有n個(gè)節(jié)點(diǎn)，隱層有q個(gè)節(jié)點(diǎn)，輸出層有m個(gè)節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為期幻，隱層

4、與輸出層之間的權(quán)值為嗎鼠如圖5.4所示。隱層的傳遞函數(shù)為f1(),輸出層的傳遞函數(shù)為f2(),則隱層節(jié)點(diǎn)的輸出為(將閾值寫(xiě)入求和項(xiàng)中)：輸出層節(jié)點(diǎn)的輸出為:1-0k=1,2,(5.15)口qm圖5.4三層神經(jīng)網(wǎng)揩的拓?fù)浣Y(jié)構(gòu)至此B-P網(wǎng)絡(luò)就完成了n維空間向量對(duì)m維空間的近似映射。1）定義誤差函數(shù)輸入尸個(gè)學(xué)習(xí)樣本，用xL/來(lái)表示。第戶個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出V；（j=1,2,項(xiàng)。采用平方型誤差函數(shù)，于是得到第p個(gè)樣本的誤差日：-I冊(cè)%=5工解 7 了、（5.17）式中：4為期望輸出。對(duì)于F個(gè)樣本，全局誤差為：1PMP=彳110-居）=斗,、。蜀丁。蜀（5.18）2）輸出層權(quán)值的變化采用累計(jì)誤差B

5、P算法調(diào)整叫A,使全局誤差百變小，即式中：即一學(xué)習(xí)率定義誤差信號(hào)為：3_嗎_而了嗎好一一碣一年7百其中第一項(xiàng):=-7?=-V-=元士)(5.19)(5.20)于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為:颯叫 T）為品）力丁.(5.(24)(5.(25)3）隱層權(quán)值的變化砥df$曲,.=刃嬴=刃甌%AgF 藐）(5.(26)定義誤差信號(hào)為:弟=-竺L=一歲三斷風(fēng)風(fēng)(5.(27)其中第一項(xiàng):(5.(28)是輸出層傳遞函數(shù)的偏微分。于是:4嚕即由鏈定理得:曲,必，網(wǎng)r第二項(xiàng):2(5.21)(5.22)(5.23)是隱層傳遞函數(shù)的偏微分。于是:“鏟一)由鏈定理得:依鏈定理有:叫叫叫面二兩國(guó)，叫上(5.(29)

6、第二項(xiàng):(5.(30)(5.31)制rr從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為:手*ft%=?蜉一切)力 3,嗎區(qū)陽(yáng)j-i(5.32)(5.33)5.4.3BP算法的改進(jìn)BP算法理論具有依據(jù)可靠、推導(dǎo)過(guò)程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點(diǎn)，但下缺點(diǎn)：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。BP算法很難勝任，因此出現(xiàn)了很多改進(jìn)算法。標(biāo)準(zhǔn)BP算法存在以在實(shí)際應(yīng)用中,1)利用動(dòng)量法改進(jìn)BP算法標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法，在修正W(K)W,只按照第K步的負(fù)梯度方向進(jìn)行修正，而沒(méi)有考慮到以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過(guò)程發(fā)生振蕩，收斂緩慢

7、。動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整量，即：標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂太慢；學(xué)習(xí)率選得太大，則有可能修正過(guò)頭，導(dǎo)致振蕩甚至發(fā)散?？刹捎脠D5.5所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大T,以縮短學(xué)習(xí)時(shí)間；當(dāng)7偏大致使不能收斂時(shí)，要及時(shí)減小7,直到收斂為止。3)動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法采用動(dòng)量法時(shí)，BP算法可以找到更優(yōu)的解；采用自適應(yīng)學(xué)習(xí)速率法時(shí)，BP算法可以縮短訓(xùn)練時(shí)間。將以上兩種方法結(jié)合起來(lái)，就得到動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整

8、算法。4)L-M學(xué)習(xí)規(guī)則L-M(Levenberg-Marquardt)算法比前述幾種使用梯度下降法的BP算法要快得多，但對(duì)于復(fù)雜問(wèn)題，這種方法需要相當(dāng)大的存儲(chǔ)空間。L-M(Levenberg-Marquardt)優(yōu)化方法的權(quán)值調(diào)整率選為：(5.35)其中：e一誤差向量；J網(wǎng)絡(luò)誤差對(duì)權(quán)值導(dǎo)數(shù)的雅可比(Jacobian)矩陣；以一標(biāo)量，當(dāng)以很大時(shí)上式接近于梯度法，當(dāng)小很小時(shí)上式變成了Gauss-Newton法，在這種方法中，小也是自適應(yīng)調(diào)整的。綜合考慮，擬采用L-M學(xué)習(xí)規(guī)則和動(dòng)量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)。5.5BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略及結(jié)果本文借助于MATLA腫經(jīng)網(wǎng)絡(luò)工具箱來(lái)實(shí)現(xiàn)多層

9、前饋BP網(wǎng)絡(luò)(Multi-layerfeed-forwardbackpropagationnetwork)的顏色空間轉(zhuǎn)換，免去了許多編寫(xiě)計(jì)算機(jī)程序的煩惱。神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出值與輸入值以及各權(quán)值和閾值有關(guān)，為了使實(shí)際輸出值與網(wǎng)絡(luò)期望輸出值相吻合，可用含有一定數(shù)量學(xué)習(xí)樣本的樣本集和相應(yīng)期望輸出值的集合來(lái)訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練時(shí)仍然使用本章5.2節(jié)中所述的實(shí)測(cè)樣本數(shù)據(jù)。&印 5)=-3月0)+處用5-1)(5.34)圖5.5自適應(yīng)學(xué)習(xí)于誤差曲面局部細(xì)節(jié)的敏感性,其中：a為動(dòng)量系數(shù)，通常0a1(5.38)其中：/一輸出節(jié)點(diǎn)的個(gè)數(shù)，聲一訓(xùn)練樣本數(shù)目，,如一網(wǎng)絡(luò)期望輸出值，的一網(wǎng)絡(luò)實(shí)際輸出值。均方誤差克服

10、了上述兩種算法的缺點(diǎn)，所以選用均方誤差算法較合理。5.5.3訓(xùn)練結(jié)果訓(xùn)練一個(gè)單隱層的三層BP網(wǎng)絡(luò)，根據(jù)如下經(jīng)驗(yàn)公式選擇隱層節(jié)點(diǎn)數(shù)125：/二歷荷+(5.39)式中：n為輸入節(jié)點(diǎn)個(gè)數(shù)，m為輸出節(jié)點(diǎn)個(gè)數(shù)，a為1到10之間的常數(shù)。針對(duì)本論文ni取值范圍為313。訓(xùn)練結(jié)果如表5.1所示。表5.1隱層節(jié)點(diǎn)數(shù)與誤差的關(guān)系隱層神經(jīng)元個(gè)數(shù)訓(xùn)練誤差測(cè)試誤差31.256611.127540.7977460.823250.6318490.727860.5702140.670770.5528730.689580.4451180.657590.3855780.6497100.2596240.4555110.185749

11、0.6644120.1838780.48130.1685870.6671由上表可以看出：增加隱層節(jié)點(diǎn)數(shù)可以減少訓(xùn)練誤差，但超過(guò)10以后測(cè)試誤差產(chǎn)生波動(dòng)，即泛化能力發(fā)生變化。綜合比較隱層節(jié)點(diǎn)數(shù)為10與12的訓(xùn)練誤差和測(cè)試誤差，決定隱層節(jié)點(diǎn)數(shù)選用12。訓(xùn)練誤差和測(cè)試誤差都很大，而且收斂速度極慢（訓(xùn)練過(guò)程如圖5.7所示），這個(gè)問(wèn)題可以通過(guò)對(duì)輸出量進(jìn)行歸一化來(lái)解決。根據(jù)Sigmoid型傳遞函數(shù)輸入和輸出的范圍，對(duì)輸入變量不進(jìn)行歸一化處理，只對(duì)輸出變量進(jìn)行歸一化，這是因?yàn)樵谳敵鰯?shù)據(jù)要求歸一化的同時(shí)，對(duì)輸入數(shù)據(jù)也進(jìn)行歸一化的話，權(quán)值的可解釋性就更差了。目標(biāo)值按下式進(jìn)行變化：三乂0,9+?？?4噸一4血（5

12、.40）使目標(biāo)值落在0.050.95之間，這樣靠近數(shù)據(jù)變化區(qū)間端點(diǎn)的網(wǎng)絡(luò)輸出值就有一波動(dòng)范圍，網(wǎng)絡(luò)的性能較好。用新生成的訓(xùn)練樣本與測(cè)試樣本對(duì)隱層節(jié)點(diǎn)數(shù)為12的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的訓(xùn)練誤差為9.89028X10-5,測(cè)試誤差為1.9899X10-4,達(dá)到了預(yù)定的目標(biāo)（訓(xùn)練過(guò)程如圖5.8所示）。5.6最終訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用三層BP網(wǎng)絡(luò)實(shí)現(xiàn)攝像機(jī)輸出RG的色空間與CIEXYZfe空間轉(zhuǎn)換， 其中隱層含有12個(gè)節(jié)點(diǎn)， 傳遞函數(shù)采用tansig函數(shù)；輸出層傳遞函數(shù)選用purelin函數(shù)。經(jīng)過(guò)測(cè)試后結(jié)果滿意，可以認(rèn)為該神經(jīng)網(wǎng)絡(luò)可以用來(lái)實(shí)現(xiàn)這個(gè)關(guān)系映射。網(wǎng)絡(luò)的結(jié)構(gòu)如圖5.9所示：得到的BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值為：5.7本章小結(jié)1)定量地分析了用線性關(guān)系轉(zhuǎn)換攝像機(jī)RG琛問(wèn)到CIE-XYZ空間數(shù)據(jù)后產(chǎn)生的均方誤差，表明CCEM像機(jī)與標(biāo)準(zhǔn)觀察者之間有比較明顯的差別，也就是說(shuō)RGBfCIE-XYZ間的轉(zhuǎn)換是非線性的。2)采用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱實(shí)現(xiàn)多層前饋BP網(wǎng)絡(luò)的RG醐CIEXY初色空間轉(zhuǎn)換， 用經(jīng)過(guò)歸一化的訓(xùn)練樣本與測(cè)試樣本對(duì)隱層節(jié)點(diǎn)數(shù)為12的三層網(wǎng)絡(luò)進(jìn)