遙感影像識(shí)別-第六章 神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用 Part Ⅳ

遙感影像識(shí)別

第六章:神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用

PartⅣ

1.主要內(nèi)容概論神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)感知器模型反向傳播網(wǎng)絡(luò)模型遙感圖像處理試驗(yàn)反向傳播網(wǎng)絡(luò)(Back-PropagationNetwork，簡(jiǎn)稱BP網(wǎng)絡(luò))是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型（Sigmoid）函數(shù)，因此輸出量為0到1之間的連續(xù)量，它可以實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。由于其權(quán)值的調(diào)整采用反向傳播的學(xué)習(xí)算法，因此被稱為BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)主要用于：1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近—個(gè)函數(shù)；2)模式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)；3)分類(lèi)：把輸入矢量以所定義的合適方式進(jìn)行分類(lèi)；4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。4.1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)♂一個(gè)具有r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù){0，1}或符號(hào)函數(shù){-1，1}，BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)。

圖4-1BP網(wǎng)絡(luò)S型激活函數(shù)因?yàn)镾型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從負(fù)無(wú)窮大到正無(wú)窮大的信號(hào)，變換成-1到l之間輸出，對(duì)較大的輸入信號(hào)，放大系數(shù)較小；而對(duì)較小的輸入信號(hào)，放大系數(shù)則較大，所以采用S型激活函數(shù)可以去處理和逼近非線性的輸入/輸出關(guān)系。只有當(dāng)希望對(duì)網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)，在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。BP網(wǎng)絡(luò)的特點(diǎn)：1）輸入和輸出是并行的模擬量；2）網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒(méi)有固定的算法；3）權(quán)因子是通過(guò)學(xué)習(xí)信號(hào)調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；4）隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響。4.2BP學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法。其主要思想為：對(duì)于q個(gè)輸入學(xué)習(xí)樣本：P1，P2，……Pq，已知與其對(duì)應(yīng)的輸出樣本為：T1，T2，……Tq。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實(shí)際輸出A1，A2，……Aq，與目標(biāo)矢量T1，T2，……Tq，之間的誤差來(lái)修改其權(quán)值，使Al，(l＝l，2…，q)與期望的Tl盡可能地接近；即：使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過(guò)程中，輸入信息從輸入經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒(méi)有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái)修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。圖4-2具有一個(gè)隱含層的簡(jiǎn)化網(wǎng)絡(luò)圖設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T(mén)。4.2.1信息的正向傳遞1)隱含層中第i個(gè)神經(jīng)元的輸出為：2)輸出層第k個(gè)神經(jīng)元的輸出為：3)定義誤差函數(shù)為：(4.1)（4.2）（4.3）4.2.2利用梯度下降法求權(quán)值變化及誤差的反向傳播

1)隱含層的權(quán)值變化對(duì)從第i個(gè)輸入到第k個(gè)輸出的權(quán)值有：其中：同理可得：（4.4）（4.5）（4.6）（4.7）2)輸出層權(quán)值變化對(duì)從第j個(gè)輸入到第i個(gè)輸出的權(quán)值，有：其中：同理可得：（4.8）（4.9）（4.10）4.2.3誤差反向傳播的流程誤差反向傳播過(guò)程實(shí)際上是通過(guò)計(jì)算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)f2’相乘來(lái)求得δki。由于隱含層中沒(méi)有直接給出目標(biāo)矢量，所以利用輸出層的δki反向傳遞來(lái)求出隱含層權(quán)值的變化量Δw2ki。然后計(jì)算。并同樣通過(guò)將ei與該層激活函數(shù)的一階導(dǎo)數(shù)f1’相乘，而求得δij，以此求出前層權(quán)值的變化量Δw1ij。如果前面還有隱含層，沿用上述同樣方法依此類(lèi)推，一直將輸出誤差ek一層一層的反推算到第一層為止。4.3BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程為了訓(xùn)練一個(gè)BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得誤差平方和。當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練則停止，否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來(lái)調(diào)整權(quán)值，并重復(fù)此過(guò)程。當(dāng)網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果。4.4BP網(wǎng)絡(luò)的設(shè)計(jì)4.4.1網(wǎng)絡(luò)的層數(shù)理論上已經(jīng)證明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題呢？結(jié)論是：沒(méi)有必要或效果不好。4.4.2隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過(guò)采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來(lái)獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過(guò)對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。4.4.3初始權(quán)值的選取一般取初始權(quán)值在(-1，1)之間的隨機(jī)數(shù)。威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略。在MATLAB工具箱中可采用函數(shù)nwlog.m或nwtan.m來(lái)初始化隱含層權(quán)值W1和B1。其方法僅需要使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機(jī)取數(shù)。4.4.4學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0．01—0．8之間。4.4.5期望誤差的選取在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值。這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)獲得的。一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò)。4.5限制與不足1)需要較長(zhǎng)的訓(xùn)練時(shí)間2)完全不能訓(xùn)練通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時(shí)間。3)局部極小值BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解。4.6反向傳播法的改進(jìn)方法主要目標(biāo)是為了加快訓(xùn)練速度，避免陷入局部極小值。4.6.1附加動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。利用附加動(dòng)量的作用則有可能滑過(guò)局部極小值。該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式為：其中k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，一般取0．95左右。附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過(guò)一個(gè)動(dòng)量因子來(lái)傳遞。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。在MATLAB工具箱中，帶有動(dòng)量因子的權(quán)值修正法是用函數(shù)learnbpm.m來(lái)實(shí)現(xiàn)的。4.6.2誤差函數(shù)的改進(jìn)

包穆(Baum)等人于1988年提出一種誤差函數(shù)為：不會(huì)產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象。4.6.3自適應(yīng)學(xué)習(xí)速率通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說(shuō)明所選取的學(xué)習(xí)速率值小了，可以對(duì)其增加一個(gè)量；若不是這樣，而產(chǎn)生了過(guò)調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式：4.7小結(jié)1)反向傳播法可以用來(lái)訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進(jìn)行函數(shù)逼近，模式分類(lèi)等工作；2)反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問(wèn)題所限制。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問(wèn)題的要求所決定的，而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來(lái)決定的；3)已證明，兩層S型線性網(wǎng)絡(luò)，如果S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系；4)反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值；5)附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低