遙感影像識別-第六章 神經網絡在模式識別中的應用 Part Ⅳ

遙感影像識別

第六章:神經網絡在模式識別中的應用

PartⅣ

1.主要內容概論神經元與網絡結構感知器模型反向傳播網絡模型遙感圖像處理試驗反向傳播網絡(Back-PropagationNetwork，簡稱BP網絡)是一種多層前向反饋神經網絡，其神經元的變換函數是S型（Sigmoid）函數，因此輸出量為0到1之間的連續(xù)量，它可以實現從輸入到輸出的任意的非線性映射。由于其權值的調整采用反向傳播的學習算法，因此被稱為BP網絡。BP網絡主要用于：1)函數逼近：用輸入矢量和相應的輸出矢量訓練一個網絡逼近—個函數；2)模式識別：用一個特定的輸出矢量將它與輸入矢量聯系起來；3)分類：把輸入矢量以所定義的合適方式進行分類；4)數據壓縮：減少輸出矢量維數以便于傳輸或存儲。4.1BP網絡模型與結構♂一個具有r個輸入和一個隱含層的神經網絡模型結構BP網絡具有一層或多層隱含層，除了在多層網絡上與前面已介紹過的模型有不同外，其主要差別也表現在激活函數上。BP網絡的激活函數必須是處處可微的，所以它就不能采用二值型的閥值函數{0，1}或符號函數{-1，1}，BP網絡經常使用的是S型的對數或正切激活函數和線性函數。

圖4-1BP網絡S型激活函數因為S型函數具有非線性放大系數功能，它可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出，對較大的輸入信號，放大系數較??；而對較小的輸入信號，放大系數則較大，所以采用S型激活函數可以去處理和逼近非線性的輸入/輸出關系。只有當希望對網絡的輸出進行限制，如限制在0和1之間，那么在輸出層應當包含S型激活函數，在一般情況下，均是在隱含層采用S型激活函數，而輸出層采用線性激活函數。BP網絡的特點：1）輸入和輸出是并行的模擬量；2）網絡的輸入輸出關系是各層連接的權因子決定，沒有固定的算法；3）權因子是通過學習信號調節(jié)的，這樣學習越多，網絡越聰明；4）隱含層越多，網絡輸出精度越高，且個別權因子的損壞不會對網絡輸出產生大的影響。4.2BP學習規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學習算法。其主要思想為：對于q個輸入學習樣本：P1，P2，……Pq，已知與其對應的輸出樣本為：T1，T2，……Tq。學習的目的是用網絡的實際輸出A1，A2，……Aq，與目標矢量T1，T2，……Tq，之間的誤差來修改其權值，使Al，(l＝l，2…，q)與期望的Tl盡可能地接近；即：使網絡輸出層的誤差平方和達到最小。BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中，輸入信息從輸入經隱含層逐層計算傳向輸出層，每一層神經元的狀態(tài)只影響下一層神經元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網絡將誤差信號沿原來的連接通路反傳回來修改各層神經元的權值直至達到期望目標。圖4-2具有一個隱含層的簡化網絡圖設輸入為P，輸入神經元有r個，隱含層內有s1個神經元，激活函數為F1，輸出層內有s2個神經元，對應的激活函數為F2，輸出為A，目標矢量為T。4.2.1信息的正向傳遞1)隱含層中第i個神經元的輸出為：2)輸出層第k個神經元的輸出為：3)定義誤差函數為：(4.1)（4.2）（4.3）4.2.2利用梯度下降法求權值變化及誤差的反向傳播

1)隱含層的權值變化對從第i個輸入到第k個輸出的權值有：其中：同理可得：（4.4）（4.5）（4.6）（4.7）2)輸出層權值變化對從第j個輸入到第i個輸出的權值，有：其中：同理可得：（4.8）（4.9）（4.10）4.2.3誤差反向傳播的流程誤差反向傳播過程實際上是通過計算輸出層的誤差ek，然后將其與輸出層激活函數的一階導數f2’相乘來求得δki。由于隱含層中沒有直接給出目標矢量，所以利用輸出層的δki反向傳遞來求出隱含層權值的變化量Δw2ki。然后計算。并同樣通過將ei與該層激活函數的一階導數f1’相乘，而求得δij，以此求出前層權值的變化量Δw1ij。如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差ek一層一層的反推算到第一層為止。4.3BP網絡的訓練過程為了訓練一個BP網絡，需要計算網絡加權輸入矢量以及網絡輸出和誤差矢量，然后求得誤差平方和。當所訓練矢量的誤差平方和小于誤差目標，訓練則停止，否則在輸出層計算誤差變化，且采用反向傳播學習規(guī)則來調整權值，并重復此過程。當網絡完成訓練后，對網絡輸入一個不是訓練集合中的矢量，網絡將以泛化方式給出輸出結果。4.4BP網絡的設計4.4.1網絡的層數理論上已經證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網絡，能夠逼近任何有理函數。增加層數主要可以更進一步的降低誤差，提高精度，但同時也使網絡復雜化，從而增加了網絡權值的訓練時間。一般情況下，應優(yōu)先考慮增加隱含層中的神經元數。能不能僅用具有非線性激活函數的單層網絡來解決問題呢？結論是：沒有必要或效果不好。4.4.2隱含層的神經元數網絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經元數的方法來獲得。這在結構實現上，要比增加更多的隱含層要簡單得多。在具體設計時，比較實際的做法是通過對不同神經元數進行訓練對比，然后適當地加上一點余量。4.4.3初始權值的選取一般取初始權值在(-1，1)之間的隨機數。威得羅等人在分析了兩層網絡是如何對一個函數進行訓練后，提出一種選定初始權值的策略。在MATLAB工具箱中可采用函數nwlog.m或nwtan.m來初始化隱含層權值W1和B1。其方法僅需要使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機取數。4.4.4學習速率學習速率決定每一次循環(huán)訓練中所產生的權值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定。小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在0．01—0．8之間。4.4.5期望誤差的選取在設計網絡的訓練過程中，期望誤差值也應當通過對比訓練后確定一個合適的值。這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓練時間來獲得的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網絡進行訓練，最后通過綜合因素的考慮來確定采用其中一個網絡。4.5限制與不足1)需要較長的訓練時間2)完全不能訓練通常為了避免這種現象的發(fā)生，一是選取較小的初始權值，二是采用較小的學習速率，但這又增加了訓練時間。3)局部極小值BP算法可以使網絡權值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解。4.6反向傳播法的改進方法主要目標是為了加快訓練速度，避免陷入局部極小值。4.6.1附加動量法附加動量法使網絡在修正其權值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網絡忽略網絡上的微小變化特性。利用附加動量的作用則有可能滑過局部極小值。該方法是在反向傳播法的基礎上在每一個權值的變化上加上一項正比于前次權值變化量的值，并根據反向傳播法來產生新的權值變化。帶有附加動量因子的權值調節(jié)公式為：其中k為訓練次數，mc為動量因子，一般取0．95左右。附加動量法的實質是將最后一次權值變化的影響，通過一個動量因子來傳遞。當動量因子取值為零時，權值的變化僅是根據梯度下降法產生；當動量因子取值為1時，新的權值變化則是設置為最后一次權值的變化，而依梯度法產生的變化部分則被忽略掉了。在MATLAB工具箱中，帶有動量因子的權值修正法是用函數learnbpm.m來實現的。4.6.2誤差函數的改進

包穆(Baum)等人于1988年提出一種誤差函數為：不會產生不能完全訓練的麻痹現象。4.6.3自適應學習速率通常調節(jié)學習速率的準則是：檢查權值的修正值是否真正降低了誤差函數，如果確實如此，則說明所選取的學習速率值小了，可以對其增加一個量；若不是這樣，而產生了過調，那么就應該減小學習速率的值。下式給出了一種自適應學習速率的調整公式：4.7小結1)反向傳播法可以用來訓練具有可微激活函數的多層前向網絡以進行函數逼近，模式分類等工作；2)反向傳播網絡的結構不完全受所要解決的問題所限制。網絡的輸入神經元數目及輸出層神經元的數目是由問題的要求所決定的，而輸入和輸出層之間的隱含層數以及每層的神經元數是由設計者來決定的；3)已證明，兩層S型線性網絡，如果S型層有足夠的神經元，則能夠訓練出任意輸入和輸出之間的有理函數關系；4)反向傳播法沿著誤差表面的梯度下降，使網絡誤差最小，網絡有可能陷入局部極小值；5)附加動量法使反向傳播減少了網絡在誤差表面陷入低