小波神經(jīng)網(wǎng)絡簡介學習教案

1、會計學1第一頁，共33頁。什么(shn me)是小波神經(jīng)網(wǎng)絡？小波神經(jīng)網(wǎng)絡（Wavelet Neural Network, WNN）Zhang Qinghua等1992年正式提出(t ch)小波神經(jīng)網(wǎng)絡的概念小波變換：一種數(shù)學分析的工具小波變換+人工神經(jīng)網(wǎng)絡=小波神經(jīng)網(wǎng)絡第1頁/共32頁第二頁，共33頁。小波網(wǎng)絡的結(jié)構(gòu)(jigu)形式小波變換與神經(jīng)網(wǎng)絡的結(jié)合小波變換與神經(jīng)網(wǎng)絡的結(jié)合，也稱松散型結(jié)合應用舉例:基于小波分析的多RBF神經(jīng)網(wǎng)絡軋制力設定模型由于軋制力信號影響因素多，關(guān)聯(lián)復雜，難以建立(jinl)精確的機理模型，所以應用小波多分辨率方法，將原信號分解重構(gòu)成不同影響因素的子信號。第2頁/

2、共32頁第三頁，共33頁。小波變換(binhun)與神經(jīng)網(wǎng)絡的融合小波變換(binhun)與神經(jīng)網(wǎng)絡的融合，也稱緊致型結(jié)合第3頁/共32頁第四頁，共33頁。小波的發(fā)展(fzhn)過程小波變換(binhun)的發(fā)展的歷史過程Fourier變換(binhun) Gobor變換(binhun)(加窗Fourier變換(binhun)小波變換(binhun)第4頁/共32頁第五頁，共33頁。小波變換的時間窗和頻率小波變換的時間窗和頻率(pnl)窗窗 給出了信號在時間窗給出了信號在時間窗 內(nèi)的局部信息內(nèi)的局部信息 給出了信號在頻率給出了信號在頻率(pnl)窗窗內(nèi)的局部信息內(nèi)的局部信息時頻窗的面積始終不變

3、，時頻窗的面積始終不變， 對于檢測對于檢測 高頻信號時高頻信號時a自適應變?yōu)樽赃m應變?yōu)?a0，a較小的時候較小的時候)使時間窗變窄，對于使時間窗變窄，對于檢測檢測低頻信號時使時間窗變寬即可，這樣可以更有效的獲低頻信號時使時間窗變寬即可，這樣可以更有效的獲取取局部信息局部信息第5頁/共32頁第六頁，共33頁。小波的數(shù)學(shxu)概念小波母函數(shù) (t)：必須滿足容許條件：連續(xù)小波：由小波母函數(shù)平移和伸縮變換(binhun)得來的函數(shù)其中a是尺度參數(shù)，b是平移參數(shù)小波變換(binhun)：對于 ，稱為信號f(t)的連續(xù)小波變換(binhun)第6頁/共32頁第七頁，共33頁。母小波(t)選擇應滿足

4、的兩個條件(1)定義域是緊支撐(zh chng)的(Compact Support)即在一個很小的區(qū)間以外，函數(shù)為零，換句話說，函數(shù)由速降特性，以便獲得空間局域化；(2)平均值為零，也就是第7頁/共32頁第八頁，共33頁。Haar小波Mexican HatMeyer小波Sym6 小波db6小波常用(chn yn)的小波函數(shù)第8頁/共32頁第九頁，共33頁。離散(lsn)小波、二進小波和多尺度分析離散小波：對定義的小波函數(shù)的尺度參數(shù)a，平移參數(shù)b，按如下規(guī)律(gul)進行離散采樣二進小波：即取a為離散值，a為2的j次方，j ? Z；b任然取連續(xù)的值第9頁/共32頁第十頁，共33頁。多分辨率分析：

5、多分辨率分析多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又稱多尺度分析，其在小波分析中占有又稱多尺度分析，其在小波分析中占有(zhnyu)非常重要的地位，它是建立在函數(shù)空間概念上的理論非常重要的地位，它是建立在函數(shù)空間概念上的理論,它重點在于處理整個函數(shù)集，而非側(cè)重處理作為個體的函數(shù)。多分辨率分析從函數(shù)空間的角度將一個函數(shù)表示為一個低頻成分和不同分辨率下的多個高頻成分。更為重要的是，多分辨率分析不僅提供了構(gòu)造小波的統(tǒng)一框架，而且提供了函數(shù)分解與重構(gòu)的快速算法它重點在于處理整個函數(shù)集，而非側(cè)重處理作為個體的函數(shù)。多分辨率分析從函數(shù)空間的角度將一個函數(shù)表示為一個低

6、頻成分和不同分辨率下的多個高頻成分。更為重要的是，多分辨率分析不僅提供了構(gòu)造小波的統(tǒng)一框架，而且提供了函數(shù)分解與重構(gòu)的快速算法第10頁/共32頁第十一頁，共33頁。執(zhí)行離散小波變換的有效方法是使用濾波器。該方法是Mallat在1988年開發(fā)的，叫做Mallat算法，也叫金字塔算法。這種方法實際上是一種(y zhn)信號的分解方法，在數(shù)字信號處理過程中稱為雙通道子帶編碼算法描述：把信號通過濾波器分成高頻部分和低頻部分，低頻部分繼續(xù)分解，迭代上述過程。形成的樹叫小波分解樹。第11頁/共32頁第十二頁，共33頁。小波網(wǎng)絡的具體分類(1) 用小波函數(shù)直接代替隱層函數(shù)根據(jù)所選取的小波基函數(shù)的連續(xù)性的不同

7、，可以將該模型分為(fn wi)連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡和基于小波框架的小波神經(jīng)網(wǎng)絡兩種： 連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡 基于小波框架的小波神經(jīng)網(wǎng)絡第12頁/共32頁第十三頁，共33頁?；谛〔蚣艿男〔ㄉ窠?jīng)網(wǎng)絡的學習方法基于小波框架的小波神經(jīng)網(wǎng)絡的學習方法在傳統(tǒng)的神經(jīng)網(wǎng)絡中，存在隱層單元數(shù)目難以確定的不足，而在傳統(tǒng)的神經(jīng)網(wǎng)絡中，存在隱層單元數(shù)目難以確定的不足，而小波神經(jīng)網(wǎng)絡的隱層單元數(shù)目則可以小波神經(jīng)網(wǎng)絡的隱層單元數(shù)目則可以按如下方法自適應地確定：按如下方法自適應地確定： 首先取小波神經(jīng)網(wǎng)絡的隱層單元數(shù)目首先取小波神經(jīng)網(wǎng)絡的隱層單元數(shù)目M為為1，學習迭代若干次，學習迭代若干次后，如滿足誤差條件，則停

8、止迭帶，若達到最大學習次數(shù)后，后，如滿足誤差條件，則停止迭帶，若達到最大學習次數(shù)后，仍不滿足誤差條件，則小波變換單元數(shù)目增加仍不滿足誤差條件，則小波變換單元數(shù)目增加1，重復上述，重復上述(shngsh)過程，直到滿足誤差條件為止。這樣就可以根據(jù)過程，直到滿足誤差條件為止。這樣就可以根據(jù)具體的問題自適應地確定小波變化單元個數(shù)，從而克服傳統(tǒng)神具體的問題自適應地確定小波變化單元個數(shù)，從而克服傳統(tǒng)神經(jīng)網(wǎng)絡的不足。經(jīng)網(wǎng)絡的不足。第13頁/共32頁第十四頁，共33頁。基于基于(jy)多分辨率分析理論的小波神經(jīng)網(wǎng)絡多分辨率分析理論的小波神經(jīng)網(wǎng)絡基于基于(jy)多分辨率分析小波神經(jīng)網(wǎng)絡的學習算法是多分辨率分析

9、小波神經(jīng)網(wǎng)絡的學習算法是由由Moody 于于1989年提出的年提出的, 該算法給出了網(wǎng)絡輸出在不同尺該算法給出了網(wǎng)絡輸出在不同尺度上逼近的遞推方法度上逼近的遞推方法, 具體描述為具體描述為:網(wǎng)絡模型：網(wǎng)絡模型：第14頁/共32頁第十五頁，共33頁?；诙喾直媛史治鲂〔ㄉ窠?jīng)網(wǎng)絡的學習方法基于多分辨率分析小波神經(jīng)網(wǎng)絡的學習方法先選取合適的尺度函數(shù)和小波函數(shù)先選取合適的尺度函數(shù)和小波函數(shù), 同時在最粗的尺度同時在最粗的尺度M 上訓練上訓練 節(jié)點節(jié)點, 直到網(wǎng)絡達到收斂直到網(wǎng)絡達到收斂; 要使網(wǎng)絡達到收斂要使網(wǎng)絡達到收斂, 則要確定逼近誤差則要確定逼近誤差(wch)和增加適當個數(shù)的和增加適當個數(shù)的 節(jié)

10、點以減節(jié)點以減小逼近誤差小逼近誤差(wch); 最后是優(yōu)化網(wǎng)絡最后是優(yōu)化網(wǎng)絡, 使用新的樣本來檢使用新的樣本來檢驗網(wǎng)絡并移去權(quán)重小的驗網(wǎng)絡并移去權(quán)重小的 節(jié)點直到滿足性能指標。節(jié)點直到滿足性能指標。第15頁/共32頁第十六頁，共33頁。小波神經(jīng)網(wǎng)絡的優(yōu)點(1)小波變換(binhun)通過尺度伸縮和平移對信號進行多尺度分析，能有效提取信號的局部信息(2)神經(jīng)網(wǎng)絡具有自學習、自適應和容錯性等特點，并且是一類通用函數(shù)逼近器。(3)小波神經(jīng)網(wǎng)絡的基元和整個結(jié)構(gòu)是依據(jù)小波分析理論確定的，可以避免BP神經(jīng)網(wǎng)絡等結(jié)構(gòu)設計上的盲目性(4)小波神經(jīng)網(wǎng)絡有更強的學習能力，精度更高對同樣的學習任務，小波神經(jīng)網(wǎng)絡結(jié)構(gòu)

11、更簡單，收斂速度更快第16頁/共32頁第十七頁，共33頁。小波神經(jīng)網(wǎng)絡的缺點(1)在多維輸入情況下，隨著網(wǎng)絡的輸入維數(shù)增加，網(wǎng)絡所訓練的樣本呈指數(shù)(zhsh)增長，網(wǎng)絡結(jié)構(gòu)也將隨之變得龐大，使得網(wǎng)絡收斂速度大大下降。(2)隱含層結(jié)點數(shù)難以確定。(3)小波網(wǎng)絡中初始化參數(shù)問題，若尺度參數(shù)與位移參數(shù)初始化不合適，將導致整個網(wǎng)絡學習過程的不收斂。(4)未能根據(jù)實際情況來自適應選取合適的小波基函數(shù)第17頁/共32頁第十八頁，共33頁。神經(jīng)網(wǎng)絡的學習(xux)方法待確定參數(shù)連接權(quán)值尺度系統(tǒng)平移系數(shù)小波神經(jīng)網(wǎng)絡參數(shù)調(diào)整(tiozhng)算法 標準BP算法BP算法的改正算法第18頁/共32頁第十九頁，共33

12、頁。BP網(wǎng)絡算法的改進網(wǎng)絡算法的改進: 函數(shù)采用了有動量的梯度下降法，函數(shù)采用了有動量的梯度下降法，提高了學習速度并增加了算法的可靠性。提高了學習速度并增加了算法的可靠性。梯度下降法在修正權(quán)值時，只是按照梯度下降法在修正權(quán)值時，只是按照k時刻的負梯度方向修正，時刻的負梯度方向修正，并沒有考慮到以前積累的經(jīng)驗，即以前時刻的梯度方向，從而并沒有考慮到以前積累的經(jīng)驗，即以前時刻的梯度方向，從而常常使學習過程發(fā)生振蕩，收斂緩慢。為此，有人提出了如下常常使學習過程發(fā)生振蕩，收斂緩慢。為此，有人提出了如下的改進算法：的改進算法：其中，其中，D(k)表示表示k時刻的負梯度，時刻的負梯度，D(k-1)表示表示

13、k-1時刻的負梯度，時刻的負梯度，為學習率，為學習率，是動量因子，范圍是是動量因子，范圍是0,1。當。當=0時，權(quán)值修正時，權(quán)值修正只與當前負梯度有關(guān)系，當只與當前負梯度有關(guān)系，當=1時，權(quán)值修正就完全取決于上時，權(quán)值修正就完全取決于上一次循環(huán)的負梯度了。這種方法所加入的動量項實質(zhì)一次循環(huán)的負梯度了。這種方法所加入的動量項實質(zhì)(shzh)上上相當于阻尼項，它減少了學習過程的振蕩趨勢，從而改善了收相當于阻尼項，它減少了學習過程的振蕩趨勢，從而改善了收斂性。斂性。動量因子可以通過設定，若不設定，缺省值為。動量因子可以通過設定，若不設定，缺省值為。第19頁/共32頁第二十頁，共33頁。設小波神經(jīng)網(wǎng)絡

14、為3層網(wǎng)絡，包括輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層有 m(m=1,2,M) 個神經(jīng)元，隱含層有 k(k=1,2,K)個神經(jīng)元，輸出層有 n(n=1,2,N) 個神經(jīng)元。隱含層選取的神經(jīng)元激勵函數(shù)為Morlet小波訓練時，在權(quán)值和閾值的修正算法中加入動量項，利用前一步得到的修正值來平滑學習路徑，避免陷入局部極小值，加速學習速度。為了避免在逐個樣本訓練時，引起權(quán)值和閾值修正時發(fā)生的振蕩，采用成批訓練方法。對網(wǎng)絡的輸出也并不是簡單的加權(quán)求和，而是先對網(wǎng)絡隱含層小波結(jié)點的輸出加權(quán)求和，再經(jīng)Sigmoid函數(shù)變換后，得到最終的網(wǎng)絡輸出，有利于處理分類問題，同時(tngsh)減少訓練過程中

15、發(fā)散的可能性 第20頁/共32頁第二十一頁，共33頁。給定(i dn) p(p=1,2,P) 組輸入輸出樣本，學習率為 (0) ，動量因子為(0 1 )目標誤差函數(shù) 式中 為輸出層第n個結(jié)點的期望輸出； 為網(wǎng)絡實際輸出 算法的目標不斷調(diào)整網(wǎng)絡的各項參數(shù)，使得誤差函數(shù)達到最小值 第21頁/共32頁第二十二頁，共33頁。隱含層輸出 為輸入(shr)層的輸入(shr) 為隱含層的輸出 為輸入(shr)層結(jié)點m 為與隱含層結(jié)點k 為之間的權(quán)值；h() 為Morlet小波函數(shù)。第22頁/共32頁第二十三頁，共33頁。輸出層輸出為 為輸出層的輸入 為隱含(yn hn)層結(jié)點 與輸出層結(jié)點 之間的權(quán)值第23

16、頁/共32頁第二十四頁，共33頁。隱含層與輸出層之間的權(quán)值調(diào)整式 分別(fnbi)表示調(diào)整前與調(diào)整后的隱含層結(jié)點k 與輸出層結(jié)點n 之間的連接權(quán)值； 為動量項。第24頁/共32頁第二十五頁，共33頁。輸入層結(jié)點與隱含層結(jié)點之間的權(quán)值調(diào)整(tiozhng)式 分別為調(diào)整(tiozhng)前與調(diào)整(tiozhng)后的輸入層結(jié)點 m 與隱含層結(jié)點 k 之間的權(quán)值 為動量項第25頁/共32頁第二十六頁，共33頁。伸縮因子調(diào)整(tiozhng)式 為調(diào)整(tiozhng)前與調(diào)整(tiozhng)后的伸縮因子； 為伸縮因子動量項。第26頁/共32頁第二十七頁，共33頁。平移(pn y)因子調(diào)整式 為調(diào)

17、整前與調(diào)整后的平移(pn y)因子； 為平移(pn y)因子動量項。第27頁/共32頁第二十八頁，共33頁。學習算法的具體實現(xiàn)步驟1）網(wǎng)絡參數(shù)的初始化將小波的伸縮因子、平移因子、網(wǎng)絡連接權(quán)值、學習率以及(yj)動量因子賦予初始值，并置輸入樣本計數(shù)器 p=1 2）輸入學習樣本及相應的期望輸出3）計算隱含層及輸出層的輸出4）計算誤差和梯度向量。5）輸入下一個樣本，即 p=p+1 6）判斷算法是否結(jié)束。當 E0)，停止網(wǎng)絡的學習，否則將計數(shù)器重置為1，并轉(zhuǎn)步驟2）循環(huán)第28頁/共32頁第二十九頁，共33頁。小波神經(jīng)網(wǎng)絡的MATLAB函數(shù)靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡的創(chuàng)建 指令格式THETA = wne

18、treg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels)參數(shù)說明輸出(shch)參數(shù) THETA 小波回歸模型的估計參數(shù)。輸入?yún)?shù)y 是一個列向量，x 對于單輸入為一個列向量；對于多輸入，x=x1 x2 . xm，每個xi都是一個列向量。 nbwavelon：構(gòu)建小波網(wǎng)絡的小波數(shù)量max_epoch：最大訓練次數(shù)；initmode為初始化模式min_nbw：最小輸入模式數(shù)min_nbw和levels為可選項第29頁/共32頁第三十頁，共33頁。小波神經(jīng)網(wǎng)絡的仿真wavenet( )，可以(ky)很方便地得到網(wǎng)絡的仿真結(jié)果。指令格式：g =