小波神經(jīng)網(wǎng)絡(luò)與其應(yīng)用

1、小波神經(jīng)網(wǎng)絡(luò)及其應(yīng)用1014202032陸宇穎摘要：小波神經(jīng)網(wǎng)絡(luò)是將小波理論和神經(jīng)網(wǎng)絡(luò)理論結(jié)合起來的一種神經(jīng)網(wǎng)絡(luò)，它避免了BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的盲目性和局部最優(yōu)等非線性優(yōu)化問題，大大簡化了訓練，具有較強的函數(shù)學習能力和推廣能力及廣闊的應(yīng)用前景。首先闡明了小波變換和多分辨分析理論，然后介紹小波神經(jīng)網(wǎng)絡(luò)數(shù)學模型和應(yīng)用概況。1.研究背景與意義人工神經(jīng)網(wǎng)絡(luò)是基于生物神經(jīng)系統(tǒng)研究而建立的模型，它具有大規(guī)模并行處理和分布式存儲各類圖像信息的功能，有很強的容錯性、聯(lián)想和記憶能力，因而被廣泛地應(yīng)用于故障診斷、模式識別、聯(lián)想記憶、復雜優(yōu)化、圖像處理以及計算機領(lǐng)域。但是，人工神經(jīng)網(wǎng)絡(luò)模型建立的物理解釋，網(wǎng)絡(luò)激活函

2、數(shù)采用的全局性函數(shù)，網(wǎng)絡(luò)收斂性的保證，網(wǎng)絡(luò)節(jié)點數(shù)的經(jīng)驗性確定等問題尚有待進一步探討和改善。小波理論自Morlet提出以來，由于小波函數(shù)具有良好的局部化性質(zhì)，已經(jīng)廣泛滲透到各個領(lǐng)域。小波變換方法是一種窗口大小固定但其形狀可以改變,時間窗和頻率窗都可以改變的時頻局部化分析方法,由于在低頻部分具有較高的頻率分辨率和較低的時間分辨率,在高頻部分具有較高的時間分辨率和較低的頻率分辨率,所以被譽為數(shù)學顯微鏡。正是這種特性,使小波變換具有對信號的自適應(yīng)性。基于多分辨分析的小波變換由于具有時頻局部化特性而成為了信號處理的有效工具。實際應(yīng)用時常采用快速算法，利用正交小波基將信號分解到不同尺度上。實現(xiàn)過程如同重復

3、使用一組高通和低通濾波器把信號分解到不同的頻帶上，高通濾波器產(chǎn)生信號的高頻細節(jié)分量，低通濾波器產(chǎn)生信號的低頻近似分量。每分解一次信號的采樣頻率降低一倍，近似分量還可以通過高通濾波和低通濾波進一步地分解，得到下一層次上的兩個分解分量。而小波神經(jīng)網(wǎng)絡(luò)（WaveletNeuralNetwork,WNN）正是在近年來小波分析研究獲得突破的基礎(chǔ)上提出的一種人工神經(jīng)網(wǎng)絡(luò)。它是基于小波分析理論以及小波變換所構(gòu)造的一種分層的、多分辨率的新型人工神經(jīng)網(wǎng)絡(luò)模型，即用非線性小波基取代了通常的非線性Sigmoid函數(shù)，其信號表述是通過將所選取的小波基進行線性疊加來表現(xiàn)的。小波神經(jīng)網(wǎng)絡(luò)這方面的早期工作大約開始于1992

4、年,主要研究者是ZhangQ、HaroldHS和焦李成等。其中,焦李成在其代表作神經(jīng)網(wǎng)絡(luò)的應(yīng)用與實現(xiàn)中從理論上對小波神經(jīng)網(wǎng)絡(luò)進行了較為詳細的論述。近年來,人們在小波神經(jīng)網(wǎng)絡(luò)的理論和應(yīng)用方面都開展了不少研究工作。小波神經(jīng)網(wǎng)絡(luò)具有以下特點。首先，小波基元及整個網(wǎng)絡(luò)結(jié)構(gòu)的確定有可靠的理論根據(jù)，可避免BP神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)設(shè)計上的盲目性；其次，網(wǎng)絡(luò)權(quán)系數(shù)線性分布和學習目標函數(shù)的凸性，使網(wǎng)絡(luò)訓練過程從根本上避免了局部最優(yōu)等非線性優(yōu)化問題；第三，有較強的函數(shù)學習能力和推廣能力。2.數(shù)學模型與小波工具2.1小波變換及多分辨分析在函數(shù)空間LR（或更廣泛的Hilbert空間）中，選擇一個母小波函數(shù)（又稱為基本2()

5、2()小波函數(shù)）(x)，使其滿足允許條件：2(w)Cdww(1)式中(w)為(x)的Fourier變換。對(x)作伸縮、平移變換得到小波基函數(shù)系a,b(x)1xb2(x)()(a,bR)(2)a,baa對任意2fxLR,其連續(xù)小波變換定義為：()()1W(a,b)f(x)dx(3)fa,bCR反演公式為：1f(x)Wf(a,b)abdadb(4),C0在實際應(yīng)用中，特別是計算機實現(xiàn)中，往往要把上述的連續(xù)小波及其變換離散化，通常mm采用二進制離散，即令a2,bk2，則1m2mk(x)m(2xk)(m,kZ)(5),2二進小波一定是一個允許小波，且是一個正交小波基?？紤]一個連續(xù)的、平方可積的函數(shù)2

6、fxLR在分辨率2()()m下的逼近()fxm，由多分辨分析理論可知：f(x)a(x)(6)mmkmkk(x)是尺度函數(shù)，對其作伸縮、平移變換得到mk(x)。1m2()(2)(,)(7)2mkxmxkmkZaf(x)(x)dx(8)mkmkMallat同時證明了函數(shù)f(x)在2m和m21分辨率下的信息差別（即細節(jié)）Df(x)m，可以通過將函數(shù)f(x)在一小波正交基上分解而獲得，從而定義了一種完全而且正交的多分辨率描述，即小波描述。Df(x)d(x)(9)mmkmkkdf(x)(x)dx(10)mkmkmk(x)就是式（5）定義的二進小波，則f(x)在m21分辨率下的逼近式為：f1(x)f(x)

7、d(x)(11)mmmkmkkMallat并指出，對于任意一個函數(shù)2fxLR可以在一組正交小波基上展開：()()f(x)dmkmk(x)(12)mk式（11）是一個平方可積函數(shù)的小波分解，提供了小波神經(jīng)網(wǎng)絡(luò)設(shè)計的理論框架。.上述理論可推廣到多維情況。我們以二維為例，若定義二維尺度函數(shù)(x,x)12，則(x,x)(x)(x)(13)1212則有:mkmmm(x,x)2(2xk,2xk)121122(x)(x)(14)mk1mk212同理有:lmlmm121122mk(x,x)2(2xk,2xk)l1,2,3(15)1(x,x)(x)(x)12122(x,x)(x)(x)(16)12123(x,x

8、)(x)(x)12122.2小波神經(jīng)網(wǎng)絡(luò)模型小波神經(jīng)網(wǎng)絡(luò)模型的典型結(jié)構(gòu)如圖1所示，包括輸入層、輸出層和隱層。隱層包含兩種節(jié)點：小波基節(jié)點（節(jié)點）和尺度函數(shù)節(jié)點（節(jié)點）。2.2.1分層多分辨學習網(wǎng)絡(luò)輸出f(x)在2L分辨率（最低的分辨率）上的逼近：nLf(x)f(x)a(x)(17)LLkLkk1fx在()L21分辨率上的逼近：nnLLf(x)f(x)a(x)d(x)(18)LLkLkLkLkk1k1nLa(x)LkLk表示f(x)在2L式（18）中的第一項k1分辨率上的逼近，在式（17）中已nL計算，即系數(shù)aLk與式（17）中相同。式（18）中的第二項k1d(x)LkLk表示增加的細節(jié)。再考慮

9、f(x)在L22，L23，分辨率上的逼近,有:nn2nLLLf(x)a(x)d(x)d(x)L2LkLkLkLkL1,kL1,kk1k1k12nLf(x)d(x)(19)L1L1,kL1,kk14nLf(x)f(x)d(x)L3L2L2,kL2,kk1L21nLf(x)f(x)d(x)011,k1,kk1LmnL2nLLa(x)d(x)LkLkmkmkk1m1k1上述方程式是小波神經(jīng)網(wǎng)絡(luò)的學習算法，這種算法是Moody在1989年提出的。2.2.2網(wǎng)絡(luò)系數(shù)計算對于式（19）可以改寫成下述形式：f(x)cii(20)ic是網(wǎng)絡(luò)權(quán)重系數(shù)，i是激活函數(shù)（尺度函數(shù)或小波函數(shù)）。設(shè)小波神經(jīng)網(wǎng)絡(luò)有n個i節(jié)

10、點，m個訓練數(shù)據(jù)。則有：f(x)(x)(x)(x)c11121n11f(x)(x)(x)(x)c21222n22f(x)(x)(x)(x)cm1m2mnm3即fAc(21)式（20）的最小二乘解為：T1Tc(AA)A)fAf(22)A被稱為A的偽逆矩陣。且2g(x)g(x)g(x)g(x)g(x)1i1i2i1iniiiiTAA2g(x)g(x)g(x)g(x)g(x)2i1i2i2iniiii(23)2g(x)g(x)g(x)g(x)g(x)ni1ini2iniiii如果樣本x均勻分布，i(i1,2,.,n)是正交基，i則TAA是一個nn單位矩陣，且TcAf(24)2.2.3小波神經(jīng)網(wǎng)絡(luò)學習

11、過程選擇合適的小波函數(shù)和尺度函數(shù)后，在最粗的尺度L上訓練節(jié)點，直到網(wǎng)絡(luò)達到收斂。要使網(wǎng)絡(luò)達到收斂，需確定逼近誤差（在很多文獻中提出了誤差的計算方法）和增加合適的節(jié)點以減少逼近誤差。最后是優(yōu)化網(wǎng)絡(luò)，使用新的樣本來檢驗網(wǎng)絡(luò)并移去權(quán)重小的節(jié)點直到滿足性能準則。2.2.4計算復雜性小波神經(jīng)網(wǎng)絡(luò)訓練的計算復雜性介于O(N)和O(N2)之間，N為學習樣本數(shù)。如果學習樣本是均勻分布的，則計算復雜性為O(N)；如果學習樣本是非均勻分布的，則計算復雜性為O(N2)。3.數(shù)學應(yīng)用案例小波神經(jīng)網(wǎng)絡(luò)是基于小波分析而構(gòu)成的神經(jīng)網(wǎng)絡(luò)。它充分利用小波變換的良好局部化性質(zhì)并結(jié)合神經(jīng)網(wǎng)絡(luò)的自學習功能，因而具有較強的逼近、容錯能

12、力，其實現(xiàn)過程也比較簡單。小波神經(jīng)網(wǎng)絡(luò)在近十年來應(yīng)用較廣泛，主要應(yīng)用于以下幾個領(lǐng)域。3.1非線性函數(shù)逼近非線性函數(shù)逼近具有非常重要的意義，很多實際問題通過建模都可歸結(jié)于非線性函數(shù)逼近問題。而小波神經(jīng)網(wǎng)絡(luò)是通過對小波分解進行平移和伸縮變換之后得到的級數(shù)，具有小波分解的函數(shù)逼近性質(zhì)。由于它引入了伸縮和平移因子，又比一般的小波分解有更多的自由度，而且還具有小波變換在高頻域的時間精度和低頻域的頻率精度，故能夠更加細致地描述復雜函數(shù)的特性。Zhang和Benveniste首先將小波理論應(yīng)用于神經(jīng)網(wǎng)絡(luò)而提出了非正交小波神經(jīng)網(wǎng)絡(luò)9，并首次將這種新理論應(yīng)用于函數(shù)逼近，取得了很好的結(jié)果。他們分別對一維、二維非線

13、性函數(shù)進行擬合逼近的研究，采用高斯函數(shù)推導式222x/2(xx)/2(x)xeand(x)xxe作為小波基函數(shù)，對小波神經(jīng)網(wǎng)絡(luò)的逼近1212模擬結(jié)果與BP神經(jīng)網(wǎng)絡(luò)和小波分解方法進行對比，結(jié)果顯示小波神經(jīng)網(wǎng)絡(luò)對非線性函數(shù)的擬合逼近明顯要優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和小波分解方法（見圖2，實線是實際曲線，虛線是逼近曲線），并吸收了兩者的許多優(yōu)點，摒棄了兩者的一些缺點。李銀國等則在前人的基礎(chǔ)上提出了小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的時（空）域“分解綜合”方法18，并通過仿真實驗（非線性函數(shù)逼近）表明：此種方法較好地解決了小波神經(jīng)網(wǎng)絡(luò)中普遍存在的“維數(shù)災(zāi)”問題，且函數(shù)逼近能力強，精度便于掌握，訓練過程方便，不存在局部最優(yōu)問題

14、。3.2信號表示和分類小波神經(jīng)網(wǎng)絡(luò)用于信號表示已有很多X例，但用于信號分類的很少。HaroldHS等構(gòu)造了自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)并將其應(yīng)用于語音識別。他們首先提出了兩種不同的自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（均采用高斯函數(shù)x2/22/2(x)cos(1.75x)e作為小波基函數(shù)）和能量函數(shù)分別用于信號表示與分類，并引入了超小波（super-wavelet）這一新術(shù)語（對于具體的問題，超小波不僅自適應(yīng)計算定型小波函數(shù)的參數(shù)，而且自適應(yīng)計算小波形狀）。他們將這些理論先應(yīng)用于一維信號的表示與分類，隨后又討論了其可能在語音識別中的應(yīng)用，并展望這些理論可能會廣泛應(yīng)用于信號識別與分類和圖像識別與分類。3.3材料損傷診斷

15、吳耀華等介紹了多變量輸入、輸出系統(tǒng)的B樣條小波神經(jīng)網(wǎng)絡(luò)和用于分類的自適應(yīng)B樣條小波神經(jīng)網(wǎng)絡(luò)，應(yīng)用于智能復合材料應(yīng)變損傷位置的診斷。他們在實際操作中采用了一些技術(shù)處理以減少小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復雜性，從而加快了訓練的速度和提高了識別能力。并且在同樣條件下將這兩種小波網(wǎng)絡(luò)與BP網(wǎng)絡(luò)相對比，結(jié)果表明B樣條小波神經(jīng)網(wǎng)絡(luò)的建模精度和收斂速度明顯高于BP神經(jīng)網(wǎng)絡(luò)（圖3）。3.4錯誤診斷與分析ZhaoJinsong等提出了一種新穎的小波神經(jīng)網(wǎng)絡(luò)小波-Sigmoid基函數(shù)神經(jīng)網(wǎng)絡(luò)（wavelet-sigmoidbasicfunctionneuralnetwork,WSBFN），并將其應(yīng)用于動態(tài)錯誤診斷中。他們?yōu)?/p>

16、了解決小波神經(jīng)網(wǎng)絡(luò)的“瓶頸”效應(yīng)，提出了一種多維非乘積小波函數(shù)(x)cos(1.75x)ex2/22/2，并將其和相應(yīng)的尺度函數(shù)一起作為WSBFN隱層的激勵函數(shù)，同時將sigmoid基函數(shù)作為WSBFN輸出層的激勵函數(shù)。文獻中將WSBFN應(yīng)用于氫化裂解過程的錯誤診斷中，并同前人提出的較好的錯誤診斷方法之SBFN網(wǎng)絡(luò)進行對比。結(jié)果顯示，WSBFN可以用更簡單的網(wǎng)絡(luò)結(jié)構(gòu)而得到更好的診斷效果（WSBFN訓練錯誤遠低于SBFN，而且錯誤診斷準確率達到100%，也優(yōu)于SBFN）。Bakshi和Stephanopoulos在多分辨率基礎(chǔ)上提出了正交小波神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于靜態(tài)錯誤3.5動態(tài)建?，F(xiàn)實中，許

17、多問題可以通過動態(tài)建模來解決。雖然采用人工神經(jīng)網(wǎng)絡(luò)進行非線性系統(tǒng)建模的研究很多，但是采用小波神經(jīng)網(wǎng)絡(luò)進行動態(tài)建模的則比較少。錢峻等應(yīng)用小波神經(jīng)網(wǎng)絡(luò)實現(xiàn)非線性系統(tǒng)模型的在線建立及自校正算法，并將其應(yīng)用于微生物生長過程的預測建模。他們在繼承前人對小波神經(jīng)網(wǎng)絡(luò)的診斷與分析問題中，也取得了非常好的診斷效果。經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計方法的基礎(chǔ)上，引入了限定記憶最小二乘法以替代普通的最小二乘法來實現(xiàn)小波神經(jīng)網(wǎng)絡(luò)在線建模和校正算法。他們將其方法應(yīng)用于微生物生長過程的預測建模，結(jié)果顯示該小波神經(jīng)網(wǎng)絡(luò)具有很好的預測功能和推廣性能（見圖4，實線是系統(tǒng)輸出，虛線是小波神經(jīng)網(wǎng)絡(luò)輸出）。其訓練方法亦比用普通的最小二乘法快得多。

18、采用小波神經(jīng)網(wǎng)絡(luò)實現(xiàn)動態(tài)建模來解決自動控制中的一些實際問題也已有研究。Oussar等首次將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于動態(tài)系統(tǒng)建模。他們采用高斯函數(shù)作為小波函數(shù)，提出了一種訓練算法和用其構(gòu)建了反饋小波神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于動態(tài)非線性輸入輸出系統(tǒng)建模中（機器人手臂的液壓激勵器的建模）。將其建模效果與其他的輸入輸出模型（鉸鏈超平面模型和S形人工神經(jīng)網(wǎng)絡(luò)模型）進行比較，結(jié)果表明，在輸入輸出系統(tǒng)建模中采用小波神經(jīng)網(wǎng)絡(luò)可以取得與采用S形神經(jīng)網(wǎng)絡(luò)同樣良好的建模效果。Safavi等采用小波神經(jīng)網(wǎng)絡(luò)來簡化分裂蒸餾塔模型。他們采用一種混合模型替代傳統(tǒng)的機械模型，混合模型是在傳統(tǒng)的機械模型中加上了小波神經(jīng)網(wǎng)絡(luò)模塊，用來控制

19、蒸餾塔的輸入輸出模塊。同時，他們將其與傳統(tǒng)模型進行比較，結(jié)果顯示，該模型大大簡化了分裂蒸餾塔模型且保持了原有機械模型的精確性和內(nèi)部數(shù)據(jù)變量的有效性。3.6非平穩(wěn)時間序列預測與分析由于小波神經(jīng)網(wǎng)絡(luò)是用非線性小波基的線性疊加表示信號，故具有很好的特征提取和抑噪能力，特別適用于非平穩(wěn)時間序列預測與分析。Bakshi和Stephanopoulos則首次在多分辨率基礎(chǔ)上提出正交小波神經(jīng)網(wǎng)絡(luò)用于非平穩(wěn)時間序列預測與分析；楊宜康等則將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于測量中的異常數(shù)據(jù)診斷和消除。他們首先借助時-頻譜圖識別時間序列中異常數(shù)據(jù)的位置和性質(zhì)，然后利用小波神經(jīng)網(wǎng)絡(luò)作為擬合工具，同時引入加權(quán)誤差能量函數(shù)，通過適當選擇

20、網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)優(yōu)化，實現(xiàn)了對受污染的時間序列的抗擾最佳逼近。實例表明，采用加權(quán)誤差能量函數(shù)的小波神經(jīng)網(wǎng)絡(luò)除了具有逼近性能好、抑噪特性強和收斂速度快的優(yōu)點外，還能有效地消除異常數(shù)據(jù)對擬合結(jié)果的影響，具有較強的魯棒性。4.小波神經(jīng)網(wǎng)絡(luò)設(shè)計實例:采用sinc函數(shù)來驗證小波神經(jīng)網(wǎng)絡(luò)的擬合能力。Sinc函數(shù)定義為：sin(xa)ysinc(xa)bb(xa)自變量x的X圍取為-5,5,采樣間隔為0.1，共101個樣本點，其中前70個樣本點作為訓練樣本，后31個樣本點作為檢驗樣本。a=1,b=1,因變量ysinc(x1)1。本例中采用緊致型小波神經(jīng)網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)隱含層中神經(jīng)元的傳統(tǒng)激發(fā)函數(shù)用小波函數(shù)來代

21、替，采用通常用于信號分類的小波基函數(shù)Morlet小波函數(shù)（r通常取值為1.75）作為網(wǎng)絡(luò)隱含層的激勵函數(shù)。2h(t)cos(1.75t)exp(t/2)式中，t為函數(shù)的輸入。當函數(shù)的輸入為零時，其輸出為1，達到最大值：當輸入的絕對值較大時，輸出很快衰減為0。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的傳遞函數(shù)沒有Morlet小波函數(shù)，所以將創(chuàng)建自定義的傳輸函數(shù)。神經(jīng)網(wǎng)絡(luò)工具箱中包含了一個自定義傳遞函數(shù)template_transfer,輸入helptemplate_transfer就可以得到有關(guān)此函數(shù)的幫助信息。將template_transfer函數(shù)作為一個模板，來生成自定義的傳遞函數(shù)。首先，在MATLA

22、B安裝目錄下找到template_transfer.m文件。將原傳遞函數(shù)改為Morlet小波函數(shù)表達式：acos(1.75.*n.)*exp(n.2)/2);再將函數(shù)的導數(shù)改為：da_dn(1)*(n.*a)1.75*sin(1.75.*n).*exp(n.2)/2);將輸入輸出X圍改為：infinf在主程序中將傳遞函數(shù)設(shè)為“template_transfer(本例中未改模板文件名稱)。程序如下：clcclearcloseall%產(chǎn)生訓練樣本與測試樣本n1=-5:0.1:4.95;x1=sinc(n1+1)+1;n2=-4.95:0.1:5;x2=sinc(n1+1)+1;xn_train=n

23、1;%訓練樣本，每一列為一個樣本dn_train=x1;xn_test=n2;dn_test=x2;%設(shè)置神經(jīng)網(wǎng)絡(luò)參數(shù)NodeNum=20;TypeNum=1;p1=xn_train;%訓練輸入t1=dn_train;%訓練輸出Epochs=1000;%訓練次數(shù)P=xn_test;%測試輸入T=dn_test;%測試輸出（真實值）%設(shè)置網(wǎng)絡(luò)參數(shù)TF1=template_transfer;TF2=purelin;%設(shè)置傳遞參數(shù)，template_transfer為自定義Morlet小波函數(shù)net=newff(minmax(p1),NodeNumTypeNum,TF1TF2,trainlm);%指

24、定訓練參數(shù)net.trainParam.epochs=Epochs;%最大訓練次數(shù)net.trainParam.goal=1e-8;%最小均方誤差net.trainParam.min_grad=1e-20;%最小梯度net.trainParam.show=200;%訓練顯示間隔net.trainParam.time=inf;%最大訓練時間%訓練與測試net=train(net,p1,t1);%訓練X=sim(net,P);%測試，輸出為預測值%結(jié)果作圖plot(1:length(n2),x2,r+:,1:length(n2),X,bo:)title(+為真實值，o為預測值)5.結(jié)論與展望小波神經(jīng)網(wǎng)絡(luò)最初主要用于函數(shù)逼近，語音識別。隨著小波網(wǎng)絡(luò)的理論不斷發(fā)展，應(yīng)用領(lǐng)域也不斷拓寬，如非線性系統(tǒng)辨識，模式識別，信號分類；心電信號的識別與分類；數(shù)據(jù)與圖像壓縮。近年來，小波網(wǎng)絡(luò)在我國也引起了廣大學者的關(guān)注。總體而言，小