神經(jīng)網(wǎng)絡(luò)在數(shù)值積分中的應(yīng)用研究

1、三角基函數(shù)神經(jīng)網(wǎng)絡(luò)算法在數(shù)值積分中的應(yīng)用研究1 引言在科學(xué)技術(shù)中，積分是經(jīng)常遇到的一個重要計算環(huán)節(jié)，比如PID調(diào)節(jié)器就涉及積分計算。在一定條件下，雖有Newton-Leibniz公式：可以計算定積分的值，但在很多情況下，的原函數(shù)不易求得，或非常復(fù)雜。此外，在工程實際中，函數(shù)是用函數(shù)表形式給出而沒有解析表達(dá)式，這就更無法使用Newton-Leibniz公式了，因此有必要研究定積分的數(shù)值計算方法，以解決定積分的近似計算。數(shù)值積分的計算方法很多，如Newton-Cotes方法、Romberg方法、Gauss方法等1 4，其中Newton-Cotes方法是一種利用插值多項式來構(gòu)造數(shù)值積分的常用方法，但

2、是高階的Newton-Cotes方法的收斂性沒有保證，因此，在實際計算中很少使用高階的Newton-Cotes公式；Romberg方法收斂速度快、計算精度較高，但是計算量較大；Gauss方法積分精度高、數(shù)值穩(wěn)定、收斂速度較快，但是節(jié)點與系數(shù)的計算較麻煩、而且要求已知積分函數(shù)。本文提出的數(shù)值積分計算方法，其基本思想是訓(xùn)練三角基函數(shù)神經(jīng)網(wǎng)絡(luò)來逼近被積函數(shù)以實現(xiàn)定積分的數(shù)值計算。研究結(jié)果表明，本文提出的數(shù)值積分方法積分精度高、收斂速度快、數(shù)值穩(wěn)定，甚至可以處理一些奇異積分的問題，而且不需要給定被積函數(shù)，因此能有效解決建模困難的系統(tǒng)或未知系統(tǒng)的求積分問題，在工程實際中有較大的應(yīng)用價值。下面詳細(xì)討論三角

3、基函數(shù)神經(jīng)網(wǎng)絡(luò)算法及其與數(shù)值積分的關(guān)系，并給出計算實例。2 三角基函數(shù)神經(jīng)網(wǎng)絡(luò)模型三角基函數(shù)神經(jīng)網(wǎng)絡(luò)模型如圖1所示，其中為神經(jīng)網(wǎng)絡(luò)權(quán)值, 為三角基函數(shù)，即：, ) （1）為隱層神經(jīng)元激勵函數(shù)（N為偶數(shù)），且。設(shè)權(quán)值矩陣為：，激勵矩陣為：，則有：神經(jīng)網(wǎng)絡(luò)輸出： （2）誤差函數(shù)： （3）其中為樣本點數(shù)，為被積函數(shù)。則有：性能指標(biāo)： （4）權(quán)值調(diào)整： （5）其中為學(xué)習(xí)率，且。21 三角基函數(shù)神經(jīng)網(wǎng)絡(luò)收斂定理定理1. 設(shè)為學(xué)習(xí)率，則當(dāng)時，神經(jīng)網(wǎng)絡(luò)算法收斂，其中N+1是隱層神經(jīng)元個數(shù)。證明：取Lyapunov函數(shù)為：，則有： (6)因為，而 ，于是有： (7)其中，稱為Euclid范數(shù)的平方。所以式（6

4、）改寫為：由式（8）知，要使神經(jīng)網(wǎng)絡(luò)收斂，必須有下式成立，即：，因，所以 （9）由式（7）、（8）可得：，所以 ，由式（1）可以證明因此，由式（9）有：，即當(dāng)學(xué)習(xí)率滿足時，有，從而本文討論的三角基神經(jīng)網(wǎng)絡(luò)算法是收斂的，證畢。22 三角基函數(shù)神經(jīng)網(wǎng)絡(luò)最佳學(xué)習(xí)率在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，學(xué)習(xí)率是影響神經(jīng)網(wǎng)絡(luò)收斂快慢以及是否收斂的一個重要參數(shù)，太小會使收斂太慢，太大會使神經(jīng)網(wǎng)絡(luò)振蕩而無法收斂。為確定該神經(jīng)網(wǎng)絡(luò)的最佳學(xué)習(xí)率，本文以隨機函數(shù)作為訓(xùn)練對象。在構(gòu)造神經(jīng)元網(wǎng)絡(luò)模型時，取網(wǎng)絡(luò)結(jié)構(gòu)為：，學(xué)習(xí)率為： ，其中為學(xué)習(xí)率調(diào)整因子，即。訓(xùn)練結(jié)果如表1所示。由表1可知，最佳學(xué)習(xí)率：，其中，為最佳學(xué)習(xí)率調(diào)整因子。故一般

5、情況下，最佳學(xué)習(xí)率應(yīng)取為：。圖2為取時的某次訓(xùn)練結(jié)果對訓(xùn)練對象的誤差，其中y為訓(xùn)練結(jié)果，yd為訓(xùn)練對象。 圖1 余弦基函數(shù)神經(jīng)網(wǎng)絡(luò)模型 圖2 隨機函數(shù)訓(xùn)練誤差表1：學(xué)習(xí)率與收斂速度的關(guān)系 學(xué)習(xí)率 0.10.20.30.40.50.60.70.80.91.0 學(xué)習(xí)次數(shù)5525159711183167不收斂3積分定理 定理2. 設(shè)a、b為積分上下限，且，為神經(jīng)網(wǎng)絡(luò)權(quán)值，則有：證明： 證畢。由定理2可以得出以下三條推論：推論1. 當(dāng)時推論2. 當(dāng)時推論3. 當(dāng)時4數(shù)值積分實例為了驗證本文提出的數(shù)值積分算法的優(yōu)越性，本文選取了參考文獻(xiàn)567中給出的一些實例進(jìn)行計算，與傳統(tǒng)的梯形法、辛甫生方法、組合辛甫

6、生方法和龍貝格方法比較（見例1和例2），精度高，適應(yīng)性強。例1文獻(xiàn)7用梯形法和辛甫生方法在0，2積分區(qū)間分別計算被積函數(shù)：等六個函數(shù)的積分，結(jié)果如文獻(xiàn)7中的表4.7所示。在本文算法中，取神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：，學(xué)習(xí)率：，訓(xùn)練樣本集為：。表2列出了文獻(xiàn)7的結(jié)果和本文算法的結(jié)果。表2：幾種數(shù)值積分方法對應(yīng)各函數(shù)的計算結(jié)果7Exact value2.6676.4001.0992.9581.4166.389Trapezoidal4.00016.0001.3333.3260.9098.389Simpsons2.6676.6671.1112.9641.4256.421本文結(jié)果2.6656.3931.1012.9

7、591.4156.388例2計算積分：用Romberg方法計算該積分時遇到了困難6，用Composite Simpsons rule計算時，將積分區(qū)間0，48等分成100個子區(qū)間，計算結(jié)果為58.470825?？紤]到被積函數(shù)是以為周期的函數(shù)，且48=15+0.8761，因此，本文計算方法如下：=15+根據(jù)定理2中的推論1和推論2有：取神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：，性能指標(biāo)：，學(xué)習(xí)率為：，訓(xùn)練樣本集為：，計算結(jié)果為：，圖3為訓(xùn)練結(jié)果對訓(xùn)練對象的誤差。例3為了檢驗本文算法具有奇異積分的處理能力，考慮如下奇異函數(shù)：該函數(shù)的精確積分值為：1.546036。取神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：，性能指標(biāo)：，學(xué)習(xí)率為：，訓(xùn)練樣本集為：

8、，計算結(jié)果為1.5467。圖4為訓(xùn)練結(jié)果對訓(xùn)練對象的誤差。 圖3 例2訓(xùn)練誤差 圖4 例3訓(xùn)練誤差例4設(shè)某一LTI系統(tǒng)的輸入為，其單位沖激響應(yīng)為 則系統(tǒng)的輸出為： 取神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：，性能指標(biāo)：，學(xué)習(xí)率為：，訓(xùn)練樣本集為：，圖5顯示了時的計算結(jié)果與系統(tǒng)輸出精確值的誤差曲線。 圖5 例4誤差曲線5 結(jié)論由本文給出的四個實例及2.2中隨機函數(shù)訓(xùn)練結(jié)果可以看出，三角基函數(shù)神經(jīng)網(wǎng)絡(luò)算法收斂速度快，本文提出的基于三角基函數(shù)神經(jīng)網(wǎng)絡(luò)算法的數(shù)值積分算法適應(yīng)性強，計算精度較高，不要求已知被積函數(shù)，因此，本文算法不僅適合于已知函數(shù)的數(shù)值積分，而且也適合于未知函數(shù)的數(shù)值積分。本文提出的數(shù)值積分算法的另一大特點是能

9、夠?qū)ζ娈惡瘮?shù)進(jìn)行積分，而且精度高，這一點可以從例3看出。但是本文只解決了函數(shù)的單重積分問題；另一方面，由于本文提出的數(shù)值積分算法要求積分區(qū)間，因此對積分區(qū)間超出該范圍的積分求解，必須對被積函數(shù)進(jìn)行變換，使積分區(qū)間（如例2）。參考文獻(xiàn)1 Richard L. Burden, J. Douglas Faires. Numerical Analysis(Seventh Edition)M. 北京：高等教育出版社，2001，1862262 王能超. 數(shù)值分析簡明教程M. 北京：高等教育出版社，1997：6696. 3 沈劍華. 數(shù)值計算基礎(chǔ)M. 上海：同濟大學(xué)出版社，1999：731094 林成森.

10、數(shù)值計算方法（上）M. 北京：科學(xué)出版社，1998：1732155 Richard L. Burden, J. Douglas Faires. Numerical Analysis(Seventh Edition)M. 北京：高等教育出版社，2001：206，772。6 Richard L. Burden, J. Douglas Faires. Numerical Analysis(Seventh Edition)M. 北京：高等教育出版社，2001：2127 Richard L. Burden, J. Douglas Faires. Numerical Analysis(Seventh Ed

11、ition)M. 北京：高等教育出版社，2001：1908 ALAN V. OPPENHEIM,ALAN S. WILLSKY, WTTH S.HAMID NAWAB，劉樹棠譯. 信號與系統(tǒng)（第二版）M，西安：西安交通大學(xué)出版社，1998：7172Numerical Integration Study Based On Triangle Basis Neural Network AlgorithmWang Xiaohua,He Yigang, Zeng Zhezhao(1. Electrical And Infomational Engineering College, Hunan Unive

12、rsity, Changsha 410082, China; 2.Electric Power Engineering Department, Changsha Electric Power University, Changsha 410077, China)Abstract:IN this paper a new appproach to solve numerical integration is developsed based on the algorithm of neural networks with triangle basis functions , and the con

13、vergence theorem of the neural networks algorithm and the theorem of numerical integration solution and its inferences are presented and proved. The examples of numerical integration are also offered, and their results are compared to the results by contradional methods. The results show that the nu

14、merical integration approach presented in this paper has some characteristics such as high precision and strong adaptablity,futhermore,the intergration of unknown fountions can be solved by the numerical integration approach .Therefore,the numerical integration approach has significant application v

15、alue in many engineering practice fields such as electronics etc.Key words: triangle basis functions, neural network algorithm, numerical integration , convergence theorem 作者簡介：王小華，男，1968年11月生于湖南常德，1996年畢業(yè)于湖南大學(xué)，同年獲碩士學(xué)位，現(xiàn)為湖南大學(xué)在職博士生。主要研究方向為模數(shù)電路故障診斷、信號處理、神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用等。何怡剛，男，1966年生于湖南邵陽，教授，博士生導(dǎo)師，1996年畢業(yè)于西安交通大學(xué)，同年獲博士學(xué)位。主要研究方向為模擬集成電路、模數(shù)電路故障診斷、信號處理、神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用等。曾喆昭，男，1963年9月生于湖南藍(lán)山，教授，1989年畢業(yè)于清華大學(xué)，同年獲碩士學(xué)位。主要研究方向為單片機應(yīng)用系統(tǒng)開發(fā)、信號處理、神經(jīng)網(wǎng)絡(luò)理論與