一種改進的多記憶BP神經(jīng)網(wǎng)絡(luò)算法(圖文)

1、一種改良的多記憶BP神經(jīng)網(wǎng)絡(luò)算法(圖文)論文導(dǎo)讀：針對目前標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)的缺點，提出基于高階導(dǎo)數(shù)的多記憶BP算法，將能量函數(shù)的階導(dǎo)數(shù)與最速下降方向相結(jié)合，構(gòu)造出一個新的最速下降方向，從而提高了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度。首先證明了該算法相對于傳統(tǒng)梯度算法的快速性，然后給出了該算法的實現(xiàn)方法，并進行了算例仿真。結(jié)果證明，該算法便捷、實用、有效。關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)，BP算法，高階導(dǎo)數(shù)目前對前饋神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí)算法的研究主要集中在【1】：學(xué)習(xí)過程：對于輸出節(jié)點：對于非輸出節(jié)點：1.2基于高階導(dǎo)數(shù)的多記憶BP神經(jīng)網(wǎng)絡(luò)算法的描述在本研究中選擇三層BP神經(jīng)網(wǎng)絡(luò)模型，輸入層結(jié)點個數(shù)由實際問題所決定，設(shè)輸入層結(jié)點個數(shù)

2、為，隱含層結(jié)點個數(shù)為，輸出層結(jié)點個數(shù)由實際問題所決定，設(shè)輸出層結(jié)點個數(shù)為。設(shè)為訓(xùn)練樣本輸入對，其中；為網(wǎng)絡(luò)的輸入變量；為相應(yīng)的理論輸出；為網(wǎng)絡(luò)的實際輸出。能量函數(shù)取為，式中是訓(xùn)練模式對的個數(shù)，是輸出單元的個數(shù)，為訓(xùn)練模式為時單元的理想輸出，為訓(xùn)練模式為時單元的實際輸出。為允許的誤差值，鼓勵函數(shù)取為?；诟唠A導(dǎo)數(shù)的多記憶BP神經(jīng)網(wǎng)絡(luò)算法如下：1選擇一組初始權(quán)值和初始閾值， 。免費。2將輸入向量輸入到神經(jīng)網(wǎng)絡(luò)中，輸入按正向傳播方式，計算各個結(jié)點的輸出，最后得到相應(yīng)的輸出。3計算能量函數(shù)。4如果，那么修改權(quán)值，令，式中為在處的梯度，為對角陣的和，見式12。同理修改閾值，令，其中相對于而言，為學(xué)習(xí)率。

3、和的計算可參考文獻。5返回到2，以為新的權(quán)值，為新的閾值，直到為止。1.3基于高階導(dǎo)數(shù)的多記憶BP神經(jīng)網(wǎng)絡(luò)的收斂和快速性證明定義1 設(shè)在上有定義，非零向量，如果存在一個正數(shù)，使得對任意都有成立，那么稱為在處的一個下降方向。引理1 設(shè)在處可微，假設(shè)非零向量滿足不等式，那么為在處的一個下降方向。設(shè)為上有階連續(xù)偏導(dǎo)數(shù)的實函數(shù)，引入記號(7)(8)(9)(10)式中，。構(gòu)造一個維向量：(11)式中，為在處的梯度；為對角陣的和，即(12)其中，(13)(14)定理1 假設(shè)在上存在階連續(xù)偏導(dǎo)數(shù)，那么由式11構(gòu)造的為在處的一個下降方向。證明：(15)而由式711得，括號中第一項和第三項都是大于零，而第二項又

4、是小于零，那么得由引理知，為在處的一個下降方向。定理2 假設(shè)能量函數(shù)在上存在階連續(xù)偏導(dǎo)數(shù)，那么當(dāng)充分小時，(16)式中，即能量函數(shù)E(W)沿著方向進行迭代的效果要比沿負梯度方向進行迭代的效果要好。免費。證明：因為存在階連續(xù)偏導(dǎo)數(shù)，故可以將在處展成一階泰勒公式：(17)(18)式中與是關(guān)于的高階無窮小。將上面二式相減，得：(19)又 (20) 而所以 (21) 那么當(dāng)充分小時，有式中，當(dāng)時，等式成立。即能量函數(shù)沿著方向進行迭代的效果要比沿負梯度方向進行迭代的效果要好。1.4算法仿真在以上理論證明中已經(jīng)證明只有必要條件能量函數(shù)存在階連續(xù)偏導(dǎo)數(shù)成立時，定理2才恒成立。不妨在實際仿真中取。我們采用三層

5、BP網(wǎng)絡(luò)，在相同的初始權(quán)值和閾值的條件下，分別采用使用了梯度下降法的標(biāo)準(zhǔn)BP算法和基于二階導(dǎo)數(shù)的多記憶BP算法進行計算，學(xué)習(xí)率，計算中的樣本函數(shù)選取如下：1對函數(shù)在區(qū)間內(nèi)均分選取十個點；2對函數(shù)在區(qū)間內(nèi)均分選取十個點。計算結(jié)果如圖1、圖2所示。圖中曲線為誤差隨學(xué)習(xí)次數(shù)的變化。曲線1為采用標(biāo)準(zhǔn)BP算法的誤差收斂曲線，曲線2為基于二階導(dǎo)數(shù)的多記憶BP算法的誤差收斂曲線。從誤差曲線上可以看出：基于二階導(dǎo)數(shù)的多記憶BP算法和標(biāo)準(zhǔn)BP算法相比，其學(xué)習(xí)收斂速度有了明顯的提高。本文所提出的基于高階導(dǎo)數(shù)的多記憶BP算法，不但能有效地防止振蕩，而且大大加快了網(wǎng)絡(luò)的學(xué)習(xí)收斂速度。免費。 2結(jié)論理論證明，基于高階導(dǎo)

6、數(shù)的多記憶BP算法，將能量函數(shù)的階導(dǎo)數(shù)與最速下降方向相結(jié)合，構(gòu)造出一個新的最速下降方向，從而提高了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度。通過數(shù)字算例仿真，結(jié)果說明該算法是一種收斂速度快、穩(wěn)定、適應(yīng)性強的BP算法。參考文獻：【1】 李翔.從復(fù)雜到有序：神經(jīng)網(wǎng)絡(luò)智能控制理論新進展.上海：上海交通大學(xué)出版社，2006：136142【3】 張艷輝，李立琳.智能控制的主要方法與研究熱點. 鄭州經(jīng)濟管理干部學(xué)院學(xué)報，Vol.20，No.4：86-88【5】 孫蕾，周明全.一種基于擬牛頓法的大類別分類算法. 小型微型計算機系統(tǒng)，2006,271：90-93【6】GlennFung, MangasarianOL.Proximal support vector machine classifiers. Proceedings of the Seventh ACMSIGKDDInternational Conference on Knowledge Discovery and Data Mining, Aug26-29, 2001,San Francisco, CA, F.Provost R.Srikant, editors, ACM, NY2001, 77-