基于EKF的模糊神經網絡快速自組織學習算法研究

1、基于EKF的模糊神經網絡快速自構造學習算法研究摘要:為了快速地布局一個有用的模糊神經網絡,提出一種基于擴展卡爾曼濾波(ekf)的模糊神經網絡自構造學習算法。在本算法中,根據(jù)提出的無須顛末修剪歷程的生長準那么增長規(guī)矩,加快了網絡在線學習歷程;利用ekf算法更新網絡的自由參數(shù),加強了網絡的魯棒性。仿真效果表白,該算法可以或許快速學習、精良的迫近精度和泛化本領。關鍵詞:模糊神經網絡;擴展卡爾曼濾波;自構造學習fastself-rganizinglearningalgrithbasednekffrfuzzyneuralnetrkzhushang-b,liuyu-jing(llegefputersien

2、e,hngqinguniversity,hngqing400044,hina)keyrds:fuzzyneuralnetrk;extendedkalanfilter(ekf);self-rganizinglearning模糊神經網絡劈頭于20世紀80年代后期的日本,由于其簡樸、有用,已經被普及應用在產業(yè)操縱、體系辨識、形式識別、數(shù)據(jù)開掘等很多范疇14。然而,怎樣從可用的數(shù)據(jù)集和專家知識中獵取符合的規(guī)矩數(shù)仍舊是一個尚未辦理的題目。為了獵取模糊規(guī)矩,研究職員提出了差異的算法,如文獻5利用正交最小二乘算法確定徑向基函數(shù)的中央,但是該算法練習速率比力慢;文獻6提出了基于徑向基函數(shù)的自順應模糊體系,其算

3、法利用了分層自構造學習計謀,但是迫近精度低。擴展卡爾曼濾波(ekf)算法作為一種非線性更新算法,在神經網絡中得到了普及應用。文獻7利用擴展卡爾曼濾波算法調解多層感知器的權值,文獻8利用擴展卡爾曼濾波算法調解徑向基函數(shù)網絡的權值。本文提出了一種模糊神經網絡的快速自構造學習算法(sfnn)。該算法基于無須修剪歷程的生長準那么增長模糊規(guī)矩,加快了網絡學習歷程,同時利用ekf調解網絡的參數(shù)。在該算法中,模糊神經網絡布局不是預先設定的,而是在學習歷程中動態(tài)變革的,即在學習開始前沒有一條模糊規(guī)矩,在學習歷程中漸漸增長模糊規(guī)矩。與傳統(tǒng)的模糊神經網絡學習算法比擬,本算法所得到的模糊規(guī)矩數(shù)并不會隨著輸入變量的增

4、長而呈指數(shù)增長,特別是本算法無須范疇的專家知識就可以實現(xiàn)對體系的主動建模及抽取模糊規(guī)矩。固然,假設方案者是范疇專家,其知識也可以直接用于體系方案。本算法所得到的模糊神經網絡具有布局孝制止出現(xiàn)過擬合征象等特點。1sfnn的布局本文接納與文獻9相似的網絡布局,如圖1所示。此中,r是輸入變量個數(shù);?x?i(i=1,2,r)是輸入語言變量;y是體系的輸出;fij是第i個輸入變量的第j個附屬函數(shù);r?j表現(xiàn)第j條模糊規(guī)矩;?j是第j條規(guī)矩的效果參數(shù);u是體系總的規(guī)矩數(shù)。下面是對該網絡各層寄義的詳細形貌。第一層:輸入層。每個節(jié)點代表一個輸入語言變量。第二層:附屬函數(shù)層。每個節(jié)點代表一個附屬函數(shù),附屬函數(shù)接

5、納如下的高斯函數(shù):ij=exp(-(x?i-ij)?2?2ij);i=1,2,r;j=1,2,u(1)此中:r是輸入變量數(shù);u是附屬函數(shù)個數(shù),也代表體系的總規(guī)矩數(shù);ij是x?i的第j個高斯附屬函數(shù);ij是x?i的第j個高斯附屬函數(shù)的中央;ij是x?i的第j個高斯附屬函數(shù)的寬度。第三層:t-范數(shù)層。每個節(jié)點代表一個大概的模糊規(guī)矩的if-部門,也代表一個rbf單位,該層節(jié)點個數(shù)反響了模糊規(guī)矩數(shù)。假設盤算每個規(guī)矩觸發(fā)權的t-范數(shù)算子是乘法,那么在第三層中第j條規(guī)矩r?j的輸出為?j=exp(-?ri=1(x?i-ij)?2?2ij);j=1,2,u(2)第四層:輸出層。該層每個節(jié)點代表一個輸出變量,

6、該輸出是全部輸入變量的疊加。y(x)=?uj=1?j?j(3)此中:y是網絡的輸出;?j是then-部門。2sfnn的學習算法如前文所述,第三層的每個節(jié)點代表一個大概的模糊規(guī)矩的if-部門大概一個rbf單位。假設必要辨識體系的模糊規(guī)矩數(shù),那么不克不及預先選擇模糊神經網絡的布局。于是,本文提出一種新的學習算法,該算法可以主動確定體系的模糊規(guī)矩并能到達體系的特定性能。2.1模糊規(guī)矩的產生準那么在模糊神經網絡中,假設模糊規(guī)矩數(shù)太多,不但增長體系的龐大性,而且增長盤算包袱和低落網絡的泛化本領;假設規(guī)矩數(shù)太少,體系將不克不及完全包羅輸入/輸出狀態(tài)空間,將低落網絡的性能。是否參加新的模糊規(guī)矩取決于體系偏向

7、、可包容界限和偏向落落率三個緊張因素。偏向判據(jù):對付第i個不雅測數(shù)據(jù)(x?i,t?i),此中x?i是輸入向量,t?i是盼望輸出,由式(3)盤算網絡現(xiàn)有布局的全部輸出y?i。界說:e?i=t?i-y?i;i=1,2,n(4)假設e?ik?ek?e=axeax?i,ein(5)那么說明網絡現(xiàn)有布局的性能比力差,要思量增長一條新的規(guī)矩;不然,不天生新規(guī)矩。此中:k?e是根據(jù)網絡盼望的精度預先選擇的值;eax是預界說的最大偏向;ein是盼望的輸出精度;(01)是收斂因子。從某種意義上來講,模糊神經網絡布局的學習是對輸入空間的高效分別。模糊神經網絡的性能和布局與輸入附屬函數(shù)精細相干。本文利用的是高斯附屬

8、函數(shù),高斯函數(shù)輸出隨著與中央間隔的增長而單調遞減。當輸入變量接納高斯附屬函數(shù)時,那么以為整個輸入空間由一系列高斯附屬函數(shù)所分別。假設某個新樣本位于某個已存在的高斯附屬函數(shù)覆蓋范疇內,那么該新樣本可以用已存在的高斯附屬函數(shù)表現(xiàn),不必要網絡天生新的高斯單位。可包容界限:對付第i個不雅測數(shù)據(jù)(x?i,t?i),盤算第i個輸入值x?i與已有rbf單位的中央?j之間的間隔d?i(j),即d?i(j)=x?i-?j;i=1,2,n;j=1,2,u(6)此中:u是現(xiàn)有的模糊規(guī)矩或rbf單位的數(shù)目。令di,in=argin(d?i(j)(7)假設di,ink?d,k?d=axdax?i,din(8)那么說明已

9、存在的輸入附屬函數(shù)不克不及有用地分別輸入空間。因此,必要增長一條新的模糊規(guī)矩,不然,不雅測數(shù)據(jù)可以由已存在的間隔它比來的rbf單位表現(xiàn)。此中:k?d是可包容界限的有用半徑;dax是輸入空間的最大長度;din是所體貼的最小長度;(01)是衰減因子。傳統(tǒng)的學習算法把偏向淘汰率(err)5用于網絡生長后的修剪歷程,算法會由于修剪歷程而增長盤算包袱,低落學習速率。本文把偏向淘汰率用于生長歷程形成一種新的生長準那么,算法無須顛末修剪歷程,從而加快網絡的學習歷程。給定n個輸入/輸出數(shù)據(jù)對(x?i,t?i),t=1,2,n,把式(3)看做線性回歸模子的一種特別環(huán)境,該線性回歸模子為t(i)=?uj=1h?j

10、(i)?j+(i)(9)式(9)可簡寫為d=h+e(10)d=t?tr?n是盼望輸出,h=?tr?nu是回歸量,=?tr?u是權值向量,而且假設er?n是與回歸量不相干的偏向向量。對付矩陣,假設它的行數(shù)大于列數(shù),通過qr剖析:h=pq(11)可把h變更成一組正交基向量集p=p?1,p?2,p?ur?nu,其維數(shù)與h的維數(shù)雷同,各列向量組成正交基,qr?uu是一個上三角矩陣。通過這一變更,有大概從每一基向量盤算每一個重量對盼望輸出能量的孝敬。把式(11)代入式(10)?可得d=pq+e=pg+e(12)g的線性最小二乘解為g=(p?tp)?-1p?td,或g?k=p?t?kdp?t?kp?k;k

11、=1,2,u(13)q和滿意下面的方程:q=g(14)當kl時,p?k和p?l正交,d的平方和由式(15)給出:d?td=?uk=1g?2?kp?t?kp?k+e?te(15)去掉均值后,d的方差由式(16)給出:n?-1d?td=n?-1?uk=1g?2?kp?t?kp?k+n?-1e?te(16)由式(16)可以看到,n?-1?uk=1g?2?kp?t?kp?k是由回歸量p?k所造成的盼望輸出方差的一部門。因此,p?k的偏向落落率可以界說如下:err?k=g?2?kp?t?kp?kd?td,1ku(17)把式(13)代入式(17)可得err?k=(p?t?kd)?2p?t?kp?kd?td

12、,1ku(18)式(18)為探求緊張回歸量子集提供了一種簡樸而有用的要領,其意義在于err?k展現(xiàn)了p?k和d的相似性。err?k值越大,表現(xiàn)p?k和d的相似度越大,且p?k對付輸出影響越明顯。利用err界說泛化因子(gf),gf可以查驗算法的泛化本領,并進一步簡化和加快學習歷程。界說:gf=?uk=1err?k(19)假設gf2.2參數(shù)調解必要留意的是,不管是新天生的隱節(jié)點照舊已存在的隱節(jié)點,都必要對網絡參數(shù)舉行調解。傳統(tǒng)的要領是利用lls10要領對網絡參數(shù)舉行調解,本文提出利用ekf要領調治網絡的參數(shù)。由于lls要領在確定最優(yōu)參數(shù)時盤算簡樸、速率快,但該要領對噪聲敏感,其學習速率隨著信噪比

13、的增長而落落。別的,與lls要領相干的題目是其求解大概是病態(tài)的,這使得參數(shù)預計變得很困難。ekf要領由于其自順應歷程比力龐大,盤算速率沒有l(wèi)ls要領快,但是ekf要領在噪聲環(huán)境下具有魯棒性,利用ekf要領可以實現(xiàn)一種結實的在線學習算法。網絡參數(shù)可以用下面的ekf11要領舉行調解。終究上,網絡的參數(shù)向量可以看做一個非線性體系的狀態(tài),并用下面的方程形貌:?i=i-1t?i=h(i-1,x?i)+e?i(20)在當前的預計值i-1處將非線性函數(shù)h(i-1,x?i)睜開,那么狀態(tài)模子可以重寫為?i=i-1t?i=h?ii-1+?i+e?i(21)此中:?i=h(i-1,x?i)-h?ii-1+?i。h

14、?i是如下的梯度向量:h?i=?h(,x?i)?|=i-1(22)參數(shù)向量利用下面的擴展卡爾曼濾波算法更新:k?i=pi-1h?t?ih?ipi-1h?t?i+r?i?-1?i=i-1+k?i(t?i-h(i-1,x?i)p?i=pi-1-k?ih?ipi-1+q?i(23)此中:k?i是卡爾曼增益矩陣;p?i是迫近偏向方差陣;r?i是量測噪聲方差陣;q?i是歷程噪聲方差陣。全局擴展卡爾曼濾波算法會涉及大型矩陣運算,增長盤算包袱,因此可以將全局題目分別為一系列子題目從而簡化全局要領。網絡的前件部門具有非線性特性,利用擴展卡爾曼濾波算法對其舉行調解;網絡的后件部門具有線性特性,利用卡爾曼濾波算法

15、對其舉行調解,該要領等同于將全局要領簡化為一系列解耦要領,可以低落盤算包袱。由于高斯函數(shù)的中央對體系的性能影響不顯著,為了簡化盤算,只對高斯附屬函數(shù)的寬度舉行調解。前件參數(shù)利用如下的擴展卡爾曼濾波算法更新:k?i=p?i-1g?t?ir?i+g?ip?i-1g?t?i?-1?i=i-1+k?i(t?i-i-1?i)p?i=p?i-1-k?ig?ip?i-1+q?i(24)后件參數(shù)利用如下的卡爾曼濾波算法更新:k?i=p?i-1?t?ir?i+?ip?i-1?t?i?-1?i=i-1+k?i(t?i-i-1?i)p?i=p?i-1-k?i?ip?i-1+q?i(25)2.3模糊規(guī)矩的增長歷程在s

16、fnn學習算法中,模糊規(guī)矩增長歷程如下:a)初始參數(shù)分派。當?shù)玫降谝粋€不雅測數(shù)據(jù)(x?1,t?1)時,此時的網絡還沒有創(chuàng)立起來,因此這個數(shù)據(jù)將被選為第一條模糊規(guī)矩:?0=x?0,?1=?0,?1=t?1。此中?0是預先設定的常數(shù)。b)生長歷程。當?shù)玫降趇個不雅測數(shù)據(jù)(x?i,t?i)時,假設在第三層中已存在u個隱含神經元,根據(jù)式(4)(7)和(19),別離盤算e?i、di,in、gf。假設e?ik?e,di,ink?d,且gf那么增長一個新的隱含神經元。此中k?e、k?d別離在式(5)和(8)中給出。新增長的隱含神經元的中央、寬度和權值賦值為:u+1=x?i,u+1=k?0di,in,u+1=

17、e?i,此中k?0(k?01)是重疊?因子。)參數(shù)調解。當增長新神經元后,全部已有神經元的參數(shù)通過式(24)(25)形貌的算法調解。3仿真研究時間序列猜測在辦理很多現(xiàn)實題目中黑白常緊張的。它在經濟猜測、信號處置懲罰等很多范疇都得到了普及應用。本文接納的時間序列由akey-glass差分耽誤方程產生,其方程界說為5x(t+1)=(1-a)x(t)+bx(t-)1+x?10(t-)(27)為了可以或許與文獻5,6在雷同的底子上舉行比力,取值?t=p=6,式(27)中的參數(shù)選擇為:a=0.1,b=0.2,=17。猜測模子表現(xiàn)為x(t+6)=fx(t),x(t-6),x(t-12),x(t-18)(2

18、8)為了得到時間序列,利用式(27)天生2000個數(shù)據(jù),式(27)的初始條件為:x(0)=1.2。為了練習和測試,在t=124和t=?1123之間選擇1000個樣本作為式(28)的輸入/輸出樣本數(shù)據(jù)。利用前500個數(shù)據(jù)對作為練習數(shù)據(jù)集,反面的500個數(shù)據(jù)對驗證該模子的猜測性能。圖2表現(xiàn)了sfnn天生的模糊規(guī)矩數(shù);圖3表現(xiàn)了從t=124到t=623的練習效果;圖4表現(xiàn)了sfnn精良的猜測性能。表1列出了sfnn與其他算法的比力效果。表1表現(xiàn),與ls、rbf-afs算法比擬,sfnn具有最少的規(guī)矩數(shù)、最小的偏向和精良的泛化本領,同時具有快速的學習速率。sfnn的快速性就在于:接納無須修剪歷程的生長

19、準那么,加快了網絡學習歷程;利用擴展卡爾曼濾波調解網絡的參數(shù),可以收縮網絡的學習周期。從上面的闡發(fā)可以看出,sfnn具有緊湊的布局、快速的學習速率、精良的迫近精度和泛化本領。4竣事語sfnn接納在線學習要領、參數(shù)預計和布局辨識同時舉行,進步了網絡的學習速率?；谠撘I天生的模糊神經網絡具有緊湊的布局,網絡布局不會連續(xù)增長,制止了過擬合及過練習征象,確保了體系的泛化本領。參考文獻:1huanghuan,ung-xin.apprxiatinapabilitiesfultilayerfuzzyneuralnetrksnthesetffuzzy-valuedfuntinsj.infratinsiene

20、s,2022,179(16):2762-2773.2dengxing-sheng,angxin-zhu.inreentallearningfdynaifuzzyneuralnetrksfrauratesystedelingj.fuzzysetsandsystes,2022,160(7):972-987.3韋玉科,汪仁煌,李江平,等.一種新的數(shù)據(jù)智能化處置懲罰算法j.盤算機應用研究,2022,25(5):1328-1329.4hensheng,hngxia,lukbl,etal.rthgnal-least-squaresregressin:aunifiedapprahfrdatadelingj.neurpu-?ting,2022,72(10-12):2670-2681.?5hens,anfn,grantp.rthgnalleastsquareslearningalgrithfrradialbasisfuntinnetrksj.ieeetransnneuralnetrks,1991,2(2):302-309.6hkb,angbh.radialbasisfuntinbasedadaptiv