高級神經(jīng)網(wǎng)絡

1、第第8章章 高級神經(jīng)網(wǎng)絡高級神經(jīng)網(wǎng)絡經(jīng)驗知識基礎經(jīng)驗知識基礎模糊集模糊集隸屬度函數(shù)隸屬度函數(shù)模糊規(guī)則設計模糊規(guī)則設計模糊系統(tǒng)模糊系統(tǒng) 模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡既有聯(lián)系又有區(qū)別，模糊系統(tǒng)與模糊神經(jīng)網(wǎng)絡既有聯(lián)系又有區(qū)別，其聯(lián)系表現(xiàn)為模糊神經(jīng)網(wǎng)絡在本質上是模糊系統(tǒng)其聯(lián)系表現(xiàn)為模糊神經(jīng)網(wǎng)絡在本質上是模糊系統(tǒng)的實現(xiàn)，其區(qū)別表現(xiàn)為模糊神經(jīng)網(wǎng)絡又具有神經(jīng)的實現(xiàn)，其區(qū)別表現(xiàn)為模糊神經(jīng)網(wǎng)絡又具有神經(jīng)網(wǎng)絡的特性網(wǎng)絡的特性 神經(jīng)網(wǎng)絡與模糊系統(tǒng)的比較見表神經(jīng)網(wǎng)絡與模糊系統(tǒng)的比較見表8-1。模糊神經(jīng)。模糊神經(jīng)網(wǎng)絡充分地利用了神經(jīng)網(wǎng)絡和模糊系統(tǒng)各自的優(yōu)網(wǎng)絡充分地利用了神經(jīng)網(wǎng)絡和模糊系統(tǒng)各自的優(yōu)點，因而受到了重視點，因而受到

2、了重視模糊系統(tǒng)模糊系統(tǒng)神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡獲取知識獲取知識專家經(jīng)驗專家經(jīng)驗算法實例算法實例推理機制推理機制啟發(fā)式搜索啟發(fā)式搜索并行計算并行計算推理速度推理速度低低高高容錯性容錯性低低非常高非常高學習機制學習機制歸納歸納調整權值調整權值自然語言自然語言實現(xiàn)實現(xiàn)明確的明確的不明顯不明顯自然語言自然語言靈活性靈活性高高低低表表8-1 模糊系統(tǒng)與神經(jīng)網(wǎng)絡的比較模糊系統(tǒng)與神經(jīng)網(wǎng)絡的比較 u 將神經(jīng)網(wǎng)絡的學習能力引到模糊系統(tǒng)中，將模糊系將神經(jīng)網(wǎng)絡的學習能力引到模糊系統(tǒng)中，將模糊系統(tǒng)的模糊化處理、模糊推理、精確化計算通過分布式的統(tǒng)的模糊化處理、模糊推理、精確化計算通過分布式的神經(jīng)網(wǎng)絡來表示是實現(xiàn)模糊系統(tǒng)自組織、

3、自學習的重要神經(jīng)網(wǎng)絡來表示是實現(xiàn)模糊系統(tǒng)自組織、自學習的重要途徑途徑u 在模糊神經(jīng)網(wǎng)絡中，神經(jīng)網(wǎng)絡的輸入、輸出節(jié)點用在模糊神經(jīng)網(wǎng)絡中，神經(jīng)網(wǎng)絡的輸入、輸出節(jié)點用來表示模糊系統(tǒng)的輸入、輸出信號，來表示模糊系統(tǒng)的輸入、輸出信號，神經(jīng)網(wǎng)絡的隱含節(jié)神經(jīng)網(wǎng)絡的隱含節(jié)點用來表示隸屬函數(shù)和模糊規(guī)則點用來表示隸屬函數(shù)和模糊規(guī)則，利用神經(jīng)網(wǎng)絡的并行，利用神經(jīng)網(wǎng)絡的并行處理能力使得模糊系統(tǒng)的推理能力大大提高處理能力使得模糊系統(tǒng)的推理能力大大提高v 模糊神經(jīng)網(wǎng)絡在本質上是將常規(guī)的神經(jīng)網(wǎng)絡賦予模糊神經(jīng)網(wǎng)絡在本質上是將常規(guī)的神經(jīng)網(wǎng)絡賦予模糊輸入信號和模糊權值模糊輸入信號和模糊權值，其學習算法通常是神經(jīng)，其學習算法通常是

4、神經(jīng)網(wǎng)絡學習算法或其推廣。模糊神經(jīng)網(wǎng)絡技術已經(jīng)獲網(wǎng)絡學習算法或其推廣。模糊神經(jīng)網(wǎng)絡技術已經(jīng)獲得了廣泛的應用，當前的應用主要集中在以下幾個得了廣泛的應用，當前的應用主要集中在以下幾個領域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模糊領域：模糊回歸、模糊控制、模糊專家系統(tǒng)、模糊矩陣方程、模糊建模和模糊模式識別矩陣方程、模糊建模和模糊模式識別v 模糊神經(jīng)網(wǎng)絡是將模糊系統(tǒng)和神經(jīng)網(wǎng)絡相結合而模糊神經(jīng)網(wǎng)絡是將模糊系統(tǒng)和神經(jīng)網(wǎng)絡相結合而構成的網(wǎng)絡。利用構成的網(wǎng)絡。利用rbfrbf網(wǎng)絡與模糊系統(tǒng)相結合，構網(wǎng)絡與模糊系統(tǒng)相結合，構成了模糊成了模糊rbfrbf網(wǎng)絡網(wǎng)絡 (o) ixif)(1第二層：隸屬函數(shù)層，即模糊化

5、層第二層：隸屬函數(shù)層，即模糊化層該層的每個節(jié)點具有隸屬函數(shù)的功能，采用高斯該層的每個節(jié)點具有隸屬函數(shù)的功能，采用高斯函數(shù)作為隸屬函數(shù)。對第函數(shù)作為隸屬函數(shù)。對第j個節(jié)點：個節(jié)點：其中其中和和分別是第分別是第i個輸入變量的第個輸入變量的第j個模糊集個模糊集合高斯函數(shù)的均值和標準差。合高斯函數(shù)的均值和標準差。2212)()(jijjbcifnet)exp(),(22jnetjifijcjbnj(i,j)f(j)f123niinn1 其中其中 ， 為輸入層中第為輸入層中第i個輸入隸屬個輸入隸屬函數(shù)的個數(shù)，即模糊化層節(jié)點數(shù)。函數(shù)的個數(shù)，即模糊化層節(jié)點數(shù)。in, njjfjlwfwlf1334,)(wi

6、jcjbwijcjb圖圖8-2 模糊模糊rbf神經(jīng)網(wǎng)絡逼近神經(jīng)網(wǎng)絡逼近 取取 ， 和和 分別表示網(wǎng)絡分別表示網(wǎng)絡輸出輸出和和理想輸出理想輸出。網(wǎng)絡的輸入為。網(wǎng)絡的輸入為u(k)和和y(k)，網(wǎng)絡的輸出為網(wǎng)絡的輸出為 ，則網(wǎng)絡逼近誤差為：，則網(wǎng)絡逼近誤差為： 采用采用梯度下降法梯度下降法來修正可調參數(shù)，定義目來修正可調參數(shù)，定義目標函數(shù)為：標函數(shù)為： 4fkym kym ky kym kykykem 221kee 網(wǎng)絡的學習算法如下：網(wǎng)絡的學習算法如下： 輸出層的權值通過如下方式來調整輸出層的權值通過如下方式來調整: 3fkewyyeeewekwmm則輸出層的權值學習算法為：則輸出層的權值學習算

7、法為： 211kwkwkwkwkw其中其中 為學習速率，為學習速率， 為動量因子為動量因子輸入隸屬函數(shù)參數(shù)修正算法為：輸入隸屬函數(shù)參數(shù)修正算法為：2222)(2ijijijijjjijijbcxcnetnetecec3222)(2jijijjjjjjbcxbnetnetebeb其中其中 322233222wfkenetffffykenetykenetejmjmjj 211kckckckckcijijijijij 211kbkbkbkbkbjjjjj隸屬函數(shù)參數(shù)學習算法為：隸屬函數(shù)參數(shù)學習算法為：8.1.3 仿真實例仿真實例 使用模糊使用模糊rbf網(wǎng)絡逼近對象：網(wǎng)絡逼近對象：其中采樣時間為其中采

8、樣時間為1ms1ms。 模糊模糊rbf網(wǎng)絡逼近程序見網(wǎng)絡逼近程序見chap8_1.m。 23) 1(1) 1()()(kykykuky8.2pi-sigma神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡模糊建模技術缺點是模糊建模技術缺點是過分地依賴隸屬函數(shù)過分地依賴隸屬函數(shù)的準確性的準確性。采用高木。采用高木-關野模糊系統(tǒng)，用一關野模糊系統(tǒng)，用一種混合型的種混合型的pi-sigma神經(jīng)網(wǎng)絡，可以建立一神經(jīng)網(wǎng)絡，可以建立一種自適應能力很強的模糊模型。這種模型不種自適應能力很強的模糊模型。這種模型不但實現(xiàn)了模糊模型的但實現(xiàn)了模糊模型的自動更新自動更新，而且能不斷，而且能不斷修正修正各模糊子集的各模糊子集的隸屬函數(shù)隸屬函數(shù)，使模

9、糊建模更，使模糊建模更具合理性。具合理性。8.2.1高木高木-關野模糊系統(tǒng)關野模糊系統(tǒng) 在高木在高木-關野模糊系統(tǒng)中，高木和關野用關野模糊系統(tǒng)中，高木和關野用以下以下“ ”“ ”規(guī)則的形式來定義模糊系統(tǒng)規(guī)則的形式來定義模糊系統(tǒng)的規(guī)則：的規(guī)則：if is ， is ， ， is then ir1xia12xia2nxinakikiiixpxppy110thenif 對于輸入向量，高木對于輸入向量，高木-關野模糊系統(tǒng)的各規(guī)關野模糊系統(tǒng)的各規(guī)則輸出則輸出等于各等于各的加權平均：的加權平均：miimiiinyy11nyiy式中，加權系數(shù)式中，加權系數(shù) 包括了規(guī)則包括了規(guī)則 作用于輸作用于輸入所取得的值

10、。入所取得的值。iir jkiixaij18.2.2混合型混合型pi-sigma神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 常規(guī)的前向型神經(jīng)網(wǎng)絡含有求和節(jié)點，這常規(guī)的前向型神經(jīng)網(wǎng)絡含有求和節(jié)點，這給處理某些復雜問題帶來了困難。給處理某些復雜問題帶來了困難。 一種基于混合型一種基于混合型pi-sigma神經(jīng)網(wǎng)絡模型如圖神經(jīng)網(wǎng)絡模型如圖8-5所示，在該網(wǎng)絡中，輸入神經(jīng)元有所示，在該網(wǎng)絡中，輸入神經(jīng)元有4個，個，s、p和和分別表示相加、相乘和相乘運算。分別表示相加、相乘和相乘運算。ssssssssppppppppsn lp lp ln lp ln lp ln lk1k2k3k4x1x2x4x3pi0pi1pi2pi3pi41

11、i1yi圖圖8-5具有具有4個輸入的混合型個輸入的混合型pi-sigma神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 miaaaamiiiiiiaaaamiimiiinxxxxxpxpxpxppxxxxyyiiiiiiii14321144332211043211143214321顯然，這種結構的神經(jīng)網(wǎng)絡屬于高木顯然，這種結構的神經(jīng)網(wǎng)絡屬于高木-關野模糊系統(tǒng)關野模糊系統(tǒng)采用該網(wǎng)絡實現(xiàn)的模糊系統(tǒng)可方便地在線修正隸屬函采用該網(wǎng)絡實現(xiàn)的模糊系統(tǒng)可方便地在線修正隸屬函數(shù)和參數(shù)，適合于復雜系統(tǒng)的模糊預測和控制。數(shù)和參數(shù)，適合于復雜系統(tǒng)的模糊預測和控制。 為方便神經(jīng)網(wǎng)絡的學習，各模糊子集的隸屬函數(shù)為方便神經(jīng)網(wǎng)絡的學習，各模糊子集的隸屬

12、函數(shù)均取高斯型，即：均取高斯型，即： 網(wǎng)絡的輸出為：網(wǎng)絡的輸出為：ijijjabcxij/exp2混合型混合型pi-sigma神經(jīng)網(wǎng)絡學習算法：神經(jīng)網(wǎng)絡學習算法：假設網(wǎng)絡的期望輸出為假設網(wǎng)絡的期望輸出為，定義代價函數(shù)，定義代價函數(shù)221ndyyedy根據(jù)梯度下降法有：根據(jù)梯度下降法有： ijijijpekpkp1ijimiiindijmiimiiindijnnijpyyypyyypyyepe111 miiindijijijijyykppekpkp11其中其中 ijijijaekckc1 ijijijbekbkb1對對 有：有：ijijbc ,其中其中ijiinnijnnijcyyecyyece

13、ijiijjmiimiiimiiindbcxyyyy221112221111ijijjimiimiiimiiindijiinnijnnijbcxyyyybyyebyyebe 222111ijiijjmiimiiimiiindbcxyyyy 211121miiijiijjmiiimiiindijijbcxyyyykckc其中、為學習速率 2122111miiijiijjmiiimiiindijijbcxyyyykbkb8.2.3仿真實例仿真實例使用混合型使用混合型pi-sigma神經(jīng)網(wǎng)絡逼近對象：神經(jīng)網(wǎng)絡逼近對象：23) 1(1) 1()()(kykykuky混合型混合型pi-sigma神經(jīng)網(wǎng)絡

14、神經(jīng)網(wǎng)絡逼近逼近程序見程序見chap8_2.m8.3 8.3 小腦模型神經(jīng)網(wǎng)絡小腦模型神經(jīng)網(wǎng)絡8.3.1cmac概述概述小腦模型神經(jīng)網(wǎng)絡小腦模型神經(jīng)網(wǎng)絡（cmac-cerebellarmodelarticulationcontroller）是一種表達）是一種表達復雜非線性函數(shù)的表格查詢型自適應神經(jīng)網(wǎng)復雜非線性函數(shù)的表格查詢型自適應神經(jīng)網(wǎng)絡，該網(wǎng)絡可通過學習算法改變表格的內容絡，該網(wǎng)絡可通過學習算法改變表格的內容，具有信息分類存儲的能力。，具有信息分類存儲的能力。cmac比其它神經(jīng)網(wǎng)絡的優(yōu)越性體現(xiàn)在比其它神經(jīng)網(wǎng)絡的優(yōu)越性體現(xiàn)在l 小腦模型是基于局部學習的神經(jīng)網(wǎng)絡，它把信息存儲小腦模型是基于局部學

15、習的神經(jīng)網(wǎng)絡，它把信息存儲在局部結構上，使每次修正的權極少，在保證函數(shù)非線性在局部結構上，使每次修正的權極少，在保證函數(shù)非線性逼近性能的前提下，學習速度快，適合于實時控制逼近性能的前提下，學習速度快，適合于實時控制l 具有一定的泛化能力，即所謂相近輸入產生相近輸出，具有一定的泛化能力，即所謂相近輸入產生相近輸出，不同輸入給出不同輸出不同輸入給出不同輸出l具有連續(xù)（模擬）輸入輸出能力具有連續(xù)（模擬）輸入輸出能力l采用尋址編程方式，在利用串行計算機仿真時，它將使采用尋址編程方式，在利用串行計算機仿真時，它將使響應速度加快響應速度加快l cmac函數(shù)非線性逼近器對學習數(shù)據(jù)出現(xiàn)的次序不敏感函數(shù)非線性逼

16、近器對學習數(shù)據(jù)出現(xiàn)的次序不敏感8.3.2一種典型一種典型cmac算法算法cmac網(wǎng)絡由輸入層，中間層和輸出層組成。網(wǎng)絡由輸入層，中間層和輸出層組成。在輸入層與中間層、中間層與輸出層之間分別為在輸入層與中間層、中間層與輸出層之間分別為由設計者預先確定的輸入層非線性映射和輸出層由設計者預先確定的輸入層非線性映射和輸出層權值自適應性線性映射。權值自適應性線性映射。 cmac神經(jīng)網(wǎng)絡的設計主要包括輸入空間的神經(jīng)網(wǎng)絡的設計主要包括輸入空間的化分、輸入層至輸出層非線性映射的實現(xiàn)及輸出化分、輸入層至輸出層非線性映射的實現(xiàn)及輸出層權值學習算法。層權值學習算法。cmac是前饋網(wǎng)絡，輸入輸出之間的非線是前饋網(wǎng)絡，

17、輸入輸出之間的非線性關系由以下兩個基本映射實現(xiàn)。性關系由以下兩個基本映射實現(xiàn)。（1）概念映射（）概念映射（uac）概念映射是從輸入空間概念映射是從輸入空間u至概念存儲器至概念存儲器ac的映射。的映射。設輸入空間向量為設輸入空間向量為，量化編碼為量化編碼為，輸入空間映射至，輸入空間映射至ac中中c個存儲個存儲單元（單元（c為二進制非零單元的數(shù)目）。為二進制非零單元的數(shù)目）。tnp2p1ppu,u,uupucjpjjnuswy1)(cjjnwy1 cmac采用的學習算法如下采用的學習算法如下： 采用采用學習規(guī)則調整權值，權值調整指學習規(guī)則調整權值，權值調整指標為標為2)(21tece )()()(

18、tytrte由梯度下降法，權值按下式調整：由梯度下降法，權值按下式調整：其中其中ctewyctytrwetwj)()()()()2() 1()(1)-(t(t)twtwtwwwjjjjjtcpwwww21其中 為慣性系數(shù) 8.3.3 仿真實例仿真實例采用采用cmac網(wǎng)絡逼近非線性對象：網(wǎng)絡逼近非線性對象： ) 1(1/() 1() 1()(23kykykuky取取u(k)作為網(wǎng)絡的輸入，采用線性化函數(shù)對輸入作為網(wǎng)絡的輸入，采用線性化函數(shù)對輸入狀態(tài)進行量化，實現(xiàn)狀態(tài)進行量化，實現(xiàn)cmac的概念映射：的概念映射： 其中其中xmin和和xmax輸入的最大最小值，輸入的最大最小值，m為為xmax量化后

19、所對應量化后所對應的最大值，的最大值，round()round()為四舍五入的為四舍五入的matlabmatlab函數(shù)。函數(shù)。minmaxmin)()(xxmxkuroundks采用雜散編碼技術中的除留余數(shù)法實現(xiàn)采用雜散編碼技術中的除留余數(shù)法實現(xiàn)cmac的的實際映射。設雜湊表長為實際映射。設雜湊表長為m，以元素值，以元素值s(k)+i除以某除以某數(shù)數(shù)n（n=m）后所得余數(shù)）后所得余數(shù)+1作為雜湊地址，實現(xiàn)了作為雜湊地址，實現(xiàn)了實際映射，即實際映射，即 1mod n)i (s(k)iad其中其中。在仿真中，取在仿真中，取m=100，n=7，取泛化參數(shù)，取泛化參數(shù)c=7, =1.5, =0.05。

20、cmac網(wǎng)絡逼近程序為網(wǎng)絡逼近程序為chap8_3.mc,1,2,iiriciiiuivi.jrjcjijujvj1r1c1i1u1v1. . . .ijw 對于對于hopfieldhopfield神經(jīng)網(wǎng)絡第神經(jīng)網(wǎng)絡第i i個神經(jīng)元，采用微分方個神經(jīng)元，采用微分方程建立其輸入輸出關系，即：程建立其輸入輸出關系，即： iiiiinjjijiiugviruvwdtduc1ni,.,2,1 sseesg11tnuuu,.,21utnvvv,.,v21tniii,.,21i iiiiviiijjiijnvidvvgrvvwei01121若權值矩陣 是對稱的（ ），則wjiijww iiiiijiiij

21、ijiniiindtducdtdviruvwdtdvtvvedtde1由于 ,則 iiugv iiiiindtdvdvvdgcdtde21由于由于，雙曲函數(shù)是單調上升函數(shù)，顯然它的反函數(shù)雙曲函數(shù)是單調上升函數(shù)，顯然它的反函數(shù) 也為單調上升函數(shù)，即有也為單調上升函數(shù)，即有，則可得到則可得到，即，即能量函數(shù)能量函數(shù)，具有負的梯度，當且僅當具有負的梯度，當且僅當時時,，（ ）。）。0ic ivg1 01iidvvdg0dtde0dtdvi0dtdenni,.,2 , 1ne 由此可見，隨著時間的演化，網(wǎng)絡的解在由此可見，隨著時間的演化，網(wǎng)絡的解在狀態(tài)空間中總是朝著能量狀態(tài)空間中總是朝著能量e en

22、n減少的方向運動。減少的方向運動。網(wǎng)絡最終輸出向量網(wǎng)絡最終輸出向量v v為網(wǎng)絡的穩(wěn)定平衡點，即為網(wǎng)絡的穩(wěn)定平衡點，即e en n的極小點。的極小點。8.4.2 8.4.2 基于基于hopfield網(wǎng)絡的自適應控制網(wǎng)絡的自適應控制 1. 系統(tǒng)描述系統(tǒng)描述 被控對象為一階系統(tǒng)：uj即 其中 為轉動慣量， 為控制輸入，實際速度為 。ujn1jun取速度指令為取速度指令為，將控制器設計為，將控制器設計為“p控控制制+前饋控制前饋控制 ”的形式：的形式：整理得：整理得：ddndfdpnknnku)(dfppdfdpnjkjknjknjknnjkn)(令 , , jk1pkf fpkkg則 dkgnkfn

23、n其中其中f f和和g g為待定控制器參數(shù)，可采用為待定控制器參數(shù)，可采用hopfieldhopfield網(wǎng)絡進行辨識。網(wǎng)絡進行辨識。 2. 基于基于hopfield網(wǎng)絡的控制器優(yōu)化網(wǎng)絡的控制器優(yōu)化所采用的所采用的hopfield網(wǎng)絡結構如圖網(wǎng)絡結構如圖8-11所示。所示。ijw圖圖8-11hopfield網(wǎng)絡結構網(wǎng)絡結構控制系統(tǒng)的能量函數(shù)取控制系統(tǒng)的能量函數(shù)取將將表達式代入上式并展開得：表達式代入上式并展開得：2)(21nneddddddfgnnkkgnnkfnngknfkne2222222222222121n取取hopfield網(wǎng)絡輸出神經(jīng)元數(shù)為網(wǎng)絡輸出神經(jīng)元數(shù)為2，假設輸入電，假設輸入電阻無窮大，此時阻無窮大，此時hopfield網(wǎng)絡的標準能量函數(shù)為：網(wǎng)絡的標準能量函數(shù)為：21212121iiiijjiijnivvvwe將 展開，得： ne2211222212212112211121ivivvwvvwvvwvwen令 ，得：gvfv21,21222211221121gifigwfgwfgwfwen 當hopfield網(wǎng)絡處于平衡狀態(tài)時，能量函數(shù)最小，由網(wǎng)絡權值對稱得 ，此時2112ww0fefen0gegen02221221112111211211igwfwigwgwfwfen022221222ddgnnknknfnk