第六章神經(jīng)網(wǎng)絡(luò)(2)

1、1李偉生李偉生信科大廈信科大廈19樓樓Tel：2內(nèi)容提要內(nèi)容提要: : 6.1 6.1 感知器（感知器（PerceptionPerception） 6.2 6.2 多層前饋型神經(jīng)網(wǎng)絡(luò)多層前饋型神經(jīng)網(wǎng)絡(luò) 6.3 6.3 誤差逆?zhèn)鞑ニ惴ǎㄕ`差逆?zhèn)鞑ニ惴ǎ˙PBP算法）算法） 6.4 6.4 誤差逆?zhèn)鞑ニ惴ㄕ`差逆?zhèn)鞑ニ惴?BP(BP算法算法) )的若干改進(jìn)的若干改進(jìn) 6.5 6.5 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)36.1.1 單層感知器單層感知器6.1.2 感知器的收斂定理感知器的收斂定理 6.1.3 多層感知器網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)6.1.4 感知器用于分類問題的算例感知器用于分類問題的算例4一

2、、單層感知器網(wǎng)絡(luò)一、單層感知器網(wǎng)絡(luò) 單層感知器神經(jīng)網(wǎng)絡(luò)，輸入向量為X=（X1,X2,Xm），輸出向量為Y=(Y1,Y2,Yn)。 感知器的輸入向量為XRn, 權(quán)值向量為WRn , 單元的輸出為Y1,-1。其中： 其中，X= (X,-1),W= (W,)。 niTWXfTXWfiWiXfY1)()()(0, 10, 1)sgn(TTTWXWXWXY5w21wmjw22wmnw12w11xmx1x2y1y2yn12nw1nw2mwm2wijw2jw1jyjxix1x2xm 圖圖6.1 單層感知器網(wǎng)絡(luò)單層感知器網(wǎng)絡(luò) 圖圖6.2 最簡(jiǎn)單的感知器最簡(jiǎn)單的感知器 wm16單層感知器的學(xué)習(xí)算法：令Wn+1=

3、, Xn+1=-1, 則，具體算法如下： 初始化 給Wi(0)各賦一個(gè)較小的隨機(jī)非零值。這里Wi(t)為t時(shí)刻第i個(gè)輸入的權(quán)值（1in）,Wn+1(t)為t時(shí)刻的閾值。 輸入樣本X=(X1,X2,Xn,T),T 稱為教師信號(hào)，在兩類樣本分類中，如果XA類，則T=1；如果XB類，則T=-1。)(11niiiWXfY7 計(jì)算實(shí)際輸出 修正權(quán)值 Wi(t+1)= Wi(t)+(T-Y(t)Xi i=(1,2,n,n+1) 其中，01用于控制修正速度，通常不能太大，會(huì)影響Wi(t)的穩(wěn)定，也不能太小，會(huì)使Wi(t)的收斂速度太慢。 轉(zhuǎn)到直到W對(duì)一切樣本均穩(wěn)定不變?yōu)橹埂?用單層感知器可實(shí)現(xiàn)部分邏輯函數(shù)，

4、如： X1X2： Y=1X1+1X2-2 即W1=W2=1,=2 X1X2： Y=1X1+1X2-0.5 即W1=W2=1,=0.5 X ： Y=(-1)X1+0.5 即W1=-1，=-0.5)()(11tWXftYniii8三、單層感知器的局限性三、單層感知器的局限性 異或邏輯為 X1X2X1X2 ，假定單層感知器能實(shí)現(xiàn)異或邏輯，那么，Y=W1X1+W2X2-，要求： 表表 6.1 異或邏輯異或邏輯 011110101000輸出 輸入樣本9 W1+W2- 0W1+W2 0+0- 00 0+W2-0W2 (a) XOR 邏輯邏輯 (b)AND邏輯邏輯 (c) OR邏輯邏輯 圖圖 6.3 線性可

5、分性線性可分性 (0,0)(0,0)(0,0)(0,1)(0,1)(0,1)(1,1)(1,1)(1,1)(1,0)(1,0)(1,0)10 一、線性可分函數(shù)一、線性可分函數(shù) 對(duì)給定的X和Y，存在W和和線性映像函數(shù)f ，使得： f：Rn 1,-1, XRn, 則稱 f為線性可分函數(shù)。 所謂的線性可分是指存在一個(gè)超平面（二 維為一條直線）能將兩類樣本分開。 對(duì)于上面的異或邏輯可用一個(gè)平面將其輸出類別分開。平面方程為： X1W1+X2W2+X3W3=， X1W1+X2W2+(X1X2)W3=。11 表表6.2 三維異或邏輯三維異或邏輯0111110010100000輸出輸出輸入樣本輸入樣本12圖圖

6、 6.4 異或問題的三維表示異或問題的三維表示 130.51.5輸出單元x x1 1x x2 2輸入單元隱含單元x x3 3+1+1+1+1 -214 二、定理二、定理 感知器收斂定理感知器收斂定理 若函數(shù)f是線性可分的，則感知器的學(xué)習(xí)算法在有限次疊代后收斂。(證明略) 15一、多層感知器網(wǎng)絡(luò)一、多層感知器網(wǎng)絡(luò) 兩個(gè)隱層感知器的輸入層有n個(gè)節(jié)點(diǎn)，第一隱層有n1個(gè)節(jié)點(diǎn)，第二隱層有n2個(gè)節(jié)點(diǎn)，各層節(jié)點(diǎn)的輸出為： (j=1,2,n1) (k=1,2,n2)nijiijjXWfY11)(1112)(njkjjkkYWfY21230101)()(nkkknetnetnetfYWfY16 (A) 兩個(gè)隱層

7、的感知器兩個(gè)隱層的感知器 圖圖6.5 多層感知器網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò) Y3 2kY(j= 1,2,.,n1) (k = 1,2,.,n2) 1jY x1 x2 xn 17 二、多層感知器的分類決策能力二、多層感知器的分類決策能力 定理定理 假定隱層的節(jié)點(diǎn)可以根據(jù)需要自由設(shè)置，那么用三層的閾值網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的二值邏輯函數(shù)。 圖6.5(B)中輸出層節(jié)點(diǎn)的輸出為： 此時(shí)隱層與n個(gè)輸入節(jié)點(diǎn)的關(guān)系如同單層感知器一樣，可以形成n1個(gè)n維空間的超平面把n維輸入空間分成一些小的子空間。例如，n=2，n1=3的情況下，隱層第j個(gè)節(jié)點(diǎn)的輸出為： (j=1,2,3)1112)(njjjYWfYnijiijjXWfY

8、11)(18 (B) 一個(gè)隱層的感知器一個(gè)隱層的感知器 圖圖6.5 多層感知器網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò) Y2x1x211Y12Y13Y19l 可以在二維輸入空間上決定三條直線，因?yàn)楦髯缘腤ij和j不同，三條直線的截距和斜率各不相同，如同6.6(A)所示，就可以找到一個(gè)區(qū)域使其內(nèi)為A類，之外為B類，用這三個(gè)隱單元所得到的一個(gè)封閉區(qū)域就可滿足條件。從隱單元到輸出層只要滿足下式即可得到正確劃分。 l 十分明顯，隱節(jié)點(diǎn)到輸出節(jié)點(diǎn)之間為“與”關(guān)系。對(duì)于圖6.6(B)，可以采用有兩個(gè)隱層的感知器來實(shí)現(xiàn)，其中第二隱層節(jié)點(diǎn)到輸出層節(jié)點(diǎn)為“或”關(guān)系，即滿足下式即可。 20 Y2=(X1,X2)(W11X1+W21 X

9、2 -1)0(W12 X1+ W22 X2- 2)0(W13 X1+W23 X2-3)0 Y3=(X1,X2)Y12Y22 3 6 =(X1,X2)(W1jX1+W2j X2 -j )0)(W1j X1 j=1 j=4 +W2j X2- j )0)21 (A) (B) 圖圖6.6 多層感知器對(duì)輸入空間的劃分多層感知器對(duì)輸入空間的劃分 A類AABB22 Y11=1X1+1 X2-1 Y21=(-1) X1+(-1) X2-(-1.5) Y2=1 Y11+1 Y21-2圖圖 6.7 解決異或問題的三層感知器解決異或問題的三層感知器X1X211Y12Y21Y23l 感知器的結(jié)構(gòu)見圖 6.9所示。l

10、圖圖6.9 感知器結(jié)構(gòu)感知器結(jié)構(gòu) Yw1w2x1x224 其中，u = W1X1+W2X2，在此特選定輸出單元為非線性函數(shù)，其輸出為： 輸入模式為：(0.5, 0.05)、(0.05, 0.5) A類 (0.95,0.5)、(0.5,0.95) B類 教師信號(hào)為： BAT分類分類;0;10211)(uueufY25 W1(t+1)=W1(t)+(T-Y)X1 W2(t+1)=W2(t)+(T-Y)X2 (t+1)=(t)+(T-Y) 總的誤差之和為 ：41iiiYTE26NYW和用隨即數(shù)初始化計(jì)算y更新W和輸入一個(gè)學(xué)習(xí)樣本（x,T）樣本全部輸入完嗎？E小于上限嗎？學(xué)習(xí)次數(shù)到嗎？結(jié)束開始YNNY

11、圖圖6.10程序框圖程序框圖27l 表表 6.3 (a) 表表 6.3 (b) 0.95 0.500.500.05X2200最大學(xué)習(xí)次數(shù)最大學(xué)習(xí)次數(shù) 0.01誤差上限誤差上限0.300.010.500.400.010.950.20u00.990.050.10隨機(jī)范圍隨機(jī)范圍0.990.500.20W隨機(jī)范圍隨機(jī)范圍YX1取值取值參數(shù)參數(shù)28100學(xué)習(xí)次數(shù)200誤差 xpb(0,0)(10)(1,0)y(1,1)papbpa501500100200圖圖 6.11 (a) 誤差曲線誤差曲線 (b) 直線變化情況直線變化情況296.2.1 網(wǎng)絡(luò)結(jié)構(gòu)及工作過程網(wǎng)絡(luò)結(jié)構(gòu)及工作過程 6.2.2 誤差函數(shù)與

12、誤差曲面誤差函數(shù)與誤差曲面 6.2.3 網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則梯度下降算法梯度下降算法 30 一、學(xué)習(xí)樣本一、學(xué)習(xí)樣本 輸入樣本為：（XK ，TK），其中K1,2,N，N為學(xué)習(xí)樣本數(shù)，XKRn，TKRm。 二、工作過程二、工作過程)()()(1111212312jniiijjknjjjkklnkkkllXWfYYWfYYWfY31 圖圖 6.12 前饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)前饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 31Y3mYklWjkWijW21Y2nY211Y1nY1l k j i x1 x2 xn 32三、非線性單元常采用的轉(zhuǎn)移函數(shù)三、非線性單元常采用的轉(zhuǎn)移函數(shù) 1-1xy1 0.5xy00圖圖6.13 常用的

13、轉(zhuǎn)移函數(shù)常用的轉(zhuǎn)移函數(shù)(a) Sigmoid函數(shù)函數(shù) (b) 雙曲正切函數(shù)雙曲正切函數(shù)33 (0 f(x) 1) 通常增加參數(shù)和來調(diào)整函數(shù)的斜率和使其左右平移， Sigmoid函數(shù)為一單調(diào)遞增連續(xù)函數(shù)，且處處可導(dǎo)，其導(dǎo)數(shù)為： x)(ef(x)xexp1111)(exp(11)(xxf)(1)()( xfxfxf34 Sigmoid函數(shù)通過下式能夠映射到(-1,1)范圍：雙曲正切函數(shù)的表達(dá)式為： ( -1 f(x) 0。存在正整數(shù)N和常數(shù)Ci、i(i=1,2,N)和Wij(i=1,2,N;j=1,2,n)使： (3.3.16) 成立。 此定理說明對(duì)于任意0，存在一個(gè)三層網(wǎng)絡(luò)，其隱單元的輸出函數(shù)為

14、(X)，輸入輸出單元為線性的，對(duì)于任意連續(xù)映射f：RnRm，在任意的有界閉集合上能以任意精度逼近。NinjijijinKXXWCXXXf1121)(),.,(max53 BP算法雖然簡(jiǎn)單，對(duì)各個(gè)方面都有重要意義，但是它存在有以下問題： 1從數(shù)學(xué)上看它是一個(gè)非線性優(yōu)化的問題，這就不可避免地存在局部極小的問題。 2學(xué)習(xí)算法的收斂速度很慢，通常需要幾千步迭代或更多。 3網(wǎng)絡(luò)的運(yùn)行還是單向傳播，沒有反饋，目前這種模型并不是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，只是一個(gè)非線性映射。 4網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)目選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗(yàn)或?qū)嶒?yàn)選取。 5對(duì)于新加入的樣本要影響已經(jīng)學(xué)完的樣本，不能在線學(xué)習(xí)，同時(shí)描述每一個(gè)樣本

15、的特征數(shù)目也要求必須相同。 546.4.1 基于全局學(xué)習(xí)速率自適應(yīng)調(diào)整的基于全局學(xué)習(xí)速率自適應(yīng)調(diào)整的BP算法算法 6.4.2 基于局部學(xué)習(xí)速率自適應(yīng)調(diào)整的基于局部學(xué)習(xí)速率自適應(yīng)調(diào)整的BP算法算法 6.4.3 BI(Back Impedance)算法算法 55 1加入動(dòng)量項(xiàng) 其中，為動(dòng)量系數(shù)，一般取0.9左右。 引入這個(gè)動(dòng)量項(xiàng)之后，使得調(diào)節(jié)向著底部的平均方向變化，不致產(chǎn)生大的擺動(dòng)，即動(dòng)量起到緩沖平滑的作用。若系統(tǒng)進(jìn)入誤差曲面的平坦區(qū)，那么誤差將變化很小，于是(t+1)近似等于(t) ，而平均的將變?yōu)椋?式中- / (1- )變化大，將調(diào)節(jié)盡快脫離飽和區(qū)和截至區(qū)。 )() 1(twwEtwwEw1

16、562學(xué)習(xí)速率的經(jīng)驗(yàn)公式法 對(duì)于批處理更新的學(xué)習(xí)速率，是基于相類似訓(xùn)練模式產(chǎn)生類似梯度的假設(shè)。 =1.5 / =0.9 3學(xué)習(xí)速率漸小法 從大的學(xué)習(xí)速率(0)開始，在訓(xùn)練期間，這個(gè)值減小到大約(0)/(t+1)，后來為 (t) = (0)/(t+1)22221mNNN 57 4漸進(jìn)自適應(yīng)學(xué)習(xí)速率 用一種簡(jiǎn)單的進(jìn)化策略來調(diào)節(jié)學(xué)習(xí)速率。從某個(gè)值開始，下一步更新通過用增加和減小學(xué)習(xí)速率去完成。產(chǎn)生比較好性能中的一個(gè)被用作為下一步更新的起始點(diǎn)： 創(chuàng)建兩個(gè)一樣的網(wǎng)絡(luò)和初始學(xué)習(xí)速率。按下式調(diào)節(jié)兩個(gè)網(wǎng)絡(luò)的權(quán)。EwEttwijij)()(58l 如果兩者總誤差已經(jīng)得到增加(回溯)，放棄這些網(wǎng)絡(luò)并重新起動(dòng)以前的

17、網(wǎng)絡(luò)和初始學(xué)習(xí)速率。l 在減小總誤差的情況下，用具有比較小的總誤差的網(wǎng)絡(luò)以及學(xué)習(xí)速率以啟動(dòng)下一個(gè)學(xué)習(xí)步。 591基于符號(hào)變換的學(xué)習(xí)速率自適應(yīng) 工作步驟如下： 對(duì)每個(gè)權(quán)值，選擇某個(gè)小初值ij(0)； 修改學(xué)習(xí)速率 ij(t)= ij(t-1) u 如果 否則 01 tEtEijij 1tEttijijijij 1tEttijijijij60 更新連接 只要保持 u1/d，選擇合適的參數(shù)和是很容易的。推薦的值分別是1.1-1.3或者0.7-0.9。如果總誤差增加。用回溯策略重新起動(dòng)更新步驟，對(duì)于這種重新起動(dòng)，所有學(xué)習(xí)速率被減半。 2DeltaBarDelta技術(shù) DeltaBarDelta方法通過

18、觀察指數(shù)平均梯度的符號(hào)變化來控制學(xué)習(xí)速率。通過加入常值代替乘這個(gè)值來提高學(xué)習(xí)速率： 對(duì)每個(gè)權(quán)重，選擇某個(gè)小的初值ij(0)61 修改學(xué)習(xí)速率如果 如果 其他 其中(t)表示指數(shù)平均梯度： utt1ijij01ijttEij dtt1ijij01ijttEij 1ijijtt 11ttEtijijij62 更新連接 對(duì)于u推薦很不同的值(5.0，0.095，0.085，0.035)，對(duì)于d ，采用(0.9，0.85，0.666)和對(duì)于采用0.7。特別是難于找到合適的u ，小的值可能產(chǎn)生慢自適應(yīng)，而大的值危及學(xué)習(xí)過程。 ijijijEtt631BI算法算法 給權(quán)值賦予一個(gè)小的隨機(jī)數(shù)。 給定輸入函數(shù)

19、值與相應(yīng)的輸出函數(shù)值。 計(jì)算每個(gè)節(jié)點(diǎn)的輸出值， 計(jì)算輸出層節(jié)點(diǎn)的誤差項(xiàng)， )exp(11iiijjYWY)1 ()(lllllYYYTlkllkkkWYY)1 (jjkkjjjWYY)1 (64 調(diào)整權(quán)值 Wij(t+1)= Wij(t) + aj Yi + b(Wij(t) - Wij(t-1)+ c(Wij(t-1) - Wij(t-2) 式中，a學(xué)習(xí)率，相當(dāng)于梯度下降算法中的學(xué)習(xí)步長(zhǎng)；b影響從“前一次”權(quán)值改變到“當(dāng)前”權(quán)值的權(quán)值空間運(yùn)動(dòng)方向，是影響權(quán)值變化的一個(gè)常數(shù)；c 影響從“再前一次”權(quán)值改變到“前一次”權(quán)值的權(quán)值空間運(yùn)動(dòng)方向，也是影響權(quán)值變化的常數(shù)。a、b、c三個(gè)常數(shù)滿足下列關(guān)系

20、，則收斂速度會(huì)加快： a= 1 / (1+J+M+D) b= (2J+M) / (J+M+D) c= J / (J+M+D)65 式中J、M、D滿足： 給定另一輸入函數(shù)值，返回。所有的輸入函數(shù)值循環(huán)進(jìn)行計(jì)算，直至所有權(quán)值穩(wěn)定，網(wǎng)絡(luò)誤差達(dá)到預(yù)定精度算法結(jié)束。WEtWDtWMtWJ223366l 圖圖 6.18 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)元輸入端權(quán)值權(quán)值層3權(quán)值層2權(quán)值層1輸入層隱含層隱含層輸出層67 2算法應(yīng)用于函數(shù)非線性變換 網(wǎng)絡(luò)的輸入函數(shù)為： 式中X=0,1，A、B、C是常數(shù)，網(wǎng)絡(luò)的期望輸出函數(shù)為：D=KX+P。取A=0.5, B=0.75, C=3, K=-5, P=12。使用BI算法，運(yùn)行

21、結(jié)果見下表3.6， 精度達(dá)到99.206%。 2.1 ,5.025.022)2exp21(CBXAVi686.5.1 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 6.5.2 網(wǎng)絡(luò)算式及參數(shù)網(wǎng)絡(luò)算式及參數(shù)6.5.3 應(yīng)用應(yīng)用691985年P(guān)owell提出了多變量插值的徑向基函數(shù)(Radial Basis Function, RBF)，1998年Broomhead和Lowe將RBF應(yīng)用于人工神經(jīng)元網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)造了徑向基人工神經(jīng)網(wǎng)絡(luò)（RBFN）。徑向基人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與多層前向人工神經(jīng)網(wǎng)絡(luò)類似，它是一種三層前向人工神經(jīng)網(wǎng)絡(luò)：第一層為輸入層，由信號(hào)源結(jié)點(diǎn)組成；第二層為隱含層，單元數(shù)視所描述問題的需要而定；第三層為輸出層，它對(duì)

22、輸入模式的作用做出響應(yīng)。從輸入空間到隱含層空間的變換是非線性變換，而從隱含層空間到輸出層空間的變換是線性變換。隱含層單元的變換函數(shù)是徑向基函數(shù)(RBF)，它是一種局部分布的相對(duì)中心點(diǎn)徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)。70徑向基神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)(RBF)作為隱單元的基構(gòu)成隱含層空間，將輸入矢量直接（即不通過權(quán)連接）映射到隱空間。當(dāng)徑向基函數(shù)（RBF）中心點(diǎn)確定后，這種映射關(guān)系也就確定了，而隱含層空間到輸出空間的映射是線性的，即輸出是隱單元輸出的線性加權(quán)和，此處的權(quán)為網(wǎng)絡(luò)可調(diào)參數(shù)。由此可見，從總體上看，網(wǎng)絡(luò)由輸入到輸出的映射是非線性的，而網(wǎng)絡(luò)輸出對(duì)可調(diào)參數(shù)而言卻又是線性的，這樣網(wǎng)絡(luò)的

23、權(quán)就可由線性方程組直接解出或用遞推最小二乘（RLS）算法計(jì)算得出，從而大大加快學(xué)習(xí)速度并避免局部極小問題。71 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 2x2x1x 1x nxnx1G2GnG1G2GnGY1Y2YmY72l其中輸入層神經(jīng)元數(shù)為I，隱含層神經(jīng)元數(shù)為H，輸出層神經(jīng)元數(shù)為O；X=(x1,x2,xI)T為輸入向量， Z=(z1,z2,zH)T為隱含層狀態(tài)， Y=(y1,y2,yO)T為輸出向量。 1x2xIx1y2yOy。X輸入層VYWZ隱含層輸出層l自組織RBFN網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)73該網(wǎng)絡(luò)各層含義如下：第一層為輸入層。輸入層神經(jīng)元只起連接作用，不進(jìn)行信號(hào)變換。第二層為隱含層。設(shè)輸

24、入層第i個(gè)神經(jīng)元至隱含層第j個(gè)神經(jīng)元的連接系數(shù)為vij；輸入層神經(jīng)元至隱含層第個(gè)神經(jīng)元的連接系數(shù)矢量Vj=(v1j,v2j,vIj)T，j=1,2,.,H,也即隱含層第個(gè)神經(jīng)元中心矢量為；輸入層神經(jīng)元至隱含層神經(jīng)元的連接系數(shù)矩陣（又稱隱含層中心矢量矩陣）為： 設(shè)自組織徑向基神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元的變換函數(shù)為高斯核，隱含層第j個(gè)神經(jīng)元對(duì)應(yīng)輸入X的狀態(tài)為： 其中， 為隱含層第j個(gè)神經(jīng)元的控制參數(shù)。IHIIHHHvvvvvvvvvVVVV21222211121121),()1 ()2/()(exp|)(|122HjvxVXKZIiiijijj)1 (Hjj74 第三層為輸出層。設(shè)隱含層第j個(gè)神經(jīng)元至輸

25、出層第k個(gè)連接系數(shù)為wjk；隱含層神經(jīng)元至輸出層第k個(gè)神經(jīng)元的連接系數(shù)矢量為Wk=(w1k,w2k,wHk)T；隱含層神經(jīng)元至輸出層神經(jīng)元的連接系數(shù)矩陣為： 徑向基網(wǎng)絡(luò)對(duì)應(yīng)輸入X的輸出Y為： 其中， 為輸出層第個(gè)神經(jīng)元的閾值。HOHHOOOwwwwwwwwwWWWW21222211121121),()1 (1OkZWZWzwyTkkTkHjkjjkk)1 (Okk75 定義定義 假設(shè) ，以x0為中心（原點(diǎn)），x到x0的徑向距離為半徑，形成的核|x- x0 |（如圖所示），構(gòu)成的函數(shù)系 被稱為徑向基函數(shù)。由定義可知，一切以為核的函數(shù)都可以稱為徑向基函數(shù)。但是如果在前饋網(wǎng)絡(luò)隱層單元構(gòu)造非線性函數(shù)，

26、形成徑向基函數(shù)網(wǎng)絡(luò)，那么，該徑向基函數(shù)必須滿足有界性有界性和絕對(duì)可積絕對(duì)可積的條件 .nRxx0,|)(|)(0 xxOxKx0 x1x276 最常用的徑向基函數(shù)形式為高斯函數(shù)，它的可調(diào)參數(shù)有兩個(gè)，即中心位置及方差b（函數(shù)的寬度參數(shù)），用這類函數(shù)時(shí)整個(gè)網(wǎng)絡(luò)的可調(diào)參數(shù)（待訓(xùn)練的參數(shù)）有三組，即各基函數(shù)的中心位置、方差和輸出單元的權(quán)值。通常選擇隱層的節(jié)點(diǎn)數(shù)為訓(xùn)練樣本個(gè)數(shù)，每個(gè)節(jié)點(diǎn)都有一個(gè)徑向基函數(shù)的中心向量，該中心向量即為訓(xùn)練樣本的輸入向量。 CK=| CK1 ,CK2 , CKn | K=1,2,N 隱節(jié)點(diǎn)的凈輸入定義為輸入模式X與隱節(jié)點(diǎn)的徑向基函數(shù)中心向量間的歐氏距離，即：NKCxCXniKi

27、iKK, 2 , 1)(12277 隱層節(jié)點(diǎn)的轉(zhuǎn)移函數(shù)為Gauss函數(shù)： f (x)=exp(-x2 / b)=exp(- 2K / b) Gauss函數(shù)其形狀見圖，其中參數(shù)b控制鐘形高斯曲線寬度的作用，隱層節(jié)點(diǎn)的輸出 yK=f (K) 代表著輸入模式離開該隱節(jié)點(diǎn)所代表的徑向基函數(shù)中心的程度。輸出層節(jié)點(diǎn)數(shù)為輸出向量的維數(shù)，節(jié)點(diǎn)j 的輸出為： 式中 Wj =w1j ,w2j , wNj , Z=z1 , z2 , zN NKjKKjjZWzwY178Gauss函數(shù)函數(shù)xYb=1b=0.5b=0.1-2-10120.5179 RBF網(wǎng)絡(luò)的中心向量和權(quán)值均由學(xué)習(xí)樣本來確定，因輸出單元是線性單元，所以

28、它的權(quán)值可以用最小二乘法直接計(jì)算出來。因此，設(shè)計(jì)一個(gè)RBF網(wǎng)絡(luò)時(shí)只有一個(gè)參數(shù)b需要調(diào)整，即高斯函數(shù)中的平滑因子b，它控制著高斯曲線鐘型的寬度。 RBF 網(wǎng)絡(luò)的中心向量、平滑因子b和權(quán)值w也可由BP算法學(xué)習(xí)訓(xùn)練得到。 80對(duì)于c個(gè)類別的模式識(shí)別問題，每個(gè)類別有Ni (i=1,2,c)訓(xùn)練樣本矢量（總計(jì)有 個(gè)樣本），那么，對(duì)應(yīng)的外監(jiān)督信號(hào)為：ciiNN1NcNNNRDc11000000110000001121 811.模型 雷達(dá)的載頻，重頻，脈寬三個(gè)特征參數(shù)與雷達(dá)體制間存在著聯(lián)系。我們根據(jù)雷達(dá)體制對(duì)雷達(dá)數(shù)據(jù)庫中的雷達(dá)進(jìn)行分類，根據(jù)某雷達(dá)的載頻，重頻，脈寬三個(gè)特征參數(shù)找到該雷達(dá)所在的子集，然后進(jìn)行全部參數(shù)的匹配，確定雷達(dá)的型號(hào)。. . . . . . . . . . .發(fā)射頻率(RF)隱層輸出層輸入層端3端1端2重復(fù)頻率(PRF)脈沖寬度(PW)端882輸入層：選取載波頻率、脈沖寬度、重復(fù)頻率為神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)。隱 層：選用高斯核（GKF）作徑向基函數(shù)輸出層：選取8種雷達(dá)體制。端1表示脈沖重頻參差，端2表示重頻抖動(dòng)，端3表示載頻準(zhǔn)正弦捷變，端4表示脈沖重頻調(diào)制，端5表示載頻隨機(jī)捷變，端6表示常規(guī)脈沖，端7表示脈內(nèi)相位編碼，端8表示頻率規(guī)則捷變。83l2.學(xué)習(xí)樣本選取 設(shè)某雷達(dá)的庫中記錄如下：選取規(guī)則如下：1）每一個(gè)特征參數(shù)離散的工作點(diǎn)應(yīng)選取到2）每一個(gè)特征參數(shù)的工作區(qū)間