絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)課件

RBF網(wǎng)絡(luò)特點(diǎn)只有一個(gè)隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。隱層節(jié)點(diǎn)激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點(diǎn)激活函數(shù)為線性函數(shù)。隱層節(jié)點(diǎn)激活函數(shù)的凈輸入是輸入向量與節(jié)點(diǎn)中心的距離（范數(shù)）而非向量?jī)?nèi)積，且節(jié)點(diǎn)中心不可調(diào)。隱層節(jié)點(diǎn)參數(shù)確定后，輸出權(quán)值可通過解線性方程組得到。隱層節(jié)點(diǎn)的非線性變換把線性不可分問題轉(zhuǎn)化為線性可分問題。MLP)，這意味著逼近一個(gè)輸入輸出映射時(shí)，在相同逼近精度要求下，RBF所需的時(shí)間要比MLP少。合適的隱層節(jié)點(diǎn)數(shù)、節(jié)點(diǎn)中心和寬度不易確定。1.Gauss（高斯）函數(shù)：2.反演S型函數(shù)：3.擬多二次函數(shù)：σ

稱為基函數(shù)的擴(kuò)展常數(shù)或?qū)挾?，σ越小，徑向基函?shù)的寬度越小，基函數(shù)就越有選擇性。徑向基函數(shù)（RBF）全局逼近和局部逼近全局逼近網(wǎng)絡(luò)局部逼近網(wǎng)絡(luò)當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)(權(quán)值和閾值)對(duì)任何一個(gè)輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)影響網(wǎng)絡(luò)的輸出，則稱該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢，無法滿足實(shí)時(shí)性要求的應(yīng)用學(xué)習(xí)速度快，有可能滿足有實(shí)時(shí)性要求的應(yīng)用RBF神經(jīng)網(wǎng)絡(luò)兩種模型正規(guī)化網(wǎng)絡(luò)RN廣義網(wǎng)絡(luò)GN通用逼近器模式分類基本思想：通過加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光滑的，則重建問題的解是連續(xù)的，意味著相似的輸入對(duì)應(yīng)著相似的輸出?；舅枷耄河脧较蚧瘮?shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。兩種模型的比較隱節(jié)點(diǎn)=輸入樣本數(shù)隱節(jié)點(diǎn)＜輸入樣本數(shù)

所有輸入樣本設(shè)為徑向基函數(shù)的中心徑向基函數(shù)的中心由訓(xùn)練算法確定徑向基函數(shù)取統(tǒng)一的擴(kuò)展常數(shù)徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一由訓(xùn)練算法確定沒有設(shè)置閾值輸出函數(shù)的線性中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別。RNGN函數(shù)逼近問題（內(nèi)插值）

一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來進(jìn)行線性組合，以完成逼近功能。①給定樣本數(shù)據(jù)

②尋找函數(shù)，使其滿足：舉例：RBF網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近

1.問題的提出：假設(shè)如下的輸入輸出樣本，輸入向量為[-11]區(qū)間上等間隔的數(shù)組成的向量P,相應(yīng)的期望值向量為T。P=-1:0.1:1;T=[-0.9602-0.5770-0.07290.37710.64050.66000.46090.1336-0.2013-0.4344-0.5000-0.3930-0.16470.09880.30720.39600.34490.1816-0.0312-0.2189-0.3201];%以輸入向量為橫坐標(biāo)，期望值為縱坐標(biāo)，繪制訓(xùn)練用樣本的數(shù)據(jù)點(diǎn)。figure;plot(P,T,'+')title('訓(xùn)練樣本')xlabel('輸入矢量P')ylabel('目標(biāo)矢量T')gridon%目的是找到一個(gè)函數(shù)能夠滿足這21個(gè)數(shù)據(jù)點(diǎn)的輸入/輸出關(guān)系，其中一個(gè)方法是通過構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來進(jìn)行曲線擬合2.網(wǎng)絡(luò)設(shè)計(jì)：設(shè)計(jì)一個(gè)徑向基函數(shù)網(wǎng)絡(luò)，網(wǎng)絡(luò)有兩層，隱含層為徑向基神經(jīng)元，輸出層為線性神經(jīng)元。

p=-3:0.1:3;

a=radbas(p);

figure;

plot(p,a)

title('徑向基傳遞函數(shù)')

xlabel('輸入p')

ylabel('輸出a')gridon%每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系，輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加。如果隱含層神經(jīng)元的數(shù)目足夠，每一層的權(quán)值和閾值正確，那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確的逼近任意函數(shù)。

a2=radbas(p-1.5);

a3=radbas(p+2);

a4=a+a2*1+a3*0.5;

figure;

plot(p,a,'b-',p,a2,'b-',p,a3,'b-',p,a4,'m--');

title('徑向基傳遞函數(shù)之和')

xlabel('輸入p')

ylabel('輸出a')gridon%應(yīng)用newb()函數(shù)可以快速構(gòu)建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，并且網(wǎng)絡(luò)自動(dòng)根據(jù)輸入向量和期望值進(jìn)行調(diào)整，從而進(jìn)行函數(shù)逼近，預(yù)先設(shè)定均方差精度為eg以及散布常數(shù)sc。

eg=0.02;

sc=1;

net=newrb(P,T,eg,sc);3.網(wǎng)絡(luò)測(cè)試：將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化的曲線繪制在一張圖上，就可以看出網(wǎng)絡(luò)設(shè)計(jì)是否能夠做到函數(shù)逼近。

figure;

plot(P,T,'+');

xlabel('輸入');

X=-1:0.01:1;

Y=sim(net,X);

holdon;

plot(X,Y);

holdoff;

legend('目標(biāo)','輸出')

gridon

Φ1(x)∑X2X1Φ2(x)w11w11Outputy舉例：邏輯運(yùn)算異或的分類X1X2X1X2000011101110XOR異或空間變換前X1X2000.13531010.36790.3679100.36790.36791110.1353基函數(shù)空間變換后RBF學(xué)習(xí)算法RBF學(xué)習(xí)的三個(gè)參數(shù)：①基函數(shù)的中心②方差（擴(kuò)展常數(shù)）③隱含層與輸出層間的權(quán)值當(dāng)采用正歸化RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計(jì)只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)的權(quán)值。當(dāng)采用廣義RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，RBF網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決的問題包括：如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)，如何確定各徑向基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)，以及如何修正輸出權(quán)值。一.自組織中心選取法

1989年，Moody和Darken提出了一種由兩個(gè)階段組成的混合學(xué)習(xí)過程的思路。兩個(gè)步驟：①無監(jiān)督的自組織學(xué)習(xí)階段

②有監(jiān)督學(xué)習(xí)階段

其任務(wù)是用自組織聚類方法為隱層節(jié)點(diǎn)的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù)。一般采用Duda和Hart1973年提出的k-means聚類算法。其任務(wù)是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值，一般采用梯度法進(jìn)行訓(xùn)練。

在聚類確定數(shù)據(jù)中心的位置之前，需要先估計(jì)中心的個(gè)數(shù)(從而確定了隱節(jié)點(diǎn)數(shù))，一般需要通過試驗(yàn)來決定。由于聚類得到的數(shù)據(jù)中心不是樣本數(shù)據(jù)本身，因此用表示第n次迭代時(shí)的中心。應(yīng)用K-means聚類算法確定數(shù)據(jù)中心的過程如下。（1）初始化。選擇個(gè)互不相同的向量作為初始聚類中心（2）計(jì)算輸入空間各樣本點(diǎn)與聚類中心點(diǎn)的歐式距離1.中心學(xué)習(xí)(3)相似匹配。令代表競(jìng)爭(zhēng)獲勝隱節(jié)點(diǎn)的下標(biāo)，對(duì)每一個(gè)輸入樣本根據(jù)其與聚類中心的最小歐式距離確定其歸類,即當(dāng)時(shí)，被歸為第類，從而將全部樣本劃分為個(gè)子集每個(gè)子集構(gòu)成一個(gè)以聚類中心為典型代表的聚類域。2.確定擴(kuò)展常數(shù)各聚類中心確定后，可根據(jù)各中心之間的距離確定對(duì)應(yīng)徑向基函數(shù)的擴(kuò)展常數(shù)。令則擴(kuò)展常數(shù)可取為為重疊系數(shù)3.學(xué)習(xí)權(quán)值權(quán)值的學(xué)習(xí)可以用LMS學(xué)習(xí)算法注意：①LMS算法的輸入為RBF網(wǎng)絡(luò)隱含層的輸出②RBF網(wǎng)絡(luò)輸出層的神經(jīng)元只是對(duì)隱含層神經(jīng)元的輸出加權(quán)和。因此RBF網(wǎng)絡(luò)的實(shí)際輸出為其中用LMS方法求解