RBF神經(jīng)網(wǎng)絡(luò)資料

1、徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)RBF 簡(jiǎn)單說明一下為什么 RBF 網(wǎng)絡(luò)學(xué)習(xí)收斂得比較快。當(dāng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)（權(quán)值或閾值對(duì)任何一個(gè)輸出都有影響時(shí)，這樣的網(wǎng)絡(luò)稱為全局逼近網(wǎng)絡(luò)。由于對(duì)于每次輸入，網(wǎng)絡(luò)上的每一個(gè)權(quán) 值都要調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)的學(xué)習(xí)速度很慢。BP網(wǎng)絡(luò)就是一個(gè)典型的例子。如果對(duì)于輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)值影響輸出，則該網(wǎng)絡(luò)稱為局部逼近網(wǎng)絡(luò)。常見的局部逼近網(wǎng)絡(luò)有 RBF 網(wǎng)絡(luò)、小腦模型（CMAC）網(wǎng)絡(luò)、B 樣條網(wǎng)絡(luò)等。徑向基函數(shù)解決插值問題完全內(nèi)插法要求插值函數(shù)經(jīng)過每個(gè)樣本點(diǎn)，即。樣本點(diǎn)總共有P個(gè)。RBF 的方法是要選擇 P 個(gè)基函數(shù)，每個(gè)基函數(shù)對(duì)應(yīng)一個(gè)訓(xùn)練數(shù)據(jù)

2、，各基函數(shù)形式為者叫 2 范數(shù)。，由于距離是徑向同性的，因此稱為徑向基函數(shù)。|X-Xp|表示差向量的模，或基于為徑向基函數(shù)的插值函數(shù)為：X m P，PmXp p m P，低維線性不可分的情況到高維就線性可分了。將插值條件代入：寫成向量的形式為顯然是個(gè)規(guī)模這P對(duì)稱矩陣且與X的維度無關(guān)當(dāng)可逆時(shí)有。對(duì)于一大類函數(shù)，當(dāng)輸入的 X 各不相同時(shí)， 就是可逆的。下面的幾個(gè)函數(shù)就屬于這“一大類”函數(shù)：Gauss（高斯）函數(shù)Reflected Sigmoidal（S型）函數(shù)Inverse multiquadrics（擬多二次）函數(shù) 稱為徑向基函數(shù)的擴(kuò)展常數(shù)，它反應(yīng)了函數(shù)圖像的寬度， 完全內(nèi)插存在一些問題：使泛化

3、能力下降。由于輸入樣本中包含噪聲，所以我們可以設(shè)計(jì)隱藏層大小為 K，KP，從樣本中選取 K 個(gè)（假設(shè)不包含噪聲）作為 函數(shù)的中心。超定的，插值矩陣求逆時(shí)可能導(dǎo)致不穩(wěn)定。擬合函數(shù) F 的重建問題滿足以下 3 個(gè)條件時(shí)，稱問題為適定的：解的存在性解的唯一性解的連續(xù)性不適定問題大量存在，為解決這個(gè)問題，就引入了正則化理論。正則化理論正則化的基本思想是通過加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來控制映射函數(shù)的光滑性，這樣相似的輸入就對(duì)應(yīng)著相似的輸出。尋找逼近函數(shù) F(x)通過最小化下面的目標(biāo)函數(shù)來實(shí)現(xiàn)： 是一個(gè)線性微分算子，代表了對(duì)F(x) 的先驗(yàn)知識(shí)。曲率過大（光滑度過低）的 F(x)通常具有較大的|DF|

4、值，因此將受到較大的懲罰。直接給出(1)式的解：權(quán)向量*(2)G(X,Xp)稱為 Green 函數(shù)，G 稱為 Green 矩陣。Green 函數(shù)與算子 D 的形式有關(guān)，當(dāng) D 具有旋轉(zhuǎn)不變性和平移不變性時(shí)， 多元 Gauss 函數(shù)：。這類 Green 函數(shù)的一個(gè)重要例子是。正則化RBF 網(wǎng)絡(luò)P p 的擴(kuò)展常數(shù) 1,層的權(quán)值是需要訓(xùn)練得到的：逐一輸入所有的樣本，計(jì)算隱藏層上所有的Green (2)式計(jì)算權(quán)值。廣義RBF 網(wǎng)絡(luò)Cover 分。RBF 網(wǎng)絡(luò)：從輸入層到隱藏層相當(dāng)于是把低維空間的數(shù)據(jù)映射到高維空間，輸入層細(xì)胞個(gè)數(shù)為據(jù)進(jìn)行線性分類的過程，可以采用單層感知器常用的那些學(xué)習(xí)規(guī)則，參見神經(jīng)網(wǎng)絡(luò)

5、基礎(chǔ)和感知器。注意廣義 RBF 實(shí)際上它比樣本數(shù)目要少得多。因?yàn)樵跇?biāo)準(zhǔn) RBF 網(wǎng)絡(luò)中，當(dāng)樣本數(shù)目很大時(shí)，就需要很多基函數(shù)， RBF RBF 網(wǎng)相比，還有以下不同：徑向基函數(shù)的中心不再限制在輸入數(shù)據(jù)點(diǎn)上，而由訓(xùn)練算法確定。各徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一，而由訓(xùn)練算法確定。差別。因此廣義 RBF 網(wǎng)絡(luò)的設(shè)計(jì)包括： 結(jié)構(gòu)設(shè)計(jì)-參數(shù)設(shè)計(jì)-各基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)、輸出節(jié)點(diǎn)的權(quán)值。下面給出計(jì)算數(shù)據(jù)中心的兩種方法：數(shù)據(jù)中心從樣本中選取。樣本密集的地方多采集一些。各基函數(shù)采用統(tǒng)一的偏擴(kuò)展常數(shù)：x 徑向基函數(shù)太尖或太平。確定以后，根據(jù)各中心之間的距離確定對(duì)應(yīng)徑向基函數(shù)的擴(kuò)展常數(shù)。 是重疊系數(shù)。3.W 偽

6、逆。了，因?yàn)閷?duì)于廣義 RBF 網(wǎng)絡(luò)，其行數(shù)大于列數(shù)，此時(shí)數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法BP 網(wǎng)絡(luò)的學(xué)習(xí)原理一樣。同樣采用梯度下降法，定義目標(biāo)函數(shù)為ei為輸入第 i 個(gè)樣本時(shí)的誤差信號(hào)。上式的輸出函數(shù)中忽略了閾值。為使目標(biāo)函數(shù)最小化，各參數(shù)的修正量應(yīng)與其負(fù)梯度成正比，即具體計(jì)算式為本輸入一輪后調(diào)整一次。目標(biāo)函數(shù)也可以為瞬時(shí)值形式，即當(dāng)前輸入引起的誤差此時(shí)參數(shù)的修正值為：下面我們就分別用本文最后提到的聚類的方法和數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)方法做一道練習(xí)題。考慮 Hermit 多項(xiàng)式的逼近問題P=100 xi 且服從xieii 為添加00.1 的正態(tài)分布。用聚類方法求數(shù)據(jù)中心和擴(kuò)展常數(shù)，輸出權(quán)值和閾值用偽逆法求解。

7、隱藏節(jié)點(diǎn)數(shù) M=10=110個(gè)訓(xùn)練樣本。+ View Code?#include #include #include #include #include #include #include #include #include #includematrix.husing namespace std;const int P=100;/輸入樣本的數(shù)vector X(P);/輸入樣本Matrix Y(P,1);/輸入樣本對(duì)應(yīng)的期望輸const int M=10;/隱藏層節(jié)點(diǎn)數(shù)目vector center(M);/M個(gè)Green函數(shù)的數(shù)據(jù)中心vector delta(M);/M個(gè)Green函數(shù)的擴(kuò)展常數(shù)

8、Matrix Green(P,M);/Green矩陣Matrix Weight(M,1);/權(quán)值矩陣/*Hermit 多項(xiàng)式函數(shù)*/inline double Hermit(double x)return 1.1*(1-x+2*x*x)*exp(-1*x*x/2);/*產(chǎn)生指定區(qū)間上均勻分布的隨機(jī)數(shù)*/inline double uniform(double floor,double ceil) return floor+1.0*rand()/RAND_MAX*(ceil-floor);/*產(chǎn)生區(qū)間floor,ceil上服從正態(tài)分布 Nmu,sigma的隨機(jī)數(shù)*/inline double R

9、andomNorm(double mu,double sigma,double floor,double ceil) double x,prob,y;dox=uniform(floor,ceil);prob=1/sqrt(2*M_PI*sigma)*exp(-1*(x-mu)*(x-mu)/(2*sigma*sigma); y=1.0*rand()/RAND_MAX;while(yprob); return x;/*產(chǎn)生輸入樣本*/void generateSample() for(int i=0;iP;+i)double in=uniform(-4,4); Xi=in;Y.put(i,0,H

10、ermit(in)+RandomNorm(0,0.1,-0.3,0.3);/*尋找樣本離哪個(gè)中心最近*/int nearest(const vector& center,double sample) int rect=-1;double dist=numeric_limits:max(); for(int i=0;icenter.size();+i)dist=fabs(sample-centeri); rect=i;return rect;/*計(jì)算簇的質(zhì)心*/double calCenter(const vector &g) int len=g.size();double sum=0.0; f

11、or(int i=0;ilen;+i)sum+=gi; return sum/len;/*KMeans 聚類法產(chǎn)生數(shù)據(jù)中心*/ void KMeans()assert(P%M=0);vectorvector group(M);/記錄各個(gè)聚類中包含哪些樣double gap=0.001;/聚類中心的改變量小于為個(gè)值時(shí)，迭代終止for(int i=0;iM;+i)/PP個(gè)作為初始聚類中心centeri=X10*i+3;/輸入是均勻分布的，所以我們均勻地選取while(1)for(int i=0;iM;+i) groupi.clear();/for(int i=0;iP;+i)/int c=near

12、est(center,Xi); groupc.push_back(Xi);vector new_center(M);/for(int i=0;iM;+i)vector g=groupi; new_centeri=calCenter(g);bool flag=false;for(int i=0;igap)flag=true; break;center=new_center; if(!flag)break;/*生成 Green 矩陣*/ void calGreen()for(int i=0;iP;+i) for(int j=0;jM;+j)Green.put(i,j,exp(-1.0*(Xi-ce

13、nterj)*(Xi-centerj)/(2*deltaj*deltaj);/*求一個(gè)矩陣的偽逆*/Matrix getGereralizedInverse(const Matrix &matrix)return (matrix.getTranspose()*matrix).getInverse()*(matrix.getTranspose();/*利用已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，由輸入得到輸出*/ double getOutput(double x)double y=0.0; for(int i=0;iM;+i)y+=Weight.get(i,0)*exp(-1.0*(x-centeri)*(x-c

14、enteri)/(2*deltai*deltai); return y;int main(int argc,char *argv)generateSample();/產(chǎn)生輸入和對(duì)應(yīng)的期望輸出樣本KMeans();/對(duì)輸入進(jìn)行聚類，產(chǎn)生聚類中心sort(center.begin(),center.end();/對(duì)聚類中心（一維數(shù)據(jù)）進(jìn)行排序/根據(jù)聚類中心間的距離，計(jì)算各擴(kuò)展常數(shù)delta0=center1-center0; deltaM-1=centerM-1-centerM-2; for(int i=1;iM-1;+i)double d1=centeri-centeri-1; double d

15、2=centeri+1-centeri; deltai=d1d2?d1:d2;calGreen();/Green矩陣Weight=getGereralizedInverse(Green)*Y;/計(jì)算權(quán)值矩陣/根據(jù)已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)作幾組測(cè)試for(int x=-4;x5;+x) coutxt;coutsetprecision(8)setiosflags(ios:left)setw(15); coutgetOutput(x)Hermit(x)endl;/return 0;RBF =0.001 ，M=10，初始權(quán)值為-0.1,0.1內(nèi)的隨機(jī)數(shù)，初始數(shù)據(jù)中心為-4,4內(nèi)的隨機(jī)數(shù)，初始擴(kuò)展常數(shù)取0.1

16、,0.3內(nèi)的隨機(jī)數(shù)，目標(biāo)誤差為 0.9，最大訓(xùn)5000。+ View Code?#include #include #include #include #include #include #includeusing namespace std;const int P=100;/輸入樣本的數(shù)量vector X(P);/ 輸 入 樣 本 vector Y(P);/輸入樣本對(duì)應(yīng)的期望輸const int M=10;/隱藏層節(jié)點(diǎn)數(shù)目vector center(M);/M個(gè)Green函數(shù)的數(shù)據(jù)中心vector delta(M);/M個(gè)Green函數(shù)的擴(kuò)展常數(shù)double GreenPM;/Green矩陣

17、vector Weight(M);/權(quán)值矩const double eta=0.001;/學(xué)習(xí)率const double ERR=0.9;/目標(biāo)誤差const int ITERATION_CEIL=5000;/最大訓(xùn)練次vector error(P);/單個(gè)樣本引起的誤差/*Hermit 多項(xiàng)式函數(shù)*/inline double Hermit(double x)return 1.1*(1-x+2*x*x)*exp(-1*x*x/2);/*產(chǎn)生指定區(qū)間上均勻分布的隨機(jī)數(shù)*/inline double uniform(double floor,double ceil) return floor+1

18、.0*rand()/RAND_MAX*(ceil-floor);/*產(chǎn)生區(qū)間floor,ceil上服從正態(tài)分布 Nmu,sigma的隨機(jī)數(shù)*/inline double RandomNorm(double mu,double sigma,double floor,double ceil) double x,prob,y;dox=uniform(floor,ceil);prob=1/sqrt(2*M_PI*sigma)*exp(-1*(x-mu)*(x-mu)/(2*sigma*sigma); y=1.0*rand()/RAND_MAX;while(yprob); return x;/*產(chǎn)生輸入

19、樣本*/void generateSample() for(int i=0;iP;+i)double in=uniform(-4,4); Xi=in;Yi=Hermit(in)+RandomNorm(0,0.1,-0.3,0.3);/*給向量賦予floor,ceil上的隨機(jī)值*/void initVector(vector &vec,double floor,double ceil)for(int i=0;ivec.size();+i) veci=uniform(floor,ceil);/*根據(jù)網(wǎng)絡(luò)，由輸入得到輸出*/ double getOutput(double x)double y=0.0; for(int i=0;iM;+i)y+=Weighti*exp(-1.0*(x-centeri)*(x-centeri)/(2*deltai*deltai); return y;