神經(jīng)網(wǎng)絡(luò)與仿真

關(guān)于神經(jīng)網(wǎng)絡(luò)與仿真第一頁，共一百四十五頁，2022年，8月28日Outline1.人工神經(jīng)網(wǎng)絡(luò)簡介2.神經(jīng)網(wǎng)絡(luò)的特點及應(yīng)用3.神經(jīng)網(wǎng)絡(luò)模型4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式第二頁，共一百四十五頁，2022年，8月28日1.人工神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），通常簡稱為神經(jīng)網(wǎng)絡(luò)，是一種在生物神經(jīng)網(wǎng)絡(luò)的啟示下建立的數(shù)據(jù)處理模型。主要通過調(diào)整神經(jīng)元之間的權(quán)值來對輸入的數(shù)據(jù)進行建模，最終具備解決實際問題。第三頁，共一百四十五頁，2022年，8月28日1.人工神經(jīng)網(wǎng)絡(luò)簡介

單層感知器結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)的可塑性表現(xiàn)于，其連接權(quán)值都是可調(diào)整的，它將一系列僅具有簡單處理能力的節(jié)點通過權(quán)值相連，當(dāng)權(quán)值調(diào)整至恰當(dāng)時，就能輸出正確的結(jié)果。網(wǎng)絡(luò)將知識存儲在調(diào)整后的各權(quán)值中，這一點是神經(jīng)網(wǎng)絡(luò)的精髓。第四頁，共一百四十五頁，2022年，8月28日2.神經(jīng)網(wǎng)絡(luò)的特點及應(yīng)用1.自學(xué)習(xí)和自適應(yīng)性。給神經(jīng)網(wǎng)絡(luò)輸入新的訓(xùn)練樣本，網(wǎng)絡(luò)能夠自動調(diào)整結(jié)構(gòu)參數(shù)，改變映射關(guān)系2.非線性性。人工神經(jīng)元處于激活或抑制狀態(tài)，表現(xiàn)為數(shù)學(xué)上的非線性關(guān)系。3.魯棒性與容錯性。局部的損害會使人工神經(jīng)網(wǎng)絡(luò)的運行適度減弱，但不會產(chǎn)生災(zāi)難性的錯誤。4.計算的并行性與存儲的分布性。每個神經(jīng)元都可以根據(jù)接收到的信息進行獨立運算和處理。人工神經(jīng)網(wǎng)絡(luò)具有強大的模式識別和數(shù)據(jù)擬合能力

第五頁，共一百四十五頁，2022年，8月28日2.神經(jīng)網(wǎng)絡(luò)的特點及應(yīng)用1.模式分類。需要提供已知樣本2.聚類。不需要提供已知樣本。3.回歸與擬合。相似的樣本輸入在神經(jīng)網(wǎng)絡(luò)的映射下，往往能得到相近的輸出。4.優(yōu)化計算。尋找一組參數(shù)組合，使由該組合確定的目標(biāo)函數(shù)達到最小值。5.數(shù)據(jù)壓縮。將數(shù)據(jù)保存于連接權(quán)值中。第六頁，共一百四十五頁，2022年，8月28日3.神經(jīng)網(wǎng)絡(luò)模型單層網(wǎng)絡(luò)：單層感知器，線性網(wǎng)絡(luò)。多層網(wǎng)絡(luò)：其他網(wǎng)絡(luò)。前向網(wǎng)絡(luò)：BP、徑向基網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)等。反饋網(wǎng)絡(luò)：Hopfield網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)等。本書共介紹了單層感知器、線性網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、自組織競爭網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)、隨機神經(jīng)網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)模型。第七頁，共一百四十五頁，2022年，8月28日4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式1.有監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）。訓(xùn)練樣本對應(yīng)一個教師信號。2.無監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）。網(wǎng)絡(luò)只接受一系列的輸入樣本，而對該樣本應(yīng)有的輸出值一無所知。1.Hebb學(xué)習(xí)規(guī)則：權(quán)值的調(diào)整量與輸入前一神經(jīng)元輸出值和后一神經(jīng)元輸出值的乘積成正比。2.糾錯學(xué)習(xí)規(guī)則：權(quán)值的調(diào)整量與誤差大小成正比。3.隨機學(xué)習(xí)規(guī)則：Boltzmann機事實上就是模擬退火算法。4.競爭學(xué)習(xí)規(guī)則：只有一個獲勝神經(jīng)元可以進行權(quán)值調(diào)整，其他神經(jīng)元的權(quán)值維持不變，體現(xiàn)了神經(jīng)元之間的側(cè)向抑制。第八頁，共一百四十五頁，2022年，8月28日單神經(jīng)元網(wǎng)絡(luò)第九頁，共一百四十五頁，2022年，8月28日神經(jīng)元模型圖中為神經(jīng)元的內(nèi)部狀態(tài)，為閾值，為輸入信號，，為表示從單元到單元的連接權(quán)系數(shù)，單神經(jīng)元模型可描述為：第十頁，共一百四十五頁，2022年，8月28日通常情況下，取即第十一頁，共一百四十五頁，2022年，8月28日圖7-1單神經(jīng)元模型第十二頁，共一百四十五頁，2022年，8月28日常用的神經(jīng)元非線性特性有以下四種：（1）閾值型圖7-2閾值型函數(shù)第十三頁，共一百四十五頁，2022年，8月28日（2）分段線性型圖7-3分段線性函數(shù)第十四頁，共一百四十五頁，2022年，8月28日（3）Sigmoid函數(shù)型圖7-4Sigmoid函數(shù)第十五頁，共一百四十五頁，2022年，8月28日單層感知器第十六頁，共一百四十五頁，2022年，8月28日Outline1.單層感知器的結(jié)構(gòu)2.單層感知器的學(xué)習(xí)算法3.感知器的局限性4.單層感知器應(yīng)用實例第十七頁，共一百四十五頁，2022年，8月28日1.單層感知器的結(jié)構(gòu)單層感知器屬于單層前向網(wǎng)絡(luò)，即除了輸入層和輸出層之外只擁有一層神經(jīng)元節(jié)點。

感知器（perception）的原理相對簡單，是學(xué)習(xí)其他復(fù)雜神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。由單個神經(jīng)元組成的單層感知器只能用來解決線性可分的二分類問題。典型使用場景：將其用于兩類模式分類時，就相當(dāng)于在高維樣本空間中，用一個超平面將樣本分開。Rosenblatt證明，如果兩類模式線性可分，則算法一定收斂。第十八頁，共一百四十五頁，2022年，8月28日1.單層感知器的結(jié)構(gòu)輸入是一個N維向量其中的每一個分量都對應(yīng)于一個權(quán)值，隱含層的輸出疊加為一個標(biāo)量值：隨后在二值閾值元件中對得到的v值進行判斷，產(chǎn)生二值輸出：第十九頁，共一百四十五頁，2022年，8月28日1.單層感知器的結(jié)構(gòu)二維空間中的超平面是一條直線。在直線下方的點，輸出-1；在直線上方的點，輸出1。分類面：第二十頁，共一百四十五頁，2022年，8月28日2.單層感知器的學(xué)習(xí)算法在實際應(yīng)用中，通常采用糾錯學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。將偏置作為一個固定輸入輸入權(quán)值第二十一頁，共一百四十五頁，2022年，8月28日2.單層感知器的學(xué)習(xí)算法（1）定義變量和參數(shù)。X為輸入，y為實際輸出，d為期望輸出，b為偏置，w為權(quán)值。（2）初始化。n=0，將權(quán)值向量設(shè)置為隨機值或全零值。（3）激活。輸入訓(xùn)練樣本，對每個訓(xùn)練樣本指定其期望輸出

。d（4）計算實際輸出。第二十二頁，共一百四十五頁，2022年，8月28日2.單層感知器的學(xué)習(xí)算法（5）更新權(quán)值向量。（6）判斷。若滿足收斂條件，算法結(jié)束；若不滿足，n自增1，轉(zhuǎn)到第3步繼續(xù)執(zhí)行。誤差小于某個預(yù)先設(shè)定的較小的值兩次迭代之間的權(quán)值變化已經(jīng)很小設(shè)定最大迭代次數(shù)M，當(dāng)?shù)薓次之后算法就停止迭代條件的混合使用，防止出現(xiàn)算法不收斂現(xiàn)象。

第二十三頁，共一百四十五頁，2022年，8月28日2.單層感知器的學(xué)習(xí)算法確定學(xué)習(xí)率不應(yīng)當(dāng)過大，以便為輸入向量提供一個比較穩(wěn)定的權(quán)值估計不應(yīng)當(dāng)過小，以便使權(quán)值能夠根據(jù)輸入的向量x實時變化，體現(xiàn)誤差對權(quán)值的修正作用粗準(zhǔn)焦螺旋和細準(zhǔn)焦螺旋的類比。——自適應(yīng)學(xué)習(xí)率。第二十四頁，共一百四十五頁，2022年，8月28日3.感知器的局限性單層感知器無法解決線性不可分問題，只能做近似分類。感知器的激活函數(shù)使用閾值函數(shù)，輸出值只有兩種取值，限制了在分類種類上的擴展。如果輸入樣本存在奇異樣本，網(wǎng)絡(luò)需要花費很長的時間。感知器的學(xué)習(xí)算法只對單層有效。第二十五頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例1.手算2.使用工具箱函數(shù)坐標(biāo)點的二類模式分類問題：二維平面坐標(biāo)系中存在一系列坐標(biāo)點，已知部分坐標(biāo)點屬于第一類，部分坐標(biāo)點屬于第二類，求新坐標(biāo)點的類別。第二十六頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例序號Xy所屬類型（期望輸出）1-915021813-12404-450501106591第二十七頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例定義：>>n=0.2;>>P=[-91-12-40,5;...15-84511,9];>>d=[0,1,0,0,0,1];>>P=[ones(1,6);P]第二十八頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例（2）初始化，將權(quán)值和偏置初始化為零。>>w=[0,0,0];（3）第一次迭代。>>v=w*P %輸出層的輸入>>y=hardlim(v) %計算網(wǎng)絡(luò)的輸出根據(jù)調(diào)整權(quán)值>>e=(d-y) %誤差>>ee=mae(e) %計算誤差的平均絕對差>>w=w+n*(T-y)*P' %調(diào)整w第二十九頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例（4）第二次迭代。重復(fù)以上的步驟>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)%誤差不為零！>>w=w+n*(T-y)*P'均勻分布元素的方差第三十頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例（5）第三次迭代，重復(fù)以上步驟。>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)>>w=w+n*(T-y)*P'第三十一頁，共一百四十五頁，2022年，8月28日5.單層感知器應(yīng)用實例（6）第四次迭代。>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)>>w=w+n*(T-y)*P'perception_hand.m誤差為零，權(quán)值w不再更新，得到的分類超平面為：第三十二頁，共一百四十五頁，2022年，8月28日4.單層感知器應(yīng)用實例2.使用工具箱函數(shù)用到的函數(shù)：newptrainsimperception_fcn.m第三十三頁，共一百四十五頁，2022年，8月28日程序%perception_hand.m%%清理（1）定義變量定義輸入期望輸出clear,clccloseall%%n=0.2;%學(xué)習(xí)率w=[0,0,0];P=[-9,1,-12,-4,0,5;...15,-8,4,5,11,9];d=[0,1,0,0,0,1];%期望輸出P=[ones(1,6);P];P第三十四頁，共一百四十五頁，2022年，8月28日P=111111-91-12-40515-845119第三十五頁，共一百四十五頁，2022年，8月28日%%（2）顯示要分類的點figure;subplot(2,1,1);%顯示待分類的點和分類結(jié)果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標(biāo)點的二分類');第三十六頁，共一百四十五頁，2022年，8月28日第三十七頁，共一百四十五頁，2022年，8月28日%%（3）初始化w=[0,0,0];%%（4）第一次迭代計算V和y值v=w*P;vy=hardlim(v);%實際輸出y%%y是實際輸出，與期望輸出d不一致需要根據(jù)誤差d-y調(diào)整權(quán)值和偏置e=(d-y);eee=mae(e);eew=w+n*(d-y)*P';w第三十八頁，共一百四十五頁，2022年，8月28日v=000000y=111111e=-10-1-1-10ee=0.6667w=-0.80005.0000-7.0000第三十九頁，共一百四十五頁，2022年，8月28日%%（5）第二次迭代，根據(jù)第一次迭代更新的w向量的值，計算V和y值v=w*P;vy=hardlim(v);%實際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，實際輸出與期望輸出仍然不一致，還需要再次調(diào)整w向量w=w+n*(d-y)*P';w第四十頁，共一百四十五頁，2022年，8月28日v=-150.800060.2000-88.8000-55.8000-77.8000-38.8000y=010000e=000001ee=0.1667w=-0.60006.0000-5.2000第四十一頁，共一百四十五頁，2022年，8月28日%%（6）第三次迭代，根據(jù)第一次迭代更新的w向量的值，計算V和y值v=w*P;vy=hardlim(v);%實際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，mae值與前一次迭代相比沒有變化，但是v值已經(jīng)有了更新，繼續(xù)調(diào)整權(quán)值和偏置w=w+n*(d-y)*P';w第四十二頁，共一百四十五頁，2022年，8月28日v=-132.600047.0000-93.4000-50.6000-57.8000-17.4000y=010000e=000001ee=0.1667w=-0.40007.0000-3.4000第四十三頁，共一百四十五頁，2022年，8月28日%%（7）第四次迭代v=w*P;vy=hardlim(v);%實際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，程序在第四次迭代時就已經(jīng)取得正確的結(jié)果，mae值為0，此時算法就收斂了，由于mae值為0，因此即使繼續(xù)更新w向量，其值也保持不變：w=w+n*(d-y)*P';w第四十四頁，共一百四十五頁，2022年，8月28日v=-114.400033.8000-98.0000-45.4000-37.80004.0000y=010001e=000000ee=0第四十五頁，共一百四十五頁，2022年，8月28日w=w+n*(d-y)*P';ww=-0.40007.0000-3.4000程序在第4次迭代時就已經(jīng)取得了正確的結(jié)果，mae值為零。此時算法就收斂了，由于mae值為零，因此繼續(xù)更新w向量，其值也保持不變。第四十六頁，共一百四十五頁，2022年，8月28日%%顯示figure;subplot(2,1,1);%顯示待分類的點和分類結(jié)果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標(biāo)點的二分類');x=-13:.2:6;y=x*(-w(2)/w(3))-w(1)/w(3);plot(x,y);holdoff;第四十七頁，共一百四十五頁，2022年，8月28日第四十八頁，共一百四十五頁，2022年，8月28日總程序%perception_hand.m%%清理clear,clccloseall%%n=0.2;%學(xué)習(xí)率w=[0,0,0];P=[-9,1,-12,-4,0,5;...15,-8,4,5,11,9];d=[0,1,0,0,0,1];%期望輸出P=[ones(1,6);P];MAX=20;%最大迭代次數(shù)為20次%%訓(xùn)練i=0;第四十九頁，共一百四十五頁，2022年，8月28日while1v=w*P;y=hardlim(v);%實際輸出

%更新

e=(d-y);ee(i+1)=mae(e);if(ee(i+1)<0.001)%判斷

disp('wehavegotit:');disp(w);break;end%更新權(quán)值和偏置

w=w+n*(d-y)*P';第五十頁，共一百四十五頁，2022年，8月28日if(i>=MAX)%達到最大迭代次數(shù)，退出

disp('MAXtimesloop');disp(w);disp(ee(i+1));break;endi=i+1;end第五十一頁，共一百四十五頁，2022年，8月28日%%顯示figure;subplot(2,1,1);%顯示待分類的點和分類結(jié)果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標(biāo)點的二分類');x=-13:.2:6;y=x*(-w(2)/w(3))-w(1)/w(3);plot(x,y);holdoff;第五十二頁，共一百四十五頁，2022年，8月28日subplot(2,1,2);%顯示mae值的變化x=0:i;plot(x,ee,'o-');s=sprintf('mae的值(迭代次數(shù):%d)',i+1);title(s);第五十三頁，共一百四十五頁，2022年，8月28日第五十四頁，共一百四十五頁，2022年，8月28日線性神經(jīng)網(wǎng)絡(luò)第五十五頁，共一百四十五頁，2022年，8月28日Outline1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.LMS學(xué)習(xí)算法3.LMS算法中學(xué)習(xí)率的選擇4.線性神經(jīng)網(wǎng)絡(luò)與感知器的對比5.線性神經(jīng)網(wǎng)絡(luò)實現(xiàn)直線擬合6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例-與第五十六頁，共一百四十五頁，2022年，8月28日1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)最典型的例子是自適應(yīng)線性元件（AdaptiveLinearElement，Adaline）。線性神經(jīng)網(wǎng)絡(luò)與感知器的主要區(qū)別在于，感知器的傳輸函數(shù)只能輸出兩種可能的值，而線性神經(jīng)網(wǎng)絡(luò)的輸出可以取任意值，其傳輸函數(shù)是線性函數(shù)。線性神經(jīng)網(wǎng)絡(luò)在收斂的精度和速度上較感知器都有了較大提高，但由于其線性運算規(guī)則，它也只能解決線性可分的問題。

第五十七頁，共一百四十五頁，2022年，8月28日1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上與感知器網(wǎng)絡(luò)非常相似，只是神經(jīng)元傳輸函數(shù)不同。第五十八頁，共一百四十五頁，2022年，8月28日1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)若網(wǎng)絡(luò)中包含多個神經(jīng)元節(jié)點，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫Madaline網(wǎng)絡(luò)。Madaline可以用一種間接的方式解決線性不可分的問題，方法是用多個線性函數(shù)對區(qū)域進行劃分，然后對各個神經(jīng)元的輸出做邏輯運算。第五十九頁，共一百四十五頁，2022年，8月28日1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)解決線性不可分問題的另一個方法是，對神經(jīng)元添加非線性輸入，從而引入非線性成分，這樣做會使等效的輸入維度變大。第六十頁，共一百四十五頁，2022年，8月28日2.LMS學(xué)習(xí)算法LMS算法與感知器網(wǎng)絡(luò)的學(xué)習(xí)算法在權(quán)值調(diào)整上都基于糾錯學(xué)習(xí)規(guī)則，但LMS更易實現(xiàn)，因此得到了廣泛應(yīng)用，成為自適應(yīng)濾波的標(biāo)準(zhǔn)算法。也稱為規(guī)則采用均方誤差作為評價指標(biāo)是輸入訓(xùn)練樣本的個數(shù)。線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)是找到適當(dāng)?shù)模沟谜`差的均方差最小。只要用對求偏導(dǎo)，再令該偏導(dǎo)等于零即可求出的極值。顯然，必為正值，因此二次函數(shù)是凹向上的，求得的極值必為極小值。第六十一頁，共一百四十五頁，2022年，8月28日2.LMS學(xué)習(xí)算法誤差表示為求導(dǎo)誤差等于期望輸出—實際輸出求導(dǎo)代入，有：權(quán)值的修正值正比于當(dāng)前位置上的梯度第六十二頁，共一百四十五頁，2022年，8月28日2.LMS學(xué)習(xí)算法（1）定義變量和參數(shù)。（2）初始化。給向量賦一個較小的隨機初值。（3）輸入樣本，計算實際輸出和誤差。（4）調(diào)整權(quán)值向量。（5）判斷算法是否收斂。若滿足收斂條件，則算法結(jié)束，否則跳轉(zhuǎn)到第3步重新計算。第六十三頁，共一百四十五頁，2022年，8月28日3.LMS算法中學(xué)習(xí)率的選擇學(xué)習(xí)率越小，算法的運行時間就越長，算法也就記憶了更多過去的數(shù)據(jù)。因此，學(xué)習(xí)率的倒數(shù)反映了LMS算法的記憶容量大小。1996年Hayjin證明，只要學(xué)習(xí)率滿足下式，LMS算法就是按方差收斂的：輸入向量自相關(guān)矩陣的最大特征值一般不可知，用矩陣的跡代替，跡就是主對角線元素之和。第六十四頁，共一百四十五頁，2022年，8月28日3.LMS算法中學(xué)習(xí)率的選擇自相關(guān)矩陣的主對角線元素就是各輸入向量的均方值，故：在感知器學(xué)習(xí)算法中曾提到，學(xué)習(xí)率隨著學(xué)習(xí)的進行逐漸下降比始終不變更加合理。反比例函數(shù)指數(shù)式下降搜索—收斂方案第六十五頁，共一百四十五頁，2022年，8月28日4.線性神經(jīng)網(wǎng)絡(luò)與感知器的對比網(wǎng)絡(luò)傳輸函數(shù)。感知器傳輸函數(shù)是一個二值閾值元件，而線性神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)是線性的。這就決定了感知器只能做簡單的分類，而線性神經(jīng)網(wǎng)絡(luò)還可以實現(xiàn)擬合或逼近。學(xué)習(xí)算法。LMS算法得到的分類邊界往往處于兩類模式的正中間，而感知器學(xué)習(xí)算法在剛剛能正確分類的位置就停下來了，從而使分類邊界離一些模式距離過近，使系統(tǒng)對誤差更敏感。第六十六頁，共一百四十五頁，2022年，8月28日5.線性神經(jīng)網(wǎng)絡(luò)實現(xiàn)直線擬合對于一些離散的數(shù)據(jù)點，從中找到這些點的規(guī)律，就做一條直線，穿過盡可能多的點，使得這些數(shù)據(jù)和直線上所的估計的點的方差最小，找到的這條直線就是擬合直線，該直線代表了數(shù)據(jù)之間的線性規(guī)律。第六十七頁，共一百四十五頁，2022年，8月28日%%清理clear,clccloseall%%定義數(shù)據(jù)P=-5:5;%輸入：11個標(biāo)量Pd=3*P-7;drandn('state',2); d=d+randn(1,length(d))*1.5%期望輸出：加了噪聲的線性函數(shù)d第六十八頁，共一百四十五頁，2022年，8月28日P=[ones(1,length(P));P]%P加上偏置Plp.lr=0.01;%學(xué)習(xí)率MAX=150;%最大迭代次數(shù)ep1=0.1;%均方差終止閾值ep2=0.0001;%權(quán)值變化終止閾值%%初始化w=[0,0];第六十九頁，共一百四十五頁，2022年，8月28日%%循環(huán)更新

fori=1:MAXfprintf('第%d次迭代：\n',i)e=d-purelin(w*P);%求得誤差向量

ms(i)=mse(e);%均方差

ms(i)if(ms(i)<ep1)%如果均方差小于某個值，則算法收斂

fprintf('均方差小于指定數(shù)而終止\n');break;end第七十頁，共一百四十五頁，2022年，8月28日dW=lp.lr*e*P';%權(quán)值調(diào)整量

if(norm(dW)<ep2)%如果權(quán)值變化小于指定值，則算法收斂

fprintf('權(quán)值變化小于指定數(shù)而終止\n');break;endw=w+dW%用dW更新權(quán)值

end第七十一頁，共一百四十五頁，2022年，8月28日%%顯示fprintf('算法收斂于：\nw=(%f,%f),MSE:%f\n',w(1),w(2),ms(i));figure;subplot(2,1,1);%繪制散點和直線plot(P(2,:),d,'o');title('散點與直線擬合結(jié)果');xlabel('x');ylabel('y');axis([-6,6,min(d)-1,max(d)+1]);x1=-5:.2:5;y1=w(1)+w(2)*x1;holdon;plot(x1,y1);subplot(2,1,2);%繪制均方差下降曲線semilogy(1:i,ms,'-o');xlabel('迭代次數(shù)');ylabel('MSE');title('均方差下降曲線');第七十二頁，共一百四十五頁，2022年，8月28日第七十三頁，共一百四十五頁，2022年，8月28日6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——與網(wǎng)絡(luò)的訓(xùn)練中共需確定3個自由變量，而輸入的訓(xùn)練向量則有4個，因此可以形成一個線性方程組：由于方程的個數(shù)超過了自變量的個數(shù)，因此方程沒有精確解，只有近似解，用偽逆的方法可以求得權(quán)值向量的值：>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P]>>d=[0,0,0,1] >>pinv(P')*d'

第七十四頁，共一百四十五頁，2022年，8月28日6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——與手算：%定義>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P] %包含偏置的輸入向量>>d=[0,0,0,1] %期望輸出向量%初始化>>w=[0,0,0] %權(quán)值向量初始化為零向量>>lr=maxlinlr(P) %根據(jù)輸入矩陣求解最大學(xué)習(xí)率>>MAX=200; %最大迭代次數(shù)，根據(jù)經(jīng)驗確定第七十五頁，共一百四十五頁，2022年，8月28日>>fori=1:MAX...fprintf('第%d次迭代\n',i);v=w*P; %求出輸出y=v;disp('線性網(wǎng)絡(luò)的二值輸出：');yy=y>=0.5 %將模擬輸出轉(zhuǎn)化為二值輸出，以0.5為閾值e=d-y; %誤差m(i)=mse(e); %均方誤差fprintf('均方誤差：%f\n',m(i));dw=lr*e*P'; %權(quán)值向量的調(diào)整量fprintf('權(quán)值向量：\n');w=w+dw %調(diào)整權(quán)值向量end6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——與第七十六頁，共一百四十五頁，2022年，8月28日plot([0,0,1],[0,1,0],'o');holdon;plot(1,1,'d');x=-2:.2:2;y=1.5-x;plot(x,y)axis([-0.5,2,-0.5,2])xlabel('x');ylabel('ylabel');title('線性神經(jīng)網(wǎng)絡(luò)用于求解與邏輯')legend('0','1','分類面');6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——與第七十七頁，共一百四十五頁，2022年，8月28日得到的分類超平面為：第七十八頁，共一百四十五頁，2022年，8月28日使用工具箱函數(shù)：and_linearlayer.m：線性網(wǎng)絡(luò)與感知器的對比線性網(wǎng)絡(luò)得到的分類面大致位于兩類坐標(biāo)點的中間位置，而感知器得到的分類面恰好穿過其中一個坐標(biāo)點。線性神經(jīng)網(wǎng)絡(luò)魯棒性強，優(yōu)于感知器。6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——與第七十九頁，共一百四十五頁，2022年，8月28日添加非線性輸入：6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——異或運行xor_linearlayer.m第八十頁，共一百四十五頁，2022年，8月28日6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例——異或使用Madaline：兩個神經(jīng)元運行xor_madaline.m第八十一頁，共一百四十五頁，2022年，8月28日第6章BP神經(jīng)網(wǎng)絡(luò)第八十二頁，共一百四十五頁，2022年，8月28日Outline1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法3.設(shè)計BP網(wǎng)絡(luò)的方法4.BP神經(jīng)網(wǎng)絡(luò)的局限性5.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實例第八十三頁，共一百四十五頁，2022年，8月28日1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是包含多個隱含層的網(wǎng)絡(luò)，具備處理線性不可分問題的能力。誤差反向傳播算法（ErrorBackPropagtion，BP），解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題。是一種多層前向網(wǎng)絡(luò)，又叫多層感知器。BP網(wǎng)絡(luò)是前向神經(jīng)網(wǎng)絡(luò)的核心部分，也是整個人工神經(jīng)網(wǎng)絡(luò)體系中的精華，廣泛應(yīng)用于分類識別、逼近、回歸、壓縮等領(lǐng)域。在實際應(yīng)用中，大約80%的神經(jīng)網(wǎng)絡(luò)模型采取了BP網(wǎng)絡(luò)或BP網(wǎng)絡(luò)的變化形式。第八十四頁，共一百四十五頁，2022年，8月28日1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)由多層構(gòu)成，層與層之間全連接，同一層之間的神經(jīng)元無連接。包含一個多多個隱層，可以實現(xiàn)復(fù)雜的映射關(guān)系。第八十五頁，共一百四十五頁，2022年，8月28日1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

BP網(wǎng)絡(luò)的傳遞函數(shù)必須可微。BP網(wǎng)絡(luò)一般使用Sigmoid函數(shù)或線性函數(shù)作為傳遞函數(shù)。Sigmoid函數(shù)是光滑、可微的函數(shù)，在分類時它比線性函數(shù)更精確，容錯性較好。將輸入從負無窮到正無窮的范圍映射到0~1或-1~1區(qū)間內(nèi)，具有非線性的放大功能。Log-SigmoidTan-Sigmoid第八十六頁，共一百四十五頁，2022年，8月28日1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)“誤差反向傳播”：誤差信號反向傳播。修正權(quán)值時，網(wǎng)絡(luò)根據(jù)誤差從后向前逐層進行修正?！胺答伾窠?jīng)網(wǎng)絡(luò)”：輸出層的輸出值又連接到輸入神經(jīng)元作為下一次計算的輸入，如此循環(huán)迭代，直到網(wǎng)絡(luò)的輸出值進入穩(wěn)定狀態(tài)為止。在本書后面的章節(jié)中會專門介紹反饋神經(jīng)網(wǎng)絡(luò)，包括Hopfield網(wǎng)絡(luò)、Elman網(wǎng)絡(luò)等。BP神經(jīng)網(wǎng)絡(luò)屬于多層前向網(wǎng)絡(luò)，工作信號始終正向流動，沒有反饋結(jié)構(gòu)。

BP網(wǎng)絡(luò)采用誤差反向傳播算法（Back-PropagationAlgorithm）進行學(xué)習(xí)。在BP網(wǎng)絡(luò)中，數(shù)據(jù)從輸入層經(jīng)隱含層逐層向后傳播，訓(xùn)練網(wǎng)絡(luò)權(quán)值時，則沿著減少誤差的方向，從輸出層經(jīng)過中間各層逐層向前修正網(wǎng)絡(luò)的連接權(quán)值。第八十七頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法BP學(xué)習(xí)算法的原理與LMS算法比較類似，屬于最速下降法。最速下降法最速下降法可以求某指標(biāo)（目標(biāo)函數(shù)）的極小值，若將目標(biāo)函數(shù)取為均方誤差，就得到了LMS算法。對于實值函數(shù)，如果在某點處有定義且可微，則函數(shù)在該點處沿著梯度相反的方向下降最快。因此，使用梯度下降法時，應(yīng)首先計算函數(shù)在某點處的梯度，再沿著梯度的反方向以一定的步長調(diào)整自變量的值。當(dāng)步長足夠小時反復(fù)迭代求得函數(shù)最小值第八十八頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法最速下降法實例：求函數(shù)的最小值根據(jù)梯度值可以再函數(shù)中畫出一系列的等值線或等值面，在等值線或等值面上函數(shù)值相等。梯度下降法相當(dāng)于沿著垂直于等值線方向向最小值所在位置移動。第八十九頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法（1）目標(biāo)函數(shù)必須可微。（2）如果最小值附近比較平坦，算法會在最小值附近停留很久，收斂緩慢。

“之”字形下降（3）對于包含多個極小值的函數(shù)，所獲得的結(jié)果依賴初始值。算法有可能陷入局部極小值點，而沒有達到全局最小值點。BP神經(jīng)網(wǎng)絡(luò)來說，由于傳遞函數(shù)都是可微的，因此能滿足最速下降法的使用條件。第九十頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法最速下降BP法隱含層傳遞函數(shù)為Sigmoid函數(shù)，輸出層傳遞函數(shù)為線性函數(shù)1.工作信號正向傳播2.誤差信號反向傳播權(quán)值調(diào)整量=學(xué)習(xí)率*局部梯度*上一層輸出信號第九十一頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法當(dāng)輸出層傳遞函數(shù)為線性函數(shù)時，輸出層與隱含層之間權(quán)值調(diào)整的規(guī)則類似于線性神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整規(guī)則。BP網(wǎng)絡(luò)的復(fù)雜之處在于，隱含層與隱含層之間、隱含層與輸入層之間調(diào)整權(quán)值時，局部梯度的計算需要用到上一步計算的結(jié)果。前一層的局部梯度是后一層局部梯度的加權(quán)和。因此，BP網(wǎng)絡(luò)學(xué)習(xí)權(quán)值時只能從后向前依次計算。串行方式。在線方式，網(wǎng)絡(luò)每獲得一個新樣本，就計算一次誤差并更新權(quán)值，直到樣本輸入完畢。隨機輸入樣本，不容易陷入局部最優(yōu)陷阱。批量方式：離線方式。網(wǎng)絡(luò)獲得所有的訓(xùn)練樣本，計算所有樣本均方誤差的和作為總誤差。容易并行化，速度快。第九十二頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法動量BP法在標(biāo)準(zhǔn)BP算法的權(quán)值更新階段引入動量因子，使權(quán)值修正值具有一定慣性：本次權(quán)值的更新方向和幅度不但與本次計算所得的梯度有關(guān)，還與上一次更新的方向和幅度有關(guān)（1）如果前后兩次計算所得的梯度方向相同，得到的權(quán)值較大，可以加速收斂過程。（2）如果前后兩次計算所得梯度方向相反，則說明兩個位置之間可能存在一個極小值，可以得到一個較小的步長，更容易找到最小值點，而不會陷入來回振蕩第九十三頁，共一百四十五頁，2022年，8月28日2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法

學(xué)習(xí)率可變的BP算法：當(dāng)誤差以減小的方式趨于目標(biāo)時，說明修正方向是正確的，可以增加學(xué)習(xí)率；當(dāng)誤差增加超過一定范圍時，說明前一步修正進行地不正確，應(yīng)減小步長，并撤銷前一步修正過程。

擬牛頓法。牛頓法具有收斂快的優(yōu)點，但需要計算誤差性能函數(shù)的二階導(dǎo)數(shù)，計算較為復(fù)雜。擬牛頓法只需要知道目標(biāo)函數(shù)的梯度，通過測量梯度的變化進行迭代，收斂速度大大優(yōu)于最速下降法。擬牛頓法有DFP方法、BFGS方法、SR1方法和Broyden族方法。第九十四頁，共一百四十五頁，2022年，8月28日3.設(shè)計BP網(wǎng)絡(luò)的方法1.網(wǎng)絡(luò)層數(shù)。對于大部分應(yīng)用場合，單個隱含層即可滿足需要2.輸入層節(jié)點數(shù)。輸入層節(jié)點數(shù)取決于輸入向量的維數(shù)。如果輸入的是的圖像，則輸入向量應(yīng)為圖像中所有的像素形成的4096維向量。如果待解決的問題是二元函數(shù)擬合，則輸入向量應(yīng)為二維向量。3.隱含層節(jié)點數(shù)。較多的隱含層節(jié)點數(shù)可以帶來更好的性能，但可能導(dǎo)致訓(xùn)練時間過長。經(jīng)驗公式：BP網(wǎng)絡(luò)的設(shè)計主要包括網(wǎng)絡(luò)層數(shù)、輸入層節(jié)點數(shù)、隱含層節(jié)點數(shù)、輸出層節(jié)點數(shù)及傳輸函數(shù)、訓(xùn)練方法、訓(xùn)練參數(shù)的設(shè)置等幾個方面。樣本數(shù)輸入層結(jié)點數(shù)第九十五頁，共一百四十五頁，2022年，8月28日3.設(shè)計BP網(wǎng)絡(luò)的方法輸出層神經(jīng)元的個數(shù)同樣需要根據(jù)從實際問題中得到的抽象模型來確定。在模式分類問題中，如果共有n種類別，則輸出可以采用n個神經(jīng)元。也可以將節(jié)點個數(shù)設(shè)計為個，表示最小的不小于的整數(shù)。由于輸出共有4種情況，因此采用二維輸出即可覆蓋整個輸出空間，00、01、10和11分別表示一種類別。輸出層神經(jīng)元個數(shù)傳遞函數(shù)的選擇一般隱含層使用Sigmoid函數(shù)，而輸出層使用線性函數(shù)。如果輸出層也采用Sigmoid函數(shù)，輸出值將會被限制在0~1或-1~1之間。第九十六頁，共一百四十五頁，2022年，8月28日3.設(shè)計BP網(wǎng)絡(luò)的方法訓(xùn)練方法的選擇使用LM算法收斂速度最快，均方誤差也較小。LM算法對于模式識別相關(guān)問題的處理能力較弱，且需要較大的存儲空間模式識別問題，使用RPROP算法能收到較好的效果SCG算法對于模式識別和函數(shù)逼近問題都有較好的性能表現(xiàn)。初始權(quán)值的確定通常將初始權(quán)值定義為較小的非零隨機值，經(jīng)驗值為：權(quán)值輸入端連接的神經(jīng)元個數(shù)第九十七頁，共一百四十五頁，2022年，8月28日3.設(shè)計BP網(wǎng)絡(luò)的方法確定以上參數(shù)后，將訓(xùn)練數(shù)據(jù)進行歸一化處理，并輸入網(wǎng)絡(luò)中進行學(xué)習(xí)，若網(wǎng)絡(luò)成功收斂，即可得到所需的神經(jīng)網(wǎng)絡(luò)。第九十八頁，共一百四十五頁，2022年，8月28日4.BP神經(jīng)網(wǎng)絡(luò)的局限性BP網(wǎng)絡(luò)具有實現(xiàn)任何復(fù)雜非線性映射的能力，特別適合求解內(nèi)部機制復(fù)雜的問題，但BP網(wǎng)絡(luò)也具有一些難以克服的局限性（1）需要的參數(shù)較多，且參數(shù)的選擇沒有有效的方法。隱含層結(jié)點個數(shù)。（2）容易陷入局部最優(yōu)。（3）樣本依賴性。如果樣本集合代表性差、矛盾樣本多、存在冗余樣本，網(wǎng)絡(luò)就很難達到預(yù)期的性能（4）初始權(quán)重敏感性。訓(xùn)練的第一步是給定一個較小的隨機初始權(quán)重，由于權(quán)重是隨機給定的，BP網(wǎng)絡(luò)往往具有不可重現(xiàn)性。第九十九頁，共一百四十五頁，2022年，8月28日5.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實例實現(xiàn)二值邏輯——異或?qū)W習(xí)率為0.6，動量因子為0.8，默認(rèn)最大迭代次數(shù)為1000次采用手算實現(xiàn)基于BP網(wǎng)絡(luò)的異或邏輯。訓(xùn)練時采用批量訓(xùn)練的方法，訓(xùn)練算法使用帶動量因子的最速下降法。main_xor.m第一百頁，共一百四十五頁，2022年，8月28日6.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實例分類面xy第一百零一頁，共一百四十五頁，2022年，8月28日%%清理clearallclcrandn('state',2);%%參數(shù)eb=0.01;%誤差容限eta=0.6;%學(xué)習(xí)率mc=0.8;%動量因子maxiter=1000;%最大迭代次數(shù)第一百零二頁，共一百四十五頁，2022年，8月28日%%初始化網(wǎng)絡(luò)nSampNum=4;nSampDim=2;nHidden=3;nOut=1;w=2*(rand(nHidden,nSampDim)-1/2);b=2*(rand(nHidden,1)-1/2);wex=[w,b];

W=2*(rand(nOut,nHidden)-1/2);B=2*(rand(nOut,1)-1/2);WEX=[W,B];第一百零三頁，共一百四十五頁，2022年，8月28日%%數(shù)據(jù)SampIn=[0,0,1,1;...0,1,0,1;...1,1,1,1];expected=[0,1,1,0];第一百零四頁，共一百四十五頁，2022年，8月28日%%訓(xùn)練iteration=0;errRec=[];outRec=[];

fori=1:maxiter%工作信號正向傳播

hp=wex*SampIn;tau=logsig(hp);tauex=[tau',1*ones(nSampNum,1)]';第一百零五頁，共一百四十五頁，2022年，8月28日HM=WEX*tauex;out=logsig(HM);outRec=[outRec,out'];

err=expected-out;sse=sumsqr(err);errRec=[errRec,sse];fprintf('第%d次迭代，誤差：%f\n',i,sse)第一百零六頁，共一百四十五頁，2022年，8月28日%判斷是否收斂

iteration=iteration+1;ifsse<=ebbreak;end

%誤差信號反向傳播

%DELTA和delta為局部梯度

DELTA=err.*dlogsig(HM,out);delta=W'*DELTA.*dlogsig(hp,tau);dWEX=DELTA*tauex';dwex=delta*SampIn';第一百零七頁，共一百四十五頁，2022年，8月28日

%更新權(quán)值

ifi==1WEX=WEX+eta*dWEX;wex=wex+eta*dwex;elseWEX=WEX+(1-mc)*eta*dWEX+mc*dWEXOld;wex=wex+(1-mc)*eta*dwex+mc*dwexOld;end

dWEXOld=dWEX;dwexOld=dwex;

W=WEX(:,1:nHidden);

end第一百零八頁，共一百四十五頁，2022年，8月28日%%顯示figure(1)grid[nRow,nCol]=size(errRec);semilogy(1:nCol,errRec,'LineWidth',1.5);title('誤差曲線');xlabel('迭代次數(shù)');x=-0.2:.05:1.2;[xx,yy]=meshgrid(x);第一百零九頁，共一百四十五頁，2022年，8月28日fori=1:length(xx)forj=1:length(yy)xi=[xx(i,j),yy(i,j),1];hp=wex*xi';tau=logsig(hp);tauex=[tau',1]';HM=WEX*tauex;out=logsig(HM);z(i,j)=out;endend第一百一十頁，共一百四十五頁，2022年，8月28日figure(2)mesh(x,x,z);figure(3)plot([0,1],[0,1],'*','LineWidth',2);holdonplot([0,1],[1,0],'o','LineWidth',2);[C,h]=contour(x,x,z,0.5,'b');clabel(C,h);legend('0','1','分類面');title('分類面')第一百一十一頁，共一百四十五頁，2022年，8月28日徑向基函數(shù)網(wǎng)絡(luò)第一百一十二頁，共一百四十五頁，2022年，8月28日Outline1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)2.徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法3.徑向基神經(jīng)網(wǎng)絡(luò)與多層感知器的比較4.概率神經(jīng)網(wǎng)絡(luò)5.廣義回歸神經(jīng)網(wǎng)絡(luò)6.徑向基網(wǎng)絡(luò)應(yīng)用實例第一百一十三頁，共一百四十五頁，2022年，8月28日1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)Broomhead和Lowe根據(jù)生物神經(jīng)元具有局部響應(yīng)的原理，將徑向基函數(shù)引入到神經(jīng)網(wǎng)絡(luò)中。很快，RBF網(wǎng)絡(luò)被證明對非線性網(wǎng)絡(luò)具有一致逼近的性能，在不同行業(yè)和領(lǐng)域逐步得到了廣泛應(yīng)用。由三層構(gòu)成的前向網(wǎng)絡(luò)。第一層為輸入層，節(jié)點個數(shù)等于輸入的維數(shù)；第二層為隱含層，節(jié)點個數(shù)視問題的復(fù)雜度而定；第三層為輸出層，節(jié)點個數(shù)等于輸出數(shù)據(jù)的維數(shù)。隱含層是非線性的，采用徑向基函數(shù)作為基函數(shù)，從而將輸入向量空間轉(zhuǎn)換到隱含層空間，使原來線性不可分的問題變得線性可分，輸出層則是線性的。徑向基網(wǎng)絡(luò)概率神經(jīng)網(wǎng)絡(luò)廣義回歸網(wǎng)絡(luò)模式分類和函數(shù)逼近第一百一十四頁，共一百四十五頁，2022年，8月28日1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)徑向基函數(shù)：有多種形式，其中最為常用的，是高斯函數(shù)輸入層隱含層輸出層（線性）1.正則化網(wǎng)絡(luò)是一個通用逼近器，這意味著，只要有足夠多的隱含節(jié)點，它就可以以任意精度逼近任意多遠連續(xù)函數(shù)。2.給定一個未知的非線性函數(shù)f，總可以選擇一組系數(shù)，使得網(wǎng)絡(luò)對f的逼近是最優(yōu)的。第一百一十五頁，共一百四十五頁，2022年，8月28日1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)正則化網(wǎng)絡(luò)的一個特點就是：隱含節(jié)點的個數(shù)等于輸入訓(xùn)練樣本的個數(shù)。因此如果訓(xùn)練樣本的個數(shù)N過大，網(wǎng)絡(luò)的計算量將是驚人的，從而導(dǎo)致過低的效率甚至根本不可實現(xiàn)。解決的方案是用Galerkin方法來減少隱含層神經(jīng)單元的個數(shù)，此時求得的解是較低維數(shù)空間上的次優(yōu)解。這就是廣義網(wǎng)絡(luò)在實際應(yīng)用中，一般都采用廣義徑向基函數(shù)網(wǎng)絡(luò)。第一百一十六頁，共一百四十五頁，2022年，8月28日2.徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法確定隱含層結(jié)點中心隱含層中基函數(shù)的標(biāo)準(zhǔn)差網(wǎng)絡(luò)權(quán)值（隱含層到輸出層）所選取的中心之間的最大距離n為隱含節(jié)點的個數(shù)隨機選取固定中心、自組織選取中心、有監(jiān)督選取中心、正交最小二乘法網(wǎng)絡(luò)權(quán)值可以采用偽逆法G為隱含層輸出，d為輸出層的期望輸出第一百一十七頁，共一百四十五頁，2022年，8月28日3.徑向基神經(jīng)網(wǎng)絡(luò)與多層感知器的比較徑向基神經(jīng)網(wǎng)絡(luò)是三層網(wǎng)絡(luò)（輸入層、隱含層、輸出層），只有一個隱含層，而多層感知器則可以有多個隱含層徑向基神經(jīng)網(wǎng)絡(luò)的隱含層和輸出層完全不同，隱含層采用非線性函數(shù)（徑向基函數(shù)）作為基函數(shù)，而輸出層采用線性函數(shù)，兩者作用不同。徑向基神經(jīng)網(wǎng)絡(luò)的基函數(shù)計算的是輸入向量與基函數(shù)中心之間的歐式距離（兩者取差值，再取歐幾里德范數(shù)），而多層感知器的隱單元的激勵函數(shù)則計算輸入向量與權(quán)值的內(nèi)積多層感知器對非線性映射全局逼近，徑向基函數(shù)局部逼近第一百一十八頁，共一百四十五頁，2022年，8月28日4.概率神經(jīng)網(wǎng)絡(luò)概率神經(jīng)網(wǎng)絡(luò)（ProbabilisticNeuralNetworks，PNN）在模式分類問題中獲得了廣泛應(yīng)用。概率神經(jīng)網(wǎng)絡(luò)可以視為一種徑向基神經(jīng)網(wǎng)絡(luò)，在RBF網(wǎng)絡(luò)的基礎(chǔ)上，融合了密度函數(shù)估計和貝葉斯決策理論。在某些易滿足的條件下，以PNN實現(xiàn)的判別邊界漸進地逼近貝葉斯最佳判定面。貝葉斯：通過先驗概率求后驗概率。第一百一十九頁，共一百四十五頁，2022年，8月28日4.概率神經(jīng)網(wǎng)絡(luò)第一層為輸入層，用于接收來自訓(xùn)練樣本的值，將數(shù)據(jù)傳遞給隱含層徑向基層，每一個隱含層的神經(jīng)元節(jié)點擁有一個中心，該層接收輸入層的樣本輸入，計算輸入向量與中心的距離，最后返回一個標(biāo)量值求和層把隱含層中屬于同一類的隱含神經(jīng)元的輸出做加權(quán)平均輸出層取求和層中最大的一個作為輸出的類別概率神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層、求和層和輸出層組成第一百二十頁，共一百四十五頁，2022年，8月28日4.概率神經(jīng)網(wǎng)絡(luò)PNN網(wǎng)絡(luò)的優(yōu)點訓(xùn)練容易，收斂速度快，從而非常適用于實時處理。可以實現(xiàn)任意的非線性逼近，用PNN網(wǎng)絡(luò)所形成的判決曲面與貝葉斯最優(yōu)準(zhǔn)則下的曲面非常接近。只要有充足的樣本數(shù)據(jù)，概率神經(jīng)網(wǎng)絡(luò)都能收斂到貝葉斯分類器，沒有BP網(wǎng)絡(luò)的局部極小值問題擴充性能好。網(wǎng)絡(luò)的學(xué)習(xí)過程簡單，增加或減少類別模式時不需要重新進行長時間的訓(xùn)練學(xué)習(xí)第一百二十一頁，共一百四十五頁，2022年，8月28日5.廣義回歸神經(jīng)網(wǎng)絡(luò)廣義回歸神經(jīng)網(wǎng)絡(luò)（GeneralRegressionNeuralNetwork，GRNN）是徑向基網(wǎng)絡(luò)的另外一種變形形式

廣義回歸網(wǎng)絡(luò)以徑向基網(wǎng)絡(luò)為基礎(chǔ)，因此具有良好的非線性逼近性能，與徑向基網(wǎng)絡(luò)相比，訓(xùn)練更為方便廣義回歸神經(jīng)網(wǎng)絡(luò)尤其適合解決曲線擬合的問題在MATLAB中newgrnn函數(shù)可以方便的實現(xiàn)GRNN網(wǎng)絡(luò)第一百二十二頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例異或問題RBF網(wǎng)絡(luò)曲線擬合第一百二十三頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例異或問題輸入層為兩個神經(jīng)元，輸出層為一個神經(jīng)元，隱含層定位兩個神經(jīng)元1.顯然問題是對稱的，因此假定輸出單元的兩個權(quán)值相等，即w1=w2=w2.輸出單元擁有一個偏置b，以保證網(wǎng)絡(luò)具有非零均值的輸出值兩個隱含層結(jié)點的中心：t1=[1,1]T，t2=[0,0]T第一百二十四頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例輸入數(shù)據(jù)（0,0），（1,0），（0,1），（1,1）gji表示第j個輸入向量與第i個隱含節(jié)點的中心的距離。>>x=[0,0;0,1;1,1;1,0] %輸入向量>>t=[0,1;0,1] %隱含節(jié)點的中心>>z=dist(x,t) %計算輸入向量到中心的距離>>G=radbas(z) %將算得的距離輸入到徑向基函數(shù)中G相當(dāng)于徑向基層的輸出。再加上偏置b=1，形成矩陣第一百二十五頁，共一百四十五頁，2022年，8月28日>>G=[G,ones(4,1)] %加上偏置>>d=[0,1,0,1]‘ %期望輸出>>w=inv(G.'*G)*G.'*d %求權(quán)值向量d=[0,1,0,1]T，w=[w,w,b]T采用以下公式求解w最終：w=[-2.5027,-2.5027,2.8413]T計算實際輸出：>>Y=G*w %%計算實際輸出第一百二十六頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例忽略第三列偏置，第一行是第一個輸入向量[0,0]T在隱含層的輸出，其余行以此類推。表示為坐標(biāo)的形式RBF網(wǎng)絡(luò)的隱含層經(jīng)過高斯函數(shù)的運算，將原向量空間中的四個點映射為隱含層空間中的三個點。原空間中四個點線性不可分，而在新的空間中卻可由一條直線正確地分成兩類一些解釋第一百二十七頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例%xor_hand.m%%清理clearallcloseallclc%%輸入%輸入向量x=[0,0;0,1;1,1;1,0]%隱含節(jié)點的中心t=[0,1;0,1]第一百二十八頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例%%計算網(wǎng)絡(luò)%計算輸入向量到中心的距離z=dist(x,t)%將算得的距離輸入到徑向基函數(shù)中G=radbas(z)%加上偏置G=[G,ones(4,1)]第一百二十九頁，共一百四十五頁，2022年，8月28日6.徑向基網(wǎng)絡(luò)應(yīng)用實例%期望輸出d=[0,1,0,1]'%求權(quán)值向量w=inv(G.'