智能控制考試

1、單層感知器的結(jié)構(gòu)單層感知器屬于單層前向網(wǎng)絡(luò)，即除了輸入層和輸出層之外只擁有一層神經(jīng)元節(jié)點(diǎn)。感知器(perception)的原理相對(duì)簡(jiǎn)單，是學(xué)習(xí)其他復(fù)雜神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。由單個(gè)神經(jīng)元組成的單層感知器只能用來(lái)解決線性可分的二分類問(wèn)題。典型使用場(chǎng)景:將其用于兩類模式分類時(shí)，就相當(dāng)于在高維樣本空間中，用一個(gè)超平面將樣本分開(kāi)。Rosenblatt證明，如果兩類模式線性可分，則算法一定收斂。XiX2X1XN輸入是一個(gè)N維向量向量?？?3, D3 口其中的每一個(gè)分量都對(duì)應(yīng)于一個(gè)權(quán)值，隱含層的輸出疊加為一個(gè)標(biāo)量N值：V = x 3 i ii = 1隨后在二值閾值元件中對(duì)得到的V值進(jìn)行判斷，產(chǎn)生二值輸出:V =

2、sgn二維空間中的超平面是一條直線。在直線下方的點(diǎn)，輸出-1 ；在直線上方的點(diǎn)，V 1輸出1。分類面：3 x +3 x + b = 0輸入權(quán)值在實(shí)際應(yīng)用中，通常采用糾錯(cuò)學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。將偏置作為一個(gè)固定輸入x(n) = +1,x (n),x (n),x (n)h y (n) = sgn (w t (n) x (n)x =伽(n) x(n)單層感知器的學(xué)習(xí)算法（1）定義變量和參數(shù)。X為輸入，y為實(shí)際輸出，d為期望輸出為偏置，w為權(quán)值。（2）初始化。n=0，將權(quán)值向量 設(shè)置為隨機(jī)值或全零值。（3）激活。輸入訓(xùn)練樣本，對(duì)每個(gè)訓(xùn)練樣本指定其期望輸出x(n) = +1,x (n), x (n),x

3、(n)h12N計(jì)算實(shí)際輸出。碩n) = fb(n),3 (n),w (),w (n)1更新權(quán)值向量。m(h +1) = m(h) +門(mén)d (n) 一 y (n) x (n)判斷。若滿足收斂條件，算法結(jié)束；若不滿足，n自增1,轉(zhuǎn)到 第3步繼續(xù)執(zhí)行。條件的混合使用， 防止出現(xiàn)算法不收斂?jī)纱蔚g的權(quán)值變化已經(jīng)很小設(shè)定最大迭代次數(shù)肱，當(dāng)?shù)?M次之后算法就停止迭代誤差小于某個(gè)預(yù)先設(shè)定的較小的值門(mén)確定學(xué)習(xí)率不應(yīng)當(dāng)過(guò)大，以便為輸入向量提供一個(gè)比較穩(wěn)定的權(quán)值估計(jì)不應(yīng)當(dāng)過(guò)小，以便使權(quán)值能夠根據(jù)輸入的向量x實(shí)時(shí)變化，體現(xiàn)誤差對(duì)權(quán)值的修正作用 粗準(zhǔn)焦螺旋和細(xì)準(zhǔn)焦螺旋的類比。一一自適應(yīng)學(xué)習(xí)率。感知器的局限性單

4、層感知器無(wú)法解決線性不可分問(wèn)題，只能做近似分類。感知器的激活函數(shù)使用閾值函數(shù)，輸出值只有兩種取值，限制了 在分類種類上的擴(kuò)展。如果輸入樣本存在奇異樣本，網(wǎng)絡(luò)需要花費(fèi)很長(zhǎng)的時(shí)間。感知器的學(xué)習(xí)算法只對(duì)單層有效。單層感知器應(yīng)用實(shí)例坐標(biāo)點(diǎn)的二類模式分類問(wèn)題：二維平面坐標(biāo)系中存在一系列坐 標(biāo)點(diǎn)，已知部分坐標(biāo)點(diǎn)屬于第一類，部分坐標(biāo)點(diǎn)屬于第二類，求新坐手算標(biāo)點(diǎn)的類別。使用工具箱序號(hào)Xy所屬類型（期望輸出）1-915021813-12404-4505011065911xy(2)初始化，將權(quán)值和偏置初始化為零。 w=0,0,0;(3)第一次迭代。 v=w*P %輸出層的輸入 y=hardlim(v)%計(jì)算網(wǎng)絡(luò)的

5、輸出根據(jù)整權(quán)值 e=(d-y) % 誤差%計(jì)算誤差的平 ee=mae(e)均絕對(duì)差 w=w+n*(T-y)*P % 調(diào)整w（4）第二次迭代。重復(fù)以上的步驟 v=w*P y=hardlim(v) e=(d-y) ee=mae(e)% 誤差不為零! w=w+n*(T-y)*P第三次迭代，重復(fù)以上步驟。 v=w*P y=hardlim(v) e=(d-y) ee=mae(e) w=w+n*(T-y)*P第四次迭代。 v=w*P y=hardlim(v) e=(d-y) ee=mae(e) w=w+n*(T-y)*Pperception_hand.m誤差為零，權(quán)值w不再更新，得到的分類超平面為：7 x

6、 - 3.4 y - 0.4程序:% perception_hand.m %清理（1）定義變量 定義輸入 期望輸出clear,clc close all%學(xué)習(xí)率% n=0.2;w=0,0,0;P= -9, 1,-12,-4,0, 5;.15, -8,4,5,11, 9;d=0,1,0,0,0,1;% 期望輸出P=ones(1,6);P;111111-91-12-40515-845119figure;subplot(2,1,1);%顯示待分類的點(diǎn)和分類結(jié)果plot(-9 , -12 -40,15, 4511,o);hold on;plot(1,5,-8,9,*);axis(-13,6,-10,1

7、6);legend(第一類,第二類)；title(6 個(gè)坐標(biāo)點(diǎn) 的二分類 );6個(gè)坐標(biāo)點(diǎn)的二分類 TOC o 1-5 h z 15 F 0 ,10 - +5 _ o0 -10 111111111-12-10-8-6-4-2024二第一類+ 第二類%(3)初始化w=0,0,0;%（4）第一次迭代計(jì)算V和y值v=w*P;vy=hardlim(v); % 實(shí)際輸出y% y是實(shí)際輸出，與期望輸出d不一致需要根據(jù)誤差d-y 調(diào)整權(quán)值和偏置e=(d-y);eee=mae(e);eew=w+n*(d-y)*P;000000y =111111e =-10-1-1-10ee =w =0.6667的值，計(jì)算V和y

8、值 v=w*P;v y=hardlim(v); % 實(shí)際輸出y e=(d-y);eee=mae(e);還需要再88.80000ee %可以發(fā)現(xiàn)，實(shí)際輸出與期望輸出仍然不一致 次調(diào)整w向量w=w+n*(d-y)*P;wv = -150.800060.2000-55.8000 -77.8000 -38.8000y = 01000e = 00000ee = 0.1667 w =的值，計(jì)算V和y值 v=w*P;y=hardlim(v);%實(shí)際輸出e=(d-y);ee=mae(e);ee %可以發(fā)現(xiàn)，mae值與前一次迭代相比沒(méi)有變化，但是v值已經(jīng)有了更新，繼續(xù)調(diào)整權(quán)值和偏置w=w+n*(d-y)*P;4

9、7.0000-17.40000-93.4000wv =-132.6000 -50.6000 -57.8000 y = 0 e =0ee =0.1667 w = -0.4000v=w*P;vy=hardlim(v); % 實(shí)際輸出ye=(d-y);eee=mae(e);ee%可以發(fā)現(xiàn)，程序在第四次迭代時(shí)就已經(jīng)取得正確的結(jié)果，mae值為0，此時(shí)算法就收斂了，由于mae值為0，因此即使繼續(xù)更新w向量，其值也保持不變：w=w+n*(d-y)*P;wv =-114.4000-45.4000 -37.8000y = 010e = 00033.8000-98.00004.0000000ee = 0程序在第4

10、次迭代時(shí)就已經(jīng)取得了正確的結(jié)果,mae值為零。 此時(shí)算法就收斂了，由于mae值為零，因此繼續(xù)更新w向 量，其值也保持不變。w=w+n*(d-y)*P;ww =-0.40007.0000-3.4000%顯示figure;subplot(2,1,1);%顯示待分類的點(diǎn)和分類結(jié)果plot(-9 , -12 -40,15, 4511,o);hold on;plot(1,5,-8,9,*);axis(-13,6,-10,16);legend(,第一類,第二類,);title(6個(gè)坐標(biāo)點(diǎn)的二分類);x=-13:.2:6;y=x*(-w(2)/w(3)-w(1)/w(3);plot(x,y);hold of

11、f;總程序w=w+n*(d-y)*P;if (i=MAX)%達(dá)到最大迭代次% perception_hand.m數(shù)，退出%清理disp(MAX times loop);clear,clcdisp(w);close alldisp(ee(i+1);break;%endn=0.2;%學(xué)習(xí)率i= i+1;w=0,0,0;endP= -9, 1, -12, -4,0, 5;.%顯示15, -8,4, 5,11, 9;figure;d=0,1,0,0,0,1;%期望輸出subplot(2,1,1);%顯示待分類的點(diǎn)和分類結(jié)果P=ones(1,6);P;plot(-9 ,-12-40,15, 45MAX=

12、20;%最大迭代11,o);次數(shù)為20次hold on;%訓(xùn)練plot(1,5,-8,9,*);i=0;axis(-13,6,-10,16);while 1legend （第一類,第二類）；v=w*P;title（6個(gè)坐標(biāo)點(diǎn)的二分類）；y=hardlim(v);%實(shí)際輸出x=-13:.2:6;%更新y=x*(-w(2)/w(3)-w(1)/w (3);e=(d-y);plot(x,y);ee(i+1)=mae(e);hold off;if (ee(i+1)X 22 -ov yo 12八o.22boXc _lk.3 c線性神經(jīng)網(wǎng)絡(luò)與感知器1的對(duì)比網(wǎng)絡(luò)傳輸函數(shù)。感知器傳輸函數(shù)是一個(gè)二值閾值元件，而

13、線性神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)是線性的。這就決定了感知器只能做簡(jiǎn)單的分類，而線性神經(jīng)網(wǎng)絡(luò)還可以實(shí)現(xiàn)擬合或逼近。學(xué)習(xí)算法LMS算法得到的分類邊界往往處于兩類模式的正中間，而感知器學(xué)習(xí)算法在剛剛能正確分類的位置就停下來(lái)了，從而使分類邊界離一些模式距離過(guò)近使系統(tǒng)對(duì)誤差更敏感線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例與o2網(wǎng)絡(luò)的訓(xùn)練中共需確定3個(gè)自由變量，而輸入的訓(xùn)練向量則有4個(gè)， 因此可以形成一個(gè)線性方程組：0 x x + 0 x j + 1x b = 0 0 x x + 1x j + 1x b = 0 1x x + 0 x j + 1x b = 0 1x x + 1x j + 1x b = 1由于方程的個(gè)數(shù)超過(guò)了自變量的個(gè)數(shù)，

14、因此方程沒(méi)有精確解，只有近似解，用偽逆的方法可以求得權(quán)值向量的值: P=0,0,1,1；0,1,0,1 P=ones(1,4);P手算: d=0,0,0,1%定義 pinv(P)*d P=0,0,1,1;0,1,0,1 P=ones(1,4);P%包含偏置的輸入向量 d=0,0,0,1%期望輸出向量%初始化 w=0,0,0權(quán)值向量初始化為零向量 lr=maxlinlr(P)%根據(jù)輸入矩陣求解最大學(xué)習(xí)率 MAX=200;%最大迭代次數(shù)，根據(jù)經(jīng)驗(yàn)確定 for i=1:MAX.fprintf(第d 次迭代n, i);v=w*P;%求出輸出y=v;disp（線性網(wǎng)絡(luò)的二值輸出：）;yy=y=0.5%將

15、模擬輸出轉(zhuǎn)化為二值輸出，以0.5為閾值e=d-y;%誤差m(i)=mse(e);%均方誤差fprintf(均方誤差：%fn,m (i);dw=lr*e*P;%權(quán)值向量的調(diào)整量fprintf(權(quán)值向量：n);w=w+dw%調(diào)整權(quán)值向量endplot(0,0,1,0,1,0,o);hold on;plot(1,1,d);x=-2:.2:2;y=1.5-x;plot(x,y)axis(-0.5,2,-0.5,2)xlabel(x);ylabel(ylabel);title(線性神經(jīng)網(wǎng)絡(luò)用于求解與邏輯)legend(0,1,分類面)；得到的分類超平面為：xBP神經(jīng)網(wǎng)絡(luò)的串行方式和批量方式串行方式。在線

16、方式，網(wǎng)絡(luò)每獲得一個(gè)新樣本，就計(jì)算一次誤差并更新權(quán)值，直到樣本輸入完畢。隨機(jī)輸入樣本，不容易陷入局部最優(yōu)陷阱。批量方式：離線方式。網(wǎng)絡(luò)獲得所有的訓(xùn)練樣本，計(jì)算所有樣本均方誤差的和作為總誤差。容易并行化，速度快。設(shè)計(jì)BP網(wǎng)絡(luò)的方法BP網(wǎng)絡(luò)的設(shè)計(jì)主要包括網(wǎng)絡(luò)層數(shù)、輸入層節(jié)點(diǎn)數(shù)、隱含層節(jié)點(diǎn)數(shù)、輸 出層節(jié)點(diǎn)數(shù)及傳輸函數(shù)、訓(xùn)練方法、訓(xùn)練參數(shù)的設(shè)置等幾個(gè)方面。網(wǎng)絡(luò)層數(shù)。對(duì)于大部分應(yīng)用場(chǎng)合，單個(gè)隱含層即可滿足需要輸入層節(jié)點(diǎn)數(shù)。輸入層節(jié)點(diǎn)數(shù)取決于輸入向量的維數(shù)。如果輸入的是的圖像，則輸入向量應(yīng)為圖像中所有的像素形成的 4096維向量。如果待解決的問(wèn)題是二元函數(shù)擬合，則輸入向量應(yīng) 為二維向量。隱含層節(jié)點(diǎn)數(shù)。較多

17、的隱含層節(jié)點(diǎn)數(shù)可以帶來(lái)更好的性能，但可 能導(dǎo)致訓(xùn)練時(shí)間過(guò)長(zhǎng)。經(jīng)驗(yàn)公式：k為樣本數(shù)n為輸入層結(jié)點(diǎn)數(shù)n Cik M = log n M =n + m + a i=0輸出層神經(jīng)元個(gè)數(shù)輸出層神經(jīng)元的個(gè)數(shù)同樣需要根據(jù)從實(shí)際問(wèn)題中得到的抽象模型來(lái)確定。在模式分類問(wèn)題中，如果共有n種類別，則輸出可以采用nHog n2個(gè)神經(jīng)元。也可以將節(jié)點(diǎn)個(gè)數(shù)設(shè)計(jì)為個(gè)，表示最小的不小于的整數(shù)。由于輸出共有4種情況，因此采用二維輸出即可覆蓋整個(gè)輸出空間，00、01、10和11分別表示一種類別。傳遞函數(shù)的選擇一般隱含層使用Sigmoid函數(shù)，而輸出層使用線性函數(shù)。如果輸出層也采用Sigmoid函數(shù)，輸出值將會(huì)被限制在01或-11

18、之間。訓(xùn)練方法的選擇使用LM算法收斂速度最快，均方誤差也較小。LM算法對(duì)于模式識(shí)別相關(guān)問(wèn)題的處理能力較弱，且需要較大的存儲(chǔ)空間模式識(shí)別問(wèn)題，使用RPROP算法能收到較好的效果 SCG算法對(duì)于模式識(shí)別和函數(shù)逼近問(wèn)題都有較好的性能表現(xiàn)。初始權(quán)值的確定通常將初始權(quán)值定義為較小的非零隨機(jī)值，經(jīng)驗(yàn)值為（一24/ F,24 / F ）F：權(quán)值輸入端連接的神經(jīng)元個(gè)數(shù)4.BP神經(jīng)網(wǎng)絡(luò)的局限性BP網(wǎng)絡(luò)具有實(shí)現(xiàn)任何復(fù)雜非線性映射的能力，特別適合求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題，但BP網(wǎng)絡(luò)也具有一些難以克服的局限性 （1）需要的參數(shù)較多，且參數(shù)的選擇沒(méi)有有效的方法。隱含層結(jié)點(diǎn)個(gè) 數(shù)。（2）容易陷入局部最優(yōu)。（3）樣本依賴性。

19、如果樣本集合代表性差、矛盾樣本多、存在冗余樣本，網(wǎng)絡(luò)就很難達(dá)到預(yù)期的性能 （4）初始權(quán)重敏感性。訓(xùn)練的第一步是給定一個(gè)較小的隨機(jī)初始權(quán)重， 由于權(quán)重是隨機(jī)給定的，BP網(wǎng)絡(luò)往往具有不可重現(xiàn)性。徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法（正則化網(wǎng)絡(luò)方法）確定隱含層結(jié)點(diǎn)中心隱含層中基函數(shù)的標(biāo)準(zhǔn)差網(wǎng)絡(luò)權(quán)值（隱含層到輸出層）正則化網(wǎng)絡(luò)的一個(gè)特點(diǎn)就是：隱含節(jié)點(diǎn)的個(gè)數(shù)等于輸入訓(xùn)練樣本的個(gè)數(shù)。因此如果訓(xùn)練樣本的個(gè)數(shù)N過(guò)大，網(wǎng)絡(luò)的計(jì)算量將是驚人的， 從而導(dǎo)致過(guò)低的效率甚至根本不可實(shí)現(xiàn)。解決的方案是用Galerkin方法來(lái)減少隱含層神經(jīng)單元的個(gè)數(shù)，此時(shí)求得的解是較低維數(shù)空間上的次優(yōu)解。這就是廣義網(wǎng)絡(luò)徑向基神經(jīng)網(wǎng)絡(luò)與多層感知器的比較徑向基神經(jīng)網(wǎng)絡(luò)是三層網(wǎng)絡(luò)（輸入層、隱含層、輸出層），只有一 個(gè)隱含層，而多層感知器則可以有多個(gè)隱含層徑向基神經(jīng)網(wǎng)絡(luò)的隱含層和輸出層完全不同，隱含層采用非線 性函數(shù)（徑向基函數(shù)）作為基函數(shù)，而輸出層采用線性函數(shù)，兩 者作用不同徑向基神經(jīng)網(wǎng)絡(luò)的基函數(shù)計(jì)算的是輸入向量與基函數(shù)中心之間 的歐式距離（兩者取差值，再取歐幾里德范數(shù)），而多層感知器的隱單元的激勵(lì)函數(shù)則計(jì)算輸入向量與權(quán)值的