智能控制課件總結(jié)版 南陽(yáng)理工楊旭老師

1、5. 知識(shí)獲取被認(rèn)為是專(zhuān)家系統(tǒng)中的一個(gè)“瓶頸”問(wèn)題。9. 知識(shí)表示就是知識(shí)的形式化，就是研究用機(jī)器表示知識(shí)的可行的、有效的、通用的原則和方法。10. 常用的知識(shí)表示方法有：邏輯表示法、語(yǔ)義網(wǎng)絡(luò)法、產(chǎn)生式規(guī)則、特性表示法、框架表示法、與或圖法、過(guò)程表示法、黑板結(jié)構(gòu)、Petri網(wǎng)絡(luò)法、神經(jīng)網(wǎng)絡(luò)等。 11. 專(zhuān)家系統(tǒng)的推理機(jī)制 依據(jù)一定的原則從已有的事實(shí)推出結(jié)論的過(guò)程，這個(gè)原則就是推理的核心。專(zhuān)家系統(tǒng)中的自動(dòng)推理是知識(shí)推理。而知識(shí)推理是指在計(jì)算機(jī)或智能機(jī)器中，在知識(shí)表達(dá)的基礎(chǔ)上，進(jìn)行機(jī)器思維，求解問(wèn)題，實(shí)現(xiàn)知識(shí)推理的智能操作過(guò)程。 12.推理方法的分類(lèi) 根據(jù)知識(shí)表示的特點(diǎn)，知識(shí)推理方法可分為圖搜索方

2、法和邏輯論證方法兩類(lèi)。根據(jù)問(wèn)題求解的推理過(guò)程中是否運(yùn)用啟發(fā)性知識(shí)，知識(shí)推理方法可分為啟發(fā)推理和非啟發(fā)推理兩類(lèi)。 根據(jù)問(wèn)題求解的推理過(guò)程中結(jié)論是否精確，知識(shí)推理方法可分為精確推理和不精確推理兩類(lèi)。 根據(jù)問(wèn)題求解的推理過(guò)程中特殊和一般的關(guān)系，知識(shí)推理方法可分為演繹推理、歸納推理兩類(lèi)。 根據(jù)問(wèn)題求解的推理過(guò)程中推理的方向，知識(shí)推理方法可分為正向推理、反向推理和正反向混合推理三類(lèi)。 13. 專(zhuān)家系統(tǒng)建立步驟（P8）（1） 知識(shí)庫(kù)的設(shè)計(jì)（2）推理機(jī)的設(shè)計(jì)（3）人機(jī)接口的設(shè)計(jì)14. 專(zhuān)家控制與專(zhuān)家系統(tǒng)區(qū)別1）通常的專(zhuān)家系統(tǒng)只完成專(zhuān)門(mén)領(lǐng)域問(wèn)題的咨詢(xún)功能，它的推理結(jié)果一般用于輔助用戶(hù)的決策；而專(zhuān)家控制則要求能

3、對(duì)控制動(dòng)作進(jìn)行獨(dú)立的、自動(dòng)的決策，它的功能一定要具有連續(xù)的可靠性和較強(qiáng)的抗擾性。（2）通常的專(zhuān)家系統(tǒng)一般處于離線工作方式，而專(zhuān)家控制則要求在線地獲取動(dòng)態(tài)反饋信息，因而是一種動(dòng)態(tài)系統(tǒng)，它應(yīng)具有使用的靈活性和實(shí)時(shí)性，即能聯(lián)機(jī)完成控制。 1514.專(zhuān)家控制系統(tǒng)的控制要求（1）決策能力強(qiáng)。 （2）運(yùn)行可靠性高。 （3）使用的通用性好。 （4）擬人能力強(qiáng)。 （5）控制與處理的靈活性。專(zhuān)家控制器的設(shè)計(jì)原則 （1）多樣化的模型描述。 （2）在線處理的靈巧性。 （3）靈活性的控制策略。 （4）決策機(jī)構(gòu)的遞階性。 （5）推理與決策的實(shí)時(shí)性。PID專(zhuān)家控制的實(shí)質(zhì)是，基于受控對(duì)象和控制規(guī)律的各種知識(shí)，無(wú)需知道被控對(duì)

4、象的精確模型，利用專(zhuān)家經(jīng)驗(yàn)來(lái)設(shè)計(jì)PID參數(shù)。專(zhuān)家PID控制是一種直接型專(zhuān)家控制器。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，是一種在生物神經(jīng)網(wǎng)絡(luò)的啟示下建立的數(shù)據(jù)處理模型。主要通過(guò)調(diào)整神經(jīng)元之間的權(quán)值來(lái)對(duì)輸入的數(shù)據(jù)進(jìn)行建模，最終具備解決實(shí)際問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)的可塑性表現(xiàn)于，其連接權(quán)值都是可調(diào)整的，它將一系列僅具有簡(jiǎn)單處理能力的節(jié)點(diǎn)通過(guò)權(quán)值相連，當(dāng)權(quán)值調(diào)整至恰當(dāng)時(shí)，就能輸出正確的結(jié)果。網(wǎng)絡(luò)將知識(shí)存儲(chǔ)在調(diào)整后的各權(quán)值中，這一點(diǎn)是神經(jīng)網(wǎng)絡(luò)的精髓。神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的模式識(shí)別和數(shù)據(jù)擬合能力 1.自學(xué)習(xí)和自適應(yīng)性。給神經(jīng)網(wǎng)絡(luò)輸入新的訓(xùn)練樣本，網(wǎng)絡(luò)能夠自動(dòng)調(diào)整結(jié)構(gòu)參數(shù)，改變映射關(guān)系 2.非線性性。人工神經(jīng)元

5、處于激活或抑制狀態(tài)，表現(xiàn)為數(shù)學(xué)上的非線性關(guān)系。 3.魯棒性與容錯(cuò)性 。局部的損害會(huì)使人工神經(jīng)網(wǎng)絡(luò)的運(yùn)行適度減弱，但不會(huì)產(chǎn)生災(zāi)難性的錯(cuò)誤。4.計(jì)算的并行性與存儲(chǔ)的分布性。每個(gè)神經(jīng)元都可以根據(jù)接收到的信息進(jìn)行獨(dú)立運(yùn)算和處理 。神經(jīng)網(wǎng)絡(luò)模型 單層網(wǎng)絡(luò)：?jiǎn)螌痈兄?，線性網(wǎng)絡(luò)。 多層網(wǎng)絡(luò)：其他網(wǎng)絡(luò)。 前向網(wǎng)絡(luò)：BP、徑向基網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)等。 反饋網(wǎng)絡(luò)：Hopfield網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)等。.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式1.有監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí) ）。訓(xùn)練樣本對(duì)應(yīng)一個(gè)教師信號(hào) 。2.無(wú)監(jiān)督學(xué)習(xí) （無(wú)教師學(xué)習(xí) ）。網(wǎng)絡(luò)只接受一系列的輸入樣本，而對(duì)該樣本應(yīng)有的輸出值一無(wú)所知。 1. Hebb學(xué)習(xí)規(guī)則：權(quán)值的調(diào)整量與

6、輸入前一神經(jīng)元輸出值和后一神經(jīng)元輸出值的乘積成正比 。2. 糾錯(cuò)學(xué)習(xí)規(guī)則：權(quán)值的調(diào)整量與誤差大小成正比 。3. 隨機(jī)學(xué)習(xí)規(guī)則：Boltzmann機(jī)事實(shí)上就是模擬退火算法 。4. 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則：只有一個(gè)獲勝神經(jīng)元可以進(jìn)行權(quán)值調(diào)整，其他神經(jīng)元的權(quán)值維持不變，體現(xiàn)了神經(jīng)元之間的側(cè)向抑制 。 單神經(jīng)元網(wǎng)絡(luò)常用的神經(jīng)元非線性特性有以下3種：閾值型。分段線性型。Sigmoid函數(shù)型。單層感知器單層感知器屬于單層前向網(wǎng)絡(luò)，即除了輸入層和輸出層之外只擁有一層神經(jīng)元節(jié)點(diǎn)。輸入是一個(gè)N維向量。其中的每一個(gè)分量都對(duì)應(yīng)于一個(gè)權(quán)值，隱含層的輸出疊加為一個(gè)標(biāo)量值：隨后在二值閾值元件中對(duì)得到的v值進(jìn)行判斷，產(chǎn)生二值輸出：二

7、維空間中的超平面是一條直線。在直線下方的點(diǎn)，輸出-1；在直線上方的點(diǎn)，輸出1。單層感知器的學(xué)習(xí)算法。在實(shí)際應(yīng)用中 ，通常采用糾錯(cuò)學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。感知器的局限性單層感知器無(wú)法解決線性不可分問(wèn)題，只能做近似分類(lèi)。感知器的激活函數(shù)使用閾值函數(shù)，輸出值只有兩種取值，限制了在分類(lèi)種類(lèi)上的擴(kuò)展 。 如果輸入樣本存在奇異樣本，網(wǎng)絡(luò)需要花費(fèi)很長(zhǎng)的時(shí)間。 感知器的學(xué)習(xí)算法只對(duì)單層有效 。clear,clcclose all n=0.2; % 學(xué)習(xí)率w=0,0,0; P= -9, 1, -12, -4, 0, 5;. 15, -8, 4, 5, 11, 9;d=0,1,0,0,0,1; % 期望輸出P=one

8、s(1,6);P;MAX=20; % 最大迭代次數(shù)為20次% 訓(xùn)練i=0;while 1 v=w*P; y=hardlim(v); % 實(shí)際輸出 %更新 e=(d-y); ee(i+1)=mae(e); if (ee(i+1)<0.001) % 判斷 disp('we have got it:'); disp(w); break; end % 更新權(quán)值和偏置 w=w+n*(d-y)*P' if (i>=MAX) % 達(dá)到最大迭代次數(shù)，退出 disp('MAX times loop'); disp(w); disp(ee(i+1); break

9、; end i= i+1;end% 顯示figure;subplot(2,1,1); % 顯示待分類(lèi)的點(diǎn)和分類(lèi)結(jié)果plot(-9 , -12 -4 0,15, 4 5 11,'o');hold on;plot(1,5,-8,9,'*');axis(-13,6,-10,16);legend('第一類(lèi)','第二類(lèi)');title('6個(gè)坐標(biāo)點(diǎn)的二分類(lèi)');x=-13:.2:6;y=x*(-w(2)/w(3)-w(1)/w(3);plot(x,y);hold off;subplot(2,1,2); % 顯示mae值的變化

10、x=0:i;plot(x,ee,'o-');s=sprintf('mae的值(迭代次數(shù):%d)', i+1);title(s);線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)最典型的例子是自適應(yīng)線性元件。線性神經(jīng)網(wǎng)絡(luò)與感知器的主要區(qū)別在于，感知器的傳輸函數(shù)只能輸出兩種可能的值，而線性神經(jīng)網(wǎng)絡(luò)的輸出可以取任意值，其傳輸函數(shù)是線性函數(shù)。線性神經(jīng)網(wǎng)絡(luò)在收斂的精度和速度上較感知器都有了較大提高，但由于其線性運(yùn)算規(guī)則，它也只能解決線性可分的問(wèn)題。 線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 若網(wǎng)絡(luò)中包含多個(gè)神經(jīng)元節(jié)點(diǎn)，就能形成多個(gè)輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫Madaline網(wǎng)絡(luò)。 Madaline可以用一種間接的方式解決

11、線性不可分的問(wèn)題，方法是用多個(gè)線性函數(shù)對(duì)區(qū)域進(jìn)行劃分，然后對(duì)各個(gè)神經(jīng)元的輸出做邏輯運(yùn)算。 線性神經(jīng)網(wǎng)絡(luò)解決線性不可分問(wèn)題的另一個(gè)方法是，對(duì)神經(jīng)元添加非線性輸入，從而引入非線性成分，這樣做會(huì)使等效的輸入維度變大。LMS學(xué)習(xí)算法LMS算法與感知器網(wǎng)絡(luò)的學(xué)習(xí)算法在權(quán)值調(diào)整上都基于糾錯(cuò)學(xué)習(xí)規(guī)則，但LMS更易實(shí)現(xiàn)，因此得到了廣泛應(yīng)用，成為自適應(yīng)濾波的標(biāo)準(zhǔn)算法。LMS算法中學(xué)習(xí)率的選擇：學(xué)習(xí)率越小，算法的運(yùn)行時(shí)間就越長(zhǎng)，算法也就記憶了更多過(guò)去的數(shù)據(jù)。因此，學(xué)習(xí)率的倒數(shù)反映了LMS算法的記憶容量大小。線性神經(jīng)網(wǎng)絡(luò)與感知器的對(duì)比：網(wǎng)絡(luò)傳輸函數(shù)。感知器傳輸函數(shù)是一個(gè)二值閾值元件，而線性神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)是線性的

12、。這就決定了感知器只能做簡(jiǎn)單的分類(lèi)，而線性神經(jīng)網(wǎng)絡(luò)還可以實(shí)現(xiàn)擬合或逼近。 學(xué)習(xí)算法 。LMS算法得到的分類(lèi)邊界往往處于兩類(lèi)模式的正中間，而感知器學(xué)習(xí)算法在剛剛能正確分類(lèi)的位置就停下來(lái)了，從而使分類(lèi)邊界離一些模式距離過(guò)近，使系統(tǒng)對(duì)誤差更敏感。線性神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)直線擬合：對(duì)于一些離散的數(shù)據(jù)點(diǎn)，從中找到這些點(diǎn)的規(guī)律，就做一條直線，穿過(guò)盡可能多的點(diǎn)，使得這些數(shù)據(jù)和直線上所的估計(jì)的點(diǎn)的方差最小，找到的這條直線就是擬合直線，該直線代表了數(shù)據(jù)之間的線性規(guī)律。BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是包含多個(gè)隱含層的網(wǎng)絡(luò)，具備處理線性不可分問(wèn)題的能力。 誤差反向傳播算法（Error Back Propagtion，BP），解決

13、了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。 是一種多層前向網(wǎng)絡(luò)，又叫多層感知器 。 BP網(wǎng)絡(luò)是前向神經(jīng)網(wǎng)絡(luò)的核心部分，也是整個(gè)人工神經(jīng)網(wǎng)絡(luò)體系中的精華，廣泛應(yīng)用于分類(lèi)識(shí)別、逼近、回歸、壓縮等領(lǐng)域。在實(shí)際應(yīng)用中，大約80%的神經(jīng)網(wǎng)絡(luò)模型采取了BP網(wǎng)絡(luò)或BP網(wǎng)絡(luò)的變化形式。 網(wǎng)絡(luò)由多層構(gòu)成，層與層之間全連接，同一層之間的神經(jīng)元無(wú)連接 。 包含一個(gè)多多個(gè)隱層，可以實(shí)現(xiàn)復(fù)雜的映射關(guān)系。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) BP網(wǎng)絡(luò)的傳遞函數(shù)必須可微。BP網(wǎng)絡(luò)一般使用Sigmoid函數(shù)或線性函數(shù)作為傳遞函數(shù)。 Sigmoid函數(shù)是光滑、可微的函數(shù)，在分類(lèi)時(shí)它比線性函數(shù)更精確，容錯(cuò)性較好。 將輸入從負(fù)無(wú)窮到正無(wú)窮的范圍映射到01或-11區(qū)

14、間內(nèi)，具有非線性的放大功能。 BP網(wǎng)絡(luò)采用誤差反向傳播算法（Back-Propagation Algorithm）進(jìn)行學(xué)習(xí)。在BP網(wǎng)絡(luò)中，數(shù)據(jù)從輸入層經(jīng)隱含層逐層向后傳播，訓(xùn)練網(wǎng)絡(luò)權(quán)值時(shí)，則沿著減少誤差的方向，從輸出層經(jīng)過(guò)中間各層逐層向前修正網(wǎng)絡(luò)的連接權(quán)值。“誤差反向傳播” ：誤差信號(hào)反向傳播。修正權(quán)值時(shí)，網(wǎng)絡(luò)根據(jù)誤差從后向前逐層進(jìn)行修正。 “反饋神經(jīng)網(wǎng)絡(luò)” ：輸出層的輸出值又連接到輸入神經(jīng)元作為下一次計(jì)算的輸入，如此循環(huán)迭代，直到網(wǎng)絡(luò)的輸出值進(jìn)入穩(wěn)定狀態(tài)為止。BP神經(jīng)網(wǎng)絡(luò)屬于多層前向網(wǎng)絡(luò)，工作信號(hào)始終正向流動(dòng)，沒(méi)有反饋結(jié)構(gòu)BP網(wǎng)絡(luò)的學(xué)習(xí)算法 BP學(xué)習(xí)算法的原理與LMS算法比較類(lèi)似，屬于最速下

15、降法。 最速下降法可以求某指標(biāo)（目標(biāo)函數(shù)）的極小值，若將目標(biāo)函數(shù)取為均方誤差，就得到了LMS算法。使用梯度下降法時(shí)，應(yīng)首先計(jì)算函數(shù)在某點(diǎn)處的梯度，再沿著梯度的反方向以一定的步長(zhǎng)調(diào)整自變量的值。 （1）目標(biāo)函數(shù)必須可微 。（2）如果最小值附近比較平坦，算法會(huì)在最小值附近停留很久，收斂緩慢。 “之”字形下降（3）對(duì)于包含多個(gè)極小值的函數(shù)，所獲得的結(jié)果依賴(lài)初始值。算法有可能陷入局部極小值點(diǎn)，而沒(méi)有達(dá)到全局最小值點(diǎn)。 BP神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，由于傳遞函數(shù)都是可微的，因此能滿(mǎn)足最速下降法的使用條件。當(dāng)輸出層傳遞函數(shù)為線性函數(shù)時(shí)，輸出層與隱含層之間權(quán)值調(diào)整的規(guī)則類(lèi)似于線性神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整規(guī)則。 BP網(wǎng)絡(luò)的復(fù)雜

16、之處在于，隱含層與隱含層之間、隱含層與輸入層之間調(diào)整權(quán)值時(shí)，局部梯度的計(jì)算需要用到上一步計(jì)算的結(jié)果。前一層的局部梯度是后一層局部梯度的加權(quán)和。 因此，BP網(wǎng)絡(luò)學(xué)習(xí)權(quán)值時(shí)只能從后向前依次計(jì)算。串行方式 。在線方式，網(wǎng)絡(luò)每獲得一個(gè)新樣本，就計(jì)算一次誤差并更新權(quán)值，直到樣本輸入完畢。 隨機(jī)輸入樣本，不容易陷入局部最優(yōu)陷阱。 批量方式 ：離線方式。網(wǎng)絡(luò)獲得所有的訓(xùn)練樣本，計(jì)算所有樣本均方誤差的和作為總誤差 。 容易并行化，速度快。本次權(quán)值的更新方向和幅度不但與本次計(jì)算所得的梯度有關(guān)，還與上一次更新的方向和幅度有關(guān)（1）如果前后兩次計(jì)算所得的梯度方向相同，得到的權(quán)值較大，可以加速收斂過(guò)程 。（2）如果前

17、后兩次計(jì)算所得梯度方向相反，則說(shuō)明兩個(gè)位置之間可能存在一個(gè)極小值，可以得到一個(gè)較小的步長(zhǎng)，更容易找到最小值點(diǎn)，而不會(huì)陷入來(lái)回振蕩 擬牛頓法 。牛頓法具有收斂快的優(yōu)點(diǎn)，但需要計(jì)算誤差性能函數(shù)的二階導(dǎo)數(shù)，計(jì)算較為復(fù)雜。擬牛頓法只需要知道目標(biāo)函數(shù)的梯度，通過(guò)測(cè)量梯度的變化進(jìn)行迭代，收斂速度大大優(yōu)于最速下降法。擬牛頓法有DFP方法、BFGS方法、SR1方法和Broyden族方法。 設(shè)計(jì)BP網(wǎng)絡(luò)的方法BP網(wǎng)絡(luò)的設(shè)計(jì)主要包括網(wǎng)絡(luò)層數(shù)、輸入層節(jié)點(diǎn)數(shù)、隱含層節(jié)點(diǎn)數(shù)、輸出層節(jié)點(diǎn)數(shù)及傳輸函數(shù)、訓(xùn)練方法、訓(xùn)練參數(shù)的設(shè)置等幾個(gè)方面。 1.網(wǎng)絡(luò)層數(shù)。對(duì)于大部分應(yīng)用場(chǎng)合，單個(gè)隱含層即可滿(mǎn)足需要 2.輸入層節(jié)點(diǎn)數(shù)。輸入層節(jié)

18、點(diǎn)數(shù)取決于輸入向量的維數(shù)。如果輸入的是的圖像，則輸入向量應(yīng)為圖像中所有的像素形成的4096維向量。 如果待解決的問(wèn)題是二元函數(shù)擬合，則輸入向量應(yīng)為二維向量。3. 隱含層節(jié)點(diǎn)數(shù) 。較多的隱含層節(jié)點(diǎn)數(shù)可以帶來(lái)更好的性能，但可能導(dǎo)致訓(xùn)練時(shí)間過(guò)長(zhǎng) 。4.輸出層神經(jīng)元個(gè)數(shù) 。 輸出層神經(jīng)元的個(gè)數(shù)同樣需要根據(jù)從實(shí)際問(wèn)題中得到的抽象模型來(lái)確定。在模式分類(lèi)問(wèn)題中，如果共有n種類(lèi)別，則輸出可以采用n個(gè)神經(jīng)元 。5.傳遞函數(shù)的選擇 。 一般隱含層使用Sigmoid函數(shù)，而輸出層使用線性函數(shù)。如果輸出層也采用Sigmoid函數(shù)，輸出值將會(huì)被限制在 01或-11之間。6. 訓(xùn)練方法的選擇使用LM算法收斂速度最快，均方

19、誤差也較小。 LM算法對(duì)于模式識(shí)別相關(guān)問(wèn)題的處理能力較弱，且需要較大的存儲(chǔ)空間 模式識(shí)別問(wèn)題，使用RPROP算法能收到較好的效果 SCG算法對(duì)于模式識(shí)別和函數(shù)逼近問(wèn)題都有較好的性能表現(xiàn)。7. 初始權(quán)值的確定BP神經(jīng)網(wǎng)絡(luò)的局限性BP網(wǎng)絡(luò)具有實(shí)現(xiàn)任何復(fù)雜非線性映射的能力，特別適合求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題 ，但BP網(wǎng)絡(luò)也具有一些難以克服的局限性 （1）需要的參數(shù)較多，且參數(shù)的選擇沒(méi)有有效的方法。隱含層結(jié)點(diǎn)個(gè)數(shù)。（2）容易陷入局部最優(yōu)。 （3）樣本依賴(lài)性。如果樣本集合代表性差、矛盾樣本多、存在冗余樣本，網(wǎng)絡(luò)就很難達(dá)到預(yù)期的性能 （4）初始權(quán)重敏感性。訓(xùn)練的第一步是給定一個(gè)較小的隨機(jī)初始權(quán)重，由于權(quán)重是隨

20、機(jī)給定的，BP網(wǎng)絡(luò)往往具有不可重現(xiàn)性。徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)：有多種形式，其中最為常用的，是高斯函數(shù)。1.正則化網(wǎng)絡(luò)是一個(gè)通用逼近器，這意味著，只要有足夠多的隱含節(jié)點(diǎn)，它就可以以任意精度逼近任意多遠(yuǎn)連續(xù)函數(shù)。2.給定一個(gè)未知的非線性函數(shù)f，總可以選擇一組系數(shù)，使得網(wǎng)絡(luò)對(duì)f的逼近是最優(yōu)的。正則化網(wǎng)絡(luò)的一個(gè)特點(diǎn)就是：隱含節(jié)點(diǎn)的個(gè)數(shù)等于輸入訓(xùn)練樣本的個(gè)數(shù)。因此如果訓(xùn)練樣本的個(gè)數(shù)N過(guò)大，網(wǎng)絡(luò)的計(jì)算量將是驚人的，從而導(dǎo)致過(guò)低的效率甚至根本不可實(shí)現(xiàn)。 解決的方案是用Galerkin方法來(lái)減少隱含層神經(jīng)單元的個(gè)數(shù)，此時(shí)求得的解是較低維數(shù)空間上的次優(yōu)解 。這就是廣義網(wǎng)絡(luò)在實(shí)際應(yīng)用中，一般都采用廣義徑向基函數(shù)

21、網(wǎng)絡(luò)。徑向基神經(jīng)網(wǎng)絡(luò)與多層感知器的比較 徑向基神經(jīng)網(wǎng)絡(luò)是三層網(wǎng)絡(luò)（輸入層、隱含層、輸出層），只有一個(gè)隱含層，而多層感知器則可以有多個(gè)隱含層 徑向基神經(jīng)網(wǎng)絡(luò)的隱含層和輸出層完全不同，隱含層采用非線性函數(shù)（徑向基函數(shù)）作為基函數(shù)，而輸出層采用線性函數(shù)，兩者作用不同。 徑向基神經(jīng)網(wǎng)絡(luò)的基函數(shù)計(jì)算的是輸入向量與基函數(shù)中心之間的歐式距離（兩者取差值，再取歐幾里德范數(shù)），而多層感知器的隱單元的激勵(lì)函數(shù)則計(jì)算輸入向量與權(quán)值的內(nèi)積 多層感知器對(duì)非線性映射全局逼近 ，徑向基函數(shù)局部逼近 概率神經(jīng)網(wǎng)絡(luò)概率神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層、求和層和輸出層組成 第一層為輸入層，用于接收來(lái)自訓(xùn)練樣本的值，將數(shù)據(jù)傳遞給隱含層 徑

22、向基層，每一個(gè)隱含層的神經(jīng)元節(jié)點(diǎn)擁有一個(gè)中心，該層接收輸入層的樣本輸入，計(jì)算輸入向量與中心的距離，最后返回一個(gè)標(biāo)量值 求和層把隱含層中屬于同一類(lèi)的隱含神經(jīng)元的輸出做加權(quán)平均 輸出層取求和層中最大的一個(gè)作為輸出的類(lèi)別 概率神經(jīng)（PNN）網(wǎng)絡(luò)的優(yōu)點(diǎn) ：訓(xùn)練容易，收斂速度快，從而非常適用于實(shí)時(shí)處理。 可以實(shí)現(xiàn)任意的非線性逼近，用PNN網(wǎng)絡(luò)所形成的判決曲面與貝葉斯最優(yōu)準(zhǔn)則下的曲面非常接近。 只要有充足的樣本數(shù)據(jù)，概率神經(jīng)網(wǎng)絡(luò)都能收斂到貝葉斯分類(lèi)器，沒(méi)有BP網(wǎng)絡(luò)的局部極小值問(wèn)題 擴(kuò)充性能好。網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程簡(jiǎn)單，增加或減少類(lèi)別模式時(shí)不需要重新進(jìn)行長(zhǎng)時(shí)間的訓(xùn)練學(xué)習(xí) 廣義回歸神經(jīng)網(wǎng)絡(luò)廣義回歸神經(jīng)網(wǎng)絡(luò)（Gene

23、ral Regression Neural Network，GRNN）是徑向基網(wǎng)絡(luò)的另外一種變形形式 廣義回歸網(wǎng)絡(luò)以徑向基網(wǎng)絡(luò)為基礎(chǔ)，因此具有良好的非線性逼近性能，與徑向基網(wǎng)絡(luò)相比，訓(xùn)練更為方便 廣義回歸神經(jīng)網(wǎng)絡(luò)尤其適合解決曲線擬合的問(wèn)題在MATLAB中newgrnn函數(shù)可以方便的實(shí)現(xiàn)GRNN網(wǎng)絡(luò) 離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield神經(jīng)網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的根本區(qū)別在前向神經(jīng)網(wǎng)絡(luò)（或前饋神經(jīng)網(wǎng)絡(luò)）中，各層神經(jīng)元節(jié)點(diǎn)接受前一層輸入的數(shù)據(jù)，經(jīng)過(guò)處理輸出到下一層，數(shù)據(jù)正向流動(dòng)，沒(méi)有反饋連接。前向線性神經(jīng)網(wǎng)絡(luò)的輸出僅由當(dāng)前的輸入和網(wǎng)絡(luò)的權(quán)值決定， 反饋神經(jīng)網(wǎng)絡(luò)的輸出除了與當(dāng)前輸入和網(wǎng)絡(luò)權(quán)值有關(guān)

24、以外，還與網(wǎng)絡(luò)之前的輸入有關(guān) 典型的反饋神經(jīng)網(wǎng)絡(luò)有Hopfield網(wǎng)絡(luò)、Elman網(wǎng)絡(luò)、CG網(wǎng)絡(luò)模型、盒中腦（BSB）模型和雙向聯(lián)想記憶（BAM）等。 其最突出的優(yōu)點(diǎn)是具有很強(qiáng)的聯(lián)想記憶和優(yōu)化計(jì)算功能，最重要的研究方向是反饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。 Hopfield網(wǎng)絡(luò)分為離散型DHNN和連續(xù)型CHNN兩種網(wǎng)絡(luò)模型 最初提出的Hopfield網(wǎng)絡(luò)是離散網(wǎng)絡(luò)，輸出值只能取0或1，分別表示神經(jīng)元的抑制和興奮狀態(tài)。 遺傳算法遺傳算法的基本操作為： （1）復(fù)制 （ 2）交叉 （3）變異遺傳算法的特點(diǎn)：（1） 遺傳算法是對(duì)參數(shù)的編碼進(jìn)行操作，而非對(duì)參數(shù)本身（2） 遺傳算法同時(shí)使用多個(gè)搜索點(diǎn)的搜索信息（3） 遺

25、傳算法直接以目標(biāo)函數(shù)作為搜索信息（4） 遺傳算法使用概率搜索技術(shù)（5） 遺傳算法在解空間進(jìn)行高效啟發(fā)式搜索，而非盲目地窮舉或完全隨機(jī)搜索（6） 遺傳算法對(duì)于待尋優(yōu)的函數(shù)基本無(wú)限制（7） 遺傳算法具有并行計(jì)算的特點(diǎn) 遺傳算法的應(yīng)用領(lǐng)域：（1） 函數(shù)優(yōu)化。（2） 組合優(yōu)化（3） 生產(chǎn)調(diào)度問(wèn)題（4） 自動(dòng)控制（5） 機(jī)器人（6） 圖像處理遺傳算法的構(gòu)成要素：（1） 染色體編碼方法遺傳算法的應(yīng)用步驟：第一步：確定決策變量及各種約束條件，即確定出個(gè)體的表現(xiàn)型X和問(wèn)題的解空間；第二步：建立優(yōu)化模型，即確定出目標(biāo)函數(shù)的類(lèi)型及數(shù)學(xué)描述形式或量化方法；第三步：確定表示可行解的染色體編碼方法，即確定出個(gè)體的基因型

26、x及遺傳算法的搜索空間；第四步：確定解碼方法，即確定出由個(gè)體基因型x到個(gè)體表現(xiàn)型X的對(duì)應(yīng)關(guān)系或轉(zhuǎn)換方法；第五步：確定個(gè)體適應(yīng)度的量化評(píng)價(jià)方法，即確定出由目標(biāo)函數(shù)值到個(gè)體適應(yīng)度的轉(zhuǎn)換規(guī)則；第六步：設(shè)計(jì)遺傳算子，即確定選擇運(yùn)算、交叉運(yùn)算、變異運(yùn)算等遺傳算子的具體操作方法。第七步：確定遺傳算法的有關(guān)運(yùn)行參數(shù)，即M,G,Pc,Pm等參數(shù)。求解該問(wèn)題遺傳算法的構(gòu)造過(guò)程：（1）確定決策變量和約束條件；（2）建立優(yōu)化模型；（3）確定編碼方法 ：用長(zhǎng)度為10位的二進(jìn)制編碼串來(lái)分別表示兩個(gè)決策變量x1,x2。10位二進(jìn)制編碼串可以表示從0到1023之間的1024個(gè)不同的數(shù)，故將x1,x2的定義域離散化為1023

27、個(gè)均等的區(qū)域，包括兩個(gè)端點(diǎn)在內(nèi)共有1024個(gè)不同的離散點(diǎn)。 從離散點(diǎn)-2.048到離散點(diǎn)2.048 ，分別對(duì)應(yīng)于從0000000000(0)到1111111111(1023)之間的二進(jìn)制編碼。將x1,x2分別表示的兩個(gè)10位長(zhǎng)的二進(jìn)制編碼串連接在一起，組成一個(gè)20位長(zhǎng)的二進(jìn)制編碼串，它就構(gòu)成了這個(gè)函數(shù)優(yōu)化問(wèn)題的染色體編碼方法。使用這種編碼方法，解空間和遺傳算法的搜索空間就具有一一對(duì)應(yīng)的關(guān)系。（4）確定解碼方法：解碼時(shí)需要將20位長(zhǎng)的二進(jìn)制編碼串切斷為兩個(gè)10位長(zhǎng)的二進(jìn)制編碼串，然后分別將它們轉(zhuǎn)換為對(duì)應(yīng)的十進(jìn)制整數(shù)代碼，分別記為y1和y2。（5）確定個(gè)體評(píng)價(jià)方法：由于Rosenbrock函數(shù)的值

28、域總是非負(fù)的，并且優(yōu)化目標(biāo)是求函數(shù)的最大值，故可將個(gè)體的適應(yīng)度直接取為對(duì)應(yīng)的目標(biāo)函數(shù)值，（6）設(shè)計(jì)遺傳算子：選擇運(yùn)算使用比例選擇算子，交叉運(yùn)算使用單點(diǎn)交叉算子，變異運(yùn)算使用基本位變異算子。（7）確定遺傳算法的運(yùn)行參數(shù)：群體大小M=80，終止進(jìn)化代數(shù)G=100，交叉概率Pc=0.60，變異概率Pm=0.10。遺傳算法的優(yōu)化過(guò)程是目標(biāo)函數(shù)J和適應(yīng)度函數(shù)F的變化過(guò)程。 由仿真結(jié)果可知，隨著進(jìn)化過(guò)程的進(jìn)行，群體中適應(yīng)度較低的一些個(gè)體被逐漸淘汰掉，而適應(yīng)度較高的一些個(gè)體會(huì)越來(lái)越多，并且它們都集中在所求問(wèn)題的最優(yōu)點(diǎn)附近，從而搜索到問(wèn)題的最優(yōu)解。求解該問(wèn)題遺傳算法的構(gòu)造過(guò)程：（1）確定決策變量和約束條件；（

29、2）建立優(yōu)化模型；（3）確定編碼方法：用2個(gè)實(shí)數(shù)分別表示兩個(gè)決策變量，分別將的定義域離散化為從離散點(diǎn)-2.048到離散點(diǎn)2.048的Size個(gè)實(shí)數(shù)。（4）確定個(gè)體評(píng)價(jià)方法： 個(gè)體的適應(yīng)度直接取為對(duì)應(yīng)的目標(biāo)函數(shù)值，5）設(shè)計(jì)遺傳算子：選擇運(yùn)算使用比例選擇算子，交叉運(yùn)算使用單點(diǎn)交叉算子，變異運(yùn)算使用基本位變異算子。（6）確定遺傳算法的運(yùn)行參數(shù)：群體大小M=500，終止進(jìn)化代數(shù)G=200，交叉概率Pc=0.90，采用自適應(yīng)變異概率。即變異概率與適應(yīng)度有關(guān)，適應(yīng)度越小，變異概率越大。 基本遺傳算法（GA）基本遺傳算法的構(gòu)成要素(1) 染色體編碼方法 基本遺傳算法使用固定長(zhǎng)度的二進(jìn)制符號(hào)串來(lái)表示群體中的個(gè)

30、體，其等位基 因由二值符號(hào)集0，1組成。 初始群體中各個(gè)個(gè)體的基因值用均勻分布的隨機(jī)數(shù)來(lái)生成。如： x；100111001000101101 就可表示一個(gè)個(gè)體，該個(gè)體的染色體長(zhǎng)度是 l18(2) 個(gè)體適應(yīng)度評(píng)價(jià) 基本遺傳算法按與個(gè)體適應(yīng)度成正比的概率來(lái)決定當(dāng)前群體中每個(gè)個(gè)體遺傳 到下一代群體中的機(jī)會(huì)多少。為正確計(jì)算這個(gè)概率，這里要求所有個(gè)體的適應(yīng) 度必須為正數(shù)或零。這樣，根據(jù)不同種類(lèi)的問(wèn)題，必須預(yù)先確定好由目標(biāo)函數(shù) 值到個(gè)體適應(yīng)度之間的轉(zhuǎn)換規(guī)則，特別是要預(yù)先確定好當(dāng)目標(biāo)函數(shù)值為負(fù)數(shù)時(shí) 的處理方法。(3) 遺傳算子 基本遺傳算法使用下述三種遺傳算子： 選擇運(yùn)算：使用比例選擇算子； 交叉運(yùn)算：使用單點(diǎn)交叉算子； 變異運(yùn)算：使用基本位變異算子。 (4) 基本遺傳算法的運(yùn)行參數(shù) 基本遺傳算法有下述4個(gè)