安徽建筑大學(xué)智能控制第四章

第4章

神經(jīng)控制主要內(nèi)容：1、人工神經(jīng)網(wǎng)絡(luò)的初步知識2、神經(jīng)網(wǎng)絡(luò)控制的結(jié)構(gòu)3、神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的設(shè)計1、神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。人腦能完成智能、思維等高級活動，為了能利用數(shù)學(xué)模型來模擬人腦的活動，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。4.1人工神經(jīng)網(wǎng)絡(luò)的初步知識

神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。每個神經(jīng)元都由一個細(xì)胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。

從生物控制論的觀點來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：

時空整合功能興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換神經(jīng)纖維傳導(dǎo)速度突觸延時和不應(yīng)期學(xué)習(xí)、遺忘和疲勞

人工神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。

神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。

神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個階段。

（1）啟蒙期（1890-1969年）

1890年，W.James發(fā)表專著《心理學(xué)》，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了M-P模型（第一個神經(jīng)網(wǎng)絡(luò)模型）。1949年，心理學(xué)家Hebb實現(xiàn)了Hebb學(xué)習(xí)法則。1958年，E.Rosenblatt提出了著名的感知機模型（Perceptron）。1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)。2、神經(jīng)網(wǎng)絡(luò)發(fā)展歷史（2）低潮期（1969-1982）受當(dāng)時神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮·諾依曼式計算機發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。（3）復(fù)興期（1982-1986）

1982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型。1986年，在Rumelhart和McCelland等提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。（4）新連接機制時期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計算機。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預(yù)測與管理（市場預(yù)測、風(fēng)險分析）、通信等。3、人工神經(jīng)元模型

人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出的非線性元件。其輸入、輸出關(guān)系可描述為其中，是從其他神經(jīng)元傳來的輸入信號；表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；為閾值；稱為激發(fā)函數(shù)或作用函數(shù)（一般具有非線性特性）常用的神經(jīng)元非線性特性有以下三種：（1）閾值型閾值型函數(shù)（2）分段線性型分段線性函數(shù)（3）Sigmoid函數(shù)型Sigmoid函數(shù)4、人工神經(jīng)網(wǎng)絡(luò)的分類

人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。

目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。（1）前饋型神經(jīng)網(wǎng)絡(luò)

前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（FeedforwardNN）。如圖所示，神經(jīng)元分層排列，有輸入層、隱含層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。

（2）反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)（FeedbackNN）的結(jié)構(gòu)如圖所示。在輸出層到輸入層存在反饋，即每個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用最廣泛的模型。(3)自組織網(wǎng)絡(luò)Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，網(wǎng)絡(luò)將會分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，實際上是一種非線性映射。這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱為自組織特征圖。1、有監(jiān)督學(xué)習(xí)方式特點：不能保證得到全局最優(yōu)解；要求大量訓(xùn)練樣本，收斂速度慢；對樣本地表示次序變化比較敏感

神經(jīng)網(wǎng)絡(luò)根據(jù)實際輸出與期望輸出的偏差，按照一定的準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見下圖。期望輸出又稱為導(dǎo)師信號，是評價學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱為有導(dǎo)師學(xué)習(xí)。5、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主要標(biāo)志。按有無導(dǎo)師來分類。

無導(dǎo)師信號提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值，此時，網(wǎng)絡(luò)的學(xué)習(xí)評價標(biāo)準(zhǔn)隱含于內(nèi)部。其結(jié)構(gòu)見下圖。這種學(xué)習(xí)方式主要完成聚類操作。2、無監(jiān)督學(xué)習(xí)方式3、再勵學(xué)習(xí)

再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。神經(jīng)網(wǎng)絡(luò)中常用的幾種最基本的學(xué)習(xí)方法

（1）Hebb學(xué)習(xí)規(guī)則

兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強度將得到加強，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則。Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，這種學(xué)習(xí)的結(jié)果是使網(wǎng)絡(luò)能夠提取訓(xùn)練集的統(tǒng)計特性，從而把輸入信息按照它們的相似性程度劃分為若干類。這一點與人類觀察和認(rèn)識世界的過程非常吻合，人類觀察和認(rèn)識世界在相當(dāng)程度上就是在根據(jù)事物的統(tǒng)計特征進行分類。（2）Delta（δ）學(xué)習(xí)規(guī)則δ規(guī)則實現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達到最小值。但δ學(xué)習(xí)規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在δ規(guī)則基礎(chǔ)上發(fā)展起來的，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。（3）概率式學(xué)習(xí)

從統(tǒng)計力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)。它是基于模擬退火的統(tǒng)計優(yōu)化方法，因此又稱模擬退火算法。6、典型的神經(jīng)網(wǎng)絡(luò)

（1）BP神經(jīng)網(wǎng)絡(luò)誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPropagation），該網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)。

誤差反向傳播的BP算法簡稱BP算法，其基本思想是梯度下降法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實際輸出值與期望輸出值的誤差均方值為最小。BP網(wǎng)絡(luò)特點（1）是一種多層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層；（2）層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；（3）權(quán)值通過δ學(xué)習(xí)算法進行調(diào)節(jié)；（4）神經(jīng)元激發(fā)函數(shù)為S函數(shù)；（5）學(xué)習(xí)算法由正向傳播和反向傳播組成；（6）層與層的連接是單向的，信息的傳播史雙向的。

BP網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，該網(wǎng)絡(luò)在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。由于BP網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計。但由于BP網(wǎng)絡(luò)收斂速度慢，難以適應(yīng)實時控制的要求。（2）RBF神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)(RBF-RadialBasisFunction)具有單隱層的三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接收域（或稱感受野-ReceptiveField）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，已證明它能任意精度逼近任意連續(xù)函數(shù)。RBF網(wǎng)絡(luò)結(jié)構(gòu)

RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，由于輸入到輸出的映射是非線性的，而隱含層空間到輸出空間的映射是線性的，從而可以大大加快學(xué)習(xí)速度并避免局部極小問題。RBF網(wǎng)絡(luò)特點

(1)RBF網(wǎng)絡(luò)的作用函數(shù)為高斯函數(shù)，是局部的，BP網(wǎng)絡(luò)的作用函數(shù)為S函數(shù)，是全局的；(2)如何確定RBF網(wǎng)絡(luò)隱層節(jié)點的中心及基寬度參數(shù)是一個困難的問題；(3)已證明RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小。7、神經(jīng)控制的基本原理傳統(tǒng)控制模式——根據(jù)被控對象的數(shù)學(xué)模型及對控制系統(tǒng)要求的性能指標(biāo)設(shè)計控制器，并對控制規(guī)律加以數(shù)學(xué)解析描述。模糊控制模式——基于專家經(jīng)驗和領(lǐng)域知識總結(jié)模糊控制規(guī)則——顯式表達知識神經(jīng)控制——不善于顯式表達知識——具有很強的逼近非線性函數(shù)能力（非線性映射能力）神經(jīng)網(wǎng)絡(luò)在控制中主要起以下作用：(1)在基于精確模型的各種控制結(jié)構(gòu)中充當(dāng)對象的模型；(2)在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；(3)在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計算作用；(4)在與其它智能控制方法和優(yōu)化算法相融合中,為其提供對象模型、優(yōu)化參數(shù)、推理模型及故障診斷等。

一般說來，神經(jīng)網(wǎng)絡(luò)用于控制有兩種方式：一種是利用神經(jīng)網(wǎng)絡(luò)實現(xiàn)系統(tǒng)建模，有效地辨識系統(tǒng)；另一種就是將神經(jīng)網(wǎng)絡(luò)直接作為控制器使用，以取得滿意的控制效果。4.2神經(jīng)網(wǎng)絡(luò)控制的結(jié)構(gòu)1、基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識（1）系統(tǒng)辨識的基本概念L.A.Zadeh曾給辨識下過定義：“辨識就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型中，確定一個與所測系統(tǒng)等價的模型?！保?）系統(tǒng)辨識的基本概念根據(jù)以上關(guān)于辨識的定義可知，辨識有三大要素：①數(shù)據(jù)：能觀測到的被辨識系統(tǒng)的輸入/輸出數(shù)據(jù)；

②模型類：待尋找模型的范圍；③等價準(zhǔn)則：辨識的優(yōu)化目標(biāo)，用來衡量模型與實際系統(tǒng)的接近情況。

設(shè)一個離散非時變系統(tǒng)，其輸入和輸出分別為u(k)和y(k)，辨識問題可描述為尋求一個數(shù)學(xué)模型，使得模型的輸出與被辨識系統(tǒng)的輸出y(k)之差滿足規(guī)定的要求。被辨識系統(tǒng)辨識模型系統(tǒng)辨識原理圖在進行辨識系統(tǒng)時要遵循以下幾個基本原則：

①輸入信號的選擇原則為了能夠辨識實際系統(tǒng)，對輸入信號的最低要求是在辨識時間內(nèi)系統(tǒng)的動態(tài)過程必須被輸入信號持續(xù)激勵，反映在頻譜上，要求輸入信號的頻率必須足以覆蓋系統(tǒng)的頻譜，更進一步的要求是輸入信號應(yīng)能使給定問題的辨識模型精度足夠高。

②模型的選擇原則模型只是在某種意義下對實際系統(tǒng)的一種近似描述，它的確定要兼顧其精確性和復(fù)雜性，一般選擇能逼近原系統(tǒng)的最簡模型。

其中，L為數(shù)據(jù)的長度，f(?)是e(k)的函數(shù)，一般選平方函數(shù)，即根據(jù)圖可知

由于e2(k)通常是關(guān)于模型參數(shù)的非線性函數(shù)。因此，在這種誤差準(zhǔn)則意義下，辨識問題可歸結(jié)為非線性函數(shù)的最優(yōu)化問題。③誤差準(zhǔn)則的選擇原則作為衡量模型是否接近實際系統(tǒng)的標(biāo)準(zhǔn)，誤差準(zhǔn)則通常表示為一個誤差的泛函，記作被辨識系統(tǒng)辨識模型（2）基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識正向模型辨識所謂正向模型是指利用多層前饋神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練或?qū)W習(xí)，使其能夠表達系統(tǒng)正向動力學(xué)特性的模型。下圖給出了獲得系統(tǒng)正向模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。其中神經(jīng)網(wǎng)絡(luò)與待辨識系統(tǒng)并聯(lián)，兩者的輸出誤差e被用作網(wǎng)絡(luò)的訓(xùn)練信號。顯然，這是一個典型的有監(jiān)督學(xué)習(xí)問題，實際系統(tǒng)作為教師，向神經(jīng)網(wǎng)絡(luò)提供學(xué)習(xí)算法所需的期望輸出。一般可選BP及其改進算法對網(wǎng)絡(luò)進行訓(xùn)練。動態(tài)系統(tǒng)NN正向模型2.逆模型辨識

（1）直接逆建模直接逆建模也稱為廣義逆學(xué)習(xí)，其結(jié)構(gòu)如圖動態(tài)系統(tǒng)NN

從原理上說，這是一種最簡單的方法。擬辨識動態(tài)系統(tǒng)的輸出作為網(wǎng)絡(luò)的輸入，將網(wǎng)絡(luò)輸出與系統(tǒng)輸入進行比較后的誤差作為訓(xùn)練信號，因而網(wǎng)絡(luò)將通過學(xué)習(xí)建立起擬辨識動態(tài)系統(tǒng)的逆模型。（2）正–逆建模正–逆建模也稱為狹義逆學(xué)習(xí)，其結(jié)構(gòu)如圖動態(tài)系統(tǒng)NN正向模型

此時待辨識對象的逆模型（NN）位于動態(tài)系統(tǒng)前面，并與之串聯(lián)。網(wǎng)絡(luò)的訓(xùn)練誤差或者為系統(tǒng)期望輸出yd(k)與系統(tǒng)實際輸出y(k)之差，或者為系統(tǒng)期望輸出yd(k)與已建神經(jīng)網(wǎng)絡(luò)正向模型的輸出yN(k)之差，即或2、基于神經(jīng)網(wǎng)絡(luò)的控制

在現(xiàn)代控制系統(tǒng)中，隨著工程研究的深入，控制理論所面臨的問題日益復(fù)雜多變，主要表現(xiàn)在控制對象、控制任務(wù)的日益復(fù)雜化，系統(tǒng)的數(shù)學(xué)模型難以建立。神經(jīng)網(wǎng)絡(luò)由于其強大的非線性映射能力、自學(xué)習(xí)自適應(yīng)能力、聯(lián)想記憶能力、并行信息處理能力以及優(yōu)良的容錯能力，使得其非常適用于復(fù)雜系統(tǒng)的建模與控制，特別是當(dāng)系統(tǒng)存在不確定因素時，更體現(xiàn)了神經(jīng)網(wǎng)絡(luò)方法的優(yōu)越性，它使模型與控制的概念合二為一。（1）基于神經(jīng)網(wǎng)絡(luò)控制的基本原理神經(jīng)網(wǎng)絡(luò)用于控制的優(yōu)越性主要表現(xiàn)在以下幾個方面：①采用并行分布信息處理方式，具有很強的容錯性。②神經(jīng)網(wǎng)絡(luò)的本質(zhì)是非線性映射，它可以逼近任意非線性函數(shù)。③通過對訓(xùn)練樣本的學(xué)習(xí)，可以處理難以用模型或規(guī)則描述的過程和系統(tǒng)。④硬件實現(xiàn)發(fā)展迅速，為提高神經(jīng)網(wǎng)絡(luò)的應(yīng)用開辟了廣闊的前景。神經(jīng)網(wǎng)絡(luò)自身所具有的自學(xué)習(xí)和自適應(yīng)、自組織以及大規(guī)模并行信息處理等特點，使其在自動控制領(lǐng)域具有廣闊的應(yīng)用前景。（Ⅰ）神經(jīng)網(wǎng)絡(luò)前饋控制的基本原理一般反饋控制系統(tǒng)的原理圖：控制器被控對象神經(jīng)網(wǎng)絡(luò)被控對象采用神經(jīng)網(wǎng)絡(luò)作為前饋控制器的系統(tǒng)如圖：神經(jīng)網(wǎng)絡(luò)被控對象

設(shè)被控對象的輸入u和系統(tǒng)輸出y之間滿足如下