神經(jīng)網(wǎng)絡(luò)第三章 神經(jīng)控制中的系統(tǒng)辨識(shí)課件

第3章神經(jīng)控制中的系統(tǒng)辨識(shí)3.1系統(tǒng)辨識(shí)過程中神經(jīng)網(wǎng)絡(luò)的作用3.2非線性動(dòng)態(tài)系統(tǒng)辨識(shí)3.3多層前向網(wǎng)絡(luò)辨識(shí)中的快速算法3.4非線性模型的預(yù)報(bào)誤差神經(jīng)網(wǎng)絡(luò)辨識(shí)3.5非線性系統(tǒng)逆模型的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.6線性連續(xù)動(dòng)態(tài)系統(tǒng)辨識(shí)的參數(shù)估計(jì)3.7利用神經(jīng)網(wǎng)絡(luò)聯(lián)想功能的辨識(shí)系統(tǒng)3.7小結(jié)習(xí)題與思考題神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.1辨識(shí)模型

辨識(shí)模型只是被測(cè)系統(tǒng)在一定環(huán)境下的近似描述，選擇只能在以下情況中確定：

是選擇靜態(tài)模型，還是選擇動(dòng)態(tài)模型？

是選擇參數(shù)模型，還是選擇非參數(shù)模型？

必須考慮：1)模型的用途；(2)被測(cè)對(duì)象的精確度與復(fù)雜程度；(3)系統(tǒng)的控制方式，是自適應(yīng)控制還是實(shí)時(shí)控制；(4)使用神經(jīng)網(wǎng)絡(luò)，可以選擇三層網(wǎng)絡(luò)通過仿真比對(duì)完成，當(dāng)前神經(jīng)網(wǎng)絡(luò)理論尚未明確指出需要幾個(gè)隱層節(jié)點(diǎn)數(shù)才能模擬出系統(tǒng)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)一、使用參數(shù)模型辨識(shí)的方法

從輸入輸出數(shù)據(jù)中提取被測(cè)系統(tǒng)S的數(shù)學(xué)模型M，使下式成立：

‖Ym－Yo‖=‖M(u)－S(u)‖≤ε

式中Ym、Yo分別是系統(tǒng)輸入u作用下模型和系統(tǒng)的輸出。ε為預(yù)設(shè)的辨識(shí)精度。設(shè)e=Ym－Yo，則辨識(shí)準(zhǔn)則二、使用非參數(shù)模型辨識(shí)的方法

無需事先確定模型的具體結(jié)構(gòu)，只需要知道運(yùn)行過程為線性。

這一類模型有階躍響應(yīng)、脈沖響應(yīng)、頻率特性神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)三、人工神經(jīng)網(wǎng)絡(luò)用于系統(tǒng)辨識(shí)

用神經(jīng)網(wǎng)絡(luò)構(gòu)成辨識(shí)模型，辨識(shí)方法就是用神經(jīng)網(wǎng)絡(luò)辨識(shí)模型逼近被測(cè)系統(tǒng)。用作辨識(shí)模型的神經(jīng)網(wǎng)絡(luò)通常有多層感知器、BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)等。

四、辨識(shí)系統(tǒng)的輸入和輸出

被測(cè)系統(tǒng)與辨識(shí)模型使用相同的輸入信號(hào)。輸入信號(hào)滿足條件

1、辨識(shí)時(shí)間內(nèi)的輸入信號(hào)必須持續(xù)激勵(lì)，充分激勵(lì)系統(tǒng)的所有模態(tài)，輸入信號(hào)的頻譜必須足夠覆蓋系統(tǒng)的頻譜；

2、輸入信號(hào)要求最優(yōu)化。辨識(shí)系統(tǒng)常用的輸入信號(hào)有偽隨機(jī)序列或白噪聲。

辨識(shí)系統(tǒng)的輸出是系統(tǒng)的誤差。在確定系統(tǒng)誤差時(shí)，選擇誤差準(zhǔn)則，用來衡量辨識(shí)模型接近被測(cè)系統(tǒng)的程度。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)四、誤差準(zhǔn)則函數(shù)的泛函表示

f(·)用得較多的是平方函數(shù)：

f［e(k)］=e2(k)e(k)是誤差函數(shù)，定義區(qū)間為［0，M］，是辨識(shí)模型的輸出與被測(cè)系統(tǒng)的輸出之差。如果e(k)=0，則說明被測(cè)系統(tǒng)與辨識(shí)模型等價(jià)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

3.2系統(tǒng)辨識(shí)過程中神經(jīng)網(wǎng)絡(luò)的作用

3.2.1神經(jīng)網(wǎng)絡(luò)辨識(shí)原理

一、系統(tǒng)辨識(shí)

實(shí)質(zhì)上是一個(gè)優(yōu)化問題，優(yōu)化準(zhǔn)則依靠辨識(shí)目的、辨識(shí)算法的復(fù)雜程度進(jìn)行選擇。

二、辨識(shí)方法

基于算法的辨識(shí)方法，適用于線性系統(tǒng)；基于神經(jīng)網(wǎng)絡(luò)的辨識(shí)方法，適用于非線性系統(tǒng)。

1.基于算法的辨識(shí)方法

要求建立一個(gè)模型，該模型依賴于某個(gè)參數(shù)θ，把辨識(shí)轉(zhuǎn)化成了對(duì)模型參數(shù)的估計(jì)。

1)最小二乘法

利用最小二乘法原理，通過極小化廣義誤差的二次方和函數(shù)來確定模型的參數(shù)。例如一個(gè)線性系統(tǒng)模型，在經(jīng)過一系列的數(shù)學(xué)變換后轉(zhuǎn)換成最小二乘格式：z(k)=hT(k)θ+e(k)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)hT(k)是系統(tǒng)的廣義輸入，內(nèi)含原系統(tǒng)輸入u(k)和原系統(tǒng)輸出y(k)；e(k)是系統(tǒng)的廣義噪聲。

2)梯度校正法

沿著誤差準(zhǔn)則函數(shù)關(guān)于模型參數(shù)的負(fù)梯度方向，逐步修改模型的參數(shù)估計(jì)值，直到誤差準(zhǔn)則函數(shù)達(dá)到最小。

3)極大似然法

極大似然法通過極大化似然函數(shù)來確定模型參數(shù)。最小二乘法辨識(shí)系統(tǒng)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)2.基于神經(jīng)網(wǎng)絡(luò)的辨識(shí)方法

人工神經(jīng)網(wǎng)絡(luò)辨識(shí)那些非線性系統(tǒng)，不需預(yù)先知道被測(cè)系統(tǒng)的模型。

辨識(shí)并不在意神經(jīng)網(wǎng)絡(luò)以什么形式去逼近實(shí)際系統(tǒng)，只關(guān)心神經(jīng)網(wǎng)絡(luò)的輸出與被辨識(shí)系統(tǒng)的輸出相差多少，誤差e(k)能否為0。從辨識(shí)的角度出發(fā)，只要e(k)小于某一個(gè)事先認(rèn)可的值，對(duì)被辨識(shí)系統(tǒng)的辨識(shí)任務(wù)告一段落。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3、神經(jīng)網(wǎng)絡(luò)的辨識(shí)方法的特點(diǎn)：

(1)辨識(shí)器由神經(jīng)網(wǎng)絡(luò)構(gòu)成，被辨識(shí)對(duì)象允許是本質(zhì)上不能線性化的非線性系統(tǒng)；

(2)辨識(shí)過程非算法式，由神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來實(shí)施。辨識(shí)結(jié)果是網(wǎng)絡(luò)外部特性擬合系統(tǒng)的輸入輸出特性，網(wǎng)絡(luò)內(nèi)部特性歸納隱藏在輸入輸出數(shù)據(jù)中；

(3)辨識(shí)之前無須對(duì)被辨識(shí)系統(tǒng)建模，神經(jīng)網(wǎng)絡(luò)辨識(shí)器的權(quán)值反映了被辨識(shí)對(duì)象的可調(diào)參數(shù)；

(4)辨識(shí)過程是否收斂以及收斂速度僅取決于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其算法，與被辨識(shí)系統(tǒng)及其維數(shù)無關(guān)，有別于與模型參數(shù)的維數(shù)密切相關(guān)的傳統(tǒng)算法；

(5)神經(jīng)網(wǎng)絡(luò)可用于在線控制；

(6)神經(jīng)網(wǎng)絡(luò)連接權(quán)的權(quán)值在辨識(shí)中對(duì)應(yīng)于模型參數(shù)，只要調(diào)節(jié)這些參數(shù)，就能使網(wǎng)絡(luò)輸出逼近系統(tǒng)輸出。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.2.2多層前向網(wǎng)絡(luò)的辨識(shí)能力

1.三層前向網(wǎng)絡(luò)的逼近能力

僅含一個(gè)隱層的三層前向網(wǎng)絡(luò)可以逼近某個(gè)函數(shù)。設(shè)輸入層有n個(gè)節(jié)點(diǎn)，能接納n個(gè)輸入xi(i=1，2，3，…，n)，隱層有q個(gè)節(jié)點(diǎn)vj(j=1，2，3，…，q)，輸出層僅有一個(gè)節(jié)點(diǎn)。網(wǎng)絡(luò)的輸入矢量為X，輸入層到隱層第j個(gè)神經(jīng)元的連接權(quán)值矢量用Wj表示，網(wǎng)絡(luò)的輸出為單輸出，用y表示。

σ(·)是隱層節(jié)點(diǎn)的作用函數(shù)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

給定函數(shù)空間S、映射p，若函數(shù)f，g，h∈S，且滿足：

(1)p(f，g)≥0，且僅當(dāng)f=g時(shí)取等號(hào)，具有正定性；

(2)p(f，g)=p(g，f)，具有對(duì)稱性；

(3)三角不等式p(f，g)≤p(f，h)+p(h，g)成立。

(s，p)為賦范空間，映射p稱為距離函數(shù)或范數(shù)。

如果U

Rn是n維單位立方體，C(U)是定義在U上的所有連續(xù)函數(shù)f(X)的集合，定義范數(shù)p=sup|f(X)|定理1

若神經(jīng)元特性σ(t)是連續(xù)函數(shù)，且神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

函數(shù)f(x)不僅限于連續(xù)函數(shù)，f(x)是一個(gè)非連續(xù)函數(shù)時(shí)定理仍然成立，只要求f(x)在［－1，1］上有定義，且滿足平方可積條件。利用傅里葉積分將f(x)展開成傅里葉級(jí)數(shù)——若干個(gè)連續(xù)函數(shù)之和，對(duì)每一連續(xù)函數(shù)，定理1均成立。設(shè)f(x)連續(xù)，且在連續(xù)點(diǎn)處，有限次級(jí)數(shù)和的三角級(jí)數(shù)形式為神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

問題推廣到n維(n＞1)，定義矢量的絕對(duì)值為其各分量的最大絕對(duì)值，在單位空間中定義下列積分:其中將函數(shù)f(x)的集合記為L(zhǎng)2(U)。定義范數(shù)則下列定理成立:

定理2

若神經(jīng)元特性σ(t)是閾值特性，那么∑(σ)在L2(U)中是p稠密的，即對(duì)于f∈L2(U)及ε>0，g(X)，使得三層前向網(wǎng)絡(luò)能以任意精度逼近任意連續(xù)函數(shù)、任意非連續(xù)函數(shù)及其各階導(dǎo)數(shù)(如果存在導(dǎo)數(shù))。這一性質(zhì)能用于動(dòng)態(tài)系統(tǒng)辨識(shí)，要求神經(jīng)網(wǎng)絡(luò)具備逼近各階導(dǎo)數(shù)的能力。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)2.多層前向網(wǎng)絡(luò)的基本結(jié)構(gòu)

1）靜態(tài)網(wǎng)絡(luò)的典型例子就是BP網(wǎng)絡(luò)，該網(wǎng)絡(luò)的三個(gè)特征是多層次結(jié)構(gòu)、S型神經(jīng)元及反向傳播算法(BackPropogation)。靜態(tài)網(wǎng)絡(luò)已在模式識(shí)別、系統(tǒng)識(shí)別、圖像處理等方面受到較大的關(guān)注。2）動(dòng)態(tài)多層前向網(wǎng)絡(luò)回歸網(wǎng)絡(luò)是一種動(dòng)態(tài)網(wǎng)絡(luò)，它的結(jié)構(gòu)特點(diǎn)存在反饋。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)或用一段時(shí)間內(nèi)的均方誤差值

T選用適宜的一個(gè)正整數(shù)，并要求輸入模式為動(dòng)態(tài)信號(hào)。設(shè)網(wǎng)絡(luò)的全部可調(diào)參數(shù)(例如連接權(quán)值和閾值)的集合用Θ表示，網(wǎng)絡(luò)的當(dāng)前參數(shù)為θ，θ∈Θ，▽J為當(dāng)前時(shí)刻指標(biāo)函數(shù)的梯度，由BP算法知當(dāng)前參數(shù)增量Δθ與梯度成正比：

Δθ=－η▽J比值η是學(xué)習(xí)速率或步長(zhǎng)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(1)圖(a)，有式中，用W(z)表示一個(gè)動(dòng)態(tài)系統(tǒng)，只需要用BP算法靜態(tài)計(jì)算，就能得到當(dāng)前時(shí)刻的。設(shè)網(wǎng)絡(luò)期望輸出為W(z)是一個(gè)特定的脈沖傳遞標(biāo)量函數(shù)。選取多層網(wǎng)N的結(jié)構(gòu)為四層：輸入層1個(gè)節(jié)點(diǎn)，第一隱層20個(gè)節(jié)點(diǎn)，第二隱層10個(gè)節(jié)點(diǎn)，輸出層1個(gè)節(jié)點(diǎn)。用多層網(wǎng)N逼近:神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)逼近過程中W(z)可能有三種情況出現(xiàn)：第一種，取W(z)是純滯后q步的線性系統(tǒng)，傳遞函數(shù)W(z)=z－q，計(jì)算并時(shí)延q步得當(dāng)前值。如取q=5,訓(xùn)練指標(biāo)用J1，η=0.1時(shí)訓(xùn)練50000步可得較好效果。訓(xùn)練指標(biāo)用J2，η=0.2時(shí)訓(xùn)練50000步得相同結(jié)果。第二種，取W(z)是有限脈沖響應(yīng)模型(FIRM)，傳遞函數(shù)W(z)=∑aiz－1，計(jì)算線性組合以前各時(shí)刻的值后可得。如設(shè)W(z)=0.1z－1+1.0z－2+0.5z－3神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)訓(xùn)練指標(biāo)用J2，每三步調(diào)整一次參數(shù)(T=3)，η=0.01時(shí)訓(xùn)練50000次后N與f基本相同。

第三種，取W(z)是穩(wěn)定的有限傳遞函數(shù)，且能用參數(shù)模型描述，如描述模型用ARMA模型。取訓(xùn)練指標(biāo)用J1，η=0.005時(shí)訓(xùn)練10萬次，發(fā)現(xiàn)y與yq仍有差別。訓(xùn)練指標(biāo)改用J2，η=0.005時(shí)訓(xùn)練10萬次，取T=5，最終效果較好。

(2)對(duì)圖(b)，多層前向網(wǎng)絡(luò)的映射有兩個(gè)，現(xiàn)分別確定。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)對(duì)于N1網(wǎng)絡(luò)映射，用靜態(tài)BP算法計(jì)算，其中θ是N1的參數(shù)。

對(duì)于N2網(wǎng)絡(luò)映射，使用靜態(tài)BP算法計(jì)算和，求得或?qū)懗善渲?，f［·］代表了非線性的關(guān)系，有此函數(shù)關(guān)系的非線性系統(tǒng)均可以用神經(jīng)網(wǎng)絡(luò)來逼近。盡管如此，也不能簡(jiǎn)單地認(rèn)為：N1能訓(xùn)練成f［·］，N2能訓(xùn)練成g(u)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)用例說明，設(shè)N1是結(jié)構(gòu)為1×20×10×1的單輸入單輸出系統(tǒng)，取訓(xùn)練用的輸入信號(hào)是分布在［－2，2］之間的隨機(jī)信號(hào)。訓(xùn)練好以后，實(shí)際輸出y與期望輸出yq之間無多大的差別。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(3)圖(c)，設(shè)和是當(dāng)前點(diǎn)上取值的Jacobian矩陣矢量，它們能夠在每一時(shí)刻求得，成為以下線性差分方程的系數(shù)矩陣矢量式中，是n維矢量，系統(tǒng)傳遞函數(shù)W(z)僅對(duì)其后的產(chǎn)生延時(shí)作用。如果離散系統(tǒng)通過零階保持器采樣，W(z)至少有一步時(shí)延效應(yīng)，使得W(z)

總只包括當(dāng)前時(shí)刻前的各值。按照差分方程能遞推出各時(shí)刻的值。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(4)圖(d)，N1的可用與圖(c)相同的線性差分方程計(jì)算出來，N2則有仿真結(jié)果表明這種動(dòng)態(tài)BP算法能使網(wǎng)絡(luò)較好地跟蹤期望輸出。動(dòng)態(tài)反向傳播算法比靜態(tài)反向傳播算法復(fù)雜得多，導(dǎo)致這種算法存在諸多缺點(diǎn)，其中突出的有兩個(gè)缺點(diǎn)：一個(gè)是必須假設(shè)系統(tǒng)可以分成線性系統(tǒng)和非線性系統(tǒng)；另一個(gè)是需要已知線性系統(tǒng)的傳遞函數(shù)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.2.3辨識(shí)系統(tǒng)中的非線性模型

神經(jīng)網(wǎng)絡(luò)作系統(tǒng)辨識(shí)，主要用于非線性辨識(shí)和自適應(yīng)。非線性系統(tǒng)在能控性、能觀性、負(fù)反饋調(diào)節(jié)、狀態(tài)觀測(cè)器設(shè)計(jì)等方面，還沒有成熟的做法，難度是非線性系統(tǒng)的辨識(shí)模型和控制模型不易選取。為此，用神經(jīng)網(wǎng)絡(luò)辨識(shí)非線性系統(tǒng)，必須作一些假設(shè)限制：

(1)被控對(duì)象具有能控能觀性；

(2)對(duì)所有可能的輸入控制量u，被控對(duì)象的輸出y存在并有界；

(3)在辨識(shí)模型中的神經(jīng)網(wǎng)絡(luò)允許一個(gè)或幾個(gè)，選用的結(jié)構(gòu)同于被控對(duì)象；神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(4)辨識(shí)模型的基本結(jié)構(gòu)為包含神經(jīng)網(wǎng)絡(luò)的串—并聯(lián)結(jié)構(gòu)。

以上第(1)、(2)條限制是為了保證整個(gè)系統(tǒng)的穩(wěn)定性及可辨性；第(3)條限制是為了方便選擇模型，簡(jiǎn)化數(shù)學(xué)處理過程；第(4)條限制源于串—并聯(lián)結(jié)構(gòu)有以下優(yōu)點(diǎn)：

①由于被控對(duì)象的輸出y存在并有界，那么串—并聯(lián)模型中所有用作辨識(shí)的信號(hào)均有界，使辨識(shí)模型易于穩(wěn)定；

②串—并聯(lián)模型無反饋網(wǎng)絡(luò)，使從后向前的靜態(tài)反向傳播算法成為可能；

③當(dāng)辨識(shí)誤差足夠小時(shí)，不使用串—并聯(lián)結(jié)構(gòu)，只使用并聯(lián)結(jié)構(gòu)也能有好的效果。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)在上述四種假設(shè)限制下，能夠?qū)懗龀Ｓ玫囊恍┓蔷€性典型模型，現(xiàn)舉例如下：

第一種，這種模型的輸出—輸入關(guān)系為n=2，m=0時(shí)的并聯(lián)結(jié)構(gòu)和串—并聯(lián)結(jié)構(gòu)如圖4-6所示。第二種，第三種，神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)并聯(lián)及串—并聯(lián)模型(a)n=2，m=0時(shí)的并聯(lián)模型；(b)n=2，m=0時(shí)的串—并聯(lián)模型第四種，

y(k+1)=f(y(k)，y(k－1)，…，y(k－n))，u(k)，u(k－1)，…，u(k－m)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

3.3非線性動(dòng)態(tài)系統(tǒng)辨識(shí)

3.3.1非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)

設(shè)非線性離散動(dòng)態(tài)系統(tǒng)的狀態(tài)方程為

X(k+1)=φ［X(k)，U(k)］

Y(k)=ψ［X(k)，U(k)］

式中，X，Y，U分別是系統(tǒng)的狀態(tài)矩陣、輸出矩陣和輸入矩陣，并設(shè)

X(k)∈Rn，Y(k)∈Rp，U(k)∈Rm神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)設(shè)狀態(tài)方程描述的系統(tǒng)滿足以下三個(gè)條件：

第一條，定義U的取值范圍組成的集合為Ω

Rm，則

U∈Ω。若X(0)∈Rm，則對(duì)有限個(gè)M，系統(tǒng)是穩(wěn)定的，表現(xiàn)為：‖X(M)‖+‖Y(M)‖<∞。

第二條，函數(shù)φ［·］和ψ［·］當(dāng)Rn+m→Rn時(shí)連續(xù)且滿足Lipschitz條件，系統(tǒng)解唯一。

由于神經(jīng)網(wǎng)絡(luò)用作非線性離散系統(tǒng)辨識(shí)模型時(shí)屬靜態(tài)網(wǎng)絡(luò)，用作非線性離散系統(tǒng)的動(dòng)態(tài)模型時(shí)還需要滿足下一個(gè)條件。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)第三條，設(shè)任意連續(xù)函數(shù)f：C→Rp，其中C為閉集，

C

Rp，均存在網(wǎng)絡(luò)參數(shù)W，使網(wǎng)絡(luò)輸出F(X，W)滿足其中，ε是一個(gè)大于0的小正數(shù)。滿足以上三個(gè)條件的神經(jīng)網(wǎng)絡(luò)非線性動(dòng)態(tài)系統(tǒng)結(jié)構(gòu)圖如圖4-7所示，用作系統(tǒng)辨識(shí)時(shí)有如下定理。

定理考慮到滿足第三條的系統(tǒng)狀態(tài)方程為神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)對(duì)于X(0)=X0∈Rm，U∈Ω

Rm，Ω為閉集，對(duì)于每一ε＞0，必存在網(wǎng)絡(luò)參數(shù)W，使得U∈Ω，都有滿足上述第一條、第二條條件的系統(tǒng)充分接近輸出，存在：

max‖y(k)－Y(k)‖<ε

證明過程從略。此定理說明用BP網(wǎng)絡(luò)組成非線性動(dòng)態(tài)系統(tǒng)時(shí)，按上圖結(jié)構(gòu)，能構(gòu)成非線性離散動(dòng)態(tài)系統(tǒng)的精確模型，且有唯一穩(wěn)定解。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖神經(jīng)網(wǎng)絡(luò)非線性動(dòng)態(tài)系統(tǒng)結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.3.2單輸入單輸出非線性動(dòng)態(tài)系統(tǒng)的BP網(wǎng)絡(luò)辨識(shí)

選用BP網(wǎng)絡(luò)辨識(shí)，網(wǎng)絡(luò)的結(jié)構(gòu)可選三層前向網(wǎng)絡(luò)。其中輸入層用u(k)作輸入，神經(jīng)元個(gè)數(shù)為n1，則

n1≥n+m+1

隱層的神經(jīng)元個(gè)數(shù)假設(shè)為n2個(gè)，可取

n2＞n1

隱層神經(jīng)元個(gè)數(shù)n2在4～20個(gè)范圍內(nèi)選取，通過仿真比較，選取性能好的那個(gè)值。

輸出層神經(jīng)元個(gè)數(shù)設(shè)為n3，大小等于被辨識(shí)系統(tǒng)的輸出個(gè)數(shù)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)現(xiàn)考慮一個(gè)單輸入單輸出非線性動(dòng)態(tài)系統(tǒng)，設(shè)系統(tǒng)的輸入及階次分別為u(k)和m，輸出及階次分別為y(k)和p，系統(tǒng)方程為

Y(k+1)=f(y(k)，y(k－1)，…，u(k)，…，u(k－m+1))

單輸入單輸出的n1＝n3＝1。

BP網(wǎng)絡(luò)的輸入矢量可寫成

x(k)=［x1(k)，x2(k)，…，xn1(k)］T

因m、p未知，可進(jìn)行的幾種組合，比較性能后選最優(yōu)的一組。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)設(shè)輸入層用“I”表示，隱層用“H”表示，輸入層到隱層的連接權(quán)矩陣為［wji］，對(duì)應(yīng)輸入輸出關(guān)系為Ij(k)=H［neti(k)］閾值對(duì)應(yīng)的狀態(tài)為x0=1。設(shè)輸出層用“O”表示，從隱層到輸出層的連接權(quán)矩陣為[Pi],相應(yīng)輸入輸出關(guān)系為神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

閾值對(duì)應(yīng)的狀態(tài)為I0=1。

選用的性能指標(biāo)為：學(xué)習(xí)規(guī)則采用廣義δ規(guī)則，為加快收斂，δ規(guī)則帶慣性項(xiàng)，格式如下：

Pi(k)=Pi(k+1)－Pi(k)=a1e(k)Ii(k)+a2ΔPi(k－1)Δwji(k)=a1e(k)ΔH［neti(k)］Pi(k)xi(k)+a2Δwji(k－1)

e(k)=y(k)－yq(k)

ΔH［neti(k)］=neti(k)(1－neti(k))神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)式中，i=1，2，…，n2；j=1，2，…，n1，以下同。

基于BP網(wǎng)絡(luò)的系統(tǒng)辨識(shí)分6步實(shí)施，各步如下。

(1)初始化連接權(quán)為小的隨機(jī)值。

設(shè)Random(·)為［－1，+1］內(nèi)均勻分布的隨機(jī)函數(shù)，初始值

wji(0)=a·Random(·)∈［－0.1，0.1］

Pi(0)=a·Random(·)∈［－0.1，0.1］

(2)選擇輸入信號(hào)u(k)，候選的有階躍、斜坡、正弦波、偽隨機(jī)二進(jìn)制序列(PRBS)等信號(hào)，只選一種加入系統(tǒng)。

(3)仿真計(jì)算y(k)。

(4)形成輸入矢量X(k)，計(jì)算e(k)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(5)計(jì)算ΔPi(k)、Δwji(k)。

(6)將u(k)、y(k)移位轉(zhuǎn)入第二步繼續(xù)。

如果是離線辨識(shí)，結(jié)束循環(huán)的判斷條件為(預(yù)先選定ε為小的正數(shù))

|e(k)|=|y(k)－yq(k)|<ε

例1

水輪發(fā)電機(jī)組模型BP網(wǎng)絡(luò)辨識(shí)。本例選自參考文獻(xiàn)［3］。

水輪發(fā)電機(jī)組在線辨識(shí)系統(tǒng)結(jié)構(gòu)如圖4-8所示。從結(jié)構(gòu)圖中看到，水輪發(fā)電機(jī)組模型的輸入信號(hào)除正常PC調(diào)節(jié)器調(diào)節(jié)信號(hào)外，還疊加有一個(gè)二位式偽隨機(jī)M序列信號(hào)PRES，由STD工控機(jī)參數(shù)在線辨識(shí)產(chǎn)生。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)辨識(shí)系統(tǒng)運(yùn)行狀態(tài)如下：水輪發(fā)電機(jī)組在三種典型工況下運(yùn)行，分別是空載、帶地區(qū)小負(fù)荷、并入大電網(wǎng)。機(jī)組工作于空載運(yùn)行時(shí)，轉(zhuǎn)換開關(guān)S接入“電氣手動(dòng)”時(shí)，水輪發(fā)電機(jī)組呈現(xiàn)開環(huán)調(diào)節(jié)系統(tǒng)運(yùn)行。機(jī)組工作于帶地區(qū)小負(fù)荷運(yùn)行時(shí)，轉(zhuǎn)換開關(guān)S接入“PC調(diào)節(jié)器”輸出，整個(gè)系統(tǒng)是一個(gè)受命于給定值的負(fù)反饋調(diào)節(jié)系統(tǒng)，由于負(fù)載較輕，參數(shù)在線辨

識(shí)裝置的輸入基本上與“空載運(yùn)行”相同。機(jī)組工作于“并入大電網(wǎng)”時(shí)，S仍撥在“PC調(diào)節(jié)器”輸出位置上，負(fù)反饋調(diào)節(jié)繼續(xù)有效，但辨識(shí)裝置的輸入?yún)s不同于“帶地區(qū)小負(fù)荷運(yùn)行”，由于機(jī)組的頻率同于外電網(wǎng)的頻率，辨識(shí)裝置的輸入為水輪機(jī)導(dǎo)葉開度和機(jī)組所帶的外部有功負(fù)荷。對(duì)于混流式機(jī)組，在小波動(dòng)工況下，轉(zhuǎn)速v(s)對(duì)導(dǎo)葉開度k(s)的傳遞函數(shù)表示成神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)式中，T、T0分別是機(jī)組及引水道的慣性時(shí)間常數(shù)，e0、e、a、b均是水輪機(jī)組的特性參數(shù)。

水輪發(fā)電機(jī)組啟動(dòng)后，先空載運(yùn)行，隨后切換到電氣手動(dòng)運(yùn)行，頻率基準(zhǔn)50Hz，此時(shí)實(shí)際空載開度約20%。輸入信號(hào)選用5級(jí)PRBS，單位游歷Δt=4s，采樣周期為0.4s，幅

值取導(dǎo)水機(jī)構(gòu)接力器全行程的2%，記錄1000次，用時(shí)6min40s，記錄下三個(gè)完整的PRBS周期。數(shù)據(jù)處理時(shí)去掉穩(wěn)態(tài)分量，得到機(jī)組頻率的相對(duì)變化曲線，如圖3-9(a)所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)使用三層BP神經(jīng)網(wǎng)絡(luò)辨識(shí)，網(wǎng)絡(luò)結(jié)構(gòu)選用3×2×1，學(xué)習(xí)率η=0.65，初始連接權(quán)在［0，1］間隨機(jī)取值，用基本BP算法得到的BP輸出如圖b)所示，圖(c)給出了實(shí)際

輸出與BP網(wǎng)絡(luò)輸出之間的差別，從差別極微可以看到，BP網(wǎng)絡(luò)能較理想辨識(shí)出水輪發(fā)電機(jī)組非線性動(dòng)態(tài)模型。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

3-9水輪發(fā)電機(jī)組的BP動(dòng)態(tài)辨識(shí)曲線(a)實(shí)際機(jī)組頻率輸出變化；(b)BP網(wǎng)絡(luò)辨識(shí)結(jié)果；(c)實(shí)際測(cè)出結(jié)果與BP辨識(shí)之差神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

例2

煤氣加熱爐的BP動(dòng)態(tài)辨識(shí)。

煤氣加熱爐是典型的單輸入單輸出系統(tǒng)，輸入u(t)是煤氣流量，輸出y(t)是排除煙道中CO2的濃度。輸入輸出的數(shù)據(jù)能夠測(cè)得。模型的動(dòng)態(tài)結(jié)構(gòu)可以寫成

Y(k)=f(y(k－1),y(k－2),y(k－3),u(k－3),…,u(k－7)+cq－1ω(k))

式中，取模型的階次n=3，m=5，時(shí)滯d=2。c、q、ω是系統(tǒng)結(jié)構(gòu)參數(shù)。

用來辨識(shí)的前向網(wǎng)絡(luò)選用三層，輸入層、隱層、輸出層的神經(jīng)元個(gè)數(shù)分別為n1=8、n2=7、n3=1。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)在進(jìn)行訓(xùn)練前測(cè)得有289對(duì){u(i)，y(i)}數(shù)據(jù)對(duì)，可選擇其中200對(duì)訓(xùn)練隱層(如果隱層選取10個(gè)神經(jīng)元，則可選用170對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練)。在訓(xùn)練前，所有數(shù)據(jù)對(duì)應(yīng)進(jìn)行正規(guī)化處理。

訓(xùn)練使用帶修正項(xiàng)的BP算法，性能指標(biāo)選擇均方誤差函數(shù)：兩種不同模型訓(xùn)練后的辨識(shí)結(jié)果比較如表4-1所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)系統(tǒng)經(jīng)過學(xué)習(xí)后，可將測(cè)量所得289對(duì)數(shù)據(jù)中的余下數(shù)據(jù)對(duì)與BP網(wǎng)絡(luò)的輸出進(jìn)行比對(duì)，就可以測(cè)得使用BP網(wǎng)絡(luò)的辨識(shí)準(zhǔn)確程度。圖4-10給出了BP網(wǎng)絡(luò)辨識(shí)結(jié)果及預(yù)報(bào)曲

線，從圖中觀察到，預(yù)報(bào)時(shí)間較長(zhǎng)，但預(yù)報(bào)的準(zhǔn)確程度較為滿意。

網(wǎng)絡(luò)學(xué)習(xí)過程中均方誤差(MSPE)變化曲線如圖4-11所示。變化趨勢(shì)顯示出BP網(wǎng)絡(luò)能夠用于辨識(shí)，但與隱層神經(jīng)元個(gè)數(shù)、輸入輸出階次等有密切的關(guān)系。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖BP網(wǎng)絡(luò)辨識(shí)結(jié)果及預(yù)報(bào)(a)辨識(shí)結(jié)果；(b)預(yù)報(bào)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖BP網(wǎng)絡(luò)學(xué)習(xí)過程中的均方誤差變化神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

例3

多輸入多輸出動(dòng)態(tài)系統(tǒng)的BP網(wǎng)絡(luò)動(dòng)態(tài)辨識(shí)。

現(xiàn)以兩輸入兩輸出系統(tǒng)為例介紹，設(shè)系統(tǒng)為一線性系統(tǒng)，傳遞矩陣為其中，A(z－1)=1+0.883z－1+0.471z－2+0.083z－3B11(z－1)=3z－1－3.5z－2－1.5z－zB12(z－1)=z－1－0.167z－2－0.167z－3B21(z－1)=－4z－2－2z－3－z－4B22(z－1)=z－1－0.167z－2－0.083z－3－0.167z－4神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)系統(tǒng)輸入輸出分別為這時(shí)網(wǎng)絡(luò)輸入量設(shè)為14，分別是n1=3，n2=3，m1=4，m2=4。y1(k)和y2(k)用兩個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：y1網(wǎng)絡(luò)結(jié)構(gòu)為9×10×1，y2網(wǎng)絡(luò)結(jié)構(gòu)為10×12×1，辨識(shí)信號(hào)為0～10間的均勻分布隨機(jī)數(shù)，學(xué)習(xí)算法使用帶慣性項(xiàng)的BP算法：神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)式中，η、δ、α是相關(guān)系數(shù)，取η=0.9，δ由輸出層或隱層選定，α=0.3；yq是網(wǎng)絡(luò)的輸出值，作用函數(shù)為取40個(gè)樣本，兩個(gè)網(wǎng)絡(luò)分別學(xué)習(xí)8500次和8800次后的辨識(shí)結(jié)果如表4-2所示，表內(nèi)數(shù)據(jù)已經(jīng)經(jīng)過轉(zhuǎn)換轉(zhuǎn)到區(qū)間(0，1)內(nèi)取值。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)設(shè)u1=u2=0.5作為系統(tǒng)常值輸入，系統(tǒng)的5組輸出及測(cè)試網(wǎng)絡(luò)后所得輸出，列在表4-3中。最大相對(duì)誤差(0.661－0.543)/0.661≈2.7%，表示神經(jīng)網(wǎng)絡(luò)辨識(shí)的精度相當(dāng)高。

神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

3.4多層前向網(wǎng)絡(luò)辨識(shí)中的快速算法

在多層神經(jīng)網(wǎng)絡(luò)極值訓(xùn)練中，BP算法存在收斂較慢及局部極小點(diǎn)問題。為此提出了多種修改算法，力圖克服收斂較慢或避免陷入局部極小點(diǎn)。這些修正算法有增加慣性項(xiàng)、改變學(xué)習(xí)率或?qū)W習(xí)步長(zhǎng)、引入高階導(dǎo)數(shù)項(xiàng)等等。

本節(jié)討論使用遞推最小二乘法(RLS)學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的連接權(quán)系數(shù)，這種方法有較快的收斂速度。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

1.神經(jīng)元模型

考慮有M層的多層前向網(wǎng)絡(luò)，輸入層為1層，輸出層為M層，其中的每個(gè)神經(jīng)元均可表示成式中，n是第n層神經(jīng)元個(gè)數(shù)，wij是第i個(gè)神經(jīng)元到第j個(gè)神經(jīng)元的連接權(quán)，f(·)是單調(diào)單值連接的S型函數(shù)，且神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)每個(gè)神經(jīng)元的輸入輸出關(guān)系可以分解成線性輸入或非線性輸出兩部分，從線性輸入到非線性輸出之間存在一一對(duì)應(yīng)的映射和逆映射關(guān)系。其中逆映射可將輸出信息轉(zhuǎn)換到輸入

端，使用線性參數(shù)估計(jì)技術(shù)對(duì)神經(jīng)網(wǎng)絡(luò)的連續(xù)權(quán)進(jìn)行訓(xùn)練，便于使用遞推最小二乘法。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

2.RLS訓(xùn)練算法

設(shè)輸出層神經(jīng)元的期望輸入r(k)和期望輸出d(k)之間有一定的關(guān)系：

d(k)=f［r(k)］

對(duì)d(k)的逆變換可寫成

r(k)=f－1［d(k)］

式中，f－1(·)是f(·)的反函數(shù)。定義性能指標(biāo)：神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)式中，λ稱為遺忘因子。神經(jīng)元的輸入輸出重新寫出如下：性能指標(biāo)改寫成考慮到神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)令可得W的LS估計(jì)為

W(k)=［ΦT(k)Φ(k)］－1ΦT(k)R(k)相應(yīng)的RLS估計(jì)為

WL(k)=WL－1(k)+ML－1(k)［rL(k)－XTL－1(k)WL－1(k－1)］式中，神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)遞推時(shí)取初值：

PL－1(0)=(103～106)I對(duì)于中間層每個(gè)神經(jīng)元，定義其期望輸入與期望輸出滿足

d(k)=f［r(k)］定義反傳誤差為

δit(k)=dit(k)－xit(k)=f[netit(k)][rit(k)－netit(k)]相應(yīng)神經(jīng)元期望輸入為

Rit(k)=f－1［dit(k)］神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)定義式中，λ(k)為非負(fù)遺忘因子。在t=L－1時(shí)，對(duì)第i個(gè)神經(jīng)元，由于令反傳誤差

δL(k)=rL(k)－nL(k)及

δL－1(k)=δL(k)wiLf′[netiL(k)]有神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)求解此式，可得神經(jīng)元i的連接權(quán)系數(shù)RLS估計(jì)：

WL－1(k)=WL－1(k－1)+ΔWL－1由此類推直至t=1，可得RLS估計(jì)如下：

Wit(k)=Wit(k－1)+Mt－1(k)［rit(k)－netit(k)］由此可計(jì)算各神經(jīng)元的輸出?，F(xiàn)舉一個(gè)仿真實(shí)例，設(shè)非線性系統(tǒng)為式中，u(k)=sin(2π/250)。u(k)和y(k)是該系統(tǒng)的輸入與輸出，而該系統(tǒng)的結(jié)構(gòu)未知。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)現(xiàn)在使用4層前向網(wǎng)絡(luò)描述該非線性系統(tǒng)，4層的節(jié)點(diǎn)分別為5×20×10×1，輸入層的輸入矢量

X0T

(k)=［y(k－1),y(k－2),y(k－3),u(k－1),u(k－2)］

取初始值Pi(0)＝103I，λt=0.99，使用RLS估計(jì)，經(jīng)過400步學(xué)習(xí)后均方誤差收斂且小于0.075，學(xué)習(xí)時(shí)間小于31s。

圖3-12和圖3-13分別是RLS估計(jì)均方誤差和BP算法均方誤差,當(dāng)比較兩條曲線時(shí),能夠明顯發(fā)現(xiàn),RLS估計(jì)只要較少的學(xué)習(xí)步驟，例如400步便產(chǎn)生收斂，誤差就能限制在一個(gè)事先確定的較小范圍。而BP算法要想達(dá)到相同的目的，約需4000步費(fèi)時(shí)4min13s(仿真結(jié)果)，收斂才能達(dá)到0.1。如果要想達(dá)到RLS估計(jì)的收斂值0.075，則還需要更長(zhǎng)的時(shí)間。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-12RLS算法估計(jì)均方誤差神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-13BP算法估計(jì)均方誤差神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)用BP算法估計(jì)神經(jīng)網(wǎng)絡(luò)的連接權(quán)時(shí)，所用的算法為

wij(k)=wij(k－1)aδit(k)xji(k)

式中，δit是反傳誤差，a是學(xué)習(xí)步長(zhǎng)。輸出層的反傳誤差為

δL(k)=f［n(k)］［d(k)－x(k)］

中間層的反傳誤差為

δit(k)=f［n(k)］∑δjt(k)wji(k－1)

步長(zhǎng)為

a(k)=amax+(amin－amax)e－λ神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.5非線性模型的預(yù)報(bào)誤差神經(jīng)網(wǎng)絡(luò)辨識(shí)

除RLS外，還有諸多提高收斂速度的算法，預(yù)報(bào)誤差算法就是其中的一種。

3.5.1非動(dòng)態(tài)模型建模

預(yù)報(bào)誤差算法簡(jiǎn)稱RPE算法，它具有預(yù)報(bào)精度高、收斂速度快等特點(diǎn)，同樣該算法也能用于非動(dòng)態(tài)模型的神經(jīng)網(wǎng)絡(luò)建模。

考慮圖4-14的三層前向網(wǎng)絡(luò)，設(shè)三層結(jié)構(gòu)n1×n2×1，輸入層有n1個(gè)神經(jīng)元，隱層有n2個(gè)神經(jīng)元，輸出層僅一個(gè)節(jié)點(diǎn)。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-14三層前向網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)網(wǎng)絡(luò)輸入為xi，i=1，2，…，n1。網(wǎng)絡(luò)的輸出為y。zj和qj是隱層中第j個(gè)神經(jīng)元的輸出值和閾值，j=1，2，…，n2。Wkij表示第k－1層中第i個(gè)神經(jīng)元，對(duì)第k層中的第j個(gè)神經(jīng)元

的連接權(quán)。

隱含層中節(jié)點(diǎn)的作用函數(shù)取成S型函數(shù)：網(wǎng)絡(luò)的輸入輸出關(guān)系為y(t)=∑WXX=g(∑WijXi+Qi)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)該網(wǎng)絡(luò)能辨識(shí)的非線性系統(tǒng)具有如下的輸出輸入關(guān)系：

y(t)=f[y(t－1)，…，y(t－m)，x(t－1)，…，x(t－n)]+d(t)

其中，y(t)和x(t)是非線性系統(tǒng)的輸出和輸入；m與n分別是輸出與輸入的最大滯后；d(t)是影響該系統(tǒng)的非線性隨機(jī)因素，如隨機(jī)噪音；f(·)是非線性函數(shù)。

在三層前向網(wǎng)絡(luò)中，設(shè)Q=[Q1，Q2，…，Qn]T是神經(jīng)網(wǎng)絡(luò)中待求的神經(jīng)元閾值，n1+n2是待定的神經(jīng)元個(gè)數(shù)。e(t)是實(shí)際輸出與神經(jīng)網(wǎng)絡(luò)輸出之差，又稱為偏差。訓(xùn)練算法讓Q1～Qn在一定的條件準(zhǔn)則下得到確定值。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

RPE算法是一種將預(yù)報(bào)誤差極小化來估計(jì)參數(shù)的方法。算法中同樣需要準(zhǔn)則函數(shù)。這里不妨設(shè)準(zhǔn)則函數(shù)為

式中，N是數(shù)據(jù)長(zhǎng)度，e(t)是預(yù)報(bào)誤差。有了準(zhǔn)則函數(shù)，RPE算法便可沿著J的高斯—牛頓(Gauss-Newton)方向搜索，不斷修正未知參數(shù)矢量，直至使J趨近于最小。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.5.2遞推預(yù)報(bào)誤差算法

遞推預(yù)報(bào)誤差算法的原則是先選定參數(shù)矢量的修正算式，再求對(duì)Q的一階及二階微分。設(shè)修正算式為

Q(t)=Q(t－1)+S(t)μ[Q(t－1)]

式中，μ(Q)就是高斯—牛頓搜索方向，可定義成

μ(Q)=－[H(Q)]－1▽J(Q)

其中，▽J(Q)是J(Q)關(guān)于Q的梯度，H(Q)是J(Q)的Hessian矩陣。▽J(Q)和H(Q)表示成它們分別是J(Q)對(duì)Q的一階和二階微分。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

1.遞推預(yù)報(bào)流程

遞推預(yù)報(bào)誤差算法如下式：

e(t)=y(t)－yq(t)式中，λ(t)是遺忘因子，對(duì)收斂速度有影響。改變的方法是迭代開始時(shí)取λ(t)＜1；t→∞時(shí)取λ(t)→1。或設(shè)置λ的初值，例如取λ(0)=0.95～0.99，而后有

λ(t)=λ(0)λ(t－1)+(1－λ(0))神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)若將RPE用于三層前向神經(jīng)網(wǎng)絡(luò)，隱層取一層，相應(yīng)的Ψ為n×1矩陣，矩陣中各元素為由此設(shè)計(jì)的RPE流程如下：

(1)用較小隨機(jī)值初始化連接權(quán)值和閾值，得：

W(0)=aRandom(·)

Q(0)=bRandom(·)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(2)選P(0)為對(duì)角矩陣。

(3)按照網(wǎng)絡(luò)輸入分別計(jì)算隱層節(jié)點(diǎn)x1k及輸出節(jié)點(diǎn)yq的值。

(4)形成Ψ陣并求預(yù)報(bào)誤差e(t)、P(t)陣及參數(shù)序列Q(t)。

(5)重復(fù)以上(2)～(4)，直至收斂。

從以上的分析可以看到，RPE算法實(shí)際上是一種求高階導(dǎo)數(shù)的學(xué)習(xí)算法。在計(jì)算H(Q)的逆矩陣上使用遞推最小二乘法，與基本BP算法(僅利用一階導(dǎo)數(shù))相比，高階導(dǎo)數(shù)的計(jì)算加快了收斂速度。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

2.RPE算法的具體應(yīng)用

例1

帶電流內(nèi)環(huán)和轉(zhuǎn)速外環(huán)的PWM直流脈寬調(diào)速系統(tǒng)，具有如圖4-15所示的系統(tǒng)結(jié)構(gòu)。轉(zhuǎn)速環(huán)處于外環(huán)，能有效克服環(huán)內(nèi)出現(xiàn)的干擾以及外特性引起的速度變化。但電機(jī)

轉(zhuǎn)速卻會(huì)因電機(jī)運(yùn)行工況、電源電壓的波動(dòng)或畸變、機(jī)械負(fù)荷的突然變化而發(fā)生改變，因此雙環(huán)調(diào)速系統(tǒng)本身是一個(gè)非線性時(shí)變系統(tǒng)。另外，還有許多非線性因素也廣為存在系統(tǒng)

中，如：時(shí)磁滯、齒輪間隙、庫侖摩擦、調(diào)節(jié)器限幅、脈沖調(diào)制放大器和運(yùn)算放大器飽和產(chǎn)生的非線性等。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖43-15轉(zhuǎn)速電流雙閉環(huán)PWM調(diào)速系統(tǒng)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)在轉(zhuǎn)速環(huán)基礎(chǔ)上增加位置環(huán)，將構(gòu)成位置伺服系統(tǒng)，該系統(tǒng)有一系列典型的非線性特征，這是PWM調(diào)制所產(chǎn)生的。為了動(dòng)態(tài)辨識(shí)轉(zhuǎn)速環(huán)，便于使用RPE算法，選用3×2×1的

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)選擇輸入信號(hào)為2V±0.2V，其中2V是系統(tǒng)轉(zhuǎn)速環(huán)給定值，對(duì)應(yīng)需要恒定運(yùn)轉(zhuǎn)的速度，0.2V是迭加的幅值，用于考慮一定的波動(dòng)允許范圍。輸入信號(hào)可用矢量表示成

X(t)=［u(t－1)，u(t－2)，y(t－1)］T

輸出信號(hào)為測(cè)速發(fā)電機(jī)的輸出電壓。在用RPE算法訓(xùn)練900次后，神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)輸出及殘余序列實(shí)測(cè)曲線如圖3-16所示。實(shí)測(cè)階躍響應(yīng)擬合曲線如圖3-17所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-16神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)輸出及殘余序列實(shí)測(cè)曲線神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-17實(shí)測(cè)階躍擬合曲線神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)對(duì)比擬合曲線可以看到，神經(jīng)網(wǎng)絡(luò)辨識(shí)PWM系統(tǒng)動(dòng)態(tài)模型的效果令人滿意。通常為了評(píng)價(jià)模型的擬合精度，常引入誤差指數(shù)E，定義成式中，e(t)是偏差值，為系統(tǒng)實(shí)際輸出與神經(jīng)網(wǎng)絡(luò)輸出之差。改變隱層節(jié)點(diǎn)數(shù)目后，不同的E值如表4-4所示。輸入矢量及輸入節(jié)點(diǎn)不同時(shí)的E值如表4-5所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)由此可見，選擇如此結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型較為合理，輸入節(jié)點(diǎn)數(shù)及輸入矢量的合理搭配在很大程度上能影響擬合精度。通常情況下合理選擇隱層節(jié)點(diǎn)數(shù)量，適當(dāng)增加輸入節(jié)

點(diǎn)數(shù)量及延遲y(t)，對(duì)提高辨識(shí)精度較為有利。

例2

設(shè)SISO非線性模型為選用辨識(shí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為2×1×1，輸入信號(hào)為六級(jí)偽隨機(jī)二進(jìn)制序列PRBS，用u(t)表示，設(shè)輸入矢量為

X(t)=［u(t－1)，y(t－1)］T神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)參數(shù)矢量Θ(t)和Ψ分別為

Θ(t)=［θ1，θ2，θ3，θ4］T

Ψ=［ψ1，ψ2，ψ3，ψ4］T

遞推1000次后得參數(shù)矢量Θ(t)=［0.4999，0.3999，0.09985，0.6000］T

，表示結(jié)果十分理想。如果改用BP算法，因?qū)W習(xí)率等一系列參數(shù)難于折中表示，得不到滿意結(jié)果。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

4.6非線性系統(tǒng)逆模型的神經(jīng)網(wǎng)絡(luò)辨識(shí)

無論是線性系統(tǒng)還是非線性系統(tǒng)，都存在一個(gè)可逆性問題。

在正常情況下，對(duì)系統(tǒng)進(jìn)行分析的主要任務(wù)就是：系統(tǒng)在一個(gè)控制信號(hào)的作用下，將會(huì)產(chǎn)生什么樣的輸出，產(chǎn)生什么樣的運(yùn)動(dòng)軌跡。例如一個(gè)系統(tǒng)可用以下方程表示出來：

y=f(u，x，T)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)其中，y是輸出，u

是輸入，x是狀態(tài)變量，T是系統(tǒng)的控制作用。當(dāng)輸入一定、系統(tǒng)狀態(tài)不變時(shí)，系統(tǒng)輸出y應(yīng)直接與控制作用T有關(guān)，式中的f(u，x，T)事實(shí)上是系統(tǒng)在外力作用下的非線性函數(shù)。

正常的系統(tǒng)分析過程是已知控制信號(hào)T(t)，確定其運(yùn)動(dòng)軌跡u(t)和x(t)。

已知系統(tǒng)的運(yùn)動(dòng)軌跡u(t)和x(t)，尋找控制信號(hào)T(t)，被稱為系統(tǒng)分析的逆過程。系統(tǒng)分析過程與逆過程如圖3-18所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-18系統(tǒng)分析過程及逆過程(a)系統(tǒng)分析過程；(b)系統(tǒng)分析逆過程神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.6.1系統(tǒng)分析逆過程的存在性

在一個(gè)控制系統(tǒng)中，如果已經(jīng)知道了運(yùn)動(dòng)軌跡u(t)、x(t)，要想求出它的控制信號(hào)T(t)，首先必然要問：這個(gè)控制信號(hào)是否存在?系統(tǒng)是否可逆?

在求解系統(tǒng)運(yùn)行的正向過程和逆向過程中，神經(jīng)網(wǎng)絡(luò)具有的獨(dú)特的作用與功能，尤其是對(duì)于非線性系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式有監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩種。監(jiān)督學(xué)習(xí)中存在導(dǎo)師信號(hào)，導(dǎo)師信號(hào)的功能恰好是演示期望的運(yùn)動(dòng)軌跡，而不是起控制作用的，不是直接教會(huì)網(wǎng)絡(luò)實(shí)施運(yùn)動(dòng)神經(jīng)的控制。由此可見，在清晰明了的導(dǎo)師信號(hào)前，系統(tǒng)的運(yùn)動(dòng)軌跡也清晰可見，尋找相應(yīng)的控制指令更加方便與直觀。事實(shí)上，神經(jīng)網(wǎng)絡(luò)在獲取了所期望的運(yùn)動(dòng)軌跡后，將產(chǎn)生相應(yīng)的各種運(yùn)動(dòng)神經(jīng)指令，傳送給網(wǎng)絡(luò)的各層以實(shí)現(xiàn)這個(gè)期望值，并由相應(yīng)的感覺系統(tǒng)完成測(cè)量。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)在比較實(shí)際軌跡與期望運(yùn)動(dòng)軌跡的基礎(chǔ)上，神經(jīng)網(wǎng)絡(luò)產(chǎn)生一個(gè)它們之間的差值。如果將這個(gè)差值作為導(dǎo)師信號(hào)完成對(duì)相應(yīng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，那就能從神經(jīng)網(wǎng)絡(luò)的輸出中產(chǎn)生“控制信號(hào)”，從而實(shí)現(xiàn)系統(tǒng)分析的逆過程。

一個(gè)系統(tǒng)是否可逆，是否能用神經(jīng)網(wǎng)絡(luò)建立逆模型實(shí)現(xiàn)辨識(shí)，與系統(tǒng)自身的性質(zhì)密切相關(guān)，與系統(tǒng)是否線性無關(guān)。線性系統(tǒng)的可逆性問題比非線性系統(tǒng)的可逆性問題要簡(jiǎn)單得多。

線性系統(tǒng)的可逆性問題實(shí)際上是一個(gè)能控性問題，凡具有能控性的系統(tǒng)，可逆性必存在，系統(tǒng)必然可逆。例如對(duì)單變量線性系統(tǒng)，可逆性十分清晰；對(duì)多變量線性系統(tǒng)，利用能控性判據(jù)也能得出可逆存在。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)非線性系統(tǒng)的可逆性問題則要復(fù)雜得多，目前尚無一個(gè)普遍適用的方法對(duì)應(yīng)所有的非線性系統(tǒng)，既然無通用解法，只能遇到一個(gè)，辨識(shí)一個(gè)(非線性系統(tǒng))。

現(xiàn)考察離散單輸入單輸出非線性系統(tǒng)，設(shè)該系統(tǒng)的輸入和輸出分別是

u(k)∈R，y(k)∈R

又設(shè)m≤i，系統(tǒng)的傳輸關(guān)系為

y(k+1)=f［y(k)，…，y(k－n)，u(k)，…，u(k－m)］

式中，f(·)是輸出、輸入之間的函數(shù)關(guān)系。系統(tǒng)可逆性有如下定義：

如果存在R(n+m+1)的子集A，且

[y(k)，…，y(k－n)，u(k－1)，…，u(k－m)]T∈A神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)當(dāng)任意一個(gè)u(k)=u′(k)時(shí)，必有

f［y(k)，…，y(k－n)，u(k－1)，…，u(k－m)］

≠f［y(k)，…，y(k－n)，u′(k－1)，…，u′(k－m)］

則稱系統(tǒng)在點(diǎn)［y(k)，…，y(k－n)，u(k－1)，…，u(k－m)］

處是可逆的，否則稱系統(tǒng)在該點(diǎn)處是奇異(即不可逆)的。

對(duì)于奇異系統(tǒng)，有

f［y，u］=f［y，u′］神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)上述對(duì)系統(tǒng)可逆性的定義僅僅定義了系統(tǒng)在某些點(diǎn)上是可逆或奇異的。系統(tǒng)的奇異是一種極端情況，非線性系統(tǒng)在某一點(diǎn)上可逆并不等于說該系統(tǒng)就是一個(gè)可逆系統(tǒng)，這是

因?yàn)橄到y(tǒng)在某些點(diǎn)上是可逆的，但在另一些點(diǎn)上卻是奇異的。介于可逆系統(tǒng)與奇異系統(tǒng)之間的系統(tǒng)是存在的，一個(gè)系統(tǒng)能夠在某些點(diǎn)表現(xiàn)出存在兩個(gè)不同的輸入u(t)≠u′(t)，但能引起相同的輸出，例如帶滯環(huán)特性的閥門就有這種特征。

系統(tǒng)可逆性的充分條件由下述定理給出。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

定理如果對(duì)于u(k)，f［y(k)，…，y(k－n)，u(k)，u(k－1)，…，u(k－m)］嚴(yán)格單調(diào)，那么系統(tǒng)在點(diǎn)[y(k)，…，y(k－n)，u(k－1)，…，u(k－m)]T處可逆。只有在所有點(diǎn)處可逆都成立，系統(tǒng)才是可逆系統(tǒng)。

定理的證明較為簡(jiǎn)單，由于系統(tǒng)嚴(yán)格單調(diào)，則

f(y，u)≠f(y，u′)

表明系統(tǒng)在該點(diǎn)處單調(diào)。

多值非線性系統(tǒng)不一定都是可逆系統(tǒng)。是否可逆就看它是否符合定理的三個(gè)條件。例如磁滯回線是否為可逆系統(tǒng)，可作如下分析：神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)表面上看，磁滯的一個(gè)輸入對(duì)應(yīng)兩個(gè)輸出，每個(gè)輸出可找到相應(yīng)的兩個(gè)控制信號(hào)，似乎磁滯回線不可逆。但是磁滯控制有一個(gè)特征，就是有向性，升磁和消磁經(jīng)過的路徑不同，如果是磁化過程，一個(gè)輸入僅對(duì)應(yīng)一個(gè)輸出；反之，退磁過程是一個(gè)輸入僅對(duì)應(yīng)一個(gè)輸出。必然能逆向辨識(shí)，由此可見磁滯回線是可逆系統(tǒng)，只是正向過程和逆向過程所走的路徑不同罷了。

又如系統(tǒng)y=(u－1)u(u+1)就是一個(gè)不可逆系統(tǒng)，它不符合定理提出的三個(gè)條件，如y=0時(shí)，有1，0，－1三個(gè)解。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.6.2非線性系統(tǒng)的逆模型

非線性系統(tǒng)的逆模型研究包括逆系統(tǒng)建模及逆模型辨識(shí)兩部分內(nèi)容。逆系統(tǒng)建模的主要任務(wù)是對(duì)非線性系統(tǒng)的逆運(yùn)行過程建立一個(gè)數(shù)學(xué)模型；逆模型辨識(shí)是對(duì)非線性系統(tǒng)的逆

運(yùn)行進(jìn)行辨認(rèn)識(shí)別，看其與哪一種已知模型更接近。

神經(jīng)網(wǎng)絡(luò)辨識(shí)是逆模型建立和辨識(shí)的核心內(nèi)容。本節(jié)所述逆模型的建立方法突出了神經(jīng)網(wǎng)絡(luò)的功能與作用。

非線性系統(tǒng)的逆模型建立方法有如下幾種：直接逆系統(tǒng)建模、正—逆系統(tǒng)建模及逆—正系統(tǒng)建模。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

1.非線性系統(tǒng)逆模型的直接建立

非線性系統(tǒng)逆模型的直接建立依靠直接逆系統(tǒng)建模法，該方法又稱為泛化學(xué)習(xí)法。泛化學(xué)習(xí)的本意是網(wǎng)絡(luò)訓(xùn)練所覆蓋的范圍要比未知的逆系統(tǒng)所可能涉及的范圍大一些，這樣

設(shè)置有利于獲得更佳的逆動(dòng)力學(xué)特性。

逆模型直接建立的結(jié)構(gòu)框圖如圖4-19所示，系統(tǒng)的給定值為u，輸出值為y，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號(hào)取自一個(gè)誤差值e，e是系統(tǒng)輸入u和神經(jīng)網(wǎng)絡(luò)輸出v之差：e=u－v。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-19逆模型直接建立神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)神經(jīng)網(wǎng)絡(luò)的輸入信號(hào)為系統(tǒng)的輸出信號(hào)y。訓(xùn)練方法是：把未知被控對(duì)象的輸出y作為神經(jīng)網(wǎng)絡(luò)的輸入，神經(jīng)網(wǎng)絡(luò)的輸出v如果不等于系統(tǒng)的輸入u，將產(chǎn)生偏差e對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至v=u為止，或u－v小到一個(gè)允許的范圍為止。

用于直接逆系統(tǒng)建模的網(wǎng)絡(luò)較多，有BP網(wǎng)絡(luò)、CMAC網(wǎng)絡(luò)、多層感知器等。不同的網(wǎng)絡(luò)結(jié)構(gòu)有不同的優(yōu)缺點(diǎn)，如BP網(wǎng)絡(luò)，優(yōu)點(diǎn)是訓(xùn)練簡(jiǎn)單、結(jié)構(gòu)簡(jiǎn)練，不足之處是不能快

速進(jìn)行，要想在線實(shí)時(shí)獲取逆動(dòng)力學(xué)模型，就有一定難度。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

2.正—逆系統(tǒng)建模

非線性系統(tǒng)逆模型還可以依靠“正—逆系統(tǒng)建?！钡姆椒ǐ@得，這種方法的要點(diǎn)是在非線性系統(tǒng)的正模型(未知對(duì)象的動(dòng)力學(xué)模型)基礎(chǔ)上，獲得逆動(dòng)力學(xué)模型，有三種方案值

得考慮。

(1)被控對(duì)象—逆模型建模，建模示意圖如圖4-20所示。

本方案中的神經(jīng)網(wǎng)絡(luò)作逆系統(tǒng)辨識(shí)用，它的輸入是整個(gè)系統(tǒng)的輸入給定值u，系統(tǒng)的實(shí)際輸出是未知被控對(duì)象的輸出y，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號(hào)e取自二者之差：

e=y－u神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-20被控對(duì)象—逆模型建模神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)這種建模方法存在一個(gè)嚴(yán)重的缺憾，那就是要求知道未知對(duì)象的模型，恰恰在系統(tǒng)中它又是未知的，解決這個(gè)問題的方法是將未知對(duì)象改用直接自適應(yīng)控制器，避免可能出現(xiàn)

的致命差錯(cuò)。

(2)正模型—逆系統(tǒng)建模，建模示意圖如圖3-21所示。

本方案中的神經(jīng)網(wǎng)絡(luò)用于模擬被控對(duì)象的正模型(圖4-21中的“正模型”)，在前饋通道上的神經(jīng)網(wǎng)絡(luò)用于辨識(shí)逆模型。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號(hào)是兩值之差，一個(gè)值u是神經(jīng)網(wǎng)絡(luò)的期望輸入，另一個(gè)值v則是正模型的期望輸出，

e=u－v神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-21正模型—逆系統(tǒng)建模神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)誤差e用來訓(xùn)練辨識(shí)逆模型的神經(jīng)網(wǎng)絡(luò)連接權(quán)值。

本方案的突出優(yōu)點(diǎn)是正模型一旦建立便成為已知條件，未知被控對(duì)象的各種運(yùn)算都能從正模型計(jì)算出來。方案的不足之處在于逆模型的精確程度依賴于正模型的精確程度，如

果正模型本身精度低、誤差大，相應(yīng)逆模型也不能正常反映被控對(duì)象的實(shí)際情況。產(chǎn)生這種狀態(tài)的直接原因是被控對(duì)象不在逆系統(tǒng)的反饋回路中，這是系統(tǒng)結(jié)構(gòu)造成的，沒辦法解決。

(3)被控對(duì)象—正模型—逆模型建模，建模示意圖如圖3-22所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-22被控對(duì)象—正模型—逆模型建模神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)本方案以直接建模為基礎(chǔ)，神經(jīng)網(wǎng)絡(luò)作逆模型辨識(shí)用，它的訓(xùn)練信號(hào)來自于兩值之差：一個(gè)值是它的期望輸入u，另一個(gè)是被控對(duì)象的實(shí)際輸出y，

e=u－y

在調(diào)節(jié)過程中，未知被控對(duì)象使用正模型神經(jīng)網(wǎng)絡(luò)代替。未知被控對(duì)象處在逆系統(tǒng)的反饋環(huán)中，通過正模型能反映出未知被控對(duì)象的真實(shí)情況，避免出現(xiàn)“正模型—逆系統(tǒng)建?！狈桨傅谋撞　Ｉ窠?jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)本方案的第二個(gè)優(yōu)點(diǎn)在于：如果正反模型都采用BP網(wǎng)絡(luò)，則逆模型神經(jīng)網(wǎng)絡(luò)在誤差回傳時(shí)的最后一層誤差，通過正模型神經(jīng)網(wǎng)絡(luò)的誤差回傳傳遞。既然正模型神經(jīng)網(wǎng)絡(luò)的功能僅僅只是回傳誤差，那么即便存在誤差也無關(guān)緊要，僅影響收斂速度而不至于影響是否收斂。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

3.逆—逆系統(tǒng)建模

這種建模方法使用兩個(gè)逆系統(tǒng)模型，與未知被控對(duì)象一起構(gòu)成訓(xùn)練回路。處于系統(tǒng)前饋通道上的神經(jīng)網(wǎng)絡(luò)，功能是一個(gè)控制器，控制未知被控對(duì)象，讓被控對(duì)象產(chǎn)生相應(yīng)的輸出。逆—逆系統(tǒng)建模示意圖如圖4-23所示。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-23逆—逆系統(tǒng)建模神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)逆模型的輸入信號(hào)e為神經(jīng)網(wǎng)絡(luò)控制器的輸入u與未知被控對(duì)象的輸出y之差：

e=u－y

如果神經(jīng)網(wǎng)絡(luò)控制器與未知被控對(duì)象的逆動(dòng)力學(xué)特性不相等，則逆模型的輸入不為0，神經(jīng)網(wǎng)絡(luò)控制器的訓(xùn)練將繼續(xù)進(jìn)行。只要系統(tǒng)中的逆模型是未知被控對(duì)象的另一個(gè)逆模型，就可以利用它來計(jì)算出未知被控對(duì)象應(yīng)該具有的輸入估計(jì)值。

當(dāng)e為0或進(jìn)入一個(gè)事先預(yù)定的小的正數(shù)時(shí)，連接權(quán)訓(xùn)練才可停止。

逆—逆系統(tǒng)建模中的“逆模型”可采用如下幾種形式：神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)第一種，未知被控對(duì)象的線性化逆動(dòng)力學(xué)模型，可通過最小二乘法、相關(guān)分析法等傳統(tǒng)辨識(shí)方法獲得。既為線性模型，就比較容易從輸出反推出輸入，辨識(shí)準(zhǔn)則為線性化的程度。

第二種，未知被控對(duì)象的非線性逆動(dòng)力學(xué)模型，可通過機(jī)理分析未知被控對(duì)象的結(jié)構(gòu)或?qū)嶒?yàn)獲得，也可由神經(jīng)網(wǎng)絡(luò)直接辨識(shí)逆模型而獲得。

第三種，神經(jīng)網(wǎng)絡(luò)控制器的復(fù)制模型，可通過神經(jīng)網(wǎng)絡(luò)控制器在訓(xùn)練以后獲得，訓(xùn)練過程是控制器每學(xué)習(xí)完一步，就可以復(fù)制出完全相同的連接權(quán)。使用這種模型時(shí)要注意：神經(jīng)網(wǎng)絡(luò)控制器與逆模型在初始值、參數(shù)及結(jié)構(gòu)等方面完全相同。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)本節(jié)介紹了非線性系統(tǒng)逆模型的三種建模方法，其中直接逆系統(tǒng)建模簡(jiǎn)單直觀，但不易在線操作。另外兩種方法將逆模型與神經(jīng)網(wǎng)絡(luò)控制器聯(lián)系在一起，成為系統(tǒng)閉環(huán)控制的一個(gè)組成部分。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)3.6.3基于多層感知器的逆模型辨識(shí)

采用多層感知器的非線性系統(tǒng)辨識(shí)，是直接逆系統(tǒng)建模的一個(gè)具體應(yīng)用。在非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)中使用多層感知器，是因?yàn)槠渚哂袑W(xué)習(xí)速度快、計(jì)算工作量快等優(yōu)點(diǎn)，這些優(yōu)點(diǎn)是相對(duì)于BP網(wǎng)絡(luò)而言的。

1.基本結(jié)構(gòu)

做開關(guān)作用函數(shù)的單層感知器結(jié)構(gòu)如圖4-24所示。它的學(xué)習(xí)算法有以下幾種。

(1)WidrowHoffδ學(xué)習(xí)規(guī)則:神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(2)修正的δ學(xué)習(xí)規(guī)則:(3)高收斂階δ學(xué)習(xí)規(guī)則：各種學(xué)習(xí)規(guī)則中都有X∈Rn，是輸入矢量；W(k)∈Rm是連接權(quán)矢量，e(k)是期望輸出與實(shí)際輸出之差，α是學(xué)習(xí)率，sgnX是符號(hào)函數(shù)陣：

sgnX=［sgnx1，sgnx2，…，sgnxm］T式中，符號(hào)函數(shù)為神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-24單層感知器開關(guān)結(jié)構(gòu)示意圖神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

2.高收斂階δ學(xué)習(xí)規(guī)則

采用高收斂階δ學(xué)習(xí)規(guī)則的單層感知器，在固定模式的訓(xùn)練誤差e由下式?jīng)Q定：

e(k+1)=f[α，e(k)，e(k－1)]e(k)

按f(·)的取法，e(k)允許取超線性的1.618階、2階、3階或更高階次。

對(duì)于這一學(xué)習(xí)規(guī)則，證明如下。首先設(shè)單層感知器的輸入/輸出特性為

y(k)=∑wixi=WT(k)X

固定模式時(shí)有神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)則

e(k+1)=f［α，e(k)，e(k－1)］e(k)若取

f［α，e(k)，e(k－1)］=αe(k－1)則

e(k+1)=αe(k－1)e(k)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)設(shè)誤差初值為e(0)和e(1)，且e(0)，e(1)∈Δ={δ|αδ<1}，對(duì)任一k，都有

e(k+1)<αδ·δ<δ∈Δ

或

當(dāng)k→∞時(shí)，e(k)→0，證明δ學(xué)習(xí)規(guī)則收斂。再看e(k+1)=αe(k－1)e(k)，若令神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)該式滿足差分方程:

z(k+1)=z(k)+z(k－1)

方程的兩根為λ1=1.618及λ2=－1.618，因此有比較后得收斂階λ1，為超線性的1.618階。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)如果取f［α，e(k)，e(k－1)］=α2e(k)，則有

e(k+1)=［αe(k)］2

取α滿足則e(k+1)具有2次收斂階。對(duì)于3次或高次收斂階，亦可采取同樣的取法。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

3.S型作用函數(shù)的使用

不用開關(guān)型作用函數(shù)，改用S型作用函數(shù)，多層感知器可采用BP算法，這是因?yàn)殚_關(guān)型作用函數(shù)不可微時(shí)，反傳學(xué)習(xí)法將無法使用。

設(shè)三層感知器的結(jié)構(gòu)如圖4-25所示。

圖中X、Y0分別是三層感知器的輸入和輸出，Y=、YH分別是輸入層和隱層的輸出，Z1和ZH分別是輸入層和隱層在經(jīng)過非線性開關(guān)函數(shù)后的輸出。設(shè)三層結(jié)構(gòu)為n1、nH和n0，連接權(quán)矩陣W1、WH、W0的維數(shù)分別為n1×n，nH×n，m×nH。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-25三層感知器神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)輸入輸出特性如下：

輸入層：

隱層：

輸出層：連接權(quán)訓(xùn)練用的誤差矢量為E(k)=Yd－Y0(k)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)其中，Yd是神經(jīng)網(wǎng)絡(luò)的期望輸出。連接權(quán)算法可表示成

W1(k+1)=W1(k)+U1(k)

WH(k+1)=WH(k)+UH(k)

W0(k+1)=W0(k)+U0(k)

算法收斂性可表達(dá)成U1、UH、U0，分別取值為神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)U1、UH、U0統(tǒng)一稱為連接權(quán)更新矩陣。誤差矩陣E(k)滿足差分方程：

E(k+1)=f［A，E(k)，E(k－1)］E(k)

式中，A，E(k)，E(k－1)均為對(duì)角矩陣：

A=diag{a1，a2，…，an}

E(k)=diag{e1(k)，e2(k)，…，en(k)}

當(dāng)f(·)的取法不同時(shí)，E(k)收斂階數(shù)隨之不同，一般值有1.618、2、3或更高。

S型作用函數(shù)算法收斂性證明過程與S開關(guān)型函數(shù)算法收斂性證明過程相同。首先給E(k)一個(gè)能滿足的關(guān)系式：神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)又神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)則將U0T(k)表達(dá)式代入并整理，得A，E(k)，E(k－1)均為對(duì)角矩陣時(shí)，矢量差分方程由幾個(gè)差分方程組成，第i個(gè)方程為

ei(k+1)=f［ai，ei(k)，li(k－1)］ei(k)其中，i=1，2，…，n。當(dāng)f(·)的取法不同時(shí)，E(k)的收斂階數(shù)可分別為1.618、2、3或更高。神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

4.動(dòng)態(tài)模擬型辨識(shí)

動(dòng)態(tài)逆模型辨識(shí)結(jié)構(gòu)圖如圖3-26所示。該系統(tǒng)由5部分組成：未知待辨識(shí)系統(tǒng)、感知器、學(xué)習(xí)算法、延時(shí)電路及誤差產(chǎn)生環(huán)節(jié)。其中未知待辨識(shí)系統(tǒng)既容許線性系統(tǒng)，也容許非線性系統(tǒng)；感知器既可以是單層網(wǎng)，也可以是多層網(wǎng)；學(xué)習(xí)算法使用本節(jié)討論過的算法。

學(xué)習(xí)過程就是感知器的訓(xùn)練過程，訓(xùn)練方法由以下幾個(gè)因素描述：

(1)一個(gè)狀態(tài)矢量W(k)，反映了網(wǎng)絡(luò)層間的連接權(quán)；

(2)用h(·)定義的非線性映射單輸出誤差e(k)；神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)圖3-26動(dòng)態(tài)逆模型辨識(shí)結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)

(3)一個(gè)非線性動(dòng)態(tài)離散差分方程，其輸入量為連接權(quán)值改變量。

用數(shù)學(xué)式表示成

W(k+1)=f［W(k)，U(k)］

e(k)=h［W(k)］

式中，連接權(quán)陣W(k)∈Rn，輸入陣U(k)∈Rm，誤差e(k)∈R。定義使誤差為0的連接權(quán)陣W組成的集合為

h－1(0)={W∈Rn|e=h(W)=0}

h－1(0)的含義在于：如果存在一個(gè)控制規(guī)律U(k)，使得系統(tǒng)運(yùn)動(dòng)過程中對(duì)e(k)≠0滿足關(guān)系式

|e(k+1)e(k)|<e2(k)神經(jīng)網(wǎng)絡(luò)第三章神經(jīng)控制中的系統(tǒng)辨識(shí)則稱在h－1(0)上存在一個(gè)擬滑動(dòng)模型。無論單層感知器或多層感知器，只要學(xué)習(xí)率a選擇恰當(dāng)，總有|e(k+1)|<|e(k)|，因此有

|e(k+1)e(k)|<e2(k)

能夠找到期望的連接權(quán)陣W，使神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)期望的輸入輸出映射，學(xué)習(xí)算法必然收斂。

考察線性對(duì)象，狀態(tài)方程為

x1′=－x2

x2′=－2x1－2