系統(tǒng)辨識(shí)基礎(chǔ)

第四講系統(tǒng)辨識(shí)基礎(chǔ)

一、自校正控制與系統(tǒng)辨識(shí)

1、自校正控制

自校正控制是一類重要的自適應(yīng)控制方案。自校正的概念最早是由Kalman

在1958年首先提出的，主要用于信號(hào)去噪。而自校正控制是由瑞典學(xué)者阿斯特

羅姆（K.J.Astrom）和威特馬克（B.Wittenmark）在1973年首次提出的，并在工

業(yè)上得到了廣泛的應(yīng)用。

在自校正控制系統(tǒng)中，被控對(duì)象的參數(shù)被在線地辨識(shí)，然后經(jīng)過(guò)控制器的在

線設(shè)計(jì)過(guò)程，對(duì)控制器參數(shù)進(jìn)行在線調(diào)整，使其始終能適應(yīng)被控對(duì)象模型的變化。

必須注意的是：自校正調(diào)節(jié)過(guò)程是一個(gè)迭代優(yōu)化的過(guò)程，通過(guò)邊辨識(shí)、邊綜合，

使得控制器參數(shù)能夠逐步趨向于最優(yōu)值。

自校正控制的實(shí)現(xiàn)需要滿足以下假定：

?被控對(duì)象的模型時(shí)變速度緩慢

?被控對(duì)象可辨設(shè)

?由控制器和被控對(duì)象構(gòu)成的系統(tǒng)是穩(wěn)定的

因此，可認(rèn)為在自校正調(diào)節(jié)過(guò)程中，被控對(duì)象的模型是不變的，在此條件下,

自校正控制的過(guò)程為：

（1）在,時(shí)刻根據(jù)〃⑺和丁切估計(jì)被控對(duì)象參數(shù)占⑺；

（2）根據(jù)知）設(shè)計(jì)控制器參數(shù)。⑺；

（3）由&⑺和”什1）,可計(jì)算出什1時(shí)刻的控制量〃（什1）；

（4）根據(jù)什1時(shí)刻的〃（什1）和）*+1）再次估計(jì)被控對(duì)象參數(shù)執(zhí)，+1）；

（5）返回步驟2,繼續(xù)進(jìn)行遞推，直至波控對(duì)象參數(shù)估計(jì)值4f）收斂

到其真值8。

2、系統(tǒng)辨識(shí)

由自校正控制的原理可知，系統(tǒng)辨識(shí)是自校正控制的基礎(chǔ)。

系統(tǒng)辨識(shí)是根據(jù)一個(gè)系統(tǒng)的輸入/輸出數(shù)據(jù)建立系統(tǒng)最優(yōu)數(shù)學(xué)模型的理論和

方法，它不能確保獲得系統(tǒng)“真實(shí)”的數(shù)學(xué)模型，但可以在輸入/輸出關(guān)系，也

即系統(tǒng)動(dòng)態(tài)響應(yīng)的意義上獲得一個(gè)與系統(tǒng)等價(jià)的最優(yōu)的數(shù)學(xué)模型，而“最優(yōu)”需

要有確定的準(zhǔn)則來(lái)評(píng)判。

系統(tǒng)辨識(shí)的內(nèi)容冗■以劃分為以下三個(gè)層次：

層次一：模型結(jié)構(gòu)的選擇

層次二：系統(tǒng)階次的確定

層次三：系統(tǒng)參數(shù)的估計(jì)

由于系統(tǒng)的輸入/輸出信息都只能依靠測(cè)量技術(shù)采集，而采集到的數(shù)據(jù)總是

包含各種干擾因素的影響，所以系統(tǒng)辨識(shí)是一個(gè)“不確定”的過(guò)程，具有隨機(jī)性

特征，只能用統(tǒng)計(jì)方法來(lái)進(jìn)行研究。

3、分離性原理和確定性等價(jià)原理

由于自校正控制中，只是用被控對(duì)象參數(shù)的估計(jì)值。而不是真值。來(lái)進(jìn)行

控制器設(shè)計(jì)，由此帶來(lái)的隨機(jī)性使得自校正控制系統(tǒng)成為典型的“隨機(jī)控

制系統(tǒng)”。而對(duì)于隨機(jī)控制系統(tǒng)，有兩條重要的原理：

(1)分離性原理

所謂分離性原理，是指在隨機(jī)控制系統(tǒng)的設(shè)計(jì)中，可以將隨機(jī)部分和

確定部分分離開(kāi)來(lái)，單獨(dú)進(jìn)行處理。

例如在自校正控制中，被控對(duì)象的參數(shù)估計(jì)是一個(gè)具有隨機(jī)性的部分，

而控制器的設(shè)計(jì)則是確定性的部分，如果這兩部分任務(wù)可以分離進(jìn)行，同

時(shí)得到的控制器參數(shù)是最優(yōu)的，則稱自校正控制系統(tǒng)的設(shè)計(jì)過(guò)程是可分離

的。

遺憾的是，只有少量系統(tǒng)，例如采用線性二次型為控制器設(shè)計(jì)的性能

指標(biāo)的自校正控制系統(tǒng)，滿足分離性原理。

(2)確定性等價(jià)原理

在分離性原理的基礎(chǔ)上，需要有確定性等價(jià)原理才能實(shí)現(xiàn)自校正控制系統(tǒng)。

確定性等價(jià)原理是指采用參數(shù)估計(jì)得到的被控對(duì)象參數(shù)兒來(lái)設(shè)計(jì)出的控

制器參數(shù)。，與用被控對(duì)象真實(shí)參數(shù)8來(lái)設(shè)計(jì)的控制器參數(shù)4是完全等價(jià)

的，都是使性能指標(biāo)能取得最優(yōu)值的最優(yōu)控制律。即隨機(jī)變量。在控制器設(shè)

計(jì)中的作用確定性地等價(jià)于對(duì)象真實(shí)參數(shù)0。

同樣的，確定性等價(jià)原理并未得到一般性的證明，目前只證明了對(duì)于白

噪聲、可疊加的測(cè)量噪聲和具有線性二次型性能指標(biāo)的自校正控制系統(tǒng)中，

確定性等價(jià)原理成立，

二、隨機(jī)過(guò)程基礎(chǔ)

因?yàn)橄到y(tǒng)辨識(shí)是在采樣系統(tǒng)輸入/輸出信息的基礎(chǔ)上估測(cè)系統(tǒng)的模型，又因

為系統(tǒng)輸入/輸出信息的采集值是具有隨機(jī)性的序列，所以需要首先學(xué)習(xí)了解描

述序列性的隨機(jī)信號(hào)的隨機(jī)過(guò)程的有關(guān)知識(shí)。

1、隨機(jī)變量及其分布

(1)隨機(jī)變量

定義：設(shè)隨機(jī)試驗(yàn)E的樣本空間S={e},若對(duì)每個(gè)試驗(yàn)結(jié)果e,都有

確定的實(shí)數(shù)X(G)與之對(duì)應(yīng)，則稱實(shí)值變量X(c)為隨機(jī)變量，簡(jiǎn)記為X。

隨機(jī)變量就是定義在隨機(jī)樣木空間上的變量。

(2)分布函數(shù)

設(shè)X是隨機(jī)變量，對(duì)于任意實(shí)數(shù)先令

F(x)=P[X<x}

則稱FM為X的分布函數(shù)，即F(x)是X在區(qū)間(-8,燈內(nèi)取值的概率。

(3)概率密度函數(shù)

設(shè)隨機(jī)變量X的連續(xù)的分布函數(shù)為尸(外，若存在非負(fù)函數(shù)/(x),使得:

b(x)=J：fU)dl

則稱/*)為X的概率密度函數(shù)。

概率密度反映了X在某個(gè)區(qū)間內(nèi)取值的概率大小，即

P{Xe[a,h]}=^fMdx

但/(幻不一定存在。

(4)常見(jiàn)概率分布

(0-1)分布：P{X=\}=p,P{X=0}={1-p)

二項(xiàng)分布：P{X=k\=C：p、i,p+q=LA=0,l,...〃

泊松分布：P{X=k}=^—k=0』，...〃

k\

1

均勻分布:/W=<b-a

0

7rs,O

指數(shù)分布：f")='

0,x<0

正態(tài)分布:/(4)=bjzJ21記為Na，/)

2、隨機(jī)變量的數(shù)字特征

(1)數(shù)學(xué)期望

離散隨機(jī)變量：E(X)=W>,.pj

f=l

連續(xù)隨機(jī)變量：E(X)=[yf{x}dx

數(shù)學(xué)期望是隨機(jī)變量可取的各值的加權(quán)平均值，權(quán)值系數(shù)是各值的取

值概率，也稱為概率均值。

(2)方差

設(shè)隨機(jī)變量X的數(shù)學(xué)期望是E(X),若E[X-E(X)]2存在，則稱為X的

方差，記為O(X),，XX)稱為標(biāo)準(zhǔn)差或均方差。

2

離散隨機(jī)變量：D(X)=￡[xf-E(X)]p,.

1-1

連續(xù)隨機(jī)變量：D(X)=^[x-E(X)]2f(x)dx

也可用此公式計(jì)算方差：D(X)=E[X-E(X)]2=E(X2)-[E(X)f

方差是隨機(jī)變量取值分布的分散程度的度量。

(5)常見(jiàn)概率分布的數(shù)字特征

(0-1)分布：E(X)=p,D(X)=p(l—p)

二項(xiàng)分布：E(X)=叩,D(X)=np([-p)

泊松分布：E(X)=4D(X)=2

均勻分布：E(X)=—,O(X)="21

212

指數(shù)分布：E(x)=J,o(x)=!

AA

正態(tài)分布：E(X)=%D(X)=(y2

3、隨機(jī)過(guò)程及其數(shù)字特征

(1)隨機(jī)過(guò)程的概念

定義：設(shè)有定義在樣本空間S={e}上的無(wú)窮多個(gè)隨機(jī)變量序列，按

參數(shù)1UTU(YQ,XO)排列，稱[XQ),fuT)為隨機(jī)過(guò)程。

，一般是時(shí)間，如不是時(shí)間，則稱X⑺為隨機(jī)函數(shù)；如/離散，則稱為

隨機(jī)序列。

例如：對(duì)一系列產(chǎn)品進(jìn)行抽樣檢查，其合格性構(gòu)成一個(gè)隨機(jī)序列(隨

機(jī)函數(shù))；江河的水位變化構(gòu)成一個(gè)隨機(jī)過(guò)程；對(duì)人每小時(shí)測(cè)一次體溫，其

值構(gòu)成一個(gè)隨機(jī)序列，

對(duì)于每個(gè)時(shí)刻乙￡丁，對(duì)應(yīng)的x(G是一個(gè)隨機(jī)變量，稱為隨機(jī)過(guò)程x⑺

在『二八時(shí)刻的狀態(tài)；當(dāng)在一系列連續(xù)試驗(yàn)中x⑺取得一系列具體值時(shí)，這些

值構(gòu)成一個(gè)僅依賴于t的確定性函數(shù)x(f),稱為隨機(jī)過(guò)程X⑺的?一條樣本函

數(shù)，也稱為樣本曲線，

若一個(gè)隨機(jī)過(guò)程x⑺中任意兩個(gè)時(shí)刻《山€丁，都有x(G、X(一相互獨(dú)

立，則稱x⑺為獨(dú)立隨機(jī)過(guò)程。

(2)隨機(jī)過(guò)程的數(shù)字特征

定義1：設(shè)(X(，)je7}是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的，wT,隨機(jī)過(guò)

程在該點(diǎn)的狀態(tài)X(r)的數(shù)學(xué)期望構(gòu)成一個(gè)t的函數(shù)，稱為XQ)的均值函數(shù)，

記為m(t)o

對(duì)于連續(xù)的隨機(jī)過(guò)程，均值函數(shù)

m(t)=E[X(t)]=Vxf(x\t)dx

/(x；/)是/時(shí)刻XQ)的概論密度函數(shù)。

定義2：設(shè)是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的小丁，隨機(jī)過(guò)

程在該點(diǎn)的狀態(tài)X(f)的方差構(gòu)成一個(gè)/的函數(shù)，稱為XQ)的方差函數(shù)，記為

。⑺。

對(duì)于連續(xù)的隨機(jī)過(guò)程，方差函數(shù)

D(t)=E{[X(t)-m(t)]2]=JJx(f)-,z?(r)]2/(x;t)dx

定義3：設(shè){X(Z),Z￡T}是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的％山6丁，X&)、

X?2)之間的協(xié)方差構(gòu)成一個(gè)的函數(shù)，稱為X⑺的協(xié)方差函數(shù)，記為

r(r,,r2)o

對(duì)于連續(xù)的隨機(jī)過(guò)程，協(xié)方差函數(shù)

-=cov[X(4),X(t2)]=￡{[%(/,)-)][X(r2)-m(t2)]}

=J：J_[X(八)一刀億)】〔MG僧(J)]/2a,當(dāng)；討2

其中&a，8消冉)是X(G、x?2)的二維聯(lián)合概論密度函數(shù)。

協(xié)方差表示了兩個(gè)隨機(jī)變量之間的線性相關(guān)程度，當(dāng)協(xié)方差為0時(shí),

兩個(gè)隨機(jī)變量不相關(guān)。獨(dú)立的隨機(jī)變量一定不相關(guān)，但不相關(guān)的隨機(jī)變量

不一定互相獨(dú)立。

方差函數(shù)是協(xié)方差函數(shù)的特例。

定義4：設(shè)(X(/),Z￡T}是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的4/￡丁，X&)、

x(幻之間的自相關(guān)函數(shù)(簡(jiǎn)稱為相關(guān)函數(shù))是％)的函數(shù),記為/?G，G，

定義為

及&也)一應(yīng)x-)x(幻]

「■KOp+00

=LL-'2).a，w；出)(收但

也可將相關(guān)函數(shù)表示為：R(y)=ETXQ)XQ+/)]。

協(xié)方差函數(shù)、均值函數(shù)和相關(guān)函數(shù)之間有如下關(guān)系：

r(r1,r2)=E{[X(0-/n(zI)][Xa2)-m(r2)J}=E[XaI)X(r2)]-E[X(/1)]￡[X(/2)]

=/?(r1,r2)-m(AX^2)

對(duì)于不相美的隨機(jī)過(guò)程，有

-)=RQi,L)一皿枷?2)=o

即有

/?(討2)=皿6)加?2)

4、平穩(wěn)過(guò)程及各態(tài)遍歷性

(1)矩的概念

矩就是指隨機(jī)變量的各種數(shù)字特征，其中E(x")稱為隨機(jī)變量X的攵

階原點(diǎn)矩，E{[X-E(X)力稱為隨機(jī)變量X的k階中心矩。

顯然：數(shù)學(xué)期望是一階原點(diǎn)矩，方差是二階中心矩。

如隨機(jī)過(guò)程的均值函數(shù)和方差函數(shù)均存在，則稱該過(guò)程為二階矩過(guò)程。

(2)平穩(wěn)過(guò)程

若隨機(jī)過(guò)程XQ)有

F(X，/，…也"1，J，，，““)=尸(為,左，一?！?1+匯,，2+匯，??"〃+丁)

即XQ)的有限維概率分布與I無(wú)關(guān)，則稱X⑺為嚴(yán)平穩(wěn)過(guò)程，簡(jiǎn)稱平穩(wěn)

過(guò)程。

若二階矩過(guò)程X(f)有

/?(r1,r2)=/?(r2-r1)=/?(r),r=t2-tx>0

即X⑺的均值為常數(shù)，相關(guān)函數(shù)僅與工有關(guān)，則稱X")為寬平穩(wěn)過(guò)程。

平穩(wěn)過(guò)程表示隨機(jī)過(guò)程的概率分布情況和數(shù)字特征與所研究的時(shí)間點(diǎn)

無(wú)關(guān)，因此可以從平穩(wěn)過(guò)程中任取一段來(lái)進(jìn)行研究和分析。

注意：

嚴(yán)平穩(wěn)過(guò)程不一定是寬平穩(wěn)過(guò)程，因?yàn)槎A矩不一定存在；

寬平穩(wěn)過(guò)程不一定是嚴(yán)平穩(wěn)過(guò)程，因?yàn)槠錀l件僅是嚴(yán)平穩(wěn)過(guò)程的必要

條件。

(3)各態(tài)遍歷性

隨機(jī)過(guò)程X⑺的數(shù)字特征，可以用〃個(gè)樣本函數(shù)否(。，為⑺，…,乙⑺去計(jì)

算，例如求均值函數(shù)和相關(guān)函數(shù)，即

1n

R(八,)二仇X(Gx4)]k—2以QMS)]

依據(jù)大數(shù)定律，當(dāng)〃―8時(shí)，就得到了準(zhǔn)確的均值函數(shù)和相關(guān)函數(shù)，這

稱為隨機(jī)過(guò)程的空間均值和空間相關(guān)函數(shù)。

但有許多隨機(jī)過(guò)程的樣本函數(shù)是無(wú)法重復(fù)取得的，因此，只能從單個(gè)

的樣本函數(shù)去試求隨機(jī)過(guò)程的數(shù)字特征。

當(dāng)隨機(jī)過(guò)程X(力不是平穩(wěn)過(guò)程時(shí)，從單個(gè)的樣本函數(shù)無(wú)法獲得隨機(jī)過(guò)

程的數(shù)字特征。

當(dāng)隨機(jī)過(guò)程X(/)是平穩(wěn)過(guò)程時(shí)，其均值函數(shù)〃2⑺是與t無(wú)關(guān)的常數(shù)m,

相關(guān)函數(shù)R&W)是只與時(shí)間間隔工有關(guān)的函數(shù)R(r)。如果有如下極限存在：

<X(/)>=lim-l-fX(/W/

ttb2/J-T

<X(r)X(r+r)>=lim—「+r)dt

7->oc27J-T

則稱其為隨機(jī)過(guò)程X⑺的時(shí)間均值和時(shí)間相關(guān)函數(shù)，它們都是隨機(jī)變

量。

如果隨機(jī)過(guò)程X")的時(shí)間均值概率為1地等于空間均值，時(shí)間相關(guān)函

數(shù)概率為1地等于空訶相關(guān)函數(shù)，則稱該隨機(jī)過(guò)程具有各態(tài)遍歷性。即

m=<X(t)>,(as.)7?(r)=<X(t)X(t+r)>(as)

as.的意思是allmostsure,幾乎可以確定。

具有各態(tài)遍歷性的隨機(jī)過(guò)程，隨時(shí)間的延續(xù)各種取值都可能取到，并

且取值分布也幾乎與單個(gè)時(shí)間點(diǎn)上的狀態(tài)的取值分布一致，因此可以用一

條或者幾條樣本曲線來(lái)計(jì)算隨機(jī)過(guò)程的數(shù)字特征。

5、隨機(jī)過(guò)程的譜分解

(1)平穩(wěn)隨機(jī)過(guò)程的譜分解

設(shè)R5)為平穩(wěn)隨機(jī)序列｛X(Z)X=0,±l,±2,…｝的相關(guān)函數(shù),則可表示為:

R(n)=「f(co)ejn°dco

J-/T

稱為R(〃)的譜分解，其中/(。)稱X(用的譜密度函數(shù)。

設(shè)R⑺為平穩(wěn)隨機(jī)過(guò)程｛X()/w7｝的相關(guān)函數(shù)，則可表示為：

R(T)=1/(⑼入口

J-3C

稱為/??)的譜分解，其中/(。)稱XQ)的譜密度函數(shù)。

隨機(jī)過(guò)程的譜分解是按諧波分量的頻率將隨機(jī)過(guò)程的功率進(jìn)行分解發(fā)

(傅立葉分解)，因此也稱為功率譜。

譜密度函數(shù)的計(jì)算方法為

1y

/(⑼=—YR⑺隨機(jī)序列

2萬(wàn)“…

f(⑼=；J：R(i)e-jwdT,隨機(jī)過(guò)程

(2)白噪聲

若隨機(jī)序列X(6滿足

a2,n=0

m=0,R(〃)=〈

0,〃工0

則稱X(Q為白噪聲。

白噪聲是平穩(wěn)過(guò)程，同時(shí)具有各態(tài)遍歷性，其譜密度函數(shù)為：

1-2

f(co)=——yR(n)ejnta=—,-7i<(o<7i

2乃=2幾

因此，白噪聲的功率在各個(gè)頻率上是均勻的，類似于“白光”，因此稱

為“白”噪聲。

白噪聲是最理想的純隨機(jī)信號(hào)，也是考查系統(tǒng)干擾影響的基礎(chǔ)。不符

合白噪聲特點(diǎn)的噪聲稱為有色噪聲，它可以由白噪聲的函數(shù)來(lái)表達(dá)。

三、最小二乘法參數(shù)估計(jì)的原理

1、離散系統(tǒng)的輸入輸出模型

根據(jù)對(duì)系統(tǒng)辨識(shí)的分析，它是在測(cè)量得到的離散的系統(tǒng)輸入輸出數(shù)據(jù)的基礎(chǔ)

上來(lái)進(jìn)行系統(tǒng)結(jié)構(gòu)和參數(shù)辨識(shí)的，因此首先要研究離散系統(tǒng)的數(shù)學(xué)描述。

設(shè)單輸入單輸出系統(tǒng)的差分方程為：

)，“)+%y(f—1)+…+4y(t-na)=bQu(t-k)+如(I-1)+…+bnu(t-k-nh)

攵是輸出延時(shí)。

設(shè)單位后移算子為Z-L即有

zb⑺=y(i)

則可令

l,，a

A(z)=l+a,1z~+???+?"az~

B(z)=bo+biZ”+…-b“z"6

則單愉入單飾出系統(tǒng)的差分方程可表示為：

A(z)y(f)=B(z)〃(i)

也可寫為：

B(z)

W-k)

詞

當(dāng)系統(tǒng)受噪聲干擾時(shí)，假定噪聲源是白噪聲，則可將噪聲引起的輸出

擾動(dòng)定義為：

則含有單輸入單輸出系統(tǒng)的差分方程可表示為:

y⑺=等-Q+Mr)

A(z)A(z)

也可寫為：

A(z)y(f)=-k)-vC(z)w(0

其中

A(z))，")表示輸出y")的歷史值對(duì)當(dāng)前值的影響，稱為自回歸部分，AR

B(z)〃(f-Z)表示輸入〃⑺對(duì)輸出)，⑺當(dāng)前值的影響，稱為受控部分,C

C(Z)H”)表示干擾對(duì)輸出)，(/)的影響，稱為滑動(dòng)平均部分，MA

因此，上述模型稱為：受控自回歸滑動(dòng)平均模型，CARMA

其它的單輸入單輸出系統(tǒng)模型還有：

A(z)y(t)=B(z)u(t-k)+y^t),受控自回歸模型，CAR

A(z)y⑺=8(z)四一旬+—!—Mf),動(dòng)態(tài)模型,DA

D(z)

對(duì)于多輸入多輸出時(shí)變離散系統(tǒng)，可用差分狀態(tài)空間模型表示為:

x(t+1)=AQ)x。)+B(/)w(O+DQ)必)

y(r)=C(r)x(r)+w")

2、最小二乘法參數(shù)估計(jì)的原理

設(shè)有一待辨識(shí)的系統(tǒng)模型為

y=f(x)+w

x和)，是可測(cè)量的輸入輸出數(shù)據(jù)

卬是白噪聲

待辨識(shí)的參數(shù)為0

X

若有一系列輸入輸出的測(cè)量值JpXj；%，/；%工3；…;yn>n

則稱能使準(zhǔn)則函數(shù)

J⑹=￡[/一/(幻]2

1=1

取得最小值的參數(shù)估計(jì)值。為最小二乘法參數(shù)估計(jì)，簡(jiǎn)記為L(zhǎng)S估計(jì)。

最小二乘法參數(shù)估計(jì)本質(zhì)上是求測(cè)量點(diǎn)到估計(jì)模型的歐氏距離和最小的參

數(shù)估計(jì)結(jié)果。

3、參數(shù)估計(jì)的評(píng)價(jià)指標(biāo)

對(duì)于不同的參數(shù)估計(jì)算法，其估計(jì)結(jié)果的評(píng)價(jià)有以下常用指標(biāo)：

(1)無(wú)偏性

設(shè)。是參數(shù)。的估計(jì)值，若

E(0)=0

則稱。為參數(shù)。的無(wú)偏估計(jì)。無(wú)偏估計(jì)是參數(shù)估計(jì)的基本要求，即估計(jì)

值以真值為中心波動(dòng)，如果重復(fù)多次估計(jì)，則依據(jù)大數(shù)定律，估計(jì)值的均

值會(huì)趨近于真值。

(2)均方誤差

設(shè)。是參數(shù)夕的估計(jì)值，均方誤差定義為

均方誤差反映了估計(jì)值波動(dòng)的幅度大小。

若。是參數(shù)。的無(wú)偏估計(jì)，則均方誤差就是估計(jì)值。的方差；若。不是

參數(shù)6的無(wú)偏估計(jì)，則均方誤差為

MSE(0,0)=E[Ce-0)2]

=E{[4-E(3)+E(4)一例2}

=E[[d-E(0)]2]+2E{[0-E(O)][E^)-0]}+E{lE(0)-O]2]

=E{[3-E@]2}+[E(3)-6]2

=Q(0)+[E(J)—02

(3)收斂性

如f—>8時(shí)，有l(wèi)im@=￡,a.s.

則稱。收斂于夕。

四、基本最小二乘法參數(shù)估計(jì)

1、系統(tǒng)模型

設(shè)系統(tǒng)模型為CAR模型(受控自回歸)，且無(wú)輸出延時(shí)

A(z)yQ)=B(z)u(r)+W),W)是白噪聲

-1na

A(z)=1+d,*z+???+〃z~

B(z)=bo+"z"+…+"%z〃b

且%>%

也可將模型寫為：

其中

6=lai,a2，…，。&；瓦，4也，…力“J,稱為參數(shù)向量

/(，)=[-y("l),-y("2),…，-y(一%);〃⑴,〃("D,〃("2),???,〃(…%)]，稱為信息向量

2、辨識(shí)算法

在，時(shí)刻，有/個(gè)測(cè)量結(jié)果，表示為：

X=H0+叱

其中

y=[y⑴,y(2),…,yQ)F，=["⑴,/(2),…,，'⑺F,嗎=[例1),以2),…，以

設(shè)最小二乘準(zhǔn)則函數(shù)為

/(。)=%>(。-西)。]2

J=1

則參數(shù)估計(jì)值。應(yīng)能使該準(zhǔn)則函數(shù)取得極小值。

設(shè)人。）在。處可微，則

坐「0

do上。

因?yàn)?/p>

OJ（d）_i=0____________________

1

dee*~~db10”

二8（一-”。（》-必）

d0.

=-2-日一郎）一

所以有

H：（y「H,0）=O

即

H；%=H：H,0

0=（H?y,

條件是“J/非奇異，可以求逆。

可以證明，當(dāng)輸入信號(hào)是是％階持續(xù)激勵(lì)信號(hào)，當(dāng)，―8時(shí)，

/?na+nh+\fH：H,非奇異。

?持續(xù)激勵(lì)信號(hào)

持續(xù)激勵(lì)信號(hào)是指能夠持續(xù)激勵(lì)待辨識(shí)系統(tǒng)的動(dòng)態(tài)特性，以獲得充分的信息

來(lái)進(jìn)行辨識(shí)的輸入信號(hào)。對(duì)于無(wú)輸出延時(shí)的受控自回歸（CAR）模型，需要辨識(shí)的

參數(shù)有%+%+1個(gè)，因此輸入信號(hào)至少要包含殳土產(chǎn)」個(gè)線性無(wú)關(guān)的頻率成份，

才能夠獲得足夠的數(shù)據(jù)進(jìn)行辨識(shí)。

白噪聲和有色噪聲都是持續(xù)激勵(lì)信號(hào)，因此用白噪聲作為輸入來(lái)進(jìn)行系統(tǒng)辨

識(shí)是最理想的，但一般系統(tǒng)對(duì)白噪聲都不能做出有效的響應(yīng)，且白噪聲也難以在

物理上實(shí)現(xiàn)。

Os=1H：HTH：y,

就是基本最小二乘法參數(shù)估計(jì)公式，它是離線估計(jì)算法，需要一次采

集足夠多的輸入輸入信號(hào)，計(jì)算量比較大，并且需要對(duì)高階矩陣進(jìn)行求逆

計(jì)算。

3、估計(jì)質(zhì)量評(píng)價(jià)

（1）無(wú)偏性

TT

E(0ls)=E[(HtHyH,yt]

WEKH：乩尸小]

???叫由白噪聲構(gòu)成，與用之間線性不相關(guān)

.?.娟(“見(jiàn))””』止司(叱)=0

.*.E(9IS)=0

所以，基本最小二乘法參數(shù)估計(jì)是無(wú)偏估計(jì)。

(2)均方誤差

基本最小二乘法參數(shù)估計(jì)的均方誤差為

MSEa、.,，)=。電)

TlT

=DlO+(HlH[YHlwt]

TiT

=D[O]+D[(HlHl)-Htwl]

TlT

=D[(HlHl)-Hlwl]

TiT2

=E{[(HlHiyHlwt]]

=EKH：乩尸乩「叫叫丁乩(H：乩尸1

(3)收斂性

hmMSE(0^)=hmE[(HTHy'HTwwTH(HTHYl]

LS/->X>lrlllrll

=1Hm(H：H#H：H?。?/p>

Jfoo

If8

若=Ra.s.存在

sf

則limMSE(^^)=cr2lim-<-H/H,r，=o-2lim-/?_,=0

r-xcv/->?>ffz->xi

則有1心石[(猷-。)2]=()

Too

即limA,=0,a.s.

可以證明，當(dāng)輸入信號(hào)是是〃〃階持續(xù)激勵(lì)信號(hào)，=Ras.

Ifaf

條件滿足。

五、遞推最小二乘法參數(shù)估計(jì)

1、基本最小二乘法參數(shù)估計(jì)的問(wèn)題

?計(jì)算量大

?需要求大型矩陣的逆

?不能實(shí)現(xiàn)在線參數(shù)估計(jì)

?不能無(wú)法預(yù)估所需的數(shù)據(jù)量

2、最小二乘法參數(shù)估計(jì)遞推公式

遞推最小二乘法利用逐漸采集到的輸入輸出數(shù)據(jù)來(lái)遞推估計(jì)系統(tǒng)參數(shù)。時(shí)

刻的，即求取f時(shí)刻的參數(shù)估計(jì)值。⑺與/-I時(shí)刻的參數(shù)估計(jì)值"—1)和，時(shí)

刻的信息向量/⑺之間的關(guān)系。

設(shè)Pp)=

1=1

貝IJ尸也)=尸(-1)+9(/)，")

,.?0=(H：H)7H：X

.?.。⑴=PQ)H：y,

二也)聞必+。《)刈]

=尸尸(￡-1)”2y小+*(—

=P(r)[p-,(/-lW-l)+^(r)X/)]

=p⑺{(lán)[K(0-叭I)d(ZW-D+-

=0{t-1)+P(/)/(3y⑴-/(rW-1)]

即遞推最小二乘法公式為：

標(biāo)⑴=3(/—1)+尸⑺飄川?、艘?(t)d(t-1)J

其中

朋-1)是上一時(shí)刻的參數(shù)估計(jì)值

)，")-"⑺i(r-l)是利用上一時(shí)刻參數(shù)估計(jì)值得到的輸出偏差

。⑺。⑺為修正因子

為避免矩陣求逆運(yùn)算，可對(duì)以上遞推最小二乘法參數(shù)估計(jì)進(jìn)行進(jìn)一步改進(jìn)。

???(A+〃c)T=A-1-A^bd+cA^by^cA^

2/)=[2一(-1)+夕(/)“⑺『

=P(—阿[/+(pT(f)P(f-1)/)-/(t)P(t-1)

???一(f)P(f-1)/)是1x1維的標(biāo)量

T.1

,,[/+^WP(z_1W)r'=__

l+夕(t)P(t-V)(p(t)

⑴二PJD-P「吁加⑺小7）

-----：（/-1）刖_

1+/（，）*1）8。）

同時(shí)，有

1+(pr(r)P(/-lW)-阿，([)P"1)

戶⑺*)=P(I)9。)

1+"⑺尸(f-1)0。)

8(。+(p(t)(p'(t)P(t-1)8。)-(p(。/(t)P(t

二尸（—）

l+/(/)P(r-l)^(r)

PQ-DS⑴

i+/a）p（"i）9（f）

設(shè)〃”廠次）

則遞推最小二乘法參數(shù)估計(jì)公式可寫為

加）=加-1）+小心。）-，（川。-1）］

P("1)*Q)

L(t)=

1+，Q)PQ-1泄⑺

P")=[/—〃/)/⑺]P(I)

3、遞推最小二乘法參數(shù)估計(jì)的算法過(guò)程

第一步：選取，（0）和P（O）的初值，一般4（0）取很小的實(shí)向量，p（0）取

。為充分大的正數(shù)，一般取i（）6~10）勺］

第二步:增加一組測(cè)量數(shù)據(jù)，獲得

第三步:求L(t)；

第四步:求。⑺，若滿足精度要求|，⑺-。"-1）|<￡，則停止遞推;

第五步:計(jì)算?⑺，，加1,返回第一步。

課后作業(yè)：

設(shè)待辨識(shí)系統(tǒng)為

（1+3z-'+4z“）刈=（2z-,+3z"）〃⑺+w"）,田。是白噪聲

在Matlab中編程，用偽隨機(jī)序列作為持續(xù)激勵(lì)的輸入〃（/）產(chǎn)生信息向

量，然后用遞推最小二乘法對(duì)參數(shù)進(jìn)行估計(jì)。

六、其它最小二乘法參數(shù)估計(jì)

1、遺忘因子遞推最小二乘法參數(shù)估計(jì)

當(dāng)采用遞推最小二乘法時(shí)，已有的所有信息向量都會(huì)在遞推過(guò)程中發(fā)揮作

用，因此隨著時(shí)間的推移，新采集到的信息向量對(duì)參數(shù)估計(jì)值的修正作用會(huì)逐漸

減弱，稱為“數(shù)據(jù)飽和”現(xiàn)象，也就是說(shuō)遞推算法的計(jì)算效率逐漸降低。當(dāng)被辨

識(shí)的系統(tǒng)參數(shù)緩慢時(shí)變時(shí)，遞推最小二乘法參數(shù)估計(jì)不能很好地實(shí)現(xiàn)系統(tǒng)辨識(shí)。

遺忘因子遞推最小二乘法參數(shù)估計(jì)是在遞推公式中加入遺忘因子，逐漸減小

舊信息向量在參數(shù)估計(jì)中的權(quán)重，以加強(qiáng)新信息向量的作用，跟隨系統(tǒng)參數(shù)為時(shí)

變。

令-7?)=獷Si)+e(M(f),%為遺忘因子，一般取0.95工義＜1。-越

大，遺忘作用越小，參數(shù)估計(jì)的精度越高；/越小，遺忘作用越大，參數(shù)估

計(jì)的跟蹤能力越強(qiáng)。

遺忘因子遞推最小二乘法參數(shù)估計(jì)公式為

加)=加-1)+

尸(1)。⑺

1r

A

2、增廣最小二乘法參數(shù)估計(jì)

⑴系統(tǒng)模型

增廣最小二乘法針對(duì)受控自回歸滑動(dòng)平均模型(CARMA),

A(z)yQ)=8(z)〃⑺+C(z)wV)

其中

-1，，a

A(z)=1+6Z,1Z4----4-a"aZ~

B(z)=%+4z"+…+%z%

C(z)=l+cH+…+C“-F

令噪聲干擾為e(r)=C(z)K(r)

則待辨識(shí)系統(tǒng)模型為

A(z)yQ)=B(z)〃⑺+e⑴

定義參數(shù)向量為：

優(yōu)=［《，4，…，4；瓦，4也，…，%］，4=L，。2,…，，1，

信息向量為:

d⑴=[一)收一1),-2),…，一y"一?);〃(/),〃。一1),u(t-2),一nh)1，

d(D=T)，Mf-2),…,

則系統(tǒng)模型可寫為：

rH

yt=[.4]A+叱

其中

MDd⑴武⑴卬⑴

y⑵d⑵媒⑵例2)

x=，匕=，L=,wt=

?**

_da)_w")

⑵一次完成算法

由最小二乘法參數(shù)估計(jì)的原理可得，

但該公式是無(wú)法直接計(jì)算的，因?yàn)長(zhǎng)無(wú)法測(cè)量。為解決這一問(wèn)題，可

采用迭代的方法進(jìn)行計(jì)算。

將參數(shù)估計(jì)公式寫為：

g=(H：乩尸心「⑺:乩尸乩］。

A.=D'L：My,

其中

TlT

M=I-Hl(H,HfyHl

D=L：ML,

再利用

e,=L,On+wt

就可迭代求取。和。，具體步驟如下:

第一步：設(shè)。二(""/,尸耳?，。=0；

第二步：計(jì)算殘差：'”/

W,=Lqi

第三步：利用叱，求得4和M,。；

第四步：求從他=3工"</

第五步：求&0=尸”,乜以陽(yáng)；返回第二步。

⑶遞推算法

定義參數(shù)向量為

=回。2,…,4沁由也，…,b/qg,…,CnJ，

定義信息向量為；

9/?)=[—)，?—一y(f—2),…，一)，(/一〃");〃(/),〃(/一1),“?—2),一、〃(，一〃〃)；卬(f一1),漳?_2),

則系統(tǒng)模型可寫為

)1。)=/?)。+鞏”)

由遞推最小二乘法參數(shù)估計(jì)算法可得遞推公式為

%?)=[(—)+小心⑺-/⑴友一)]

小P(/-1W)

L(t)=---7-------------

l+dQ)PQ-l)次)

P(r)=[7-L(/)^r(r)]P(r-l)

由于信息向量中vi<r)不可測(cè)，在遞推過(guò)程中用殘差位⑺=y(t)-/任汝”)

代替。

3、廣義最小二乘法參數(shù)估計(jì)

⑴系統(tǒng)模型

考慮動(dòng)態(tài)(DA)模型

A(z))?)=6(z)〃Q)十二7H⑴

八⑶

其中

A(z)=1+qz"+…+a%z-%

8(z)=d+Az-+…+%z",

_,_rtrf

D(z)=l+f/1z+...+^z

令噪聲干擾為：式r)=—!一以/)

D(z)

即有

D(z)e(t)=3)

其物理意義為待辨識(shí)系統(tǒng)中的噪聲可通過(guò)一個(gè)濾波器變?yōu)榘自肼暎?/p>

此"z)又稱為“白化濾波器”。因?yàn)樵趶V義最小二乘法中，D(z)的參數(shù)在辨

識(shí)過(guò)程中是動(dòng)態(tài)變化，逐步趨于最優(yōu)的，因此系統(tǒng)模型稱為“動(dòng)態(tài)”模型。

定義參數(shù)向量為:

改=ci%;b(”b也，…,

信息向量為：

?)=[一)'。一1),-y。-2),???，—y(r一%〃。一1),"(f-2),???,〃(r一勺,)],

弁Q)=[-e(t-1),-e(t-2),???,-6*(/-nd)],

則系統(tǒng)模型可寫為：

分=出乙]:+叱

其中

>(1)_卬⑴

y⑵短⑵以2)以(2)

?=，%=?L=,叱=

*?

y(t)H1(0

⑵一次完成算法

由最小二乘法參數(shù)估計(jì)的原理可得,

A

色H：H,

A

仇

與增廣最小二乘法一樣，L無(wú)法測(cè)量，需利用殘差通過(guò)迭代的方法進(jìn)行

⑶遞推算法

將DA模型變形為

A(z)D(z)y(r)=B(z)￡)(z>(r)+以，)

設(shè)

>>(/)=。⑶y(/),uf(t)=D(z)u(t)

則有

A(z)力。)=B[z}uf(t'\+w(t)

由遞推最小二乘法參數(shù)估計(jì)可得遞推公式為

。⑺二。(/-1)+力⑺[力⑺—娟⑺。Q—1)]

7,?)_號(hào)(I)%⑺

L\t)—7

r1+令⑺4