-第05講處理有色噪聲擾動(dòng)的最小二乘類(lèi)方法課件

1、第五講 處理有色噪聲擾動(dòng)的LS類(lèi)方法(1/3)第五講 有色噪聲擾動(dòng)的最小二乘類(lèi)方法由上一講中所討論的LS估計(jì)的統(tǒng)計(jì)特性可知,在動(dòng)態(tài)系統(tǒng)的參數(shù)估計(jì)中,LS法僅當(dāng)隨機(jī)擾動(dòng)為零均值的白噪聲時(shí),才能保證得到無(wú)偏一致的估計(jì)值.在實(shí)際工程和社會(huì)系統(tǒng)的辨識(shí)中,隨機(jī)擾動(dòng)w(k)只是各種系統(tǒng)內(nèi)外擾動(dòng)和結(jié)構(gòu)建模誤差等因素的綜合反映.因此,并不能保證隨機(jī)擾動(dòng)為統(tǒng)計(jì)獨(dú)立的白噪聲.故,實(shí)際系統(tǒng)辨識(shí)時(shí),并不能保證LS估計(jì)值為無(wú)偏一致估計(jì)值.第五講 處理有色噪聲擾動(dòng)的LS類(lèi)方法(2/3)從本講開(kāi)始,我們將討論具有隨機(jī)擾動(dòng)為相關(guān)性擾動(dòng)(有色噪聲)的動(dòng)態(tài)系統(tǒng)的無(wú)偏一致的參數(shù)估計(jì)問(wèn)題,具體的LS類(lèi)方法有增廣最小二乘法(Exten

2、ded Least-square Method, ELS)廣義最小二乘法(Generalized Least-square Method, GLS)輔助變量法(Instrumental Variables Method, IV)等.其它無(wú)偏參數(shù)估計(jì)算法還有多步最小二乘法偏差補(bǔ)償最小二乘法第五講 處理有色噪聲擾動(dòng)的LS類(lèi)方法(3/3)這些不同的處理有色噪聲的辨識(shí)方法主要是針對(duì)不同的有色噪聲的特性、有色噪聲的不同模型表達(dá)、以及不同的辨識(shí)要求提出的.下面就分別討論:增廣最小二乘法(ELS)廣義最小二乘法(GLS)輔助變量法(IV)其它方法可參閱其它教材和文獻(xiàn).1. ELS法(1/19)1. 增廣最小

3、二乘法考慮如下SISO隨機(jī)離散系統(tǒng)A(z-1)y(k)=B(z-1)u(k)+v(k) (1)其中y(k),u(k)和v(k)分別為系統(tǒng)的輸出、輸入和相關(guān)的隨機(jī)擾動(dòng);對(duì)所考慮的模型的相關(guān)隨機(jī)擾動(dòng)v(k),一般假定其為平穩(wěn)相關(guān)序列.1. ELS法(2/19)由第二講中的關(guān)于有色噪聲的結(jié)論1和假設(shè)2可知,平穩(wěn)的相關(guān)擾動(dòng)v(k)可被建模如下v(k)=C(z-1)w(k) (2)其中w(k)為白噪聲序列;C(z-1)為未知的、穩(wěn)定的、有限階的線性濾波器,并可表示為如下首一多項(xiàng)式因此,由系統(tǒng)模型(1)和噪聲模型(2),可得如下表示A(z-1)y(k)=B(z-1)u(k)+C(z-1)w(k)1. EL

4、S法(3/19)當(dāng)假定噪聲w(k)可測(cè)已知時(shí),上式又可表示為如下自回歸方程y(k)=t(k-1)q+w(k) (3)其中A(z-1)y(k)=B(z-1)u(k)+C(z-1)w(k)1. ELS法(4/19)當(dāng)上述觀測(cè)數(shù)據(jù)向量(k-1)精確已知時(shí),利用前面討論的成批或RLS法可求得回歸參數(shù)向量的LS估計(jì)值.但是,實(shí)際上上述數(shù)據(jù)向量(k-1)中包含有不可測(cè)的噪聲量w(k-1),.,w(k-nc),因此對(duì)自回歸式(3)并不能直接套用LS估計(jì)方法.為此,引入通過(guò)在遞推參數(shù)估計(jì)過(guò)程中在線估計(jì)噪聲w(k)以實(shí)現(xiàn)模型參數(shù)在線遞推估計(jì)的ELS法.1. ELS法(5/19)ELS法的思想就是:利用該參數(shù)估計(jì)

5、值來(lái)在線估計(jì)白噪聲w(k-i)的值 (k-i)以替代數(shù)據(jù)向量(k-1)中的白噪聲w(k-i),然后進(jìn)行下一步的參數(shù)估計(jì).在遞推估計(jì)過(guò)程中,假設(shè)當(dāng)前或前一步的在線參數(shù)估計(jì)值已相當(dāng)程度可用的前提下,1. ELS法(6/19)噪聲w(k)的具體的估計(jì)算法是如下的事后估計(jì)或事前估計(jì)算法:其中(k-1)為數(shù)據(jù)向量(k-1)的如下在線估計(jì)值1. ELS法(7/19)因此,基于漸消記憶的RLS估計(jì)算法可得如下遞推的ELS法其中加權(quán)因子l為1時(shí)就為普通的ELS法.上述ELS辨識(shí)實(shí)際上是的參數(shù)估計(jì)和噪聲wk的估計(jì)交替進(jìn)行,計(jì)算順序?yàn)?1. ELS法(8/19)上述分析過(guò)程表明,ELS法是LS法的一種簡(jiǎn)單推廣.它

6、只是擴(kuò)充了參數(shù)向量q和數(shù)據(jù)向量(k)的維數(shù),也同時(shí)辨識(shí)噪聲模型.就這種意義上說(shuō),可稱(chēng)之為ELS法.值得指出的是,ELS法雖然可同時(shí)得到噪聲模型的參數(shù)估計(jì),但其收斂過(guò)程卻比過(guò)程模型A(z-1)和B(z-1)的估計(jì)值的收斂慢許多.從實(shí)用角度來(lái)說(shuō),噪聲模型C(z-1)的階次不宜取得太高.1. ELS法(9/19)-ELS法計(jì)算步驟綜上所述,ELS法的基本計(jì)算步驟可總結(jié)如下確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)、B(z-1)和C(z-1)的階次;設(shè)定遞推參數(shù)初值(0),P(-1),w(0);采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k),并組成觀測(cè)數(shù)據(jù)向量(k-1);用式(5)(7)所示的ELS法計(jì)

7、算當(dāng)前參數(shù)遞推估計(jì)值;用(4)式計(jì)算白噪聲w(k)的事后或事前在線估計(jì)值w(k);循環(huán)次數(shù)k加1,然后轉(zhuǎn)回到第3步繼續(xù)循環(huán).1. ELS法(10/19)-ELS法仿真程序下面給出針對(duì)隨機(jī)線性離散系統(tǒng)(XARMA)的ELS在線辨識(shí)仿真程序偽代碼./% 第一步 初始化輸入系統(tǒng)階次na,nb和nc,以及加權(quán)因子輸入系統(tǒng)模型Az=1 a1 a2 和Bz=0 b1 b2 ;輸入噪聲模型Cz=1 c1 c2 輸入系統(tǒng)輸入信號(hào)u(k)的方差u 、過(guò)程噪聲w(k)的方差w和輸入輸出測(cè)量噪聲uw 、yw設(shè)定系統(tǒng)變量初始值:yf1:na+1=0; uf1:nb+1=0; wf1:nc+1=0;設(shè)定辨識(shí)變量初始值:

8、yb1:na+1=0; ub1:nb+1=0; wb=1:nc+1=0; 1:na+nb+nc=0; P=106*I(na+nb+nc,na+nb+nc);1. ELS法(11/19)-ELS法仿真程序)/% 第二步 辨識(shí)仿真for k=1:最大仿真步數(shù)/% 被控對(duì)象模型仿真(產(chǎn)生系統(tǒng)輸入輸出信號(hào),即數(shù)據(jù))yf2:na+1=yf1:na;uf2:nb+1=uf1:nb;wf2:nc+1=wf1:nc;uf1=2*u*(rand()-0.5);wf1=2*w*(rand()-0.5);yf1=-Az2:na+1*yf2:na+1+Bz2:nb+1*uf2:nb+1 +Cz1:nc+1*wf1:n

9、c+1;1. ELS法(12/19)-ELS法仿真程序/% 輸入輸出數(shù)據(jù)檢測(cè)ub1=uf1;yb1=yf1;/% 或模擬檢測(cè)噪聲 % ub1=uf1+2*uw*(rand()-0.5); % yb1=yf1+2*yw*(rand()-0.5);/% 在線遞推辨識(shí)過(guò)程仿真=-yb(2:na+1) ub(2:nb+1) wb(2:nc+1);K= P*/(+*P*);=+K*yb(1)-*;P=I-K*P/;修正矩陣P；輸出在線遞推參數(shù)估計(jì)值；1. ELS法(13/19)-ELS法仿真程序wb1=yb(1)-*;yb2:na+1=yb1:na;ub2:nb+1=ub1:nb;wb2:nc+1=wb

10、1:nc;也可采用事前估計(jì)1. ELS法(14/19)例1例1 考慮如圖下所示的仿真對(duì)象,圖中通過(guò)控制w值來(lái)改變數(shù)據(jù)的噪信比.辨識(shí)中,選擇如下模型結(jié)構(gòu)y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+w(k) +c1w(k-1)+c2w(k-2) (8)其它條件同第四講中的例1.結(jié)果如下表所示.w(k)是服從均值為零,方差為1的正態(tài)分布的不相關(guān)隨機(jī)噪聲;輸入信號(hào)u(k)采用偽隨機(jī)二進(jìn)制序列;1. ELS法(15/19)表1 計(jì)算機(jī)仿真結(jié)果(噪信比=23%,數(shù)據(jù)組數(shù)1000)參數(shù)a1a2b1b2c1c2真值-1.50.71.00.5-1.00.2估計(jì)值=1-1.4

11、960.71170.99920.4982-0.90980.1193估計(jì)值=0.98-1.4650.69401.06600.5506-0.97780.33691. ELS法(16/19)遞推辨識(shí)過(guò)程的辨識(shí)值如下圖所示遺忘因子=1時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差1. ELS法(17/19)遺忘因子=1時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差1. ELS法(18/19)遺忘因子=0.98時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差1. ELS法(19/19)遺忘因子=0.98時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差2. GLS法(1/3)2. 廣義

12、最小二乘法上一講討論了相關(guān)隨機(jī)擾動(dòng)v(k)可用C(z-1)w(k)建模情況下的參數(shù)估計(jì)問(wèn)題.但有些相關(guān)擾動(dòng)用C(z-1)w(k)來(lái)建模的話,線性濾波器C(z-1)的階次相當(dāng)高,這加大了參數(shù)估計(jì)的工作量,也極大地影響了建模的精度和使用上的困難性.在此情況下,相關(guān)擾動(dòng)v(k)可用如下方式建模v(k)=w(k)/D(z-1) (1)其中w(k)為零均值的白噪聲;2. GLS法(2/3)1/D(z-1)為未知的、穩(wěn)定的、有限階的線性濾波器,且D(z-1)可表示為如下穩(wěn)定的、階次較低的首一多項(xiàng)式因此,具有該類(lèi)相關(guān)隨機(jī)擾動(dòng)的隨機(jī)離散系統(tǒng)的數(shù)學(xué)模型為:A(z-1)y(k)=B(z-1)u(k)+v(k)=B

13、(z-1)u(k)+w(k)/D(z-1) (2)2. GLS法(3/3)廣義最小二乘(Generalized Least-squares, GLS)法討論的是可用模型(2)表示的隨機(jī)離散系統(tǒng)的參數(shù)估計(jì)問(wèn)題.下面,將分別討論成批型和遞推型GLS法的思想和算法,以及GLS仿真GLS評(píng)述一、成批型GLS法(1/9)一、成批型GLS法成批型GLS法的基本思想是:先預(yù)選定一個(gè)線性濾波器Df(z-1)將模型中的輸出y(k)、輸入u(k)和有色噪聲w(k)/D(z-1)白色化,即將模型A(z-1)y(k)=B(z-1)u(k)+w(k)/D(z-1)兩邊左乘線性濾波器Df(z-1)后,有A(z-1)Df(

14、z-1)y(k)B(z-1)Df(z-1)u(k)+w(k)并記為A(z-1)yf(k)B(z-1)uf(k)+w(k)再對(duì)上述白色化后的模型中多項(xiàng)式A(z-1)和B(z-1)的系數(shù)進(jìn)行LS估計(jì);一、成批型GLS法(2/9)然后基于對(duì)A(z-1)和B(z-1)的估計(jì),利用模型A(z-1)y(k)=B(z-1)u(k)+v(k)來(lái)計(jì)算模型殘差(相關(guān)噪聲)v(k)的估計(jì)值再基于噪聲模型D(z-1)v(k)=w(k)和相關(guān)噪聲v(k)的估計(jì)值,利用LS法辨識(shí)D(z-1),并基于此修正選定的濾波器Df(z-1);如此循環(huán)往復(fù)地進(jìn)行Df(z-1)的修正及A(z-1)和B(z-1)的迭代估計(jì),直到模型的估

15、計(jì)殘差滿足給定的精度或者Df(z-1)、A(z-1)和B(z-1)的變化量相對(duì)較小為止.一、成批型GLS法(3/9)計(jì)算步驟上述成批型GLS法基本思想可用如下流程圖圖示.綜上所述,成批型的GLS法的算法和計(jì)算步驟如下:Step 1. 確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)、B(z-1)和D(z-1)的階次;Step 2. 選定穩(wěn)定的初始濾波器Df(z-1);一、成批型GLS法(4/9)計(jì)算步驟Step 3. 采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k);Step 4. 基于濾波器Df(z-1),進(jìn)行如下濾波計(jì)算yf(k)=Df(z-1)y(k) (3)uf(k)=Df(z-1)u(k) (

16、4)Step 5. 由(2)(4)式,列成如下自回歸方程:其中一、成批型GLS法(5/9)計(jì)算步驟并由此得如下向量式的自回歸方程組Yf=ff+W (6)其中Yf=yf(1), yf(2), ., yf(L)W=w(1), w(2), ., w(L)f=f(0), f(1), ., f(L-1)Step 6. 用如下LS法計(jì)算f參數(shù)估計(jì)值一、成批型GLS法(6/9)計(jì)算步驟Step 7. 由(2)式有y(k)=(k-1)f+v(k) (8)其中(k-1)=y(k-1), , y(k-na) u(k-1), , u(k-nb)因此,基于(7)式的參數(shù)估計(jì)值 f,計(jì)算相關(guān)擾動(dòng)v(k)的估計(jì)值,即回歸

17、式(8)的如下估計(jì)殘差一、成批型GLS法(7/9)計(jì)算步驟Step 8. 由(1)式,可得如下關(guān)于相關(guān)擾動(dòng)v(k)和白噪聲w(k)的自回歸方程其中并由此得如下向量式的自回歸方程組V=vv+W (11)其中V=v(1), v(2), ., v(L)v=v(0), v(1), ., v(L-1)一、成批型GLS法(8/9)計(jì)算步驟Step 9. 選取上一步估計(jì)得的D(z-1)的估計(jì)值作進(jìn)行系統(tǒng)白色化處理的線性濾波器Df(z-1).若模型的估計(jì)殘差滿足給定的精度或者Df(z-1)、A(z-1)和B(z-1)的變化量相對(duì)較小則循環(huán)結(jié)束,否則返回第4步繼續(xù)循環(huán).因此,將用式(9)計(jì)算好的相關(guān)擾動(dòng)v(k)

18、的估計(jì)值 (k)來(lái)替代自回歸方程組(11)的相關(guān)擾動(dòng)v(k),則可得如下回歸參數(shù)向量v,即噪聲模型D(z-1)的系數(shù)的LS估計(jì)值一、成批型GLS法(9/9)以上辨識(shí)過(guò)程表明,GLS法的思想是對(duì)輸入輸出數(shù)據(jù)先進(jìn)行一次濾波預(yù)處理,然后利用普通LS法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí),并反復(fù)迭代此過(guò)程.可想而知,這種方法受濾波模型的好壞的影響較大,而在迭代過(guò)程中濾波模型的好壞也直接與系統(tǒng)模型辨識(shí)結(jié)果有直接的關(guān)系.從優(yōu)化理論的角度來(lái)說(shuō),GLS法其實(shí)屬于非線性?xún)?yōu)化方法.因此,難以避免出現(xiàn)非線性?xún)?yōu)化中的局部極值點(diǎn)情況,即該方法并不能保證得到的估計(jì)值是一致無(wú)偏的.這是GLS法的一個(gè)不太令人滿意之處.二、遞推型GLS法(

19、1/6)二、遞推GLS法遞推GLS法的基本思想是與成批型LS法大致相同,所不同的是:由于所考慮的是遞推估計(jì),不能像成批型那樣作反復(fù)迭代.解決的方法是分別對(duì)(5)和(10)所示的兩個(gè)模型的辨識(shí)設(shè)計(jì)兩個(gè)遞推估計(jì)算法,并在每一個(gè)遞推步中,讓它們依順序遞推一次.隨著遞推過(guò)程的深入,將不斷改進(jìn)噪聲模型D(z-1)的辨識(shí)結(jié)果,同時(shí)亦得到較佳的A(z-1)和B(z-1)的辨識(shí)結(jié)果.二、遞推型GLS法(2/6)根據(jù)上述基本思想,有如下遞推GLS估計(jì)算法:Step 1. 確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)、B(z-1)和D(z-1)的階次;Step 2. 選定遞推參數(shù)初值 f(0)和Pf(-1),

20、 v(0)和Pv(-1),以及穩(wěn)定的初始濾波器Df(z-1);Step 3. 采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k);Step 4. 基于濾波器Df(z-1),分別由下式計(jì)算y(k),u(k)的濾波值yf(k)和uf(k);yf(k)=Df(z-1)y(k) uf(k)=Df(z-1)u(k)二、遞推型GLS法(3/6)Step 5. 構(gòu)造觀測(cè)數(shù)據(jù)向量f(k-1)并依如下RLS法估計(jì)多項(xiàng)式A(z-1)和B(z-1)的系數(shù),即回歸參數(shù)向量f二、遞推型GLS法(4/6)Step 6. 基于式計(jì)算相關(guān)擾動(dòng)v(k)的估計(jì)值,并構(gòu)造觀測(cè)數(shù)據(jù)向量v(k-1).二、遞推型GLS法(5/6)Step 7. 依

21、如下RLS法估計(jì)多項(xiàng)式D(z-1)的系數(shù),即回歸參數(shù)向量vStep 8. 選取上一步估計(jì)得的D(z-1)的估計(jì)值作進(jìn)行系統(tǒng)白色化處理的線性濾波器Df(z-1).將循環(huán)次數(shù)加1,返回第3步繼續(xù)循環(huán)遞推辨識(shí).三、GLS仿真(1/14)三、 廣義最小二乘法仿真考慮如下有色噪聲擾動(dòng)的隨機(jī)線性離散系統(tǒng)的GLS在線辨識(shí)仿真程序偽代碼.三、GLS仿真(2/14)% 第一步 初始化輸入系統(tǒng)階次na,nb和nd,以及加權(quán)因子輸入系統(tǒng)模型Az=1 a1 a2 和Bz=0 b1 b2 ;輸入噪聲模型Dz=1 d1 d2 輸入系統(tǒng)輸入信號(hào)u(k)的方差u和噪聲w(k)的方差w設(shè)定系統(tǒng)變量初始值:yf1:na+1=0;

22、 uf1:nb+1=0; vf1:nd+1=0;設(shè)定辨識(shí)變量初始值:yb1:na+1=0; ub1:nb+1=0; ybf1:na+1=0; ubf1:nb+1=0; vb=1:nc+1=0; _yu1:na+nb=0; P_yu=106*I(na+nb,na+nb); _v1:nd=0; P_v=106*I(nd,nd);輸入初始白化濾波器Dze=1 de1 de2 三、GLS仿真(3/14)% 第二步 辨識(shí)仿真for k=1:最大仿真步數(shù)/% 被控對(duì)象模型仿真(產(chǎn)生系統(tǒng)輸入輸出信號(hào),即數(shù)據(jù))yf2:na+1=yf1:na;uf2:nb+1=uf1:nb;vf2:nd+1=vf1:nd;uf

23、1=2*u*(rand()-0.5);wf=2*w*(rand()-0.5);vf1=-Dz2:nd+1*vf2:nd+1+wf; yf1=-2:na+1*yf2:na+1+Bz2:nb+1*uf2:nb+1+vf1;三、GLS仿真(4/14)% 輸入輸出數(shù)據(jù)檢測(cè)ub1=uf1;yb1=yf1;% 輸入輸出濾波ubf1=Dze(1:nd+1)*ub(1:nd+1);ybf1=Dze(1:nd+1)*yb(1:nd+1);% 在線遞推辨識(shí)系統(tǒng)模型_yu=-ybf(2:na+1) ubf(2:nb+1);K_yu=P_yu*_yu/(+_yu*P_yu*_yu);_yu=_yu+K_yu*ybf(

24、1)-_yu*_yu;P_yu=I-K_yu*_yu*P_yu/;修正矩陣P_yu；三、GLS仿真(5/14)% 在線噪聲估計(jì)vb1=y(1)+_yu1:na*yb(2:na+1)-_yuna+1:na+nb*ub(2:nb+1);% 在線遞推噪聲模型_v=-vb(2:nd+1);K_v=P_v*_v/(+_v*P_v*_v);_v=_v+K_v*vf(1)-_v*_v;P_v=I-K_v*_v*P_v/;修正矩陣P_v；輸出在線遞推參數(shù)估計(jì)值_yu,_v；Dze(2:nd+1)=_v;三、GLS仿真(6/14)% 數(shù)據(jù)移位yb2:na+1=yb1:na;ub2:nb+1=ub1:nb;ybf

25、2:na+1=ybf1:na;ubf2:nb+1=ubf1:nb;vf2:nd+1=vf1:nd;三、GLS仿真(7/14)例1 本例中的仿真對(duì)象、實(shí)驗(yàn)條件與第四講中例1相同,模型結(jié)構(gòu)選擇如下y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+v(k) (19)v(k)+d1v(k-1)+d2v(k-2)=w(k) (20)仿真結(jié)果如表1所示.三、GLS仿真(8/14)表1 計(jì)算機(jī)仿真結(jié)果參數(shù)a1a2b1b2d1d2真值-1.50.71.00.5-1.00.2噪信比=73%初始白化濾波器Df=1仿真1-1.49900.70170.99970.5003-1.0056

26、0.2019仿真2-1.51460.71091.00300.4869-0.99430.2019噪信比=73%初始白化濾波器Df=1+0.5z-1-0.5z-2仿真1-1.43840.60300.98700.5271-1.14260.4060仿真2-1.57400.73711.00130.4730-0.91140.2088噪信比=23%初始白化濾波器Df=1仿真1-1.46670.66130.98920.5055-1.16490.4118仿真2 -1.46280.67170.98410.5010-1.21300.3902三、GLS仿真(9/14)遞推辨識(shí)過(guò)程的辨識(shí)值如下圖所示噪信比=73%,初始

27、白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差三、GLS仿真(10/14)噪信比=73%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差三、GLS仿真(11/14)噪信比=73%,初始白化濾波器Df=1+0.5z-1-0.5z-2時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差三、GLS仿真(12/14)噪信比=73%,初始白化濾波器Df=1+0.5z-1-0.5z-2時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差三、GLS仿真(13/14)噪信比=23%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差三

28、、GLS仿真(14/14)噪信比=23%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差三、GLS評(píng)述(1/1)三、GLS評(píng)述對(duì)GLS算法,有如下評(píng)述:有色干擾下估計(jì)精度較高迭代收斂較快,但是收斂性未得到證明能同時(shí)得到過(guò)程參數(shù)和噪聲參數(shù)的估計(jì)計(jì)算量大,費(fèi)機(jī)時(shí)3. IV法(1/2)3. 輔助變量法上兩講分別討論了同時(shí)辨識(shí)系統(tǒng)模型和噪聲模型的ELS法和GLS法.在有些建模及其模型的運(yùn)用問(wèn)題中,并不需要知道噪聲模型,即不需要對(duì)噪聲建模(辨識(shí)).此時(shí),若采用ELS法和GLS法來(lái)辨識(shí),需花費(fèi)較多的計(jì)算時(shí)間,而且辨識(shí)的參數(shù)越多則辨識(shí)的精度和效果越差.這一點(diǎn),GLS法尤其突出.3

29、. IV法(2/2)本講討論有相關(guān)隨機(jī)擾動(dòng)時(shí)的隨機(jī)離散系統(tǒng)參數(shù)估計(jì)的輔助變量(Instrument Variable, IV)法.該方法不需要辨識(shí)系統(tǒng)的噪聲模型,只要輔助系統(tǒng)選擇得恰當(dāng),便可獲得較高精度的無(wú)偏一致估計(jì). 本講介紹的主要內(nèi)容為:成批型算法輔助變量的選擇遞推型算法IV法的評(píng)價(jià)一、成批型算法(1/6)一、成批型算法考慮如下自回歸方程的一致辨識(shí)問(wèn)題y(k)=(k-1)+w(k), k=1,2,.,L (1)或YL=L+WL (2)其中對(duì)擾動(dòng)量w(k)未加白噪聲的假定,其它符號(hào)與第三講一致.下面先考察一般LS法的參數(shù)辨識(shí)值的一致收斂性.一、成批型算法(2/6)由第三講的提出的一般LS估計(jì)

30、式有一、成批型算法(3/6)由式(3)可知,欲獲得無(wú)偏一致的參數(shù)估計(jì)值,若依據(jù)Frechek定理: 若隨機(jī)序列xk,則f(xk)f() 則由條件(4)與(5),有LS 0即LS估計(jì)為無(wú)偏估計(jì).一、成批型算法(4/6)但,當(dāng)w(k)不為白噪聲時(shí),條件并不能保證成立,相應(yīng)的LS估計(jì)值亦不能保證為無(wú)偏一致的.因此下面的問(wèn)題是:如何在有色噪聲干擾條件下得到無(wú)偏估計(jì)？一、成批型算法(4/6)為了對(duì)w(k)不為白噪聲時(shí),可獲得q的無(wú)偏一致估計(jì)值,定義一個(gè)如下輔助觀測(cè)數(shù)據(jù)矩陣*L=*(0), *(1), , *(L-1) (6)其中輔助變量矩陣須滿足一、成批型算法(5/6)因此,使得對(duì)不定(不相容)方程組Y

31、L=L (9)和回歸方程YL=L+WL可獲得如下IV解一、成批型算法(6/6)當(dāng)輔助變量矩陣滿足條件(7)和(8)時(shí),則有可見(jiàn),只要選擇適當(dāng)?shù)妮o助變量,使之滿足上述的兩個(gè)條件,IV估計(jì)值就可以是無(wú)偏一致的.IV估計(jì)法的關(guān)鍵在于如何具體構(gòu)造出輔助變量矩陣*L.依據(jù)Frechek定理與條件(7)和(8)二、輔助變量的選擇(1/9)二、輔助變量的選擇IV法的關(guān)鍵是選擇適當(dāng)?shù)妮o助變量使得條件(7)和(8)得到滿足.如果采用下圖所示的輸出x(k)作為輔助變量,置*(k-1)=x(k-1), ., x(k-na), u(k-1), ., u(k-nb) (12)那么,當(dāng)u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),條件(

32、7)必定滿足.又因x(k)只與u(k)有關(guān),也就是說(shuō)與噪聲無(wú)關(guān),故條件(8)也滿足.二、輔助變量的選擇(2/9)人們已經(jīng)得出幾種不同的方案,要嚴(yán)格證明它們滿足上述條件是很難的,但是在實(shí)際應(yīng)用中已經(jīng)取得很好的結(jié)果.常用的輔助變量選擇方法有:自適應(yīng)濾波純滯后Tally原理二、輔助變量的選擇(3/9)-自適應(yīng)濾波A. 自適應(yīng)濾波當(dāng)把上圖所示的輔助系統(tǒng)模型看成是自適應(yīng)濾波器時(shí),輔助變量可按如下關(guān)系生成或求得x(k)=*(k)(k) (13)或x(k)=*(k)(k) (14a)(k)=(1-)(k-1)+(k-d), 取0.010.1; d取010 (14b)其中(k)表示k時(shí)刻的IV參數(shù)估計(jì)值,它可

33、由遞推算法給出.二、輔助變量的選擇(4/9)-自適應(yīng)濾波下面簡(jiǎn)單分析一下上述自適應(yīng)濾波法所選擇的輔助變量與噪聲變量的相關(guān)性。對(duì)*(k)與噪聲w(k)的相關(guān)性分析如下因此,經(jīng)過(guò)層層傳遞(每次傳遞相關(guān)性小于1),*(k)與噪聲w(k)的相關(guān)性將變得非常小。當(dāng)噪聲w(k)與輸入u(k)無(wú)關(guān)時(shí),且u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),可以證明選用式(13)和(14)作為輔助變量以較大概率滿足上述兩個(gè)條件Soderstrom,1974. 二、輔助變量的選擇(5/9)-純滯后B. 純滯后當(dāng)圖1所示的輔助系統(tǒng)模型選為純滯后環(huán)節(jié)時(shí),輔助變量取作x(k)=u(k-d) (15)其中dnb,nb為多項(xiàng)式B(z-1)的階次

34、.這時(shí)輔助變量向量*(k-1)可寫(xiě)成*(k-1)=u(k-d-1), ., u(k-d-na), u(k-1), ., u(k-nb)二、輔助變量的選擇(6/9)-純滯后值得指出的是,只有u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),上述選取的*(k-1)的列之間現(xiàn)行無(wú)關(guān),收斂條件(7)才能滿足。此外,當(dāng)輸入u(k)與噪聲w(k)無(wú)關(guān),*(k)與噪聲w(k)統(tǒng)計(jì)無(wú)關(guān)。因此u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),上述選取的*(k)滿足上述輔助變量可滿足上述兩個(gè)條件.二、輔助變量的選擇(7/9)-Tally原理C. Tally原理如果相關(guān)噪聲的模型可以看成為時(shí),其中dnc,則輔助變量可取作x(k)=y(k-d) (16)即

35、*(k-1)=y(k-d-1), ., y(k-d-na), u(k-1), ., u(k-nb)二、輔助變量的選擇(8/9)-Tally原理下面簡(jiǎn)單分析一下Tally原理所選擇的輔助變量與噪聲變量的相關(guān)性。對(duì)*(k)與噪聲w(k)的相關(guān)性分析如下因此,經(jīng)過(guò)層層傳遞(每次傳遞相關(guān)性小于1),*(k)與噪聲w(k)的相關(guān)性將變得非常小。當(dāng)噪聲w(k)與輸入u(k)無(wú)關(guān)時(shí),且u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),可以證明Tally原理所選擇的輔助變量以較大概率滿足上述兩個(gè)條件方崇智等,1988.二、輔助變量的選擇(9/9)在上述3種選擇輔助變量方法中，自適應(yīng)濾波法辨識(shí)收斂快，精度高，遞推辨識(shí)結(jié)果平滑，波動(dòng)

36、小。Tally原理法次之。但純滯后法辨識(shí)收斂慢，精度低，數(shù)據(jù)增多對(duì)精度提高效果不顯著；再之，遞推辨識(shí)結(jié)果波動(dòng)大，難于達(dá)到控制的要求。三、遞推型算法(1/15)三、遞推型算法下面討論IV參數(shù)估計(jì)算法(10)的遞推算法.類(lèi)似于RLS法的推導(dǎo),由成批型IV法可得如下遞推IV算法其中P(k-1)和K(k-1)的定義式為K(k-1)=P(k-1)*(k-1) (21)三、遞推型算法(2/15)綜上所述,遞推IV法的基本計(jì)算步驟可總結(jié)如下確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)和B(z-1)的階次;確定或設(shè)計(jì)所采用的輔助變量系統(tǒng);設(shè)定遞推參數(shù)初值(0),P(-1);采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u

37、(k),并組成觀測(cè)數(shù)據(jù)向量(k-1);計(jì)算輔助變量x(k),并組成輔助變量觀測(cè)數(shù)據(jù)向量*(k-1);用式(17)(19)所示的遞推IV法計(jì)算當(dāng)前參數(shù)遞推估計(jì)值;循環(huán)次數(shù)k加1,然后轉(zhuǎn)回到第4步繼續(xù)循環(huán).三、遞推型算法(3/15)下面給出針對(duì)隨機(jī)線性離散系統(tǒng)(XARMA)的ELS在線辨識(shí)仿真程序偽代碼.% 第一步 初始化輸入系統(tǒng)階次na,nb和nc,以及輔助變量方法變量IV_method ,輔助變量系統(tǒng)滯后IV-d，加權(quán)因子輸入系統(tǒng)模型Az=1 a1 a2 和Bz=0 b1 b2 ;輸入噪聲模型Cz=1 c1 c2 輸入系統(tǒng)輸入信號(hào)u(k)的方差u和噪聲w(k)的方差w設(shè)定系統(tǒng)變量初始值:yf1:na+1=0; uf1:nb+1=0; wf1:nc+1=0;設(shè)定辨識(shí)變量初始值:yb1:d+1=0; ub1:d+1=0; xi1:d+1=0; 1:na+nb=0; P=106*I(na+nb,na+nb);三、遞推型算法(4/15)/% 第二步 辨識(shí)仿真for k=1:最大仿真步數(shù)/% 被控對(duì)象模型仿真(產(chǎn)生系統(tǒng)輸入輸出信號(hào),即數(shù)據(jù))yf2:na+1=yf1:na;uf2:nb+1=uf1:nb;wf2:nc+1=uf1:nc;uf1=2*u*(rand()-0.5);wf1=2*w*(rand()-