系統(tǒng)辨識各類最小二乘法匯總

1、Q Figure 4最小二乘方法的總結(jié)與比較Y30150638控制二班王思明（作業(yè)二）最小二乘法大約是1795年高斯在他那苦名的星體運動軌跡研究工作中提出 來的。后來，最小二乘法就成了理論的奠基石。由于最小二乘原理簡單，編程程 序也不困難，所以它頗受人們重視，應(yīng)用相當(dāng)廣泛。最小二乘的基本結(jié)果有兩種 形式，一種是經(jīng)典的一次完成算法，另一種是現(xiàn)代的遞推算法。本次作業(yè)只討論 遞推算法和其他擴展的最小二乘方法比較。一、最小二乘法最小二乘法具有兩個缺陷：1、當(dāng)噪聲模型是有色噪聲時，最小二乘參數(shù)估計不是你無偏、一致估計。2、隨著數(shù)據(jù)的增長，最小二乘法出現(xiàn)數(shù)據(jù)飽和現(xiàn)象，以致算法慢慢失去修 正能力。下而是其分

2、別在白噪聲和有色噪聲時的參數(shù)估計曲線。最小二乘的程序見附 錄。圖1-1 RLS白噪聲時參數(shù)估計變化曲線file Edit View Insert Teo Desktop Window HelpD B 氐 、礬 k 尿2 E 回圖1-2 RLS有色噪聲時參數(shù)估計變化曲線從圖中可以很明顯的看出，當(dāng)噪聲變成有色噪聲時，RLS算法是有偏的，始 終不能得出參數(shù)的真值，而且可以看出隨著數(shù)據(jù)的增多，算法對參數(shù)的修正能力 明顯下降，到最后參數(shù)值兒乎不變，這說明RLS算法進入了數(shù)據(jù)飽和狀態(tài)。二、遺忘因子法和限定記憶法這兩種算法（RFERFM）是基于RLS的數(shù)據(jù)飽和現(xiàn)象而提出來的一種辨識算 法。RFF很簡單，在老

3、數(shù)據(jù)加上遺忘因子以降低老數(shù)據(jù)提供的信息最，增加新數(shù) 據(jù)的信息量。僅僅在RLS算法內(nèi)部加入遺忘因子系數(shù)，這里因為篇幅有限，不給 出其程序以及最后的參數(shù)變化曲線。RFM就比較特殊，其限定有效數(shù)據(jù)的長度L,即始終只有長度L的數(shù)據(jù)在影 響參數(shù)估計，可以從根本上解決數(shù)據(jù)飽和現(xiàn)象。下面是其實驗的參數(shù)估計變化曲 線。圖2-1 RFM白噪聲時的參數(shù)估計曲線從圖中可以看出，相比T RLS的白噪聲時的參數(shù)估計，變化曲線圍繞真值 震蕩變化，這說明沒有數(shù)據(jù)飽和現(xiàn)象，辨識結(jié)果良好。三、偏差補償法當(dāng)噪聲是有色噪聲時，我們提出偏差補償最小二乘法，因為從圖12我們可 以看出，最后的參數(shù)估計是有偏的，所以我們在算法中每次都減去

4、這個偏差量, 使得最后的結(jié)果能夠逼近真值。我們稱這種算法為RCLSo但是，既然我們加入了偏差星，如果我們的噪聲是白噪聲時，那這個偏差量 就變成了誤差量，使得參數(shù)估計軌跡偏真值。下圖是其參數(shù)估計曲線，程斥見附錄。3圖3-1 RCLS有色噪聲時的參數(shù)變化曲線圖3-2 RCLS白噪聲時的參數(shù)估計曲線從圖中可以很清楚的看出，RCLS可以對有色噪聲情況下，對參數(shù)進行無偏一致估計，但是在白噪聲的情況下，卻不能得到無偏估計，其原因上面也提到了, 這里就不在贅述了。四、增廣最小二乘和廣義最小二乘針對不同的有色噪聲模型，我們用不同的辨識方法，并能順帶求出噪聲的模 型模型，通過擴充參數(shù)向量和數(shù)據(jù)向量的維數(shù),把噪聲

5、模型的辨識同時考慮進去。當(dāng)噪聲模型：e(k) = D(Z-1)*v(k) (v(k)為白噪聲)時，我們采用增廣最 小二乘方法。其實驗結(jié)果如下，其程序見附錄。圖4-1 RELS參敦估計曲線當(dāng)噪聲模型：e(k) =廠一 *V(k)(V(k)為白噪聲)時，我們采用廣義最 小二乘方法。其實驗結(jié)果如下，其程序見附錄。圖4-2 RGLS參數(shù)估計曲線從上圖可以看出，針對不同的參數(shù)模型，RELS和RGLS分別能發(fā)揮不同的 作用，并且給出參數(shù)的無偏一致估計，并順帶求出了噪聲參數(shù)，其辨識結(jié)果良好， 符合要求.五、輔助變量法在有些問題中，我們并不能事先知道參數(shù)的模型，而旦我們也不盂要求出噪 聲參數(shù)，這時普通的RLS

6、算法已經(jīng)不能滿足我們的要求，我們提出了輔助變呈 法，RIV。下圖給岀其實驗結(jié)果，具體程序見附錄。EJ Figure 4File Edit View Insert loots Qesktop Vtfndow Help、 JGlibl |O®Z<QiaS|BD參數(shù)變化曲線圖5-1 RIV有色噪聲時鑫數(shù)估計變化曲線從圖中可以看出，RIV算法對有色噪聲的情況，也能給出參數(shù)的無偏估計, 其結(jié)果與RLS （圖12）比較可以看出區(qū)別。六、總結(jié)RLS：當(dāng)噪聲模型是有色噪聲時，最小二乘參數(shù)估計不是你無偏、一致估計。而且 隨著數(shù)據(jù)的增長，最小二乘法出現(xiàn)數(shù)據(jù)飽和現(xiàn)象，以致算法慢慢失去修正能力。RFF

7、.RFM：RFF很簡單，在老數(shù)據(jù)加上遺忘因子以降低老數(shù)據(jù)提供的信息量，增加新數(shù) 據(jù)的信息量，RFM就比較特殊，其限定有效數(shù)據(jù)的長度L,即始終只有長度L的 數(shù)據(jù)在影響參數(shù)估計，可以從根本上解決數(shù)據(jù)飽和現(xiàn)象RCLS：當(dāng)噪聲是有色噪聲時，我們提出偏差補償最小二乘法，在算法中每次都減去 這個偏差量，使得最后的結(jié)果能夠逼近真值。但卻不適合噪聲為白噪聲的時候。RELS：當(dāng)噪聲模型:e(k) = D(Z-1)*v(k) ( v(k)為白噪聲)時，我們采用增廣最 小二乘方法。能辨識出參數(shù)(包括噪聲參數(shù))的無偏估計。RGLS：當(dāng)噪聲模型：e(k) = -4r-*v(k) ( v(k)為白噪聲)時，我們采用廣義最

8、 C (Z x )小二乘方法。能辨識出參數(shù)(包括噪聲參數(shù))的無偏估計。RIV：當(dāng)不確定參數(shù)模型時，我們可以直接采用RIV模型得到參數(shù)的無偏一致估 計。七、附錄1、RLS實驗程序:clc%產(chǎn)牛高斯白噪聲clear% yl=randii(l 2500); %yl=yl/std(yl);% yl=yl -mean(yl);% a=0;% b=sqrt(0.1);%yl=a+b*yl;%figure(l);%plot(yl);高斯白噪聲);for i=l:2500%產(chǎn)生有色噪聲11#yl(i)=l;endN=400;uk=rand(l,N);for i=l:N%產(chǎn)生隨機輸入uk(i)=uk(i)* (

9、-l)A(i-l);endfigiire(2);plot(uk);titlefRfi機輸入曲線*);yk=zeros(l,N);fork=3:N%定義輸出yk(k)=l .5 *yk(k-l)-0.7 *yk(k-2)+uk(k-l )+0.5 *ukQc-2)+yl (k);endfigure ；plot(yk);title。對應(yīng)輸出曲線兀 theta=O;O;O;O;p=10A6*eye(4);for t=3:N%迭代計算（Is算法）h=(-yk(t-l);-yk(t-2);uk(t-l);uk(t-2);x=l+h,*p*h;p=(p-p*h*l/x*h'*p);theta=th

10、eta+p*h*(yk(t)-hr*theta);alt(t)=theta(l);a2t(t)=theta(2);blt(t)=tlieta(3);b2t(t)=tlieta(4);end thetat=l:N;%繪制參數(shù)變化曲線figure ；Iot(t,alt(t),t,-1.5,t,a2t(t),t,0.7,t,blt(t),t,l,t,b2t(t),t,0.5);titled參數(shù)變化曲線)；text(300,-1.5,al,);text(300,0.7/a2r);textGOOl/bl1);text (300,0.5,1)2 9;#2、RFM實驗程序（部分）只給出算法更改部分：for

11、s=3:100;h=(yk(s-l);yk(s-2);uk(s-l);uk(s-2); p=p-p*h*nv(l+h,*p*h)*h,*p; theta=theta+p*h* (yktheta);end for t=3:N-100m=s-H;h=(yk(m-l);yk (m-2 );uk(m-1) ;uk(m-2); p=p-p*h*(inv(l+li,*p*h)*h,*p;theta=theta+p*h*(yk(m)-h'*theta);h=(yk(t-l);yk(t-2);uk(t-l);uk(t-2);p=p+p*h*(inv(l-h,*p*h)*h'*p;theta=t

12、heta+p*h*(yk(t)-h,*theta);alt(t)=theta(l);a2t(t)=theta(2);blt(t)=tlieta(3);b2t(t)=tlieta(4);end3、RCLS實驗程序(部分)theta=O;O;O;O;p=10A6*eye(4);j=0；thetc=O;O;O;O;for t=3:Nh=(-yk(t-l);-yk(t-2);uk(t-l);uk(t-2);x=l+h'*p*h;j=j+(yk(t)-h,*theta)A2)/(l-Hi,*p*h);p=(p-p*li*l/x+li,*p);theta=theta+p*li*(yk(t)-h,*

13、tlieta)d=l 0 0 0;0 1 0 0;0000;000 0;w=j/(t* (1 +tlietcr* d* theta);thetc=thetat*w*p*d*thetc;alt(t)=thetc(l);a2t(t)=thetc(2);blt(t)=tlietc(3);b2t(t)=tlietc(4);end4、RELS實驗程序(部分)for t=3:Nh=(-yk(t-l);-yk(t-2);uk(t-l);uk(t-2);yl(t-l);yl(t-2);x=l+hr*p*h;p=(p-p*h*l/x*h'*p);theta=theta+p*h*(yk(t)-h,*the

14、ta);alt(t)=theta(l);a2t(t)=theta(2);blt(t)=tlieta(3);b2t(t)=tlieta(4);dlt(t)=tlieta(5);d2t(t)=theta(6);end5、RGLS試驗程序(部分)for t=3:Nhe=(-e(t-l);-e(t-2);xe=H-he'*pe*he;pe=(pe-pe*he*l/xe*he,*pe);thete=thete+pe*he*(e(t)-he'*thete);clt(t)=thete(l);c2t(t)=thete(2);end for t=3:N15£專aMq_s£am"二二 q"swne二 e ,(£oqr-To)PIX*-rd+£a>q芥xdtrx 二*-rdd=d hklh-ihx (Z1)PI三?0PIA2)pir(r).piTTq (2)¥res0+( =)&#