第四章-最小二乘參數(shù)辨識方法及原理

1、建模與辨識 第第4章章 最小二乘參數(shù)辨識方法最小二乘參數(shù)辨識方法 4.1、輸入輸出模型、輸入輸出模型 4.2 最小二乘法（最小二乘法（LS） 4.3 遞推最小二乘法（遞推最小二乘法（RLS） 4.4 數(shù)據(jù)飽和現(xiàn)象及適應(yīng)性算法數(shù)據(jù)飽和現(xiàn)象及適應(yīng)性算法 4.4.1 數(shù)據(jù)飽和現(xiàn)象數(shù)據(jù)飽和現(xiàn)象 4.4.2 漸消記憶法漸消記憶法(遺忘因子法遺忘因子法) 4.4.3 限定記憶法（固定窗）法限定記憶法（固定窗）法 4.4.4 輔助變量法（輔助變量法（IV） 4.4.5 遞推輔助變量法（遞推輔助變量法（RIV） 4.5 廣義最小二乘法（廣義最小二乘法（GLS） 4.6 遞推廣義最小二乘法（遞推廣義最小二乘法（

2、RGLS） 4.7 增廣矩陣法（增廣矩陣法（ELS/RELS）（增廣最小二乘法）（增廣最小二乘法） 4.8 多階段最小二乘法（多階段最小二乘法（MSLS） 4.9 幾種最小二乘類辨識算法的比較幾種最小二乘類辨識算法的比較 本章內(nèi)容本章內(nèi)容 本章的學(xué)習(xí)目的本章的學(xué)習(xí)目的 1、掌握最小二乘參數(shù)辨識方法的基本原理 2、掌握常用的最小二乘辨識方法 3、熟練應(yīng)用最小二乘參數(shù)辨識方法進(jìn)行模型參數(shù)辨識 4、能夠編程實現(xiàn)最小二乘參數(shù)辨識 回回 顧顧 辨識目的：辨識目的：根據(jù)過程所提供的測量信息，在某種準(zhǔn)則意 義下，估計模型的未知參數(shù)。 Process InputOutput 工程實踐 目 的模型結(jié)構(gòu) 參數(shù)辨識

3、模型校驗 模型確定 )(kG ( )u k( )x k )(kv ( )y k )(kG ( )u k )(ky 4.1 輸入輸出模型輸入輸出模型 ( )( )( )y kx kv k 隨機(jī)模型隨機(jī)模型 確定性模型確定性模型 1.確定性模型確定性模型 )(kG )(ku)(ky n階差分方程描述： 012 012 a( )(1)(2)() b( )(1)(2)() n m y ka y ka y ka y kn u kbu kb u kb u km 0 10 ( )()() nm ii ii a y ka y kibu ki 0 1,amn令 10 ( )()() nn ii ii y ka

4、y kibu ki 1.確定性模型確定性模型 )(zG )(ku)(ky 脈沖傳遞函數(shù)描述： 11 01 11 1 ( )() ( )= ( )1() n n n n bb zb zY zB z G z U za za zA z 2.隨機(jī)模型隨機(jī)模型 10 x( )x()() nn ii ii kakibu ki 觀測值可表示為： ( )x( )v( )y kkk 系統(tǒng)真實輸入輸出之間的關(guān)系為： )(kG u( )k x( )k )(kv y( )k 整理得： 101 ( )()()+v(k)+v() nnn iii iii y ka y kibu kiaki ( )k 2.隨機(jī)模型隨機(jī)模型

5、)(kG u( )k x( )k )(kv y( )k 10 ( )()+()(k) nn ii ii y ka y kibu ki 相當(dāng)于進(jìn)行m次獨立試驗，得到 11 ( ,)u y 22 (,)uy (,) mm uy (1) (2) ( ) m y y Y y m (1)(0)(1)(0)(1) (2)(1)(2)(1)(2) ( )(1)()(1)() m yynuun yynuun my my m nu mu m n 10 T nn aabb(1)(2)( ) T m Vm mmm YV m次獨立試驗的數(shù)據(jù) 11 ( ,)u y 22 (,)uy (,) mm uy y u ( )f

6、 u 1795年，高斯提出了最小二乘方法。 )(kG ( )u k( )x k )(kv ( )y k 未知量的最可能值是使各項實 際觀測值和計算值之間差的平方乘 以其精確度的數(shù)值以后的和為最小。 1795年，高斯提出的最小二乘的基本原理是 Gauss（1777-1855） ( )( )( )y kx kv k 使使 最小最小 2 1 ( )| ( )( )| m k w ky kx k 未知量的最可能值是使各項實 際觀測值和計算值之間差的平方乘 以其精確度的數(shù)值以后的和為最小。 1795年，高斯提出的最小二乘的基本原理是 Gauss（1777-1855） )()()(kvkykz 使使 最小

7、最小 m k kykzkw 1 2 | )()(| )( 3、最小二乘辨識方法的基本概念、最小二乘辨識方法的基本概念 通過試驗確定熱敏電阻阻值和溫度間的關(guān)系 當(dāng)測量沒有任何誤差時，僅需2個測量值。 每次測量總是存在隨機(jī)誤差。 btaR iiiiii btayvRyv或 3利用最小二乘法求模型參數(shù)利用最小二乘法求模型參數(shù) 根據(jù)最小二乘的準(zhǔn)則有 N i ii N i i btaRvJ 1 2 1 2 min )( 根據(jù)求極值的方法，對上式求導(dǎo) N i iii bb N i ii aa tbtaR b J btaR a J 1 1 0)(2 0)(2 N i iii bb N i ii aa tbt

8、aR b J btaR a J 1 1 0)(2 0)(2 N i N i ii N i ii N i N i ii tRtbta RtbaN 111 2 11 2 11 2 111 2 11 2 111 2 1 N i i N i i N i i N i i N i ii N i i N i i N i i N i ii N i i N i i ttN tRtRN b ttN ttRtR a 3 利用最小二乘法求模型參數(shù)利用最小二乘法求模型參數(shù) 762.702 a 4344. 3 b Ct 70 168.943R 2 11 2 111 2 11 2 111 2 1 N i i N i i N

9、 i i N i i N i ii N i i N i i N i i N i ii N i i N i i ttN tRtRN b ttN ttRtR a btaR mmm YV z t )(tf 4.2 最小二乘法 一個單輸入單輸出線性定常系統(tǒng)可用圖4-1表示。系統(tǒng)的差 分方程為 12 01 12 121,2, n n x ka x ka x ka x kn b u kbu kb u knk (4-1) )(kG )(ku)(kx )(kv )(ky 為隨機(jī)干擾。由上式得 把式 (4-3)代入式(4-1)，得 12 01 12 12 1 12 n n n y ka y ka y ka y

10、kn b u kbu kb u kn v ka v ka v ka v kn 觀測值 用下式表示： y k y kx kv k(4-2) v k x ky kv k(4-3) 即 101 nnn iii iii y ka y kibu kiv ka v ki (4-4) 如果 也有測量誤差，則在 中應(yīng)包含這一測量誤差。 u k k 則式(4-4)變成 10 ( ) nn ii ii y ka y kibu kik (4-6) 假設(shè) 是均值為零的獨立分布的平穩(wěn)隨機(jī)序列，且與 序列 相互獨立。設(shè) 1,2,v kkn 1,2,u kkn 0 n i i kv ka v ki (4-5) 現(xiàn)在分別測出

11、個 輸出值和輸入值： 及 。則可寫出N個方程： nN 12yyy nN， ， 12uuu nN， ， )()()()() 2() 1()( ) 1() 1 ()() 1() 1 () 1()() 1( 021 1021 NnNubNnubNyaNnyaNnyaNny nubnubnubyanyanyany nn nn 1 2 0 1 (1)( )(1)(1)(1)(1) (2)(1)(2)(2)(2)(2) ()(1)() ()()() n n a a y ny nyu nun ay ny nyu nun b y nNy nNy N u nNu NnNb b 上述N個方程可寫成下列向量矩陣形式

12、 式中 為N個輸出值組成的向量； 所組成的n維向量 ， 所組成的 維向量； 所組成的N維噪聲， 即 y 12n aaaa， ， ，為 01n bbbb， ， ，為1n 12nnnN， ，為 1 0 11 22 , n n a y nn a y nn b y nNnN b a y b ， 或 a yY U b (4-7) 為輸出值 所組成的 陣塊； 為輸 入值 所組成的 矩陣塊。即 Y 121yyy n N， N nU 12uuu nN，1Nn 1111 12112 121 y ny nyu nu nu y ny nyu nu nu y n Ny n Ny Nu n Nu n Nu N Y U

13、(4-8) 式(4-7)也可寫成 y (4-9) 式中 a Y U b ， 為 維測量矩陣， 為 維參數(shù)向量。因此，式(4-9) 是一個含有 個未知參數(shù)的N個方程組成的聯(lián)立方程組。如果 ，則方程組是不定的，不能唯一地確定參數(shù)向量。如 果 ，則當(dāng)測量誤差 時，就能準(zhǔn)確地解出參數(shù)向量， 即 21Nn21n 21n 21Nn 21Nn0 1 y(4-10) 如果測量誤差不等于零，則 11 y(4-11) 從上式可看出，隨機(jī)測量噪聲 對參數(shù) 的估計值有影響，為了 盡量減小 對 的估值的影響，應(yīng)該取 ，即方程數(shù)目大于 未知數(shù)數(shù)目。在這種情況下，不能用解方程的方法求 ，而要采用 數(shù)理統(tǒng)計的方法求 的估值。

14、這樣可減小 對 的估值的影響。這 種給定測量向量 和測量矩陣 求參數(shù) 估值的問題，就是系統(tǒng)參 數(shù)的辨識問題。 21Nn y 式中 1 2 , y n y n y nN a y b 寫出式(4-12)的某一行，得 10 12 nn ii ii y ka y kibu kiknnnN ， ， (4-13) 設(shè) 表示 的最優(yōu)估值， 表示 的最優(yōu)估值，則有 y y y (4-12) 設(shè) 表示 與 之差，通常稱它為殘差。 e k y k y k 10 12 nn ii ii e ky ky ky ka y kibu ki knnnN ， ， (4-14) 由式(4-14)得 10 nn ii ii y

15、ka y kibu kie k (4-15) 把 分別代入式(4-14)，可得殘差 把這些殘差寫成向量形式： 12knnnN， ， 1e n ， 2e ne nN， ， 1 2 e n e n e nN eyy (4-16) 最小二乘法估計要求殘差的平方和為最小，即按照指標(biāo)函數(shù) T T Je eyy 為最小確定估值 。 (4-17) 可按 來求 的最小二乘法估計值 。0 J 20 T J y 即 TT y 由此式用 左乘等號的兩邊，得 1 T 1 TT y (4-18) 顯然，當(dāng)矩陣 存在時，式(4-18)才有解。一般說來，如果 是隨機(jī)序列或偽隨機(jī)二位式序列，則矩陣 是非奇異的 ，即 存在，式

16、(4-18)有解。 1 T u k 1 T T J為極小值的充分條件是為極小值的充分條件是 2 2 0 T J (4-19) 因為 有解與 正定等價，所以可以保證 正定來確定對 輸入 序列的要求。由式(4-9)可知 T T u k Y U(4-20) 則 TTT T TTT Y YYY U Y U UU YU U 因此，要求 正定，根據(jù)正定矩陣的性質(zhì)，必須保證 正定 。這個條件稱為 階持續(xù)激勵條件。通常，輸入 序列采用隨 機(jī)序列或M序列時，它們都滿足這個持續(xù)激勵條件。顯然，若 為常值序列時， 為奇異陣，不滿足持續(xù)激勵條件。 T T U U n u k u k T U U 因輸出值 是隨機(jī)的，所

17、以 是隨機(jī)的，但要注意到 不是隨機(jī) 的。如果 y EE 則稱 是 的無偏估計。 如果式(4-6)中的 是不相關(guān)隨機(jī)序列，且其均值為零（ 實際上 往往是相關(guān)隨機(jī)序列，對這種情況，以后專門討論。 并假設(shè)序列 與 不相關(guān)。當(dāng) 為不相關(guān)隨機(jī)序列時， 只與 及其以前的 有關(guān)，而與 及其 以后的 等無關(guān)。從 的展開式可看出， 與 不相關(guān)。 k k k n k k y k k12kk， ，1k 23kk， ， ， T 的展開式如下所示： T 11 1 12 2 12 12 11 12 T y ny ny nN n y ny ny nN n yyy N u nu nu nN u nu nu nN nN uuu

18、 N (4-22) 1 TT EEE 對上式等號兩邊取數(shù)學(xué)期望 由于 與 不相關(guān)， 則式(4-18)給出的 是 的無偏估計。把式 (4-9)代入式(4-18)，得 11 TTTT (4-23) 只要 ，便有 0E 1 TT EEE 式(4-24)表明 ， 是 的無偏估計。 (4-24) 顯然，根據(jù)這一條件，要使最小二乘估計為無偏，可不必要求 。當(dāng) 時，如何構(gòu)造無偏估計，這是本章將要討論 的輔助變量法所要解決的問題。 0E 0E 在上面我們要求 是零均值的不相關(guān)隨機(jī)序列，并要求 與 無關(guān)，則 與 無關(guān)。這是最小二乘估計為無偏估計的充 分條件，但不是必要條件。 k k u k 1 0 TT E (

19、4-25) 以上分析表明，當(dāng) 時， 以概率1趨近于 。因此，當(dāng) 為不相關(guān)隨機(jī)序列時，最小二乘估計具有一致性和無偏性。如果 系統(tǒng)的參數(shù)估計具有這種特性，就說系統(tǒng)具有可辨識性。 N k 例4.2 考慮仿真對象 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz )() 2() 1() 2() 1()( 2121 kVkubkubkzakzakz 選擇如下的辨識模型進(jìn)行一般的最小二乘參數(shù)辨識。 4 階 M 序 列 輸 出 信 號 )16( )4( ) 3( z z z Z m (3)(2)(1)(2)(1) (4)(3)(2)(3)(2) (16)(15)

20、(14)(15)(14) m zzuu zzuu zzuu 2 1 2 1 b b a a 1 () TT mmmm Z 開始 產(chǎn)生輸入信號 M 序列 產(chǎn)生輸出信號 y（k） 給出樣本矩陣 m 和 m Y 估計參數(shù) 分離估計參數(shù) 1 a、 2 a、 01 ,b b和 2 b 結(jié)束 畫圖：輸入/輸出信號和估計參數(shù) 一般最小二乘參數(shù)辨識流程圖 作業(yè)作業(yè)1 1 1 11 113 101 012 113 1101101 101 1011012 012 21 33 TT TTTT YV r YRr r rr ER y 其中： ， 由最小二乘法計算公式可得： 均方誤差為： 12 33 rr 4.3 遞推最

21、小二乘法原理及算法遞推最小二乘法原理及算法 )(kG )(ku( )x k )(kv ( )y k 圖 SISO 系統(tǒng)的“灰箱”結(jié)構(gòu) 一般最小二乘或加權(quán)最小二乘為一次完成算法或批處理算法。 計算量大、存儲大、不適合在線辨識。 采用參數(shù)遞推估計遞推最小二乘算法。 4.3 遞推最小二乘法辨識 遞推最小二乘法辨識是一種在線算法。這種方法的辨識精度隨 著觀測次數(shù)的增加而提高。 設(shè)已得到的觀測數(shù)據(jù)長度為N，把式(4-9) 中的 分別用 代替，即 y、和 NNN y 、及 NNN y (4-32) 用 表示 的最小二乘估計，則 N 1 TT NNNNN y (4-33) 估計誤差為 1 TT NNNNNN

22、 (4-34) 估計誤差 的方差陣為 N 1 22 Var T NNNN P (4-35) 上式中，設(shè) 1 T NNN P (4-36) 于是，式(4-33)變成 T NNNN yP (4-37) 式中 11 1 1,1 11 ,11 NN T N yy nNnN y nNy nNy Nu nNu N ， ， ， 如果再獲得一組新的觀測值 和 ，則又增加 一個方程 1y nN1u nN 111 T NNN y (4-38) 將式(4-32)和式(4-33)合并，寫成分塊矩陣形式，可得 111 T NNN T NNN y y (4-39) 由上式給出新的參數(shù)估值 1 1 1111 111 TT

23、NNNN N TTT NNNN T NNNNN y y Pyy (4-40) 式中 1 1 111 11 1 1 11 T NN TT NNNNN TT NN T NNN P P (4-41) 令A(yù)=PN-1 ，B=C= 展開式(4-41)的右端， 于是得 到 和 的遞推關(guān)系式： 1N P N P 1 11111 TT NNNNNNNNN PPPIPP(4-42) 111111 ()() TTT ABCAA B IC A BC A 應(yīng)用矩陣求逆引理， 1N 矩陣 為 矩陣，求這個矩陣的逆陣的逆 陣是很麻煩的。應(yīng)用矩陣求逆引理之后，就可把求 的 逆陣轉(zhuǎn)變?yōu)榍髽?biāo)量 的倒數(shù)，這樣可大大節(jié)省計算量 ，

24、同時又得到 與 的簡單遞推關(guān)系式。 1 11 T NNN P 21 21nn 21 21nn 11 1 T NNN P 1N P N P 由于 為標(biāo)量，因此式(4-42)可寫成 11 T NNN P 11 1 11 1 T NNNN NN T NNN PP PP P (4-43) 由式(4-40)和式(4-37)得 1111 1 111 1 111 T NNNNNN T NNNNNNN NNNNN Pyy PP Pyy PPy 把式(4-43)代入上式得 1 1 1111111 1 111111 1 111111 1 1 1 TT NNNNNNNNNNNNN TT NNNNNNNNNNN TT NNNNNNNNN PPPPPy PPPy PPPy 上式的后兩項為 1 11111111 1 111111 1 111111 1 1111 1 11 1 1 TT NNNNNNNNNNNN TT NNNNNNNNN TT NNNNNNNNN T NNNNNN PyPP