系統(tǒng)辨識(shí)課件：第4章 數(shù)學(xué)模型的最小二乘法辨識(shí) -3

1、12最小二乘估計(jì)法的缺陷 最小二乘估計(jì)的無偏性、一致性等概率性質(zhì)，都是在(k)為零均值、不相關(guān)隨機(jī)序列的前提下得到的。 但實(shí)際系統(tǒng)中(k)往往是相關(guān)的，有些系統(tǒng)即使外加干擾為不相關(guān)的隨機(jī)序列，但在參數(shù)估計(jì)過程中，也變成相關(guān)的隨機(jī)序列了。3最小二乘估計(jì)法的缺陷4最小二乘估計(jì)法的缺陷 可見(k)是相關(guān)序列，進(jìn)而得到的最小二乘參數(shù)估計(jì)不是無偏、一致估計(jì)。 因而，LS估計(jì)方法的應(yīng)用受到一定限制，下面介紹在LS基礎(chǔ)上加以改進(jìn)的方法。54.10 輔助變量法 現(xiàn)在開始討論如何克服最小二乘法的有偏估計(jì)問題。 對(duì)于原辨識(shí)方程 （2.157）當(dāng) 是不相關(guān)隨機(jī)序列時(shí)，最小二乘法可以得到參數(shù)向量 的一致性無偏估計(jì)。但

2、是，在實(shí)際應(yīng)用中 往往是相關(guān)隨機(jī)序列。 6用 乘以式（2.157）等號(hào)兩邊得 （2.158）由上式可得 （2.159） 這可以簡(jiǎn)單地理解為所選擇的輔助變量應(yīng)與 不相關(guān)，但與 和 中的 強(qiáng)烈相關(guān)。78式中Q是非奇異的。 假定存在著一個(gè) 的矩陣Z（與 同階數(shù)）, 滿足約束條件 （2.162）9因此輔助變量估計(jì)是無偏估計(jì)。 10 剩下的問題是如何選擇輔助變量，即如何確定輔助變量矩陣Z的各個(gè)元素。選擇輔助變量的基本原則是式（2.162）所給出的兩個(gè)條件必須得到滿足。 11Z可以有各種選擇方法，下面介紹兩種常用的選擇方法。1）迭代輔助變量參數(shù)估計(jì)法 1213迭代輔助變量參數(shù)估計(jì)法 計(jì)算步驟：142）自適

3、應(yīng)濾波法 式中： 取 ；d 取 ； 為k時(shí)刻所得到的參數(shù)向量估計(jì)值。當(dāng) 是持續(xù)激勵(lì)信號(hào)時(shí)，所選的輔助變量可以滿足式（2.162）所給出的2個(gè)約束條件。 15154.11 廣義最小二乘法（GLS） 對(duì)于原辨識(shí)方程 當(dāng) 是不相關(guān)隨機(jī)序列時(shí)，最小二乘法可以得到參數(shù)向量 的一致性無偏估計(jì)。但是，在實(shí)際應(yīng)用中 往往是相關(guān)隨機(jī)序列。其中 為零均值白噪聲序列。 控制系統(tǒng)中的絕大多數(shù)情況下 可以表示為一個(gè)白噪聲序列為輸入的線性系統(tǒng)的輸出，則有1616廣義最小二乘法原理 ：則上式進(jìn)一步可表示為 帶入系統(tǒng)模型 中 則有 （*） 令 帶入（*）式中，則有而 f(z-1)是未知的，下面給出其近似算法。1717f (z

4、-1)近似算法18GLS算法的計(jì)算步驟如下：1.應(yīng)用得到的輸入輸出數(shù)據(jù)u(k)和y(k)，按照模型 求出的最小二乘估計(jì); k=1,2,n+N 2.計(jì)算殘差e(k) ;193.用殘差e(k) 代替(k) ，計(jì)算 f 的估值;204.計(jì)算yf(k)和uf(k);6. 返回步驟（2），直到的估值收斂為止。5. 用得到的yf(k)和uf(k)，按模型用最小二乘法重新估計(jì)。21上述循環(huán)的收斂性可用下式判斷。 即經(jīng)過i次循環(huán)，當(dāng)i比較大時(shí)，f（z-1）近似為1。意味著以把殘差白噪聲化了。22廣義最小二乘法是一種迭代方法，不一定總能保證算法對(duì)最優(yōu)解的收斂性。為了獲得較好的計(jì)算結(jié)果，參數(shù)估計(jì)的初值應(yīng)盡量選的接

5、近最優(yōu)參數(shù)估值。在沒有驗(yàn)前信息的情況下，最小二乘估計(jì)被認(rèn)為是最好的初始條件。廣義最小二乘法的收斂比較慢，往往需要進(jìn)行多次迭代計(jì)算。234.12最小二乘類辨識(shí)算法的比較1.基本最小二乘法（LS） （1）對(duì)白噪聲，參數(shù)估計(jì)是無偏的一致的最小方差估計(jì)。 （2）對(duì)有色噪聲，參數(shù)估計(jì)有偏，但具有收斂性。 （3）對(duì)未知的直流分量敏感。（4）對(duì)高階系統(tǒng)，優(yōu)于其它算法，可作為其它辨識(shí)算法的較好的起始算法。 （5）一次完成算法精度較高，但逆矩陣計(jì)算量大，不適于在線辨識(shí)。 （6）數(shù)據(jù)較多時(shí)，占用存儲(chǔ)量和機(jī)時(shí)較多。 242.遞推最小二乘法（RLS） （1）對(duì)白噪聲，參數(shù)估計(jì)是無偏的一致的最小方差估計(jì)。 （2）對(duì)有色

6、噪聲，參數(shù)估計(jì)有偏，但具有收斂性。 （3）對(duì)未知的直流分量敏感。（4）對(duì)高階系統(tǒng)，優(yōu)于其它算法，可作為其它辨識(shí)算法的較好的起始算法。 （5）計(jì)算量少，占用內(nèi)存較少。 （6）適用于在線辨識(shí)，采用自適應(yīng)算法后，可用以時(shí)變系統(tǒng)的辨識(shí)。253.輔助變量法（IV） （1）估計(jì)值是弱一致估計(jì)的。 （2）遞推輔助變量法，對(duì)初態(tài)敏感，初態(tài)選取得不合適，就可能不收斂。一般在前50100個(gè)采樣點(diǎn)用遞推最小二乘法，然后轉(zhuǎn)到輔助變量法。（3）算法簡(jiǎn)單，計(jì)算量少，但不能得到噪聲模型。264.廣義最小二乘法（GLS） （1）可以得到噪聲模型：在不改變參數(shù)的情況下，對(duì)系統(tǒng)IO和噪聲進(jìn)行變換。（3）抗干擾能力強(qiáng)：當(dāng)信噪比較大

7、時(shí)，辨識(shí)精度較高。（2）計(jì)算量較大：廣義最小二乘收斂較慢，為了得到較準(zhǔn)確的參數(shù)估值，往往需要進(jìn)行多次迭代運(yùn)算。（4）要求數(shù)據(jù)充分，初值對(duì)辨識(shí)結(jié)果有較大影響（5）廣義最小二乘法，遞推計(jì)算與離線計(jì)算結(jié)果不完全一樣。274.13 相關(guān)最小二乘法 相關(guān)最小二乘法（COR-LS），是一種兩步法估計(jì)出參數(shù)模型的參數(shù)值的辨識(shí)方法。 首先用相關(guān)分析法辨識(shí)系統(tǒng)的脈沖響應(yīng)函數(shù)，確定出被辨識(shí)系統(tǒng)的非參數(shù)模型，然后再應(yīng)用最小二乘法將非參數(shù)模型擬合成參數(shù)模型。維納霍夫方程28自相關(guān)函數(shù)：互相關(guān)函數(shù)：則M序列輸入時(shí) 29設(shè)單輸入-單輸出線性定常系統(tǒng)的差分方程為： 設(shè)輸入信號(hào)與隨機(jī)噪聲序列是不相關(guān)的。上式兩邊乘以u(píng)(k-)

8、，并取數(shù)學(xué)期望，得到： 30上式寫成最小二乘格式：其中e()表示相關(guān)函數(shù)用對(duì)應(yīng)的估計(jì)值代替后所造成的誤差。311、白噪聲輸入信號(hào)32令=1，2，N.N2n332、二位式M序列輸入信號(hào)令=1，2，N.N2n，NpN3435輔助變量法 這可以簡(jiǎn)單地理解為所選擇的輔助變量應(yīng)與 不相關(guān)，但與 和 中的 強(qiáng)烈相關(guān)。廣義最小二乘法 相關(guān)最小二乘法 首先用相關(guān)分析法辨識(shí)系統(tǒng)的脈沖響應(yīng)函數(shù)，確定出被辨識(shí)系統(tǒng)的非參數(shù)模型，然后在應(yīng)用最小二乘法將非參數(shù)模型擬合成參數(shù)模型。36373.5 M序列作輸入信號(hào)辨識(shí)脈沖響應(yīng)的步驟：1）預(yù)估過程的過渡過程時(shí)間Ts和過程的最高工作頻率fmax；2）設(shè)計(jì)M序列參數(shù)（Np，a） Np（1.21.5）Ts/ =（0.10.3）/fmax 選擇在穩(wěn)態(tài)工作點(diǎn)u附近，一般取a=u/103）至少送2個(gè)M序列，測(cè)第二個(gè)M序列的響