系統(tǒng)辨識課件：第5章 極大似然法辨識

1、1第5章 極大似然法辨識 應(yīng)用極大似然法進(jìn)行系統(tǒng)模型的參數(shù)估計已有較長的歷史，也是一種比較常用的方法。在某種意義上講，它是和最小二乘相并行的方法，但是極大似然法的思路與最小二乘法完全不同。 極大似然法是由Fisher發(fā)展起來的一種參數(shù)辨識方法，可用來處理相關(guān)噪聲的情況。其實該方法最早是由高斯所論述的。2 基本思想：構(gòu)造一個觀察數(shù)據(jù)和待估參數(shù)為自變量的函數(shù)，即所謂似然函數(shù)（Likelihood function），它是觀測數(shù)據(jù)和待估參數(shù)的聯(lián)合概率密度函數(shù)。 對于一組觀測數(shù)據(jù)yl, y2, , yN，它所具有的聯(lián)合概率分布表示了出現(xiàn)該觀測結(jié)果的可能性。而觀測數(shù)據(jù)的聯(lián)合概率密度與待估參數(shù)密切相關(guān)，不

2、同的參數(shù)值將有不同的概率密度函數(shù)。3設(shè)某離散隨機(jī)過程V(k)與待辨識參數(shù)有關(guān)。其概率分布密度已知。5.1 極大似然法原理44 極大似然法需要構(gòu)造一個以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)，并通過極大化這個似然函數(shù)，獲得模型參數(shù)的估計值。5可見，似然函數(shù)最直接的取法為： 觀察值概率分布密度函數(shù)的乘積辨識準(zhǔn)則：以觀測值的出現(xiàn)概率最大作為準(zhǔn)則。如何構(gòu)造指標(biāo)函數(shù)？稱為似然函數(shù)因此，使該似然函數(shù)為最大時的參數(shù)估計值就稱為： 極大似然參數(shù)估計簡稱ML參數(shù)辨識方法。6辨識的原則就是使得L達(dá)到極大值，即：(5.1)75.2 系統(tǒng)參數(shù)的極大似然估計式中，(k)為高斯白噪聲序列且與u(k)無關(guān)。系統(tǒng)差分方程：上式寫成

3、向量形式為：系統(tǒng)估計殘差為：8設(shè)e(k) 方差為由于(k)為高斯白噪聲，故而可設(shè)e(k)也為高斯白噪聲。9可見在(k)為高斯白噪聲序列這一特殊情況下，極大似然辨識與一般最小二乘法辨識具有相同結(jié)果。10 在實際工程問題中，(k)往往不是白噪聲序列，而是相關(guān)噪聲序列。系統(tǒng)差分方程：則：11則系統(tǒng)估計殘差e(k)為：12可設(shè)e(k)也為高斯白噪聲。則似然函數(shù)L為：得：13牛頓-拉甫森（Newton-Raphson）法：其中：14整個迭代計算步驟如下：（1）選定初值。（2）計算預(yù)測誤差。15（3）計算梯度Q和海森矩陣H。1617（4）計算新估值18 最大似然法的優(yōu)點足可以適用于很大一類模型結(jié)構(gòu)和實驗條

4、件，無論在白噪聲于擾或有色噪聲干擾下，均有良好的統(tǒng)計特性 ，其參數(shù)估計量具有良好的漸進(jìn)性質(zhì)。 其缺點是用最大似然法估計參數(shù)時，最終要?dú)w結(jié)為使似然函數(shù)的值為最大的最優(yōu)化問題，這種方法往往得不到解析解，必須采用數(shù)值解法，因此計算工作量比較大。 構(gòu)造似然函數(shù)時必須具備足夠的先驗知識，能夠?qū)懗鲚敵隽織l件概率密度函數(shù)。19第6章 系統(tǒng)階次的辨識 系統(tǒng)的階次，對傳遞函數(shù)模型而言，指極點的個數(shù)；對狀態(tài)空間模型而言，指最小實現(xiàn)的狀態(tài)個數(shù)；在系統(tǒng)噪聲為有色噪聲的情況下，還須加噪聲譜的階。 階次辨識和參數(shù)估計兩者是互相依賴的，也就是說進(jìn)行參數(shù)估計時需要已知階次；而辨識階次時又要利用參數(shù)估計值，兩者是不可分離的。2

5、0模型階的確定 在一些實際問題中，模型的階可以按理論推導(dǎo)獲得，而在另一些實際問題中，模型的階卻無法用理論推導(dǎo)的方法確定，需要對模型的階進(jìn)行辨識。下面介紹幾種常用的模型階的確定方法。 6.1 按殘差方差定階 一種簡單而有效的方法就是選定模型階數(shù)n的不同取值，按估計誤差方差最小或F檢驗來確定模型的階。1)按估計誤差方差最小定階 考慮系統(tǒng)模型 21（6.1）式中： 為輸出； 為輸入。 設(shè) 是均值為0、方差為 的白噪聲序列。用最小二乘法求出 的估值。具體為 （6.2）（6.3）（6.4）22殘差為 23圖6.1 曲線圖 24如圖5.1 所示，對某一系統(tǒng)，當(dāng) =1，2，時， 隨著 的增加而減小。如果 為

6、正確的階，則在 時， 出現(xiàn)最后一次陡峭的下降， 再增大，則 保持不變或只有微小的變化。 圖6.1 所示的例子， =3。 255.2 確定模型階的F檢驗法 由于 隨著 的增加而減小，在階數(shù) 的增大過程中，我們對那個使 顯著減小的階 感興趣。為此，引入準(zhǔn)則 （6.7）式中 表示具有N對輸入和輸出數(shù)據(jù)、有 個模型參數(shù)的系統(tǒng)估計誤差的平方和。26表6.1 某一系統(tǒng)計算結(jié)果 0.99 3.15 9.43 9.67 50.94 416.56 418.73 426.40 447.25 469.64 592.65 6 5 4 3 2 1計算時取 ， ， 。從表6.1可以看出：當(dāng) 時，t 的減小是顯著的；當(dāng) 時

7、，t 的減小是不顯著的。所以該系統(tǒng)的階數(shù)可選為3。 對某一系統(tǒng)的計算結(jié)果如表6.1所列。 27 由于統(tǒng)計量t是服從F分布的，對于式（6-7）則有 若置信度為，查F分布表可得t=F(2,N-2n-2)。如果 則系統(tǒng)階次為n0例如，取置信度=0.05，在N=100,200,400,時，從F分布表查得F（2，100）=3.09 F（2，200）=3.04F（2，400）=3.02 F（2， ）=3.00286.3 確定階的Akaike信息準(zhǔn)則 與上述2個準(zhǔn)則不同，Akaike信息準(zhǔn)則（AIC，Akaike Information Criterion）是一個考慮了模型復(fù)雜性的準(zhǔn)則。這個準(zhǔn)則定義為 （6

8、.8）式中：L是模型的似然函數(shù)；P 是模型中的參數(shù)數(shù)目。當(dāng)AIC為最小的那個模型就是最佳模型。這個準(zhǔn)則是Akaike總結(jié)了時間序列統(tǒng)計建模的發(fā)展史，在企圖對一個復(fù)雜系統(tǒng)尋找近似模型的概率論的大量探索啟示下，借助信息論而提出的一個合理的確定階的準(zhǔn)則。在一組可供選擇的隨機(jī)模型中，AIC最小的那個模型是一個可取的模型。這個準(zhǔn)則的優(yōu)點就在于它是一個完全客觀的準(zhǔn)則，應(yīng)用這個準(zhǔn)則時，不要求建模人員主觀地判斷“陡峭的下降”。 291)白噪聲情況下的AIC定階公式 根據(jù)前面幾節(jié)的討論和定義，由式（6.9）可寫出關(guān)系式 （6.10）30輸出變量 在條件 下的似然函數(shù)為 （6.11）對上式取對數(shù)可得 （6.12）

9、求使 為最大的 的估值 。根據(jù) 可得 與前述的最小二乘估計一致。按照 可得 31即（5.13）式中c為一常數(shù)。 3233例2.4 系統(tǒng)模型為 式中： 是均值為0、方差為1且服從正態(tài)分布的不相關(guān)隨機(jī)噪聲；輸入信號 采用偽隨機(jī)數(shù)。辨識模型采用的形式為 數(shù)據(jù)長度取N=1024。為了避免非平穩(wěn)過程的影響，去掉前300個數(shù)據(jù)，取 =1，2，3，4， =1，2，3，4，分別計算AIC（ ， ），即34計算結(jié)果如表5.2 所列。顯然，應(yīng)取 =3， =2，可見利用AIC確定的模型階次與系統(tǒng)的真實階次相同。 表5.2 不同 和 所對應(yīng)的AIC 16.218 15.108 15.931 417.649 15.599 14.070 25.864 316.800 30.393 51.085 280.046 223.380 97.353 341.766 1022.94 14321352)有色噪聲情況