極大似然參數(shù)辨識方法

1、2 極大似然參數(shù)辨識方法極大似然參數(shù)估計方法是以觀測值的出現(xiàn)概率為最大作為準(zhǔn)則的，這是一種很普遍的參數(shù)估計方法，在系統(tǒng)辨識中有著廣泛的應(yīng)用。2.1 極大似然原理設(shè)有離散隨機(jī)過程與未知參數(shù)有關(guān)，假定已知概率分布密度。如果我們得到n個獨立的觀測值，則可得分布密度，,。要求根據(jù)這些觀測值來估計未知參數(shù)，估計的準(zhǔn)則是觀測值的出現(xiàn)概率為最大。為此，定義一個似然函數(shù) （2.1.1） 上式的右邊是n個概率密度函數(shù)的連乘，似然函數(shù)L是的函數(shù)。如果L達(dá)到極大值，的出現(xiàn)概率為最大。因此，極大似然法的實質(zhì)就是求出使L達(dá)到極大值的的估值。為了便于求，對式（2.1.1）等號兩邊取對數(shù)，則把連乘變成連加，即 （2.1.2

2、）由于對數(shù)函數(shù)是單調(diào)遞增函數(shù)，當(dāng)L取極大值時，lnL也同時取極大值。求式（2.1.2）對的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)為0，可得 （2.1.3）解上式可得的極大似然估計。 2.2 系統(tǒng)參數(shù)的極大似然估計設(shè)系統(tǒng)的差分方程為 （2.2.1）式中 因為是相關(guān)隨機(jī)向量，故（2.2.1）可寫成 （2.2.2）式中 （2.2.3） （2.2.4）是均值為0的高斯分布白噪聲序列。多項式，和中的系數(shù)和序列的均方差都是未知參數(shù)。設(shè)待估參數(shù) （2.2.5）并設(shè)的預(yù)測值為 （2.2.6）式中為預(yù)測誤差；，為，的估值。預(yù)測誤差可表示為 （2.2.7）或者 = （2.2.8）因此預(yù)測誤差滿足關(guān)系式 （2.2.9）式中假定預(yù)測誤差服

3、從均值為0的高斯分布，并設(shè)序列具有相同的方差。因為與，和有關(guān)，所以是被估參數(shù)的函數(shù)。為了書寫方便，把式（2.2.9）寫成 （2.2.10） （2.2.11）或?qū)懗?（2.2.12）令k=n+1,n+2,n+N,可得的N個方程式，把這N個方程式寫成向量-矩陣形式 （2.2.13）式中 , , 因為已假定是均值為0的高斯噪聲序列，高斯噪聲序列的概率密度函數(shù)為 （2.2.14）式中y為觀測值，和m為y的方差和均值，那么 （2.2.15）對于符合高斯噪聲序列的極大似然函數(shù)為 （2.2.16）或 （2.2.17）對上式（2.2.17）等號兩邊取對數(shù)得 （2.2.18） 或?qū)憺?（2.2.19）求對的偏導(dǎo)

4、數(shù)，令其等于0，可得 （2.2.20）則 （2.2.21）式中 （2.2.22）越小越好，因為當(dāng)方差最小時，最小，即殘差最小。因此希望的估值取最小 （2.2.23）因為式（2.2.10）可理解為預(yù)測模型，而e(k)可看做預(yù)測誤差。因此使式（2.2.22）最小就是使誤差的平方之和最小，即使對概率密度不作任何假設(shè)，這樣的準(zhǔn)則也是有意義的。因此可按J最小來求的估計值。由于e(k)式參數(shù)的線性函數(shù)，因此J是這些參數(shù)的二次型函數(shù)。求使最大的，等價于在式（2.2.10）的約束條件下求使J為最小。由于J對是非線性的，因而求J的極小值問題并不好解，只能用迭代方法求解。求J極小值的常用迭代算法有拉格朗日乘子法和

5、牛頓-拉卜森法。下面介紹牛頓-拉卜森法。整個迭代計算步驟如下：(1)確定初始的值。對于中的可按模型 （2.2.24）用最小二乘法來求，而對于中的可先假定一些值。(2)計算預(yù)測誤差 （2.2.25）給出 并計算 （2.2.26）(3)計算J的梯度 和海賽矩陣 ,有 （2.2.27）式中 （2.2.28）即 （2.2.29）同理可得 （2.2.30） （2.2.31）將式（2.2.29）移項化簡，有 （2.2.32）因為 （2.2.33）由求偏導(dǎo)，故 （2.2.34）將（2.2.34）代入（2.2.32），所以 （2.2.35）所以得 （2.2.36）同理可得（2.2.30）和（2.2.31）為

6、（2.2.37） （2.2.38）根據(jù)（2.2.36）構(gòu)造公式 （2.2.39）將其代入（2.2.36），可得 (2.2.40）消除可得 （2.2.41）同理可得（2.2.37）和（2.2.38）式 （2.2.42） （2.2.43）式（2.2.29）、式（2.2.30）和式（2.2.31）均為差分方程，這些差分方程的初始條件為0，可通過求解這些差分方程，分別求出e(k)關(guān)于的全部偏導(dǎo)數(shù)，而這些偏導(dǎo)數(shù)分別為，和的線性函數(shù)。下面求關(guān)于的二階偏導(dǎo)數(shù)，即 （2.2.44） 當(dāng)接近于真值時，e(k)接近于0。在這種情況下，式（2.2.44）等號右邊第2項接近于0，可近似表示為 （2.2.45）則利用式（2.2.45）計算比較簡單。(4)按牛頓-拉卜森計算的新估值，有 （2.2.46）重復(fù)(2)至(4)的計算步驟，經(jīng)過r次迭代計算之后可得，近一步迭代計算可得 （2.2.47）如果 （2.2.48）則可停止計算，否則繼續(xù)迭代計算。式（2.2.48）表明，當(dāng)殘差方差的計算誤差小于