極大似然法和預(yù)報(bào)誤差方法

1第7章

極大似然法和預(yù)報(bào)誤差方法27.1引言極大似然法一種非常有用的傳統(tǒng)估計(jì)方法由Fisher

發(fā)展起來的基本思想可追溯到高斯（1809年）用于動(dòng)態(tài)過程辯識(shí)可以獲得良好的估計(jì)性質(zhì)3最小二乘法和梯度校正法計(jì)算簡單參數(shù)估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì)噪聲的先驗(yàn)知識(shí)要求也不高極大似然法基本思想與最小二乘法和梯度校正法完全不同4極大似然法——需要構(gòu)造一個(gè)以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)，通過極大化似然函數(shù)獲得模型的參數(shù)估計(jì)值。模型輸出的概率分布將最大可能地逼近實(shí)際過程輸出的概率分布。為此極大似然法通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗(yàn)知識(shí)。在獨(dú)立觀測條件下，必須知道輸出量的概率分布；在序貫觀測的條件下，則需要確定基于k時(shí)刻以前的數(shù)據(jù)在k+1時(shí)刻輸出量的條件概率分布。預(yù)報(bào)誤差法——需要事先確定一個(gè)預(yù)報(bào)誤差準(zhǔn)則函數(shù)，并利用預(yù)報(bào)誤差的信息來確定模型的參數(shù)。5意味著模型輸出的概率分布將最大可能地逼近實(shí)際過程輸出的概率分布通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗(yàn)知識(shí)獨(dú)立觀測的條件下，必須知道輸出量的概率分布在序貫觀測的條件下，需要確定基于時(shí)刻以前的數(shù)據(jù)在時(shí)刻輸出量的條件概率分布6預(yù)報(bào)誤差方法需要事先確定一個(gè)預(yù)報(bào)誤差準(zhǔn)則函數(shù)利用預(yù)報(bào)誤差的信息來確定模型的參數(shù)某種意義上與極大似然法等價(jià)的或極大似然法的一種推廣7極大似然法和預(yù)報(bào)誤差方法優(yōu)點(diǎn)：參數(shù)估計(jì)量具有良好的漸近性質(zhì)缺點(diǎn)：計(jì)算量比較大87.2極大似然參數(shù)估計(jì)辨識(shí)方法

7.2.1極大似然原理設(shè)是一個(gè)隨機(jī)變量在參數(shù)條件下的概率密度函數(shù)為的個(gè)觀測值構(gòu)成一個(gè)隨機(jī)序列個(gè)觀測值記作則的聯(lián)合概率密度為的極大似然估計(jì)就是使的參數(shù)估計(jì)值9即有或10顯然對一組確定的數(shù)據(jù)只是參數(shù)的函數(shù)，已不再是概率密度函數(shù)這時(shí)的稱作的似然函數(shù)以示區(qū)別有時(shí)記作概率密度函數(shù)和似然函數(shù)有著不同的物理意義,但數(shù)學(xué)表達(dá)式是一致的11極大似然原理的數(shù)學(xué)表示或

-

對數(shù)似然函數(shù)

-極大似然參數(shù)估計(jì)值使得似然函數(shù)或?qū)?shù)似然函數(shù)達(dá)到最大值12物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）對一組確定的隨機(jī)序列設(shè)法找到參數(shù)估計(jì)值使得隨機(jī)變量在條件下的概率密度函數(shù)最大可能地逼近隨機(jī)變量在（真值）條件下的概率密度函數(shù)上式反映極大似然原理的本質(zhì)，但數(shù)學(xué)上不好實(shí)現(xiàn)Kullback－Leibler信息測度：我們稱為Kullback－Leibler信息測度?？梢宰C明：7.2.2動(dòng)態(tài)過程模型參數(shù)的極大似然估計(jì)考慮以下模型：其中：是均值為零，方差為的服從正態(tài)分布的白噪聲。令：且假定過程是漸近穩(wěn)定的，即、和沒有公共因子，且和的零點(diǎn)都位于z平面的單位圓內(nèi)。噪聲模型已知的情形（已知）將模型（C）寫成最小二乘格式：其中：因?yàn)椋簞t有記噪聲e(k)的協(xié)方差陣為，則由v(k)的正態(tài)性，可知：因此，有：對應(yīng)的對數(shù)似然函數(shù)為：由極大似然原理可得：并且因此（D）式給出了參數(shù)的極大似然估計(jì)值。此時(shí)的恰好是參數(shù)的Markov估計(jì)。如果，則此時(shí)，參數(shù)的極大似然估計(jì)和最小二乘估計(jì)是等價(jià)的。對噪聲方差的極大似然估計(jì)：對噪聲方差的最小二乘估計(jì)：噪聲模型未知的情形（未知）

此時(shí)，令在獨(dú)立觀測的前提下，當(dāng)獲得L組輸入輸出數(shù)據(jù)后，在給定的參數(shù)和輸入信號(hào)的條件下，的聯(lián)合概率密度函數(shù)可寫成：根據(jù)考察的模型（C），有：將此式代入到上式，我們有：由于當(dāng)觀測至k時(shí)刻時(shí)，k-1時(shí)刻以前的z(?)、u(?)和v(?)都已經(jīng)確定，且v(k)與及無關(guān)，因此上式可以寫成：記：則有對數(shù)似然函數(shù)：其中滿足：（E）（F）利用極大似然原理，由得噪聲方差的極大似然估計(jì)：將此式代入（E），可得：再次利用極大似然原理，參數(shù)的極大似然估計(jì)必須使得：令：則這等價(jià)于使得其中v(k)滿足（F）的約束條件。（G）（H） 結(jié)論：在未知的情形下，求模型（C）的參數(shù)的極大似然估計(jì)等價(jià)于以下帶有約束條件的優(yōu)化問題：優(yōu)化的目標(biāo)函數(shù)為（G），約束條件為（F）。同時(shí)噪聲方差的極大似然估計(jì)值為Lagrangian乘子法：根據(jù)以上得到的結(jié)論，求解帶有約束條件的優(yōu)化問題。引入Lagrangian乘子，構(gòu)造Lagrangian函數(shù)：由此，上述優(yōu)化問題轉(zhuǎn)化為Lagrangian函數(shù)對、和的求最小值問題。第一步：取并令：得到下面的方程組：第二步：就Lagrangian函數(shù)對求導(dǎo)，并令其為零，得：（J）因此，當(dāng)給定和的初始值及輸入輸出數(shù)據(jù)，則由（J）可以計(jì)算得到，再利用

,由（I）式可以計(jì)算得到:

由于和與有關(guān)，對不能以線性的形式進(jìn)行估計(jì)，因此必須對進(jìn)行搜索，方可求得，使得:Newton－Raphson法

Newton－Raphson法求解以上優(yōu)化問題，本質(zhì)上是一種遞推算法，每得到L次觀測數(shù)據(jù)遞推一次的算法。優(yōu)化問題見上面。設(shè)是利用第N批輸入輸出數(shù)據(jù)，所求得的極大似然估計(jì)值，它使得或達(dá)到最小。當(dāng)我們進(jìn)一步獲得一批新的輸入輸出數(shù)據(jù)，由此可以求得，使得達(dá)到最小。(k)根據(jù)Newton－Raphson原理，我們有：其中為Hessian矩陣。將（K）式寫成遞推形式，即：(P)則可以求得：因此有：由上式遞推，得故有：將（Q）式代入（P）式，便可獲得的遞推算法。35預(yù)報(bào)誤差參數(shù)辯識(shí)方法極大似然法要求數(shù)據(jù)的概率分布是已知的通常都假設(shè)它們是服從高斯分布的實(shí)際問題不一定滿足這一假設(shè)如果數(shù)據(jù)的概率分布不知道使用極大似然法存在著一定的困難36預(yù)報(bào)誤差法不要求數(shù)據(jù)概率分布的先驗(yàn)知識(shí)解決更加一般問題的一種辯識(shí)方法極大似然法的一種推廣當(dāng)數(shù)據(jù)的概率分布服從正態(tài)分布時(shí)等價(jià)與極大似然法37預(yù)報(bào)誤差準(zhǔn)則考慮更加一般的模型

-維的輸出向量

-維的輸入向量

-模型的參數(shù)向量

-噪聲項(xiàng)，其均值為零，協(xié)方差為

-輸出量的初始狀態(tài)，計(jì)算的必要信息38置則模型式寫成時(shí)刻的輸出可以用時(shí)刻以前的數(shù)據(jù)來刻劃39在獲得數(shù)據(jù)和的條件下對輸出的“最好”預(yù)報(bào)可取它的條件數(shù)學(xué)期望值使得這種“最好”的輸出預(yù)報(bào)應(yīng)是“最好”模型的輸出可通過極小化預(yù)報(bào)誤差準(zhǔn)則來獲得40常用的誤差預(yù)報(bào)準(zhǔn)則加權(quán)陣-預(yù)先選定的矩陣或其中41當(dāng)時(shí)將收斂于的協(xié)方差陣通過極小化或獲得的參數(shù)估計(jì)值稱作預(yù)報(bào)誤差估計(jì)它用不著數(shù)據(jù)概率分布知識(shí)4212.3其他兩種辯識(shí)方法43Bayes

方法基本原理所要估計(jì)的參數(shù)看作隨機(jī)變量設(shè)法通過觀測與該參數(shù)有關(guān)聯(lián)的其他變量以此來推斷這個(gè)參數(shù)44例如

Kalman

濾波器是典型的Bayes

方法不可觀測的待估計(jì)的狀態(tài)變量看作隨機(jī)變量狀態(tài)變量與可觀測的輸入輸出變量是密切相關(guān)的正是基于這些可觀測的輸入輸出變量推斷不可觀測的狀態(tài)變量45設(shè)是描述某一動(dòng)態(tài)過程的模型是模型的參數(shù)，反映在動(dòng)態(tài)過程的輸入輸出觀測值中如果過程的輸出變量在參數(shù)及其歷史記錄條件下的概率密度函數(shù)是已知的記作

-時(shí)刻以前的輸入輸出集合46根據(jù)Bayes

觀點(diǎn)，參數(shù)的估計(jì)問題表述成參數(shù)看作具有某種驗(yàn)前概率密度的隨機(jī)變量設(shè)法從輸入輸出數(shù)據(jù)中提取關(guān)于參數(shù)的信息后者可以歸結(jié)為參數(shù)的驗(yàn)后概率密度函數(shù)的計(jì)算問題47其中

-時(shí)刻以前的輸入輸出數(shù)據(jù)集合與之間的關(guān)系和-過程時(shí)刻的輸入輸出數(shù)據(jù)48如果是確定的變量，利用Bayes

公式參數(shù)的驗(yàn)后概率密度函數(shù)可表示成參數(shù)的驗(yàn)前概率密度函數(shù)及數(shù)據(jù)的條件概率密度函數(shù)是已知的49原則上根據(jù)式可以求得參數(shù)的驗(yàn)后概率密度函數(shù)實(shí)際上這是困難的只有在參數(shù)與數(shù)據(jù)之間的關(guān)系是線性的，噪聲又是高斯分布的情況下才有可能得到式的解析解50求得參數(shù)的驗(yàn)后概率密度函數(shù)后可進(jìn)一步求得參數(shù)的估計(jì)值常用的方法極大驗(yàn)后參數(shù)估計(jì)方法條件期望參數(shù)估計(jì)方法極大驗(yàn)后參數(shù)估計(jì)方法和條件期望參數(shù)估計(jì)方法統(tǒng)稱為Bayes

方法51模型參考自適應(yīng)辯識(shí)方法“模型參考”概念廣泛用于自適應(yīng)控制中如果控制系統(tǒng)希望達(dá)到的控制性能指標(biāo)用一個(gè)稱作參考模型的理想化控制系統(tǒng)的性能來描述以表示每一瞬間時(shí)實(shí)際過程與參考模型之間的特性的差異根據(jù)差異，不斷修改控制器參數(shù)可使實(shí)系統(tǒng)的控制性能指標(biāo)盡可能的接近參考模型52模型參考自適應(yīng)控制