梯度校正參數(shù)辯識(shí)方法課件

1第12章其他辨識(shí)方法1第12章其他辨識(shí)方法212.1梯度校正參數(shù)辯識(shí)方法212.1梯度校正參數(shù)辯識(shí)方法3引言最小二乘類參數(shù)辯識(shí)遞推算法新的參數(shù)估計(jì)值=老的參數(shù)估計(jì)值+增益矩陣新息梯度校正參數(shù)辯識(shí)方法（簡稱梯度校正法）遞推算法同樣具有的結(jié)構(gòu)基本原理不同于最小二乘類方法基本做法–沿著準(zhǔn)則函數(shù)的負(fù)梯度方向，逐步修正模型參數(shù)估計(jì)值，直至準(zhǔn)則函數(shù)達(dá)到最小值。3引言最小二乘類參數(shù)辯識(shí)遞推算法4主要內(nèi)容確定性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)逼近法4主要內(nèi)容確定性問題的梯度校正參數(shù)辯識(shí)方法5確定性問題的梯度校正參數(shù)辯識(shí)方法設(shè)過程的輸出參數(shù)的線性組合如果輸出和輸入是可以準(zhǔn)確測量的，則式過程稱作確定性過程5確定性問題的梯度校正參數(shù)辯識(shí)方法設(shè)過程的輸出6確定性過程置過程

6確定性過程7若過程參數(shù)的真值記作則在離散時(shí)間點(diǎn)可寫成其中7若過程參數(shù)的真值記作8例如用差分方程描述的確定性過程可以化成8例如9現(xiàn)在的問題如何利用輸入輸出數(shù)據(jù)和確定參數(shù)在時(shí)刻的估計(jì)值使準(zhǔn)則函數(shù)式中9現(xiàn)在的問題10解決上述問題的方法可以是梯度校正法，通俗地說最速下降法沿著的負(fù)梯度方向不斷修正值直至達(dá)到最小值10解決上述問題的方法11數(shù)學(xué)表達(dá)式

-維的對(duì)稱陣，稱作加權(quán)陣

-準(zhǔn)則函數(shù)關(guān)于的梯度11數(shù)學(xué)表達(dá)式12當(dāng)準(zhǔn)則函數(shù)取式時(shí)12當(dāng)準(zhǔn)則函數(shù)取式時(shí)13

式可寫成

-確定性問題的梯度校正參數(shù)估計(jì)遞推公式其中權(quán)矩陣的選擇至關(guān)重要13式可寫成14隨機(jī)性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問題的提法確定性問題的梯度校正法與其他辯識(shí)方法相比最大的優(yōu)點(diǎn)：計(jì)算簡單缺點(diǎn)：如果過程的輸入輸出含有噪聲，這種方法不能用隨機(jī)性問題的梯度校正法特點(diǎn)：計(jì)算簡單，可用于在線實(shí)時(shí)辯識(shí)缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計(jì)特性14隨機(jī)性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問題的提法15隨機(jī)性問題15隨機(jī)性問題16設(shè)過程的輸出模型參數(shù)的線性組合輸入輸出數(shù)據(jù)含有測量噪聲16設(shè)過程的輸出17其中和為零均值的不相關(guān)隨機(jī)噪聲17其中18置則18置19現(xiàn)在的問題利用輸入輸出數(shù)據(jù)和確定參數(shù)在時(shí)刻的估計(jì)值使準(zhǔn)則函數(shù)其中19現(xiàn)在的問題20隨機(jī)逼近法隨機(jī)逼近法梯度校正法的一種類型頗受重視的參數(shù)估計(jì)方法20隨機(jī)逼近法隨機(jī)逼近法21隨機(jī)逼近原理考慮如下模型的辯識(shí)問題

-均值為零的噪聲模型的參數(shù)辯識(shí)通過極小化的方差來實(shí)現(xiàn)即求參數(shù)的估計(jì)值使下列準(zhǔn)則函數(shù)達(dá)到極小值21隨機(jī)逼近原理考慮如下模型的辯識(shí)問題22準(zhǔn)則函數(shù)的一階負(fù)梯度令其梯度為零22準(zhǔn)則函數(shù)的一階負(fù)梯度23原則上由式可以求得使的參數(shù)估計(jì)值但，因?yàn)榈慕y(tǒng)計(jì)性質(zhì)不知道因此式實(shí)際上還是無法解的23原則上24如果式左邊的數(shù)學(xué)期望用平均值來近似則有這種近似使問題退化成最小二乘問題24如果25研究式的隨機(jī)逼近法解設(shè)是標(biāo)量，是對(duì)應(yīng)的隨機(jī)變量是條件下的概率密度函數(shù)則隨機(jī)變量關(guān)于的條件數(shù)學(xué)期望為記作它是的函數(shù)，稱作回歸函數(shù)25研究式的隨機(jī)逼近法解26對(duì)于給定的設(shè)下列方程，具有唯一的解當(dāng)函數(shù)的形式及條件概率密度函數(shù)都不知道時(shí)求下列方程的解釋是困難的可以利用隨機(jī)逼近法求解26對(duì)于給定的27隨機(jī)逼近法利用變量及其對(duì)應(yīng)的隨機(jī)變量通過迭代計(jì)算逐步逼近方程式的解27隨機(jī)逼近法28常用的迭代算法Robbins–Monro算法Kiefer–Wolfowitz算法28常用的迭代算法2912.2極大似然法和預(yù)報(bào)誤差方法2912.2極大似然法和預(yù)報(bào)誤差方法30引言極大似然法一種非常有用的傳統(tǒng)估計(jì)方法由Fisher發(fā)展起來的基本思想可追溯到高斯（1809年）用于動(dòng)態(tài)過程辯識(shí)可以獲得良好的估計(jì)性質(zhì)30引言極大似然法31最小二乘法和梯度校正法計(jì)算簡單參數(shù)估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì)噪聲的先驗(yàn)知識(shí)要求也不高極大似然法基本思想與最小二乘法和梯度校正法完全不同31最小二乘法和梯度校正法么么么么方面Sds絕對(duì)是假的么么么么方面Sds絕對(duì)是假的33極大似然法需要構(gòu)造一個(gè)以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)通過極大化似然函數(shù)獲得模型的參數(shù)估計(jì)值33極大似然法34意味著模型輸出的概率分布將最大可能地逼近實(shí)際過程輸出的概率分布通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗(yàn)知識(shí)獨(dú)立觀測的條件下，必須知道輸出量的概率分布在序貫觀測的條件下，需要確定基于時(shí)刻以前的數(shù)據(jù)在時(shí)刻輸出量的條件概率分布34意味著35預(yù)報(bào)誤差方法需要事先確定一個(gè)預(yù)報(bào)誤差準(zhǔn)則函數(shù)利用預(yù)報(bào)誤差的信息來確定模型的參數(shù)某種意義上與極大似然法等價(jià)的或極大似然法的一種推廣35預(yù)報(bào)誤差方法36極大似然法和預(yù)報(bào)誤差方法優(yōu)點(diǎn)：參數(shù)估計(jì)量具有良好的漸近性質(zhì)缺點(diǎn)：計(jì)算量比較大36極大似然法和預(yù)報(bào)誤差方法37極大似然原理設(shè)是一個(gè)隨機(jī)變量在參數(shù)條件下的概率密度函數(shù)為的個(gè)觀測值構(gòu)成一個(gè)隨機(jī)序列個(gè)觀測值記作則的聯(lián)合概率密度為的極大似然估計(jì)就是使的參數(shù)估計(jì)值37極大似然原理設(shè)是一個(gè)隨機(jī)變量38即有或38即有39對(duì)一組確定的數(shù)據(jù)只是參數(shù)的函數(shù)已不再是概率密度函數(shù)這時(shí)的稱作的似然函數(shù)以示區(qū)別有時(shí)記作概率密度函數(shù)和似然函數(shù)有著不同的物理意義但數(shù)學(xué)表達(dá)式是一致的39對(duì)一組確定的數(shù)據(jù)40極大似然原理的數(shù)學(xué)表現(xiàn)或

-對(duì)數(shù)似然函數(shù)

-極大似然參數(shù)估計(jì)值使得似然函數(shù)或?qū)?shù)似然函數(shù)達(dá)到最大值40極大似然原理的數(shù)學(xué)表現(xiàn)41物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）對(duì)一組確定的隨機(jī)序列設(shè)法找到參數(shù)估計(jì)值使得隨機(jī)變量在條件下的概率密度函數(shù)最大可能地逼近隨機(jī)變量在（真值）條件下的概率密度函數(shù)上式反映極大似然原理的本質(zhì)，但數(shù)學(xué)上不好實(shí)現(xiàn)41物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）42預(yù)報(bào)誤差參數(shù)辯識(shí)方法極大似然法要求數(shù)據(jù)的概率分布是已知的通常都假設(shè)它們是服從高斯分布的實(shí)際問題不一定滿足這一假設(shè)如果數(shù)據(jù)的概率分布不知道使用極大似然法存在著一定的困難42預(yù)報(bào)誤差參數(shù)辯識(shí)方法極大似然法43預(yù)報(bào)誤差法不要求數(shù)據(jù)概率分布的先驗(yàn)知識(shí)解決更加一般問題的一種辯識(shí)方法極大似然法的一種推廣當(dāng)數(shù)據(jù)的概率分布服從正態(tài)分布時(shí)等價(jià)與極大似然法43預(yù)報(bào)誤差法44預(yù)報(bào)誤差準(zhǔn)則考慮更加一般的模型

-維的輸出向量

-維的輸入向量

-模型的參數(shù)向量

-噪聲項(xiàng)，其均值為零，協(xié)方差為

-輸出量的初始狀態(tài)，計(jì)算的必要信息44預(yù)報(bào)誤差準(zhǔn)則考慮更加一般的模型45置則模型式寫成時(shí)刻的輸出可以用時(shí)刻以前的數(shù)據(jù)來刻劃45置46在獲得數(shù)據(jù)和的條件下對(duì)輸出的“最好”預(yù)報(bào)可取它的條件數(shù)學(xué)期望值使得這種“最好”的輸出預(yù)報(bào)應(yīng)是“最好”模型的輸出可通過極小化預(yù)報(bào)誤差準(zhǔn)則來獲得46在獲得數(shù)據(jù)和的條件下47常用的誤差預(yù)報(bào)準(zhǔn)則加權(quán)陣-預(yù)先選定的矩陣或其中47常用的誤差預(yù)報(bào)準(zhǔn)則48當(dāng)時(shí)將收斂于的協(xié)方差陣通過極小化或獲得的參數(shù)估計(jì)值稱作預(yù)報(bào)誤差估計(jì)它用不著數(shù)據(jù)概率分布知識(shí)48當(dāng)時(shí)4912.3其他兩種辯識(shí)方法4912.3其他兩種辯識(shí)方法50Bayes方法基本原理所要估計(jì)的參數(shù)看作隨機(jī)變量設(shè)法通過觀測與該參數(shù)有關(guān)聯(lián)的其他變量以此來推斷這個(gè)參數(shù)50Bayes方法基本原理51例如

Kalman濾波器是典型的Bayes方法不可觀測的待估計(jì)的狀態(tài)變量看作隨機(jī)變量狀態(tài)變量與可觀測的輸入輸出變量是密切相關(guān)的正是基于這些可觀測的輸入輸出變量推斷不可觀測的狀態(tài)變量51例如Kalman濾波器是典型的Bayes方法52設(shè)是描述某一動(dòng)態(tài)過程的模型是模型的參數(shù)，反映在動(dòng)態(tài)過程的輸入輸出觀測值中如果過程的輸出變量在參數(shù)及其歷史記錄條件下的概率密度函數(shù)是已知的記作

-時(shí)刻以前的輸入輸出集合52設(shè)是描述某一動(dòng)態(tài)過程的模型53根據(jù)Bayes觀點(diǎn)，參數(shù)的估計(jì)問題表述成參數(shù)看作具有某種驗(yàn)前概率密度的隨機(jī)變量設(shè)法從輸入輸出數(shù)據(jù)中提取關(guān)于參數(shù)的信息后者可以歸結(jié)為參數(shù)的驗(yàn)后概率密度函數(shù)的計(jì)算問題53根據(jù)Bayes觀點(diǎn)，參數(shù)的估計(jì)問題表述成54其中

-時(shí)刻以前的輸入輸出數(shù)據(jù)集合與之間的關(guān)系和-過程時(shí)刻的輸入輸出數(shù)據(jù)54其中55如果是確定的變量，利用Bayes公式參數(shù)的驗(yàn)后概率密度函數(shù)可表示成參數(shù)的驗(yàn)前概率密度函數(shù)及數(shù)據(jù)的條件概率密度函數(shù)是已知的55如果是確定的變量，利用Bayes公式56原則上根據(jù)式可以求得參數(shù)的驗(yàn)后概率密度函數(shù)實(shí)際上這是困難的只有在參數(shù)與數(shù)據(jù)之間的關(guān)系是線性的，噪聲又是高斯分布的情況下才有可能得到式的解析解56原則上57求得參數(shù)的驗(yàn)后概率密度函數(shù)后可進(jìn)一步求得參數(shù)的估計(jì)值常用的方法極大驗(yàn)后參數(shù)估計(jì)方法條件期望參數(shù)估計(jì)方法極大驗(yàn)后參數(shù)估計(jì)方法和條件期望參數(shù)估計(jì)方法統(tǒng)稱為Bayes方法57求得參數(shù)的驗(yàn)后概率密度函數(shù)后58模型參考自適應(yīng)辯識(shí)方法“模型參考”概念廣泛用于自適應(yīng)控制中如果控制系統(tǒng)希望達(dá)到的控制性能指標(biāo)用一個(gè)稱作參考模型的理想化控制系統(tǒng)的性能來描述以表示每一瞬間時(shí)實(shí)際過程與參考模型之間的特性的差異根據(jù)差異，不斷修改控制器參數(shù)可使實(shí)系統(tǒng)的控制性能指標(biāo)盡可能的接近參考模型58模型參考自適應(yīng)辯識(shí)方法“模型參考”概念59模型參考自適應(yīng)控制原理59模型參考自適應(yīng)控制原理60同樣“模型參考”概念可用于實(shí)時(shí)在線辯識(shí)模型參考自適應(yīng)控制相反被辯識(shí)的對(duì)象扮演參考模型的角色60同樣61模型參考自適應(yīng)辯識(shí)原理61模型參考自適應(yīng)辯識(shí)原理62當(dāng)可調(diào)模型的結(jié)構(gòu)已知時(shí)根據(jù)可調(diào)模型與參考模型（實(shí)際過程）之間的輸出偏差進(jìn)行適當(dāng)?shù)倪\(yùn)算通常采用積分+比例運(yùn)算根據(jù)運(yùn)算結(jié)果不斷修改可調(diào)模型的參數(shù)使在一組已知的輸入下可調(diào)模型的輸出盡可能地接近參考模型的輸出62當(dāng)可調(diào)模型的結(jié)構(gòu)已知時(shí)63當(dāng)可調(diào)模型與參考模型之間的差別無法進(jìn)一步改善時(shí)可調(diào)模型的參數(shù)就是實(shí)際過程參數(shù)的估計(jì)值模型參考自適應(yīng)辯識(shí)方法，按基本結(jié)構(gòu)可分并聯(lián)串并聯(lián)串聯(lián)63當(dāng)可調(diào)模型與參考模型之間的差別無法進(jìn)一步改善時(shí)64第12章其他辨識(shí)方法1第12章其他辨識(shí)方法6512.1梯度校正參數(shù)辯識(shí)方法212.1梯度校正參數(shù)辯識(shí)方法66引言最小二乘類參數(shù)辯識(shí)遞推算法新的參數(shù)估計(jì)值=老的參數(shù)估計(jì)值+增益矩陣新息梯度校正參數(shù)辯識(shí)方法（簡稱梯度校正法）遞推算法同樣具有的結(jié)構(gòu)基本原理不同于最小二乘類方法基本做法–沿著準(zhǔn)則函數(shù)的負(fù)梯度方向，逐步修正模型參數(shù)估計(jì)值，直至準(zhǔn)則函數(shù)達(dá)到最小值。3引言最小二乘類參數(shù)辯識(shí)遞推算法67主要內(nèi)容確定性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)逼近法4主要內(nèi)容確定性問題的梯度校正參數(shù)辯識(shí)方法68確定性問題的梯度校正參數(shù)辯識(shí)方法設(shè)過程的輸出參數(shù)的線性組合如果輸出和輸入是可以準(zhǔn)確測量的，則式過程稱作確定性過程5確定性問題的梯度校正參數(shù)辯識(shí)方法設(shè)過程的輸出69確定性過程置過程

6確定性過程70若過程參數(shù)的真值記作則在離散時(shí)間點(diǎn)可寫成其中7若過程參數(shù)的真值記作71例如用差分方程描述的確定性過程可以化成8例如72現(xiàn)在的問題如何利用輸入輸出數(shù)據(jù)和確定參數(shù)在時(shí)刻的估計(jì)值使準(zhǔn)則函數(shù)式中9現(xiàn)在的問題73解決上述問題的方法可以是梯度校正法，通俗地說最速下降法沿著的負(fù)梯度方向不斷修正值直至達(dá)到最小值10解決上述問題的方法74數(shù)學(xué)表達(dá)式

-維的對(duì)稱陣，稱作加權(quán)陣

-準(zhǔn)則函數(shù)關(guān)于的梯度11數(shù)學(xué)表達(dá)式75當(dāng)準(zhǔn)則函數(shù)取式時(shí)12當(dāng)準(zhǔn)則函數(shù)取式時(shí)76

式可寫成

-確定性問題的梯度校正參數(shù)估計(jì)遞推公式其中權(quán)矩陣的選擇至關(guān)重要13式可寫成77隨機(jī)性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問題的提法確定性問題的梯度校正法與其他辯識(shí)方法相比最大的優(yōu)點(diǎn)：計(jì)算簡單缺點(diǎn)：如果過程的輸入輸出含有噪聲，這種方法不能用隨機(jī)性問題的梯度校正法特點(diǎn)：計(jì)算簡單，可用于在線實(shí)時(shí)辯識(shí)缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計(jì)特性14隨機(jī)性問題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問題的提法78隨機(jī)性問題15隨機(jī)性問題79設(shè)過程的輸出模型參數(shù)的線性組合輸入輸出數(shù)據(jù)含有測量噪聲16設(shè)過程的輸出80其中和為零均值的不相關(guān)隨機(jī)噪聲17其中81置則18置82現(xiàn)在的問題利用輸入輸出數(shù)據(jù)和確定參數(shù)在時(shí)刻的估計(jì)值使準(zhǔn)則函數(shù)其中19現(xiàn)在的問題83隨機(jī)逼近法隨機(jī)逼近法梯度校正法的一種類型頗受重視的參數(shù)估計(jì)方法20隨機(jī)逼近法隨機(jī)逼近法84隨機(jī)逼近原理考慮如下模型的辯識(shí)問題

-均值為零的噪聲模型的參數(shù)辯識(shí)通過極小化的方差來實(shí)現(xiàn)即求參數(shù)的估計(jì)值使下列準(zhǔn)則函數(shù)達(dá)到極小值21隨機(jī)逼近原理考慮如下模型的辯識(shí)問題85準(zhǔn)則函數(shù)的一階負(fù)梯度令其梯度為零22準(zhǔn)則函數(shù)的一階負(fù)梯度86原則上由式可以求得使的參數(shù)估計(jì)值但，因?yàn)榈慕y(tǒng)計(jì)性質(zhì)不知道因此式實(shí)際上還是無法解的23原則上87如果式左邊的數(shù)學(xué)期望用平均值來近似則有這種近似使問題退化成最小二乘問題24如果88研究式的隨機(jī)逼近法解設(shè)是標(biāo)量，是對(duì)應(yīng)的隨機(jī)變量是條件下的概率密度函數(shù)則隨機(jī)變量關(guān)于的條件數(shù)學(xué)期望為記作它是的函數(shù)，稱作回歸函數(shù)25研究式的隨機(jī)逼近法解89對(duì)于給定的設(shè)下列方程，具有唯一的解當(dāng)函數(shù)的形式及條件概率密度函數(shù)都不知道時(shí)求下列方程的解釋是困難的可以利用隨機(jī)逼近法求解26對(duì)于給定的90隨機(jī)逼近法利用變量及其對(duì)應(yīng)的隨機(jī)變量通過迭代計(jì)算逐步逼近方程式的解27隨機(jī)逼近法91常用的迭代算法Robbins–Monro算法Kiefer–Wolfowitz算法28常用的迭代算法9212.2極大似然法和預(yù)報(bào)誤差方法2912.2極大似然法和預(yù)報(bào)誤差方法93引言極大似然法一種非常有用的傳統(tǒng)估計(jì)方法由Fisher發(fā)展起來的基本思想可追溯到高斯（1809年）用于動(dòng)態(tài)過程辯識(shí)可以獲得良好的估計(jì)性質(zhì)30引言極大似然法94最小二乘法和梯度校正法計(jì)算簡單參數(shù)估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì)噪聲的先驗(yàn)知識(shí)要求也不高極大似然法基本思想與最小二乘法和梯度校正法完全不同31最小二乘法和梯度校正法么么么么方面Sds絕對(duì)是假的么么么么方面Sds絕對(duì)是假的96極大似然法需要構(gòu)造一個(gè)以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)通過極大化似然函數(shù)獲得模型的參數(shù)估計(jì)值33極大似然法97意味著模型輸出的概率分布將最大可能地逼近實(shí)際過程輸出的概率分布通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗(yàn)知識(shí)獨(dú)立觀測的條件下，必須知道輸出量的概率分布在序貫觀測的條件下，需要確定基于時(shí)刻以前的數(shù)據(jù)在時(shí)刻輸出量的條件概率分布34意味著98預(yù)報(bào)誤差方法需要事先確定一個(gè)預(yù)報(bào)誤差準(zhǔn)則函數(shù)利用預(yù)報(bào)誤差的信息來確定模型的參數(shù)某種意義上與極大似然法等價(jià)的或極大似然法的一種推廣35預(yù)報(bào)誤差方法99極大似然法和預(yù)報(bào)誤差方法優(yōu)點(diǎn)：參數(shù)估計(jì)量具有良好的漸近性質(zhì)缺點(diǎn)：計(jì)算量比較大36極大似然法和預(yù)報(bào)誤差方法100極大似然原理設(shè)是一個(gè)隨機(jī)變量在參數(shù)條件下的概率密度函數(shù)為的個(gè)觀測值構(gòu)成一個(gè)隨機(jī)序列個(gè)觀測值記作則的聯(lián)合概率密度為的極大似然估計(jì)就是使的參數(shù)估計(jì)值37極大似然原理設(shè)是一個(gè)隨機(jī)變量101即有或38即有102對(duì)一組確定的數(shù)據(jù)只是參數(shù)的函數(shù)已不再是概率密度函數(shù)這時(shí)的稱作的似然函數(shù)以示區(qū)別有時(shí)記作概率密度函數(shù)和似然函數(shù)有著不同的物理意義但數(shù)學(xué)表達(dá)式是一致的39對(duì)一組確定的數(shù)據(jù)103極大似然原理的數(shù)學(xué)表現(xiàn)或

-對(duì)數(shù)似然函數(shù)

-極大似然參數(shù)估計(jì)值使得似然函數(shù)或?qū)?shù)似然函數(shù)達(dá)到最大值40極大似然原理的數(shù)學(xué)表現(xiàn)104物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）對(duì)一組確定的隨機(jī)序列設(shè)法找到參數(shù)估計(jì)值使得隨機(jī)變量在條件下的概率密度函數(shù)最大可能地逼近隨機(jī)變量在（真值）條件下的概率密度函數(shù)上式反映極大似然原理的本質(zhì)，但數(shù)學(xué)上不好實(shí)現(xiàn)41物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）105預(yù)報(bào)誤差參數(shù)辯識(shí)方法極大似然法要求數(shù)據(jù)的概率分布是已知的通常都假設(shè)它們是服從高斯分布的實(shí)際問題不一定滿足這一假設(shè)如果數(shù)據(jù)的概率分布不知道使用極大似然法存在著一定的困難42預(yù)報(bào)誤差參數(shù)辯識(shí)方法極大似然法106預(yù)報(bào)誤差法不要求數(shù)據(jù)概率分布的先驗(yàn)知識(shí)解決更加一般問題的一種辯識(shí)方法極大似然法的一種推廣當(dāng)數(shù)據(jù)的概率分布服從正態(tài)分布時(shí)等價(jià)與極大似然法43預(yù)報(bào)誤差法107預(yù)報(bào)誤差準(zhǔn)則考慮更加一般的模型

-維的輸出向量

-維的輸入向量

-模型的參數(shù)向量

-噪聲項(xiàng)，其均值為零，協(xié)方差為

-輸出量的初始狀態(tài)，計(jì)算的必要信息44預(yù)報(bào)誤差準(zhǔn)則考慮更加一般的模型108置則模型式寫成時(shí)刻的輸出可以用時(shí)刻以前的數(shù)據(jù)來刻劃45置109在獲得數(shù)據(jù)和的條件下對(duì)輸出的“最好”預(yù)報(bào)可取它的條件數(shù)學(xué)期望值使得這種“最好”的輸出預(yù)報(bào)應(yīng)是“最好”模型的輸出可通過極小化預(yù)報(bào)誤差準(zhǔn)則來獲得46在獲得數(shù)據(jù)和的條件下110常用的誤差預(yù)報(bào)準(zhǔn)則加權(quán)陣-預(yù)先選定的矩陣或其中47常用的誤差預(yù)報(bào)準(zhǔn)則111當(dāng)時(shí)將收斂于的協(xié)方差陣通過極小化或獲得的參數(shù)估計(jì)值稱作預(yù)報(bào)誤差估計(jì)它用不著數(shù)據(jù)概率分布知識(shí)48當(dāng)時(shí)11212.3其他兩種辯識(shí)方法4912.3其他兩種辯識(shí)方法113Bayes方法基本原理所要估計(jì)的參數(shù)看作隨機(jī)變量設(shè)法通過觀測與該參數(shù)有關(guān)聯(lián)的其他變量以此來推斷這個(gè)參數(shù)50Bayes方法基本原理114例如

Kalman濾波器是典型的Bayes方法不可觀測的待估計(jì)的狀態(tài)變量看作隨機(jī)變量狀態(tài)變量與可觀測的輸入輸出變量是密切相關(guān)的正是基于這些可觀測的輸入輸出變量推斷不可觀測的狀態(tài)變量51例如Kalman濾波器是典型的Bayes方法115設(shè)是描述某一動(dòng)態(tài)過程的模型是模型的參數(shù)，反映在動(dòng)態(tài)過程的輸入輸出觀測值中如果過程的輸出變量在參數(shù)及其歷史記錄條件下的概率密度函數(shù)是已知的記作

-時(shí)刻以前的輸入輸出集合52設(shè)是描述某一動(dòng)態(tài)過程的模型116根據(jù)Bayes觀點(diǎn)，參數(shù)的估計(jì)問題表述成參數(shù)看作具有某種驗(yàn)前概率密度