第十三章梯度校正參數(shù)辯識(shí)方法

1、第第1212章章 其他辨識(shí)方法其他辨識(shí)方法1第十三章梯度校正參數(shù)辯識(shí)方法12.1 梯度校正參數(shù)辯識(shí)方法梯度校正參數(shù)辯識(shí)方法2第十三章梯度校正參數(shù)辯識(shí)方法引言引言 最小二乘類參數(shù)辯識(shí)遞推算法最小二乘類參數(shù)辯識(shí)遞推算法 新的參數(shù)估計(jì)值新的參數(shù)估計(jì)值=老的參數(shù)估計(jì)值老的參數(shù)估計(jì)值+增益矩陣增益矩陣 新息新息 梯度校正參數(shù)辯識(shí)方法（簡(jiǎn)稱梯度校正法）梯度校正參數(shù)辯識(shí)方法（簡(jiǎn)稱梯度校正法） 遞推算法同樣具有遞推算法同樣具有 的結(jié)構(gòu)的結(jié)構(gòu) 基本原理不同于最小二乘類方法基本原理不同于最小二乘類方法 基本做法基本做法 沿著準(zhǔn)則函數(shù)的負(fù)梯度方向，逐步修正模沿著準(zhǔn)則函數(shù)的負(fù)梯度方向，逐步修正模型參數(shù)估計(jì)值，直至準(zhǔn)則

2、函數(shù)達(dá)到最小值。型參數(shù)估計(jì)值，直至準(zhǔn)則函數(shù)達(dá)到最小值。3第十三章梯度校正參數(shù)辯識(shí)方法主要內(nèi)容主要內(nèi)容 確定性問(wèn)題的梯度校正參數(shù)辯識(shí)方法確定性問(wèn)題的梯度校正參數(shù)辯識(shí)方法 隨機(jī)性問(wèn)題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問(wèn)題的梯度校正參數(shù)辯識(shí)方法 隨機(jī)逼近法隨機(jī)逼近法4第十三章梯度校正參數(shù)辯識(shí)方法確定性問(wèn)題的梯度校正參數(shù)辯識(shí)方法確定性問(wèn)題的梯度校正參數(shù)辯識(shí)方法 設(shè)過(guò)程的輸出設(shè)過(guò)程的輸出 參數(shù)參數(shù) 的線性組合的線性組合 如果輸出如果輸出 和輸入和輸入 是可以是可以準(zhǔn)確測(cè)量的，則準(zhǔn)確測(cè)量的，則 式過(guò)程稱作確定性過(guò)程式過(guò)程稱作確定性過(guò)程)(tyN,21NNthththty)()()()(2211)(ty)(,),

3、(),(21thththN5第十三章梯度校正參數(shù)辯識(shí)方法0 確定性過(guò)程確定性過(guò)程 置置( )h kNNthththth,)(,),(),()(2121過(guò)程過(guò)程 ( )y k6第十三章梯度校正參數(shù)辯識(shí)方法 若過(guò)程參數(shù)的真值記作若過(guò)程參數(shù)的真值記作 則則 在離散時(shí)間點(diǎn)可寫成在離散時(shí)間點(diǎn)可寫成 其中其中00)()(thty0)()(khky)(,),(),()(21khkhkhkhN7第十三章梯度校正參數(shù)辯識(shí)方法 例如例如 用差分方程描述的確定性過(guò)程用差分方程描述的確定性過(guò)程 可以化成可以化成)() 1()(1nkyakyakyn)() 1(1nkubkubnnnbbbaaankukunkykykh

4、,)(,),1(),(,),1()(21218第十三章梯度校正參數(shù)辯識(shí)方法 現(xiàn)在的問(wèn)題現(xiàn)在的問(wèn)題 如何利用輸入輸出數(shù)據(jù)如何利用輸入輸出數(shù)據(jù) 和和 確定參數(shù)確定參數(shù) 在在 時(shí)刻的估計(jì)值時(shí)刻的估計(jì)值 使準(zhǔn)則函數(shù)使準(zhǔn)則函數(shù) 式中式中)(kh)(kyk)(kmin| ),(21| )()(2)(kkkJ)()(),(khkyk9第十三章梯度校正參數(shù)辯識(shí)方法 解決上述問(wèn)題的方法解決上述問(wèn)題的方法 可以是梯度校正法，通俗地說(shuō)最速下降法可以是梯度校正法，通俗地說(shuō)最速下降法 沿著沿著 的負(fù)梯度方向不斷修正的負(fù)梯度方向不斷修正 值值 直至直至 達(dá)到最小值達(dá)到最小值)(J)(k)(J10第十三章梯度校正參數(shù)辯識(shí)方

5、法 數(shù)學(xué)表達(dá)式數(shù)學(xué)表達(dá)式 - 維的對(duì)稱陣，稱作加權(quán)陣維的對(duì)稱陣，稱作加權(quán)陣 - 準(zhǔn)則函數(shù)準(zhǔn)則函數(shù) 關(guān)于關(guān)于 的梯度的梯度)(|)()()() 1(kJgradkRkk)(Jgrad)(kRN)(J11第十三章梯度校正參數(shù)辯識(shí)方法 當(dāng)準(zhǔn)則函數(shù)當(dāng)準(zhǔn)則函數(shù) 取取 式時(shí)式時(shí))(J)(2)(),(21|)(kkkddJgrad)(),(khkk)()()()(khkkhky12第十三章梯度校正參數(shù)辯識(shí)方法 式可寫成式可寫成 - - 確定性問(wèn)題的確定性問(wèn)題的梯度校正參數(shù)估計(jì)遞推公式梯度校正參數(shù)估計(jì)遞推公式 其中權(quán)矩陣的選擇至關(guān)重要其中權(quán)矩陣的選擇至關(guān)重要)()()()()()() 1(kkhkykhkRk

6、k13第十三章梯度校正參數(shù)辯識(shí)方法隨機(jī)性問(wèn)題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問(wèn)題的梯度校正參數(shù)辯識(shí)方法 隨機(jī)性問(wèn)題的提法隨機(jī)性問(wèn)題的提法 確定性問(wèn)題的梯度校正法與其他辯識(shí)方法相比確定性問(wèn)題的梯度校正法與其他辯識(shí)方法相比 最大的優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單最大的優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單 缺點(diǎn)：如果過(guò)程的輸入輸出含有噪聲，這種方法不能用缺點(diǎn)：如果過(guò)程的輸入輸出含有噪聲，這種方法不能用 隨機(jī)性問(wèn)題的梯度校正法隨機(jī)性問(wèn)題的梯度校正法 特點(diǎn)：計(jì)算簡(jiǎn)單，可用于在線實(shí)時(shí)辯識(shí)特點(diǎn)：計(jì)算簡(jiǎn)單，可用于在線實(shí)時(shí)辯識(shí) 缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計(jì)特性缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計(jì)特性14第十三章梯度校正參數(shù)辯識(shí)方法 隨

7、機(jī)性問(wèn)題隨機(jī)性問(wèn)題15第十三章梯度校正參數(shù)辯識(shí)方法 設(shè)過(guò)程的輸出設(shè)過(guò)程的輸出 模型參數(shù)模型參數(shù) 的線性組合的線性組合 輸入輸出數(shù)據(jù)含有測(cè)量噪聲輸入輸出數(shù)據(jù)含有測(cè)量噪聲)(kyN,21NNkhkhkhky)()()()(2211Nikskhkxkwkykziii, 2 , 1),()()()()()(16第十三章梯度校正參數(shù)辯識(shí)方法 其中其中 和和 為零均值的不相關(guān)隨機(jī)噪聲為零均值的不相關(guān)隨機(jī)噪聲)(kw)(ksijijiksksEsiii, 0,)()(217第十三章梯度校正參數(shù)辯識(shí)方法 置置 則則NNNNkskskskskhkhkhkhkxkxkxkx,)(,),(),()()(,),(),

8、()()(,),(),()(21212121)()()()()()(kwkhkzkskhkx18第十三章梯度校正參數(shù)辯識(shí)方法 現(xiàn)在的問(wèn)題現(xiàn)在的問(wèn)題 利用輸入輸出數(shù)據(jù)利用輸入輸出數(shù)據(jù) 和和 確定參數(shù)確定參數(shù) 在在 時(shí)刻的估計(jì)值時(shí)刻的估計(jì)值 使準(zhǔn)則函數(shù)使準(zhǔn)則函數(shù) 其中其中)(kx)(kzk)(kmin| ),(21| )()(2)(kkkJ)()(),(kxkzk19第十三章梯度校正參數(shù)辯識(shí)方法隨機(jī)逼近法隨機(jī)逼近法 隨機(jī)逼近法隨機(jī)逼近法 梯度校正法的一種類型梯度校正法的一種類型 頗受重視的參數(shù)估計(jì)方法頗受重視的參數(shù)估計(jì)方法20第十三章梯度校正參數(shù)辯識(shí)方法隨機(jī)逼近原理隨機(jī)逼近原理 考慮如下模型的辯識(shí)

9、問(wèn)題考慮如下模型的辯識(shí)問(wèn)題 - 均值為零的噪聲均值為零的噪聲 模型的參數(shù)辯識(shí)模型的參數(shù)辯識(shí) 通過(guò)極小化通過(guò)極小化 的方差來(lái)實(shí)現(xiàn)的方差來(lái)實(shí)現(xiàn) 即求參數(shù)即求參數(shù) 的估計(jì)值使下列準(zhǔn)則函數(shù)達(dá)到極小值的估計(jì)值使下列準(zhǔn)則函數(shù)達(dá)到極小值)()()(kekhkz)(ke)(ke)()(21)(21)(22khkzEkeEJ21第十三章梯度校正參數(shù)辯識(shí)方法 準(zhǔn)則函數(shù)的一階負(fù)梯度準(zhǔn)則函數(shù)的一階負(fù)梯度 令其梯度為零令其梯度為零)()()()(khkzkhEJ ( ) ( )( ) 0E h kz kh k 22第十三章梯度校正參數(shù)辯識(shí)方法 原則上原則上 由由 式可以求得使式可以求得使 的參數(shù)估計(jì)值的參數(shù)估計(jì)值 但，

10、因?yàn)榈?，因?yàn)?的統(tǒng)計(jì)性質(zhì)不知道的統(tǒng)計(jì)性質(zhì)不知道 因此因此 式實(shí)際上還是無(wú)法解的式實(shí)際上還是無(wú)法解的min)(J)(ke23第十三章梯度校正參數(shù)辯識(shí)方法 如果如果 式左邊的數(shù)學(xué)期望用平均值來(lái)近似式左邊的數(shù)學(xué)期望用平均值來(lái)近似 則有則有 這種近似使問(wèn)題退化成最小二乘問(wèn)題這種近似使問(wèn)題退化成最小二乘問(wèn)題0)()()(11LkkhkzkhLLkLkkzkhkhkh111)()()()(24第十三章梯度校正參數(shù)辯識(shí)方法 研究研究 式的隨機(jī)逼近法解式的隨機(jī)逼近法解設(shè)設(shè) 是標(biāo)量，是標(biāo)量， 是對(duì)應(yīng)的隨機(jī)變量是對(duì)應(yīng)的隨機(jī)變量 是是 條件下條件下 的概率密度函數(shù)的概率密度函數(shù)則隨機(jī)變量則隨機(jī)變量 關(guān)于關(guān)于 的條件

11、數(shù)學(xué)期望為的條件數(shù)學(xué)期望為 記作記作 它是它是 的函數(shù)，稱作回歸函數(shù)的函數(shù)，稱作回歸函數(shù)x)(xy)|(xyPxyyx)|(|xyydpxyE|)(xyExhx25第十三章梯度校正參數(shù)辯識(shí)方法 對(duì)于給定的對(duì)于給定的 設(shè)下列方程，具有唯一的解設(shè)下列方程，具有唯一的解 當(dāng)當(dāng) 函數(shù)的形式及條件概率密度函數(shù)函數(shù)的形式及條件概率密度函數(shù) 都不都不知道時(shí)知道時(shí) 求下列方程的解釋是困難的求下列方程的解釋是困難的 可以利用可以利用隨機(jī)逼近法求解隨機(jī)逼近法求解|)(xyExh)(xh)|(xyP01 .PWLLS26第十三章梯度校正參數(shù)辯識(shí)方法 隨機(jī)逼近法隨機(jī)逼近法利用變量利用變量 及其對(duì)應(yīng)的隨機(jī)變量及其對(duì)應(yīng)的

12、隨機(jī)變量通過(guò)迭代計(jì)算通過(guò)迭代計(jì)算逐步逼近方程逐步逼近方程 式的解式的解,21xx),(),(21xyxy27第十三章梯度校正參數(shù)辯識(shí)方法 常用的常用的迭代算法迭代算法Robbins Monro Robbins Monro 算法算法Kiefer Wolfowitz Kiefer Wolfowitz 算法算法28第十三章梯度校正參數(shù)辯識(shí)方法12.2 極大似然法和預(yù)報(bào)誤差方法極大似然法和預(yù)報(bào)誤差方法29第十三章梯度校正參數(shù)辯識(shí)方法引言引言 極大似然法極大似然法 一種非常有用的傳統(tǒng)估計(jì)方法一種非常有用的傳統(tǒng)估計(jì)方法由由 FisherFisher 發(fā)展起來(lái)的發(fā)展起來(lái)的 基本思想可追溯到高斯基本思想可追溯

13、到高斯（1809 1809 年）年）用于動(dòng)態(tài)過(guò)程辯識(shí)可以獲得良好的估計(jì)性質(zhì)用于動(dòng)態(tài)過(guò)程辯識(shí)可以獲得良好的估計(jì)性質(zhì)30第十三章梯度校正參數(shù)辯識(shí)方法 最小二乘法和梯度校正法最小二乘法和梯度校正法 計(jì)算簡(jiǎn)單計(jì)算簡(jiǎn)單 參數(shù)估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì)參數(shù)估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì) 噪聲的先驗(yàn)知識(shí)要求也不高噪聲的先驗(yàn)知識(shí)要求也不高 極大似然法極大似然法 基本思想與最小二乘法和梯度校正法完全不同基本思想與最小二乘法和梯度校正法完全不同31第十三章梯度校正參數(shù)辯識(shí)方法 極大似然法極大似然法 需要構(gòu)造一個(gè)以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)需要構(gòu)造一個(gè)以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù) 通過(guò)極大化似然函數(shù)獲得模型的參數(shù)估

14、計(jì)值通過(guò)極大化似然函數(shù)獲得模型的參數(shù)估計(jì)值32第十三章梯度校正參數(shù)辯識(shí)方法 意味著意味著 模型輸出的概率分布將最大可能地逼近實(shí)際過(guò)程輸出模型輸出的概率分布將最大可能地逼近實(shí)際過(guò)程輸出的概率分布的概率分布 通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗(yàn)知識(shí)先驗(yàn)知識(shí) 獨(dú)立觀測(cè)的條件下，必須知道輸出量的概率分布獨(dú)立觀測(cè)的條件下，必須知道輸出量的概率分布 在序貫觀測(cè)的條件下，需要確定基于在序貫觀測(cè)的條件下，需要確定基于 時(shí)刻以前的時(shí)刻以前的數(shù)據(jù)在數(shù)據(jù)在 時(shí)刻輸出量的條件概率分布時(shí)刻輸出量的條件概率分布k) 1( k33第十三章梯度校正參數(shù)辯識(shí)方法 預(yù)報(bào)

15、誤差方法預(yù)報(bào)誤差方法 需要事先確定一個(gè)預(yù)報(bào)誤差準(zhǔn)則函數(shù)需要事先確定一個(gè)預(yù)報(bào)誤差準(zhǔn)則函數(shù) 利用預(yù)報(bào)誤差的信息來(lái)確定模型的參數(shù)利用預(yù)報(bào)誤差的信息來(lái)確定模型的參數(shù) 某種意義上某種意義上 與極大似然法等價(jià)的與極大似然法等價(jià)的 或極大似然法的一種推廣或極大似然法的一種推廣34第十三章梯度校正參數(shù)辯識(shí)方法 極大似然法和預(yù)報(bào)誤差方法極大似然法和預(yù)報(bào)誤差方法 優(yōu)點(diǎn)：參數(shù)估計(jì)量具有良好的漸近性質(zhì)優(yōu)點(diǎn)：參數(shù)估計(jì)量具有良好的漸近性質(zhì) 缺點(diǎn)：計(jì)算量比較大缺點(diǎn)：計(jì)算量比較大35第十三章梯度校正參數(shù)辯識(shí)方法極大似然原理極大似然原理 設(shè)設(shè) 是一個(gè)隨機(jī)變量是一個(gè)隨機(jī)變量在參數(shù)在參數(shù) 條件下條件下 的概率密度函數(shù)為的概率密度函

16、數(shù)為 的的 個(gè)觀測(cè)值構(gòu)成一個(gè)隨機(jī)序列個(gè)觀測(cè)值構(gòu)成一個(gè)隨機(jī)序列 個(gè)觀測(cè)值記作個(gè)觀測(cè)值記作 則則 的聯(lián)合概率密度為的聯(lián)合概率密度為 的極大似然估計(jì)就是使的極大似然估計(jì)就是使 的參的參數(shù)估計(jì)值數(shù)估計(jì)值z(mì))|(zpzLz)(kzL)(,),2(),1 (LzzzzLLz)|(Lzpmax| )|(MLLzp36第十三章梯度校正參數(shù)辯識(shí)方法 即有即有 或或0)|(MLLzp0)|(logMLLzp37第十三章梯度校正參數(shù)辯識(shí)方法 對(duì)一組確定的數(shù)據(jù)對(duì)一組確定的數(shù)據(jù) 只是參數(shù)只是參數(shù) 的函數(shù)的函數(shù)已不再是概率密度函數(shù)已不再是概率密度函數(shù) 這時(shí)的這時(shí)的 稱作稱作 的的似然函數(shù)似然函數(shù) 以示區(qū)別有時(shí)記作以示區(qū)別

17、有時(shí)記作概率密度函數(shù)和似然函數(shù)有著不同的物理意義概率密度函數(shù)和似然函數(shù)有著不同的物理意義 但數(shù)學(xué)表達(dá)式是一致的但數(shù)學(xué)表達(dá)式是一致的Lz)|(Lzp)|(Lzp)|(LzL)|()|(LLzpzL38第十三章梯度校正參數(shù)辯識(shí)方法 極大似然原理的數(shù)學(xué)表現(xiàn)極大似然原理的數(shù)學(xué)表現(xiàn) 或或 - - 對(duì)數(shù)對(duì)數(shù)似然函數(shù)似然函數(shù) - - 極大似然參數(shù)估計(jì)值極大似然參數(shù)估計(jì)值 使得使得似然函數(shù)或似然函數(shù)或?qū)?shù)對(duì)數(shù)似然函數(shù)達(dá)到最大值似然函數(shù)達(dá)到最大值0)|(MLLzL0)|(logMLLzL)|(logLzLML39第十三章梯度校正參數(shù)辯識(shí)方法 物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）物理意義（極大似然原理的數(shù)學(xué)表現(xiàn)）

18、對(duì)一組確定的隨機(jī)序列對(duì)一組確定的隨機(jī)序列 設(shè)法找到參數(shù)估計(jì)值設(shè)法找到參數(shù)估計(jì)值 使得隨機(jī)變量使得隨機(jī)變量 在在 條件下的概率密度函數(shù)最條件下的概率密度函數(shù)最大可能地逼近隨機(jī)變量大可能地逼近隨機(jī)變量 在在 （真值）條件下的（真值）條件下的概率密度函數(shù)概率密度函數(shù) 上式反映極大似然原理的本質(zhì)，但數(shù)學(xué)上不好實(shí)現(xiàn)上式反映極大似然原理的本質(zhì)，但數(shù)學(xué)上不好實(shí)現(xiàn)LzMLzMLz0)|()|(0maxzpzpML40第十三章梯度校正參數(shù)辯識(shí)方法預(yù)報(bào)誤差參數(shù)辯識(shí)方法預(yù)報(bào)誤差參數(shù)辯識(shí)方法 極大似然法極大似然法 要求數(shù)據(jù)的概率分布是已知的要求數(shù)據(jù)的概率分布是已知的 通常都假設(shè)它們是服從高斯分布的通常都假設(shè)它們是服從

19、高斯分布的 實(shí)際問(wèn)題不一定滿足這一假設(shè)實(shí)際問(wèn)題不一定滿足這一假設(shè) 如果數(shù)據(jù)的概率分布不知道如果數(shù)據(jù)的概率分布不知道 使用極大似然法存在著一定的困難使用極大似然法存在著一定的困難41第十三章梯度校正參數(shù)辯識(shí)方法 預(yù)報(bào)誤差法預(yù)報(bào)誤差法 不要求數(shù)據(jù)概率分布的先驗(yàn)知識(shí)不要求數(shù)據(jù)概率分布的先驗(yàn)知識(shí) 解決更加一般問(wèn)題的一種辯識(shí)方法解決更加一般問(wèn)題的一種辯識(shí)方法 極大似然法的一種推廣極大似然法的一種推廣 當(dāng)數(shù)據(jù)的概率分布服從正態(tài)分布時(shí)當(dāng)數(shù)據(jù)的概率分布服從正態(tài)分布時(shí) 等價(jià)與極大似然法等價(jià)與極大似然法42第十三章梯度校正參數(shù)辯識(shí)方法預(yù)報(bào)誤差準(zhǔn)則預(yù)報(bào)誤差準(zhǔn)則 考慮更加一般的模型考慮更加一般的模型 - - 維的輸出

20、向量維的輸出向量 - - 維的輸入向量維的輸入向量 - - 模型的參數(shù)向量模型的參數(shù)向量 - - 噪聲項(xiàng)，其均值為零，協(xié)方差為噪聲項(xiàng)，其均值為零，協(xié)方差為 - - 輸出量的初始狀態(tài)，計(jì)算輸出量的初始狀態(tài)，計(jì)算 的必要信息的必要信息)(),1 (,),1(),0(),1 (,),1()(keukuzzkzfkz)(kzm)(kur)(kee)0( z) 1 ( z43第十三章梯度校正參數(shù)辯識(shí)方法 置置 則模型則模型 式寫成式寫成 時(shí)刻的輸出可以用時(shí)刻的輸出可以用 時(shí)刻以前的數(shù)據(jù)來(lái)刻劃時(shí)刻以前的數(shù)據(jù)來(lái)刻劃) 1 (,),1() 1 (,),1()1()1(ukuuzkzzkk)(),()()1()

21、1(keuzfkzkkkk44第十三章梯度校正參數(shù)辯識(shí)方法 在獲得數(shù)據(jù)在獲得數(shù)據(jù) 和和 的條件下的條件下對(duì)輸出對(duì)輸出 的的“最好最好”預(yù)報(bào)可取它的條件數(shù)學(xué)期望預(yù)報(bào)可取它的條件數(shù)學(xué)期望值值 使得使得 這種這種“最好最好”的輸出預(yù)報(bào)應(yīng)是的輸出預(yù)報(bào)應(yīng)是“最好最好”模型的輸出模型的輸出 可通過(guò)極小化預(yù)報(bào)誤差準(zhǔn)則來(lái)獲得可通過(guò)極小化預(yù)報(bào)誤差準(zhǔn)則來(lái)獲得)1( kz)1( ku)(kz,| )()|()1()1(kkuzkzEkzmin,|)|()(|)1()1(2kkuzkzkzE45第十三章梯度校正參數(shù)辯識(shí)方法 常用的誤差預(yù)報(bào)準(zhǔn)則常用的誤差預(yù)報(bào)準(zhǔn)則 加權(quán)陣加權(quán)陣 - 預(yù)先選定的矩陣預(yù)先選定的矩陣 或或 其

22、中其中 )()(1DTJ )(detlog)(2DJ),()()()()(1)()1()1(1kkLkuzfkzkekekeLD46第十三章梯度校正參數(shù)辯識(shí)方法 當(dāng)當(dāng) 時(shí)時(shí) 將收斂于將收斂于 的協(xié)方差陣的協(xié)方差陣 通過(guò)極小化通過(guò)極小化 或或 獲得的參數(shù)估計(jì)值獲得的參數(shù)估計(jì)值稱作預(yù)報(bào)誤差估計(jì)稱作預(yù)報(bào)誤差估計(jì) 它用不著數(shù)據(jù)概率分布知識(shí)它用不著數(shù)據(jù)概率分布知識(shí)L)(D)(ke)(1J)(2J47第十三章梯度校正參數(shù)辯識(shí)方法12.3 其他兩種辯識(shí)方法其他兩種辯識(shí)方法48第十三章梯度校正參數(shù)辯識(shí)方法Bayes Bayes 方法方法 基本原理基本原理 所要估計(jì)的參數(shù)看作隨機(jī)變量所要估計(jì)的參數(shù)看作隨機(jī)變量

23、設(shè)法通過(guò)觀測(cè)與該參數(shù)有關(guān)聯(lián)的其他變量設(shè)法通過(guò)觀測(cè)與該參數(shù)有關(guān)聯(lián)的其他變量 以此來(lái)推斷這個(gè)參數(shù)以此來(lái)推斷這個(gè)參數(shù)49第十三章梯度校正參數(shù)辯識(shí)方法 例如例如 Kalman Kalman 濾波器是典型的濾波器是典型的 Bayes Bayes 方法方法不可觀測(cè)的待估計(jì)的狀態(tài)變量不可觀測(cè)的待估計(jì)的狀態(tài)變量 看作隨機(jī)變量看作隨機(jī)變量狀態(tài)變量與可觀測(cè)的輸入輸出變量是密切相關(guān)的狀態(tài)變量與可觀測(cè)的輸入輸出變量是密切相關(guān)的正是基于這些可觀測(cè)的輸入輸出變量正是基于這些可觀測(cè)的輸入輸出變量 推斷不可觀測(cè)的狀態(tài)變量推斷不可觀測(cè)的狀態(tài)變量x50第十三章梯度校正參數(shù)辯識(shí)方法 設(shè)設(shè) 是描述某一動(dòng)態(tài)過(guò)程的模型是描述某一動(dòng)態(tài)過(guò)程

24、的模型 是模型是模型 的參數(shù)，反映在動(dòng)態(tài)過(guò)程的輸入輸出觀的參數(shù)，反映在動(dòng)態(tài)過(guò)程的輸入輸出觀測(cè)值中測(cè)值中如果過(guò)程的輸出變量如果過(guò)程的輸出變量 在參數(shù)在參數(shù) 及其歷史記錄及其歷史記錄 條件下的概率密度函數(shù)是已知的條件下的概率密度函數(shù)是已知的 記作記作 - - 時(shí)刻以前的輸入輸出集合時(shí)刻以前的輸入輸出集合)(kz)1( kD),| )()1( kDkzp)1( kD) 1( k51第十三章梯度校正參數(shù)辯識(shí)方法 根據(jù)根據(jù) Bayes Bayes 觀點(diǎn)，參數(shù)觀點(diǎn)，參數(shù) 的估計(jì)問(wèn)題表述成的估計(jì)問(wèn)題表述成參數(shù)參數(shù) 看作具有某種驗(yàn)前概率密度看作具有某種驗(yàn)前概率密度 的的隨機(jī)變量隨機(jī)變量設(shè)法從輸入輸出數(shù)據(jù)中提取

25、關(guān)于參數(shù)設(shè)法從輸入輸出數(shù)據(jù)中提取關(guān)于參數(shù) 的信息的信息后者可以歸結(jié)為參數(shù)后者可以歸結(jié)為參數(shù) 的驗(yàn)后概率密度函數(shù)的驗(yàn)后概率密度函數(shù) 的的計(jì)算問(wèn)題計(jì)算問(wèn)題)|()1( kDp)|(kDp52第十三章梯度校正參數(shù)辯識(shí)方法 其中其中 - - 時(shí)刻以前的輸入輸出數(shù)據(jù)集合時(shí)刻以前的輸入輸出數(shù)據(jù)集合 與與 之間的關(guān)系之間的關(guān)系 和和 - - 過(guò)程過(guò)程 時(shí)刻的輸入輸出數(shù)據(jù)時(shí)刻的輸入輸出數(shù)據(jù)kDkkD)1( kD),(),()1( kkDkukzD)(kz)(kuk53第十三章梯度校正參數(shù)辯識(shí)方法 如果如果 是確定的變量，利用是確定的變量，利用 Bayes Bayes 公式公式參數(shù)參數(shù) 的驗(yàn)后概率密度函數(shù)可表示

26、成的驗(yàn)后概率密度函數(shù)可表示成參數(shù)參數(shù) 的驗(yàn)前概率密度函數(shù)的驗(yàn)前概率密度函數(shù) 及數(shù)據(jù)的條及數(shù)據(jù)的條件概率密度函數(shù)件概率密度函數(shù) 是已知的是已知的)(ku),(),(|()|()1( kkDkukzpDp),(|()1( kDkzpdDpDkzpDpDkzpkkkk)|(),| )()|(),| )()1()1()1()1()|()1( kDp),| )()1( kDkzp54第十三章梯度校正參數(shù)辯識(shí)方法 原則上原則上根據(jù)根據(jù) 式可以求得參數(shù)式可以求得參數(shù) 的驗(yàn)后概率密度函數(shù)的驗(yàn)后概率密度函數(shù) 實(shí)際上實(shí)際上 這是困難的這是困難的 只有在參數(shù)只有在參數(shù) 與數(shù)據(jù)之間的關(guān)系是線性的，噪聲又是高與數(shù)據(jù)之間的關(guān)系是線性的，噪聲又是高斯分布的情況下斯分布的情況下才有可能得到才有可能得到 式的解析解式的解析解55第十三章梯度校正參數(shù)辯識(shí)方法 求得參數(shù)求得參數(shù) 的驗(yàn)后概率密度函