信號的波形檢測復習及習題ppt課件

1、國家重點實驗室國家重點實驗室第四章第四章 信號的波形檢測復習及習題信號的波形檢測復習及習題國家重點實驗室國家重點實驗室 匹配濾波器匹配濾波器 匹配濾波器的定義匹配濾波器的定義 匹配濾波器的設計匹配濾波器的設計 匹配濾波器的主要性質匹配濾波器的主要性質國家重點實驗室國家重點實驗室 隨機過程的正交級數展開隨機過程的正交級數展開(1) 掌握隨機過程的卡亨南掌握隨機過程的卡亨南-洛維展開洛維展開 理解白噪聲條件下，正交函數集的任意性理解白噪聲條件下，正交函數集的任意性國家重點實驗室國家重點實驗室隨機過程的正交級數展開隨機過程的正交級數展開(2)1. 完備的正交函數集及確知信號的正交級數展開完備的正交函

2、數集及確知信號的正交級數展開1.1 完備的正交函數集完備的正交函數集若實函數集若實函數集 在在(0 ,T)時間內滿足時間內滿足 , 2 , 1,ktfk kjkjdttftfTjk, 0, 10 00Tkdttgtf不存在函數不存在函數g(t)，滿足，滿足則稱函數集則稱函數集 是完備正交函數集。是完備正交函數集。 , 2 , 1,ktfk國家重點實驗室國家重點實驗室隨機過程的正交級數展開隨機過程的正交級數展開(3)2.隨機過程的正交級數展開隨機過程的正交級數展開 NkkkNtfxtx1lim 假設接收為信號假設接收為信號 tntstx 其中其中s(t)是確知信號，是確知信號，n(t)是零均值的

3、平穩(wěn)隨機過程，則是零均值的平穩(wěn)隨機過程，則接收信號也是平穩(wěn)隨機過程。接收信號也是平穩(wěn)隨機過程。 由于隨機過程是由很多樣本函數構成的集合，而每個樣由于隨機過程是由很多樣本函數構成的集合，而每個樣本函數是時間的函數，所以對給定的樣本函數，可以進本函數是時間的函數，所以對給定的樣本函數，可以進行正交級數展開行正交級數展開 Tkkdttxtfx0 所有樣本函數的展開系數，構成了一族隨機變量。所有樣本函數的展開系數，構成了一族隨機變量。國家重點實驗室國家重點實驗室隨機過程的正交級數展開隨機過程的正交級數展開(4)3.隨機過程的卡亨南隨機過程的卡亨南-洛維展開洛維展開 目的：給出一種正交函數集的選擇方法，

4、以保證目的：給出一種正交函數集的選擇方法，以保證展開系數之間是互不相關的隨機變量。展開系數之間是互不相關的隨機變量。正交函數集正交函數集 Tkkdttxtfx0 假設隨機過程為假設隨機過程為 tntstx , 2 , 1,ktfk tntstx 的展開系數是隨機變量，且的展開系數是隨機變量，且 TkTkkdttntstfEdttxtfExE00ks國家重點實驗室國家重點實驗室隨機過程的正交級數展開隨機過程的正交級數展開(5)4.白噪聲條件下，正交函數集的任意性白噪聲條件下，正交函數集的任意性utNutRn20jjkksxsxE TTjnkdtduufutRtf00 TTjnkdtduufutN

5、tf0002 TjkdttftfN002kjN20在白噪聲條件下，可任意選取正交函數集，均可保證展開系數之間是不相在白噪聲條件下，可任意選取正交函數集，均可保證展開系數之間是不相關的。關的。國家重點實驗室國家重點實驗室二元波形信號檢測歸納二元波形信號檢測歸納(1)首先，利用隨機過程的正交級數展開，將隨機過程用一組隨機變量首先，利用隨機過程的正交級數展開，將隨機過程用一組隨機變量來表示；來表示；然后，針對展開得到的隨機變量，取前然后，針對展開得到的隨機變量，取前N個展開系數，利用第三章個展開系數，利用第三章的統計檢測方法，構建貝葉斯檢測表達式的統計檢測方法，構建貝葉斯檢測表達式(白高斯噪聲條件下

6、，展白高斯噪聲條件下，展開系數是不相關的，也是獨立的開系數是不相關的，也是獨立的)；最后，令最后，令N趨向于無窮大，求極限，得到波形信號的檢測表達式。趨向于無窮大，求極限，得到波形信號的檢測表達式?；緳z測方法基本檢測方法(正交級數展開法正交級數展開法)：國家重點實驗室國家重點實驗室二元波形信號檢測歸納二元波形信號檢測歸納(2) 2ln20010sHHTENdttxts簡單二元信號判決表達式及檢測系統結構簡單二元信號判決表達式及檢測系統結構國家重點實驗室國家重點實驗室二元波形信號檢測歸納二元波形信號檢測歸納(3) 22ln2010000110EENdttxtsdttxtsHHTT一般二元信號判

7、決表達式及檢測系統結構一般二元信號判決表達式及檢測系統結構國家重點實驗室國家重點實驗室二元波形信號檢測歸納二元波形信號檢測歸納(4)國家重點實驗室國家重點實驗室二元波形信號檢測歸納二元波形信號檢測歸納(5)檢測性能與偏移系數有關檢測性能與偏移系數有關02012HlVarHlEHlEddef022NEds簡單二元信號簡單二元信號一般二元信號一般二元信號01010222EEEENd11101HHPHHP2ln1ddQ01001HHPHHP2ln1ddQ國家重點實驗室國家重點實驗室二元波形信號檢測歸納二元波形信號檢測歸納(6) 在高斯白噪聲條件下，對于確知一般二元信號的波形檢測，在高斯白噪聲條件下，

8、對于確知一般二元信號的波形檢測，當兩個信號設計成互反信號時，可在信號能量給定的約束下當兩個信號設計成互反信號時，可在信號能量給定的約束下獲得最好的檢測性能。獲得最好的檢測性能。對簡單二元信號，只要保持信號對簡單二元信號，只要保持信號s(t)的能量不變，信號波形可以的能量不變，信號波形可以任意設計，檢測性能不發(fā)生變化。任意設計，檢測性能不發(fā)生變化。國家重點實驗室國家重點實驗室課后習題課后習題P245，4.13 TdttsE0200 解：解： 根據題設，得到兩個信號的能量分別為根據題設，得到兩個信號的能量分別為 TdttsE0211由于兩個假設先驗等概，因此在最小平均錯誤概率準則下，判決門限由于兩

9、個假設先驗等概，因此在最小平均錯誤概率準則下，判決門限1利用一般二元信號檢測波形判決表達式，得利用一般二元信號檢測波形判決表達式，得 22ln201030030110EENdttxtsdttxtsHHTT由于由于 tsts01sEEE10所以所以 010301HHTdttxts國家重點實驗室國家重點實驗室 為求平均錯誤概率，首先需要計算偏移系數為求平均錯誤概率，首先需要計算偏移系數02012HlVarHlEHlEddef 01300HdttstxEHlET dttstntsET1300sE dttstxlT301 在兩種假設下，統計量在兩種假設下，統計量 均是高斯隨機變量，因此有均是高斯隨機變

10、量，因此有國家重點實驗室國家重點實驗室0HlVar200HlEHlE 2301TdttstnE20sEN 11301HdttstxEHlET dttstntsET1301sE國家重點實驗室國家重點實驗室2/0202012sssdefENEEHlVarHlEHlEd08NEs1HlVar211HlEHlE 2301TdttstnE20sEN國家重點實驗室國家重點實驗室dlHlpHHP0012lnddQdlHlpHHP1112lnddQ10HHP2ln1ddQ2dQ02NEQs21dQ021NEQs02NEQs101010HHPHPHHPHPPe02NEQs國家重點實驗室國家重點實驗室P246，4

11、.18其中其中, 由題設，貝葉斯檢測表達式為由題設，貝葉斯檢測表達式為tbtats011coscos)(課后習題課后習題 22ln2010000110EENdttxtsdttxtsHHTTtbts00cos)(dttsET0211)(dttsET0200)(上述判決表達式可進一步改寫為上述判決表達式可進一步改寫為 1001cosHHTdttatx國家重點實驗室國家重點實驗室 為求平均錯誤概率，首先需要計算偏移系數為求平均錯誤概率，首先需要計算偏移系數02012HlVarHlEHlEddef dttatxlT01cos 0100cosHtdtatxEHlET tdtatntbET100cosco

12、s 在兩種假設下，統計量在兩種假設下，統計量 均是高斯隨機變量，因此有均是高斯隨機變量，因此有tdttbabT100coscos國家重點實驗室國家重點實驗室0HlVar 201cosTtdtatnE200HlEHlE420TaN 1101cosHtdtatxEHlET tdtatntbtaET1001coscoscostdttbabTaT1002coscos2國家重點實驗室國家重點實驗室1HlVar0202012NTaHlVarHlEHlEddef211HlEHlE 201cosTtdtatnE420TaN偏移系數與信號偏移系數與信號 無關，因此不影響系統的檢測性能。無關，因此不影響系統的檢測

13、性能。tbts00cos)(國家重點實驗室國家重點實驗室第五章第五章 信號的統計估計理論信號的統計估計理論課件下載地址：課件下載地址：xhjcygz126密碼：密碼：111111國家重點實驗室國家重點實驗室隨機參量的貝葉斯估計隨機參量的貝葉斯估計(1)1. 最小均方誤差估計最小均方誤差估計xCdpx2dpx222022msedpdpxx1dpxdpmsex國家重點實驗室國家重點實驗室隨機參量的貝葉斯估計隨機參量的貝葉斯估計(2)1. 最小均方誤差估計最小均方誤差估計dpmsex注：注：1最小均方誤差估計的估計量實際是條件均值最小均方誤差估計的估計量實際是條件均值xxEdpmse2最小均方誤差估

14、計的條件平均代價實際是條件方差最小均方誤差估計的條件平均代價實際是條件方差dpCmsemsexx2dpExx23最小均方誤差估計量的另一種形式最小均方誤差估計量的另一種形式dpmsex dppxx,dpdpxx, dppdppxx國家重點實驗室國家重點實驗室 隨機參量的貝葉斯估計隨機參量的貝葉斯估計(3)2. 最大后驗估計最大后驗估計 dpcCxx選定的代價函數為選定的代價函數為 22dpdpxx , 0, 1cc221dpx使條件平均代價最小，應該使使條件平均代價最小，應該使 取到最大值取到最大值22dpx當當很小時，為保證上式最大，應當選擇估計量很小時，為保證上式最大，應當選擇估計量 ，使

15、它處于后驗概率密度函數使它處于后驗概率密度函數 最大值的位置。最大值的位置。xp國家重點實驗室國家重點實驗室 隨機參量的貝葉斯估計隨機參量的貝葉斯估計(4)0mappx根據上述分析，得到最大后驗概率估計量為根據上述分析，得到最大后驗概率估計量為兩種等價形式兩種等價形式0lnmappx 0lnlnmapppx xxxpppp國家重點實驗室國家重點實驗室 最大似然估計最大似然估計(1)0mlpx或或根據最大似然估計原理，如果已知似然函數根據最大似然估計原理，如果已知似然函數 ，則最大似然估計量可由，則最大似然估計量可由xp0lnmlpx解得。解得。國家重點實驗室國家重點實驗室最大似然估計最大似然估

16、計(2) 最大似然估計量不變性歸納最大似然估計量不變性歸納 則有以下兩個結論則有以下兩個結論如果參量如果參量 的最大似然估計量為的最大似然估計量為 ，函數，函數 的最大似然估計量為的最大似然估計量為 gmlml(1)假設假設 是是 的一對一變換，則有的一對一變換，則有mlmlg g所有變換參量的似然函數所有變換參量的似然函數 中具有最大值的一個中具有最大值的一個jipi, 2 , 1x經過經過 求出求出 最大似然估計量最大似然估計量 。(2)假設假設 是是 的一對的一對j變換，則應找出在變換，則應找出在 取值范圍內，取值范圍內， gjippi, 2 , 1,maxxxxpml國家重點實驗室國家

17、重點實驗室單參量估計方法小結單參量估計方法小結 最大似然估計適用于非隨機參量和概率密度函數未知的最大似然估計適用于非隨機參量和概率密度函數未知的隨機參量估計隨機參量估計 最小均方誤差估計和最大后驗估計適用于概率密度函數最小均方誤差估計和最大后驗估計適用于概率密度函數已知的隨機參量估計。已知的隨機參量估計。 但對于非高斯型的，不同的估計方法，可能會得到不同的估計量，如何來衡量一個但對于非高斯型的，不同的估計方法，可能會得到不同的估計量，如何來衡量一個估計量的好壞？估計量的好壞？如果后驗概率密度是高斯型的，則最小均方誤差、最大后驗和條件中值三種方法得到如果后驗概率密度是高斯型的，則最小均方誤差、最

18、大后驗和條件中值三種方法得到的估計量相同，都是具有最小均方誤差的估計量。的估計量相同，都是具有最小均方誤差的估計量。國家重點實驗室國家重點實驗室 估計量的性質估計量的性質(1)1. 估計量的主要性質估計量的主要性質1.1 估計量的無偏性估計量的無偏性(1) 對于隨機參量對于隨機參量 ，如果估計量，如果估計量 的均值滿足的均值滿足 EddpE xx,則稱則稱 是隨機參量是隨機參量 的無偏估計。的無偏估計。國家重點實驗室國家重點實驗室 估計量的性質估計量的性質(2)1.1 估計量的無偏性估計量的無偏性(2) 對于非隨機參量對于非隨機參量 ，如果估計量，如果估計量 的均值為的均值為 bdpEx假設假

19、設 則稱則稱 是非隨機參量是非隨機參量 的無偏估計。的無偏估計。 0b假設假設 則稱則稱 是非隨機參量是非隨機參量 的有偏估計。的有偏估計。 0b假設假設 則稱則稱 是非隨機參量是非隨機參量 的已知偏差的有偏估計，的已知偏差的有偏估計， bb可從估計量可從估計量 中減去常數中減去常數b獲得無偏估計。獲得無偏估計。國家重點實驗室國家重點實驗室 估計量的性質估計量的性質(3)1.1 估計量的無偏性估計量的無偏性(3) 如果根據如果根據N次觀測量構造的估計量次觀測量構造的估計量 是有偏的，但滿足是有偏的，但滿足NxNNExlim或或 EENNxlim非隨機參量非隨機參量隨機參量隨機參量則稱則稱 是是

20、 的漸近無偏估計。的漸近無偏估計。Nx國家重點實驗室國家重點實驗室估計量的性質估計量的性質(4)1.2 估計量的有效性估計量的有效性對于被估計量對于被估計量 的任意無偏估計的任意無偏估計 和和 ，若估計的均方誤差，若估計的均方誤差2221EE12則稱估計量則稱估計量 比比 更有效。更有效。12假設假設 的無偏估計量的無偏估計量 小于其他任意無偏估計量的均小于其他任意無偏估計量的均方誤差，則稱該估計量為最小均方誤差估計量。方誤差，則稱該估計量為最小均方誤差估計量。問題：能否確定一個均方誤差的下界？問題：能否確定一個均方誤差的下界？國家重點實驗室國家重點實驗室估計量的性質估計量的性質(5)1.3

21、估計量的一致性估計量的一致性假設根據假設根據N次觀測量構造的估計量為次觀測量構造的估計量為 Nx0limNNPx假設假設則稱估計量則稱估計量 是一致收斂的估計量。是一致收斂的估計量。Nx0lim2NNEx假設假設則稱估計量則稱估計量 是均方一致收斂的估計量。是均方一致收斂的估計量。Nx國家重點實驗室國家重點實驗室非隨機參量的克拉美非隨機參量的克拉美-羅不等式羅不等式(1)設設 是非隨機參量是非隨機參量 的無偏估計，則有的無偏估計，則有 22ln1xpEEVar或 222ln1xpEEVar當且僅當當且僅當 時，上述兩式取等號。時，上述兩式取等號。 kplnx克拉美克拉美-羅羅不等式不等式克拉美

22、克拉美-羅不等式取等號的條件羅不等式取等號的條件國家重點實驗室國家重點實驗室非隨機參量的克拉美非隨機參量的克拉美-羅不等式羅不等式(2)2.1 非隨機參量情況下的克拉美非隨機參量情況下的克拉美-羅不等式的含義和用途羅不等式的含義和用途222ln1ln1xxpEpE(1) 非隨機參量非隨機參量 的任意無偏估計量的任意無偏估計量 的方差的方差 ，即，即均方誤差恒不小于均方誤差恒不小于 Var(2) 若非隨機參量若非隨機參量 的無偏估計量的無偏估計量 滿足滿足 kplnx則無偏估計量則無偏估計量 是有效的，否則是無效的。是有效的，否則是無效的。 國家重點實驗室國家重點實驗室非隨機參量的克拉美非隨機參

23、量的克拉美-羅不等式羅不等式(3)2.1 非隨機參量情況下的克拉美非隨機參量情況下的克拉美-羅不等式的含義和用途羅不等式的含義和用途 2EVar(3) 若非隨機參量若非隨機參量 的無偏估計量的無偏估計量 是有效的，則估計量是有效的，則估計量的方差，即均方誤差可由克拉美的方差，即均方誤差可由克拉美-羅界取得。羅界取得。222ln1ln1xxpEpE國家重點實驗室國家重點實驗室非隨機參量的克拉美非隨機參量的克拉美-羅不等式羅不等式(4)2.1 非隨機參量情況下的克拉美非隨機參量情況下的克拉美-羅不等式的含義和用途羅不等式的含義和用途(4) 若非隨機參量若非隨機參量 的無偏有效估計量的無偏有效估計量

24、 存在，它必定是存在，它必定是 的最大似然估計量的最大似然估計量 ，且可由最大似然方程解得。，且可由最大似然方程解得。 ml(5) 若非隨機參量若非隨機參量 的最大似然估計量的最大似然估計量 不一定是無偏有不一定是無偏有效的。效的。ml0lnmlpx最大似然估計量為 kplnx由 0mlkml國家重點實驗室國家重點實驗室非隨機參量的克拉美非隨機參量的克拉美-羅不等式羅不等式(5)2.2 非隨機參量情況下，無偏有效估計量的均方誤差計算方法非隨機參量情況下，無偏有效估計量的均方誤差計算方法若非隨機參量若非隨機參量 的無偏估計量的無偏估計量 也是有效的，則其均方誤差也是有效的，則其均方誤差為為 kE

25、Var12 kplnx由 kkpln22x kkkEpEln22x kpEEVar1ln1222x國家重點實驗室國家重點實驗室隨機參量的克拉美隨機參量的克拉美-羅不等式羅不等式(1)設設 是隨機參量是隨機參量 的無偏估計，則有的無偏估計，則有 22,ln1xpEEVar或 222,ln1xpEEVar當且僅當當且僅當 時，上述兩式取等號。時，上述兩式取等號。kp,lnx克拉美克拉美-羅羅不等式不等式克拉美克拉美-羅不等式取等號的條件羅不等式取等號的條件國家重點實驗室國家重點實驗室隨機參量的克拉美隨機參量的克拉美-羅不等式羅不等式(2)3.1 隨機參量情況下的克拉美隨機參量情況下的克拉美-羅不等

26、式的含義和用途羅不等式的含義和用途(1) 由于由于 ppplnln,lnxx所以所以 22222lnln1ppEEVarx 22lnln1ppEEVarx國家重點實驗室國家重點實驗室隨機參量的克拉美隨機參量的克拉美-羅不等式羅不等式(3)3.1 隨機參量情況下的克拉美隨機參量情況下的克拉美-羅不等式的含義和用途羅不等式的含義和用途222,ln1,ln1xxpEpE(2) 隨機參量隨機參量 的任意無偏估計量的任意無偏估計量 的方差的方差 ，即均，即均方誤差恒不小于方誤差恒不小于 Var國家重點實驗室國家重點實驗室隨機參量的克拉美隨機參量的克拉美-羅不等式羅不等式(4)3.1 隨機參量情況下的克拉

27、美隨機參量情況下的克拉美-羅不等式的含義和用途羅不等式的含義和用途222,ln1,ln1xxpEpE 2EVar(4) 若隨機參量若隨機參量 的無偏估計量的無偏估計量 是有效的，則估計量的是有效的，則估計量的方差，即均方誤差可由克拉美方差，即均方誤差可由克拉美-羅界取得。羅界取得。(3) 若隨機參量若隨機參量 的無偏估計量的無偏估計量 滿足滿足 則無偏估計量則無偏估計量 是有效的，否則是無效的。是有效的，否則是無效的。 kp,lnx國家重點實驗室國家重點實驗室隨機參量的克拉美隨機參量的克拉美-羅不等式羅不等式(5)3.1 隨機參量情況下的克拉美隨機參量情況下的克拉美-羅不等式的含義和用途羅不等

28、式的含義和用途(6) 若隨機參量若隨機參量 的無偏有效估計量的無偏有效估計量 存在，它必定是存在，它必定是 的的最大后驗估計量最大后驗估計量 ，且可由最大后驗方程解得。，且可由最大后驗方程解得。 map 0lnlnmapppx最大后驗估計量為最大后驗估計量為 kpplnlnx由0mapkmap國家重點實驗室國家重點實驗室隨機參量的克拉美隨機參量的克拉美-羅不等式羅不等式(6)3.2 隨機參量情況下，無偏有效估計量的均方誤差計算方法隨機參量情況下，無偏有效估計量的均方誤差計算方法若隨機參量若隨機參量 的無偏估計量的無偏估計量 也是有效的，則其均方誤差為也是有效的，則其均方誤差為 kEVar12k

29、p,lnx由kp22,lnxkpE22,lnx kpEEVar1,ln1222x國家重點實驗室國家重點實驗室非隨機參量函數的克拉美非隨機參量函數的克拉美-羅不等式羅不等式(1) 222lnxpEgEVar或 2222lnxpEgEVar當且僅當當且僅當 時，上述兩式取等號。時，上述兩式取等號。 kplnx克拉美克拉美-羅羅不等式不等式克拉美克拉美-羅不等式取等號的條件羅不等式取等號的條件設設 非隨機參量非隨機參量 的函數的函數 ，其估計量，其估計量 是是 的任意無偏的任意無偏估計，則有估計，則有 g國家重點實驗室國家重點實驗室隨機矢量的貝葉斯估計隨機矢量的貝葉斯估計最小均方誤差估計最小均方誤差

30、估計 第第j個參量的最小均方誤差估計為：個參量的最小均方誤差估計為： 用矢量表示為：用矢量表示為：最大后驗估計最大后驗估計 式中式中 ( |),1,2,.,jmsejpdjMx( | )msepx d ln( | )0mappx 最大后驗方程組12ln( | )ln( | )ln( | )ln( | )defMpxpxpxpx 國家重點實驗室國家重點實驗室隨機矢量的偽貝葉斯估計隨機矢量的偽貝葉斯估計應用范圍：隨機矢量的均值矢量和協方差矩陣已知，但概率密度應用范圍：隨機矢量的均值矢量和協方差矩陣已知，但概率密度函數未知時，可采用偽貝葉斯估計方法。函數未知時，可采用偽貝葉斯估計方法。 方法：根據隨

31、機矢量的均值矢量和協方差矩陣，將隨機矢量的概方法：根據隨機矢量的均值矢量和協方差矩陣，將隨機矢量的概率密度函數假設為某種分布，然后應用貝葉斯方法進行估計。率密度函數假設為某種分布，然后應用貝葉斯方法進行估計。 最常用的，是假設為隨機矢量服從高斯分布。最常用的，是假設為隨機矢量服從高斯分布。采用偽貝葉斯估計方法得到的估計量，其均方誤差陣不差于采用采用偽貝葉斯估計方法得到的估計量，其均方誤差陣不差于采用最大似然估計時的結果。最大似然估計時的結果。國家重點實驗室國家重點實驗室隨機矢量的經驗偽貝葉斯估計隨機矢量的經驗偽貝葉斯估計應用范圍：隨機矢量的均值矢量、協方差矩陣和概率密度函數均應用范圍：隨機矢量

32、的均值矢量、協方差矩陣和概率密度函數均未知時，可采用經驗偽貝葉斯估計方法。未知時，可采用經驗偽貝葉斯估計方法。 方法：根據觀測信號，首先估計隨機矢量的均值矢量和協方差矩方法：根據觀測信號，首先估計隨機矢量的均值矢量和協方差矩陣，然后根據估計結果將隨機矢量的概率密度函數假設為某種分陣，然后根據估計結果將隨機矢量的概率密度函數假設為某種分布，并應用貝葉斯方法進行估計。布，并應用貝葉斯方法進行估計。 最常用的，是假設為隨機矢量服從高斯分布。最常用的，是假設為隨機矢量服從高斯分布。采用經驗偽貝葉斯估計方法得到的估計量，其均方誤差陣不差于采用經驗偽貝葉斯估計方法得到的估計量，其均方誤差陣不差于采用最大似

33、然估計時的結果。采用最大似然估計時的結果。國家重點實驗室國家重點實驗室線性最小均方誤差估計線性最小均方誤差估計(1)線性最小均方誤差估計準則線性最小均方誤差估計準則 線性最小均方誤差估計量的構造線性最小均方誤差估計量的構造線性最小均方誤差估計矢量的性質線性最小均方誤差估計矢量的性質線性最小均方誤差估計的應用范圍：線性最小均方誤差估計的應用范圍：已知觀測信號和被估計隨機矢量的均值矢量、協方差矩陣和互協方差矩陣。已知觀測信號和被估計隨機矢量的均值矢量、協方差矩陣和互協方差矩陣。國家重點實驗室國家重點實驗室線性最小均方誤差估計線性最小均方誤差估計(2)線性最小均方誤差估計準則線性最小均方誤差估計準則

34、 首先，構造的估計矢量首先，構造的估計矢量 是觀測矢量是觀測矢量x的線性函數，即：的線性函數，即： 同時要求估計矢量同時要求估計矢量 的均方誤差最小，即為的均方誤差最小，即為 最小，式中，最小，式中， 表示矩陣的軌跡。表示矩陣的軌跡。所以，線性最小均方誤差估計的估計規(guī)則，就是把估計量構造成觀測所以，線性最小均方誤差估計的估計規(guī)則，就是把估計量構造成觀測量的線性函數，同時要求估計量的均方誤差最小。量的線性函數，同時要求估計量的均方誤差最小。Bx2() () ()() TTETr E ()Tr 國家重點實驗室國家重點實驗室線性最小均方誤差估計線性最小均方誤差估計(3)解得解得1xxCCBxxxxC

35、CBa1所以所以xCCCCBxaxxxxx11lmsexxxxCC1國家重點實驗室國家重點實驗室線性最小均方誤差估計矢量的性質線性最小均方誤差估計矢量的性質(1) 估計矢量是觀測矢量的線性函數估計矢量是觀測矢量的線性函數(2) 線性最小均方誤差估計矢量是無偏估計線性最小均方誤差估計矢量是無偏估計lmsexxxxCC1lmseE xxxxCC1ExxxxCCE1lmse所以所以是是 無偏估計無偏估計國家重點實驗室國家重點實驗室線性最小均方誤差估計矢量的性質線性最小均方誤差估計矢量的性質(3)估計矢量均方誤差陣的最小性估計矢量均方誤差陣的最小性 線性最小均方誤差估計矢量在線性估計中具有最小的均方誤

36、差，且均方誤差線性最小均方誤差估計矢量在線性估計中具有最小的均方誤差，且均方誤差矩陣也具有最小性。矩陣也具有最小性。(4)估計的誤差矢量與觀測矢量的正交性估計的誤差矢量與觀測矢量的正交性被估計矢量被估計矢量與觀測矢量與觀測矢量x是正交的，即是正交的，即與線性最小均方誤差估計矢量與線性最小均方誤差估計矢量 之間的誤差矢量之間的誤差矢量lmselmse0TlmseEx國家重點實驗室國家重點實驗室線性最小均方誤差估計矢量的性質線性最小均方誤差估計矢量的性質0TlmseExlmse由于由于是是 無偏估計無偏估計TTlmseExxTlmseExTTExxxxxxCC1TTEExxxxxxxCCx1xxx

37、xCCCC10國家重點實驗室國家重點實驗室最小二乘估計最小二乘估計(1)( )() ()TJxHxH1. 最小二乘估計方法最小二乘估計方法均方誤差最?。罕还烙嬃颗c估計量之差在統計平均的意義上達到最小值。均方誤差最?。罕还烙嬃颗c估計量之差在統計平均的意義上達到最小值。若只有觀測信號模型，則無法從統計平均的角度考慮估計誤差最小，但可以按照誤差的若只有觀測信號模型，則無法從統計平均的角度考慮估計誤差最小，但可以按照誤差的平方和最小的原則進行估計。平方和最小的原則進行估計。nHx觀測信號模型為：觀測信號模型為： 0lsJ所以，線性最小二乘估計量，是滿足下述方程的解：所以，線性最小二乘估計量，是滿足下述

38、方程的解：國家重點實驗室國家重點實驗室最小二乘估計最小二乘估計(2)2. 線性最小二乘估計線性最小二乘估計 HxHHxHx2TTJ由于由于所以所以lsTTHHxHxHHHTTls1國家重點實驗室國家重點實驗室最小二乘估計最小二乘估計(3)(1) 估計矢量是觀測矢量的線性函數估計矢量是觀測矢量的線性函數(2) 若觀測噪聲矢量若觀測噪聲矢量n的均值矢量為零，則線性最小的均值矢量為零，則線性最小 二乘估計矢量是二乘估計矢量是無偏的。無偏的。(3) 若觀測噪聲矢量若觀測噪聲矢量n的均值矢量為零，協方差矩陣為的均值矢量為零，協方差矩陣為 ，則線性，則線性最小二乘估計矢量的均方誤差陣為：最小二乘估計矢量的

39、均方誤差陣為： nC11()()lsTTTnMH HH C H H H3. 線性最小二乘估計量的性質線性最小二乘估計量的性質 xHHHTTlsEE1nHHHHTTE1 E國家重點實驗室國家重點實驗室最小二乘估計最小二乘估計(4)4. 線性最小二乘加權估計線性最小二乘加權估計提出背景：如果各次觀測噪聲的強度不同，所得的各次觀測量的精度也是不同的。提出背景：如果各次觀測噪聲的強度不同，所得的各次觀測量的精度也是不同的。噪聲方差小時，觀測量的精度較高，噪聲方差大，觀測量的精度較低。如何在構造估計噪聲方差小時，觀測量的精度較高，噪聲方差大，觀測量的精度較低。如何在構造估計量時，綜合考慮上述因素？量時，

40、綜合考慮上述因素？可以通過加權的方式，提高估計的精確度可以通過加權的方式，提高估計的精確度加權線性最小二乘估計。加權線性最小二乘估計。 HxWHxJWT 0lswJW線性最小二乘加權估計量，是滿足下述方程的解：線性最小二乘加權估計量，是滿足下述方程的解：國家重點實驗室國家重點實驗室最小二乘估計最小二乘估計(5) HxWHHxWHxW2TTJ由于由于所以所以lswTTWHHWxHWxHWHHTTlsw1 lswTlswlswHxWHxJWminWxHWHHHxWWxHWHHHxTTTTT11國家重點實驗室國家重點實驗室波形中參量估計的基本原理波形中參量估計的基本原理令令 ，得到，得到N Nkkk

41、NNNsxNptxp102,0exp1limlimxNkkkNNNNsxN102,2/0limexplim TdttstxNF020,1exp2/0limNNNF國家重點實驗室國家重點實驗室波形中參量估計的基本原理波形中參量估計的基本原理所以，所以， 的最大似然估計是滿足下述方程的解的最大似然估計是滿足下述方程的解 0lnmltxp由于由于 dttststxNtxpT00,2ln 0,200mldttststxNT國家重點實驗室國家重點實驗室信號振幅的估計信號振幅的估計( ; )( ), 0s tas ttT 信號可表示為信號可表示為其中，其中，s(t)是已知信號，振幅是已知信號，振幅a是待估

42、計量，其最大似然估計量是待估計量，其最大似然估計量是滿足下述方程的解是滿足下述方程的解 0,200mldttststxNT 0200mlaaTdtatastastxN國家重點實驗室國家重點實驗室信號振幅的估計信號振幅的估計 dttstastxNdtatastastxNTT000022由于由于 dttasdttstxNTT02002所以所以0ml20( ) ( )( )TTx t s t dtas t dt國家重點實驗室國家重點實驗室信號振幅的估計信號振幅的估計信號振幅估計的性質信號振幅估計的性質0ml20( ) ( )( )TTx t s t dtas t dt TTmldttsdttstxE

43、aE020 TTdttsdttstxE020 TTdttsdttstntasE020a的無偏估計量。是aaml國家重點實驗室國家重點實驗室信號振幅的估計信號振幅的估計 dttstastxNaatxpT002ln由于由于 dttasdttstxNTT02002 dttsdttstxadttsNTTT0200202mlsaaNE20有的無偏有效估計量，且是aamlsmlENaaE202國家重點實驗室國家重點實驗室課后習題課后習題是高斯白噪聲，所以是高斯白噪聲，所以N次觀測是互不相關的，次觀測是互不相關的，5.9(1). 由于由于(1,2,)kn kN也是統計獨立的。于是也是統計獨立的。于是12(,

44、.,)TNxxxx的概率密度函數為的概率密度函數為:由最大似然方程，得：由最大似然方程，得：2/2221/ 21()exp22NkNknnxpx21ln1022mlNkknpx x解得：解得：12NmlkkxN國家重點實驗室國家重點實驗室下面考察下面考察ml的主要性質：的主要性質：由于由于122NmlkkEEnN所以，所以，m l是無偏估計量。是無偏估計量。又因為又因為22211ln12224NNkkkknnpNxxNxmlk所以，所以，m l也是有效估計量。也是有效估計量。這樣，這樣，m l是無偏，有效估計量，其均方值取克拉美是無偏，有效估計量，其均方值取克拉美-羅界為羅界為2222ln|4

45、1nmlpEEN x國家重點實驗室國家重點實驗室(2). 由最大后驗方程，得：由最大后驗方程，得： 21lnln11()224Nkknppxx221110244mapNkknnNx 解得：解得：2121,NmapknkxNN2121NknkxNN0,map2121NknkxNN由于由于221211()()( )2NmapknnkEEnENNN所以，所以，map是有偏估計量，但是漸進無偏的。是有偏估計量，但是漸進無偏的。國家重點實驗室國家重點實驗室估計量估計量map的均方誤差為的均方誤差為22212()2NnmapkkEEnNN2242222111422()()NNNnnnkkkkkkEnEnn

46、NNNNN2422221144()()NNnnkkkkEnE nNNN4222222244(1)4nnnnNNNN國家重點實驗室國家重點實驗室(3). 令令11NkkxxN那么那么2222112,210,2mlnnmapnxxxNNxN ， 與觀測量與觀測量 的關系如上圖所示。的關系如上圖所示。 從估計量的均方誤差看，雖然求最大后驗估計量從估計量的均方誤差看，雖然求最大后驗估計量 時，給出時，給出了被估計量了被估計量 的概率密度函數的概率密度函數 ，但限定了它大于等于，但限定了它大于等于 0，所構，所構造的估計量造的估計量 是有偏的。而是有偏的。而 是無偏有效估計量。所以是無偏有效估計量。所以

47、 的的均方誤差大于均方誤差大于 的均方誤差。但隨著觀測次數的均方誤差。但隨著觀測次數N的增加，二者的均的增加，二者的均方誤差之差隨之減小。方誤差之差隨之減小。mlmap xmap pmapm lmapml國家重點實驗室國家重點實驗室 課后習題課后習題方法方法1：先求：先求2mln，再利用最大似然估計的不變性得，再利用最大似然估計的不變性得 。m lnP解：噪聲解：噪聲n(t)的的N個獨立樣本個獨立樣本(1,2,)kn kN構成構成N維高斯隨機矢量維高斯隨機矢量12( ,.,)TNx xxx，其，其N維聯合概率密度函數為維聯合概率密度函數為22/22211()exp22NNknknnnpn方差方

48、差2n的最大似然估計量的最大似然估計量2mln，由最大似然方程，得，由最大似然方程，得22222241ln022nnmlNnkknnnpnN x解得解得2211mlNnkknN利用最大似然估計的不變性，并考慮利用最大似然估計的不變性，并考慮210lgnnP是一對一變換，所以噪聲是一對一變換，所以噪聲n(t)的功率的最大似然估計量為的功率的最大似然估計量為221110lg10lgmlmlNnnkknNP5.13國家重點實驗室國家重點實驗室方法方法2：利用：利用210lgnnP，將，將2( |)npn等效地參數化為等效地參數化為( |p )np n然后直接求然后直接求pn的最大似然估計的最大似然估

49、計 。 pmln解：由于解：由于210lgnnP所以，所以，/10210nnP這樣，這樣，2( |)npn等效參數化為等效參數化為2/2/10/1011(n |p )()exp2102 10nnNNknknpPP由最大似然方程，得：由最大似然方程，得：2/101lnpp22ln(2 )ln10pp102 10nNnnkknnpnNNPn/1021110|nnnmlNppkknNP兩邊取對數兩邊取對數21110 lgm lNnkknNP2/101ln 101ln 100202010nnnm lNkkppnN P即：即：國家重點實驗室國家重點實驗室課后習題課后習題5.14 先求先求ml，再利用最大

50、似然估計量的不變性得，再利用最大似然估計量的不變性得ml解：觀測信號矢量解：觀測信號矢量12( ,.,)TNx xxx的的N維聯合概率密度函數為維聯合概率密度函數為2/22211()exp22NkNknnxpx由最大似然方程，得：由最大似然方程，得：221ln0mlNkknnpxN x解得：解得：11NmlkkxN是無偏、有效估計量，其均方誤差是無偏、有效估計量，其均方誤差ml22nmlEN利用最大似然估計的不變性，并考慮到利用最大似然估計的不變性，并考慮到bc是一對一的變換，所以，是一對一的變換，所以，1Nm lm lkkbbcxcN國家重點實驗室國家重點實驗室由于由于1()()Nmlkkb

51、EEncbcN所以，所以， 是無偏估計量。是無偏估計量。ml又因為又因為21ln1()NkknpxNxmlk21()NkknbNbcxcNb式中式中2nNkb 所以，所以， 也是有效估計量。也是有效估計量。ml均方誤差取克拉美均方誤差取克拉美-羅界，為：羅界，為：222222ln|()nmlpbbcEEN x國家重點實驗室國家重點實驗室課后習題課后習題解：線性最小二乘估計矢量的構造公式為解：線性最小二乘估計矢量的構造公式為1()TTlsx H HH估計矢量的均方誤差為估計矢量的均方誤差為11()()lsTTTnCMH HHH H H(1).單參量估計的情況，線性觀測方程為：單參量估計的情況，線

52、性觀測方程為：,1,2,kkkxhnkN觀測矩陣為：觀測矩陣為：12,TNh hhH =觀測矢量為：觀測矢量為：12,TNx xxx =觀測噪聲矢量為：觀測噪聲矢量為：12,TNn nnn =線性最小二乘估計量為：線性最小二乘估計量為：1112212122111NlsNNkkNkkkNNhxhxhhhhhhh xhhx5.31國家重點實驗室國家重點實驗室221121112222121212222222111()00000011lslsnnNNNnNNNnNnkNNkkkkkEhhhhhhhhhhhhhhhhhhhhh2211nNkkh(2).在單參量估計的情況下，若觀測噪聲在單參量估計的情況下

53、，若觀測噪聲 的統計特性滿足：的統計特性滿足：2()0,(),()0kjknjkkE nE n nEn 2220000()00nTnnnECnn于是，估計量的均方誤差為：于是，估計量的均方誤差為：國家重點實驗室國家重點實驗室222222222211111111()()kklsNNlsknknNNNkkkkkkkkEhhhhh(3).在單參量估計的情況下，若觀測噪聲的統計特性滿足：在單參量估計的情況下，若觀測噪聲的統計特性滿足：2()0,(),()0kkjknjkkE nE n nEn 122220000()00NnnTnnECnn于是，估計量的均方誤差為：于是，估計量的均方誤差為：國家重點實驗

54、室國家重點實驗室121212222222222()NNNnnnnnnTnnnnECnn(4).在單參量估計的情況下，若觀測噪聲的統計特性滿足：在單參量估計的情況下，若觀測噪聲的統計特性滿足：2()0,(),()0kkjknkE nE n nEn在線性最小二乘估計量的均方誤差式中，各項分別為：在線性最小二乘估計量的均方誤差式中，各項分別為：112112211()TNNkkNhhhhhhhH H國家重點實驗室國家重點實驗室12121212222122221222212222211111NNNNjnnnnnnTnNNnnnNNNNNknknknjknkkkjkNhhChhhhhhhhhhhhHH =

55、22222221111111111()jjlsNNNNjknjknNNNjkjkkkkkkkhhhhhhh這樣，線性最小二乘估計量的均方誤差為：這樣，線性最小二乘估計量的均方誤差為：國家重點實驗室國家重點實驗室112112211()TNNkkNhhhhhhhH H1 11 212 12 2212222222222()NNNNNNn nn nn nn nn nn nTnn nn nn nECnn(5).在單參量估計的情況下，若觀測噪聲的統計特性滿足：在單參量估計的情況下，若觀測噪聲的統計特性滿足：22()0,(),()0jkkjkjkn nn nkE nE n nEn在線性最小二乘估計量的均方誤差式中，各項分別為