現(xiàn)代統(tǒng)計信號處理(第一章)

1、2.718281828459045235360287471352662497757247093699959 57496696762772407663035354759457138217852516642742746 63919320030599218174135966290435729003342952605956307 3813232862794349076323382988075319525101901 SelectFromDitits/PartitionFirstRealDigitsE,10,1000,10,1,PrimesQ,1 Reference Harvard University

2、 Engineering Sciences 251r. Advanced Topics in Inference, Information, and Statistical Signal Processing Waterloo, Canada ECE 603: Statistical Signal Processing, for Graduate student, Steven M. Kay, Fundamentals of Statistical Signal Processing, Prentice Hall, 1993 邱田爽等著 統(tǒng)計信號處理-非高斯信號處理及應(yīng)用. 電子工業(yè)出版社，2

3、004 J.G.Proakis(美) 統(tǒng)計信號處理算法，清華大學出版社，2006 School of Electronics and Information Engineering 2/30 第一章 引言 1.1基本概念 統(tǒng)計信號處理 是從噪聲背景中提取有用信息的最佳理論和方法從噪聲背景中提取有用信息的最佳理論和方法?；緝?nèi)容 包括了信號檢測、估計和最佳濾波理論及其應(yīng)用。 應(yīng)用領(lǐng)域 通信、雷達、聲納、導航、自動控制、語音信號、圖像、生物醫(yī) 學、地震信號等 School of Electronics and Information Engineering 3/30 噪聲信號觀測信號 + 統(tǒng)計信號

4、處理 統(tǒng)計信號處理的基本問題 舉例1：通信系統(tǒng) 處理要求：有效性問題、可靠性問題 處理約束：外部干擾、內(nèi)部噪聲、信號畸變 解決的問題： 噪聲中信息檢測問題 消除信號畸變的最佳濾波問題 School of Electronics and Information Engineering 4/30 信源變換編碼調(diào)制 解調(diào)解碼反變換信宿 信道信道 統(tǒng)計信號處理的基本問題 舉例2：雷達系統(tǒng) 處理要求：目標發(fā)現(xiàn)問題、目標定位問題 處理約束：外部干擾、內(nèi)外部噪聲、雜波 解決的問題： 噪聲中目標檢測問題 回波信號延遲測量的最佳濾波問題 School of Electronics and Information

5、 Engineering 5/30 統(tǒng)計信號處理的基本問題 舉例3：聲納系統(tǒng) 處理要求： 目標發(fā)現(xiàn)問題、目標定位問題 處理約束：外部干擾、內(nèi)外部噪聲、雜波 解決的問題： 傳感器陣列目標定位問題 回波信號的波形估計問題 School of Electronics and Information Engineering 6/30 0 0 2 d c 0 1 cos 1.2統(tǒng)計信號處理的數(shù)學描述 針對觀測序列 估計問題：估計某個參數(shù) ， 檢測問題： 濾波問題 School of Electronics and Information Engineering 7/30 ) 1(),1 (),0( Nx

6、xxg )()()(: )()(: 1 0 nwnsnxH nwnxH ) 1(),1 (),0()(NxxxTnf 1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論 1、貝葉斯定理：Thomas Bayes（1702-1761） 以最大后驗概率估計參數(shù) 先驗知識的應(yīng)用 1758年，An essay towards solving a Problem in the Doctrine of Chances” 1763年，A letter to John Canton” School of Electronics and Information Engineering 8/30 n

7、i ii ii i APABP APABP BAP 1 )()|( )()|( )|( 1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論 2、參數(shù)估計中的評價函數(shù)： Pierre-Simon Laplace(1749-1827) 以真值和估計值間的單調(diào)函數(shù)作為評價標準 Carl Friedrich Gauss(1777-1855) 1794，最小二乘法 1801，用于計算小行星谷神星軌道 School of Electronics and Information Engineering 9/30 ) ( wg 2 g 1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論

8、 3、穩(wěn)定分布和廣義中心極限定理： Paul Pierre Lvy（1886-1971） 穩(wěn)定分布 Alpha穩(wěn)定分布1925 廣義中心極限定理1937 有限方差的隨機變量和的分布趨向正態(tài)分布。 具有無限方差的隨機變量和的分布趨向穩(wěn)定分布 f(x;,0,c,0) 。 School of Electronics and Information Engineering 10/30 )2/tan()(1 (exp tsngictit 1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論 4、顯著性檢驗和最大似然法 Ronald Fisher（1890-1962） 1920，顯著性檢驗 最大

9、似然法 Fisher信息 似然函數(shù) School of Electronics and Information Engineering 11/30 );(Xf 2 );(ln)(XfEI 1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：假設(shè)檢驗統(tǒng)計推斷的假設(shè)檢驗理論 4、假設(shè)檢驗和矩的理論 Karl Person（1857-1936） 線性遞歸和矩的理論 Jerzy Neyman（1894-1981） 假設(shè)檢驗：Neyman-Person公式（1933） 假設(shè) H1成立的似然比檢驗為 School of Electronics and Information Engineering 12/30 11

10、00 : : H H )|( )|( )( 1 0 xL xL x )|)( 0 HxP 1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：假設(shè)檢驗統(tǒng)計推斷的假設(shè)檢驗理論 5、代價和風險原則、極大極小原理 Abraham Wald （1902-1950） 不同的判決有不同的代價 代價最小的檢驗 極大極小原理（1939） 最小化最大可能損失 統(tǒng)計假設(shè)的序貫檢驗 Sequential Tests of Statistical Hypotheses School of Electronics and Information Engineering 13/30 1.3統(tǒng)計信號處理的發(fā)展歷史 應(yīng)用技術(shù)：統(tǒng)計方法的

11、信號處理 1、維納濾波 Norbert Wiener（1894-1964） 1941，反飛機武器的自動瞄準系統(tǒng) 信息的通信可以看作一個統(tǒng)計學問題 最佳準則，使得系統(tǒng)性能可以被計算 1949，維納濾波器 估計噪聲中的信號 最小方差準則，尋找最佳函數(shù)g(t)使得誤差函數(shù)最小 預(yù)測、濾波、平滑 School of Electronics and Information Engineering 14/30 )()()()(tntsgtx )()()(txdtste 1.3統(tǒng)計信號處理的發(fā)展歷史 應(yīng)用技術(shù)：統(tǒng)計方法的信號處理 2、卡爾曼濾波 Rudolf E. Kalman （1930-） 2008 C

12、harles Stark Draper Prize 德雷珀獎 1960,”A new approach to linear filtering and prediction problems”, 隨機離散系統(tǒng)的狀態(tài)估計問題 1961, 和R.S.Bucy一起” New Results in Linear Filtering and Prediction Theory”,連續(xù)時間系統(tǒng)的狀態(tài)估計問題 將維納濾波問題擴展到非平穩(wěn)的多入多出系統(tǒng) 應(yīng)用廣泛 School of Electronics and Information Engineering 15/30 1.3統(tǒng)計信號處理的發(fā)展歷史 應(yīng)用技

13、術(shù)：統(tǒng)計方法的信號處理 3、匹配濾波器(Match Filter) D.O. North An analysis of the factors which determine signal/noise discrimination in pulsed carrier systems”,1943 最大輸出信噪比準則:從噪聲和信號的統(tǒng)計特性出發(fā),最佳線性濾波器的傳遞 函數(shù)為 信號檢測的基礎(chǔ)理論 相關(guān)接收機 School of Electronics and Information Engineering 16/30 0 )()( *tj ecSH 1.3統(tǒng)計信號處理的發(fā)展歷史 應(yīng)用技術(shù)：經(jīng)典的統(tǒng)計

14、信號處理 20世紀50-60年代 使用統(tǒng)計的假設(shè)檢驗、參數(shù)估計、序列分析等 信號檢測、估計等 特點： 高斯過程 自相關(guān)、互相關(guān)函數(shù) 統(tǒng)計量為二階 中心極限定理 解決平穩(wěn)、線性過程問題 一般為單入單出系統(tǒng) School of Electronics and Information Engineering 17/30 1.3統(tǒng)計信號處理的發(fā)展歷史 現(xiàn)代統(tǒng)計信號處理 20世紀60年代至今 統(tǒng)計理論 高階統(tǒng)計量和高階譜高階統(tǒng)計量和高階譜 低階低階a穩(wěn)定分布穩(wěn)定分布 估計理論： 自適應(yīng)濾波 粒子濾波 數(shù)據(jù)融合 信號檢測理論 CFAR檢測 非參量檢測 分布式檢測 量子檢測 現(xiàn)代統(tǒng)計信號處理 處理方法 時頻

15、分析 神經(jīng)網(wǎng)絡(luò) 盲信號處理盲信號處理PCA/ICA 針對問題 陣列信號處理 非平穩(wěn) 非線性 特點： 非高斯過程 統(tǒng)計量為高階或低階 廣義中心極限定理 解決多入多出問題 School of Electronics and Information Engineering 18/30 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.1一些定義 對任意時刻，x(t)是一個隨機變量，均值定義為 方差定義為 自相關(guān)函數(shù) 協(xié)方差函數(shù) School of Electronics and Information Engineering 19/30 dxtxxptxEtmx),()()( )()()()()( 22

16、 2 2 tmtxEtmtxEt xxx 212121212121 ),()()(),(dxxdttxxpxxtxtxEttRx )()(),( )()()()(),( 2121 221121 tmtmttR tmtxtmtxEttC xxx xxx 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.2平穩(wěn)性 嚴格平穩(wěn)（狹義平穩(wěn)） 廣義平穩(wěn) 實際意義 與實際信號的觀測量或指標相關(guān) 正態(tài)隨機過程的一般性 School of Electronics and Information Engineering 20/31 ),(),( )(),( ),(),( 212121 1111 xxpttxxp xp

17、txp ttxxpctctxxp NNNN )(),( )( 21 xx xx RttR mtm 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.2功率譜 隨機過程x(t)的功率譜 單位頻帶內(nèi)信號的頻譜分量消耗在單位電阻上的平均功率的統(tǒng)計均值 從頻域角度描述隨機過程的統(tǒng)計特性,僅表示功率分布,不包含相位信息 與相關(guān)函數(shù)的關(guān)系 School of Electronics and Information Engineering 21/30 2 )( 2 1 lim)( T T x X T EG T T tj T dtetxX )()( deRG j xx )()( deGR j xx )()( 1.

18、4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.3經(jīng)過線性系統(tǒng) 對輸入隨機過程x(t)而言,輸出y(t)的均值為 若輸入x(t)為平穩(wěn)隨機過程 H(0)為系統(tǒng)的傳遞函數(shù)在 =0 處的值 School of Electronics and Information Engineering 22/30 )()()()()(txthdhtxty dhtmdhtxEdhtxEtyE x )()()()()()()( dhtmtm xy )()()( )0()()(Hmdhmdhmm xxxy h(t) x(t)y(t) 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.3經(jīng)過線性系統(tǒng) 輸入和輸出互相關(guān) 輸出自相關(guān)

19、 頻譜變換后 School of Electronics and Information Engineering 23/30 ),()( )(),( )()()( )()( ),( 212 21 21 21 21 ttRth duuhuttR duuhutxtxE tytxE ttR x x xy ),()( )(),( )()()( )()( ),( 211 21 21 21 21 ttRth duuhtutR tyduuhutxE tytyE ttR xy xy yy ),( 21 ttRxy ),( 21 ttRyy )()()( * xxy GHG )()( )()()( )()()(

20、 2 * x x xyy GH GHH GHG 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.4常用隨機變量和過程 正態(tài)分布 其概率密度函數(shù) 正態(tài)分布 n階矩(零均值) 分布 有N個相互獨立的零均值、單位方差的高斯隨機變量 若 則該變量為 分布，概率密度函數(shù)為 School of Electronics and Information Engineering 24/30 2 2 2 )( exp 2 1 )( mx xp ),( 2 mN 0, 120 1,2) 1(531 kkn kknn xE n n 2 1 0 22 N i i x 1210 , N xxxx 2 2 exp )2/(2

21、 1 )( 2 2 2 2/ 2 x x N xp N N NVarNE2, 22 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.4常用隨機變量和過程 高斯過程 隨機過程x(t)的任意N維分布都是高斯分布 N維概率密度 School of Electronics and Information Engineering 25/30 )()( 2 1 exp det2 1 )( 1 2 1 2 mxCmx C x T N p ),(),(),( ),(),(),( ),(),(),( , )( )( )( , 110101 111101 101000 1 1 0 1 1 0 NNNN N N NN

22、 ttCttCttC ttCttCttC ttCttCttC txE txE txE x x x Cmx 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.4常用隨機變量和過程 物理可實現(xiàn)的線性系統(tǒng)輸出的分布 輸出過程是多個隨機變量之和 輸入為高斯隨機過程，輸出也服從高斯分布 輸入為白噪聲，輸出服從高斯分布 輸入為寬帶噪聲，系統(tǒng)為窄帶，輸出近似服從高斯分布 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 1、隨機過程 1.4常用隨機變量和過程 非高斯隨機過程 Laplace分布 廣義高斯分布 （=0為高斯分布； =1為Laplace分布；-1均勻分布) 混合高斯分布 穩(wěn)定分布 School of Electronics and Information Engineering 27/30 b x b xp exp 2 1 )( 1 2 2 2 2 1 )(exp )( )( x c c xp )()()1 ()( 21 xpxpxp 2 2 2 exp 2 1 )( ii i x xp 1.4統(tǒng)計信號處理數(shù)學基礎(chǔ) 2、時間序列模型 2.1 AR模型（p階） 可以看作白噪聲激勵一個線性系統(tǒng)后的響應(yīng)，