隨機信號分析基礎(chǔ)課件

1、 隨機信號分析基礎(chǔ)主要內(nèi)容概述隨機信號的概率表示隨機信號的數(shù)字特征隨機信號的功率譜密度離散時間隨機信號隨機信號的遍歷性幾種常見的隨機信號隨機信號數(shù)字特征的估計2.1 概述2.1.1基本概念 隨機信號通?？煽闯墒且粋€隨機變量隨時間變化的過程，可用一個含兩個變量的函數(shù) 表示，其中 參數(shù)集, 樣本集。1. 樣本：當 和 都固定時為一個確定的數(shù)。2. 樣本隨機變量：當 固定為 時，各次試驗的觀測值表示為 。3. 樣本函數(shù)： 上的一個函數(shù)集， 確定，隨時間變化的函數(shù)一個實現(xiàn)。4. 隨機信號 ：一族（或無限多個）隨機變量的集合，它是某種隨機試驗的結(jié)果，而試驗出現(xiàn)的樣本函數(shù)是隨機的。2.1 概述例2-1 隨

2、機相位正弦信號： ，其中及 為常數(shù)，為 間均勻分布的隨機變量。 當 取不同的值時，得到一系列不同的確定性隨機信號（因為 一旦確定，由信號的過去值便可以準確預(yù)測其未來值）。通常又將此隨機信號稱為諧波過程（諧波信號）。2.1 概述2.1.2 隨機信號分類1）樣本空間連續(xù)隨機序列隨機過程（隨機函數(shù)）離散離散參數(shù)鏈連續(xù)參數(shù)鏈離散連續(xù)參數(shù)集2）按 取值實數(shù)、復(fù)數(shù)分實、復(fù)隨機信號3）一維及多維隨機信號2.2 隨機信號的概率表示 隨機信號隨著樣本數(shù)目的增多，呈現(xiàn)一定的統(tǒng)計規(guī)律：一個是其各階概率密度與分布特性 ，二是數(shù)字特征即均值以及各階矩。2.2.1 概率分布函數(shù)及概率密度函數(shù)2.2.2 隨機信號的階數(shù)及其

3、平穩(wěn)性2.2 隨機信號的概率表示 2.2.1 概率分布函數(shù)及概率密度函數(shù) 1.概率分布函數(shù) F(x) 表示X(t)小于等于 x 的概率,記為 性質(zhì)： 1) ； 2)極值性： 3)單調(diào)遞增性: 。 2.2 隨機信號的概率表示2. 連續(xù)隨機信號的概率密度函數(shù)性質(zhì)： 1) 非負性 2) 歸一性 3) 與概率的關(guān)系 的概率為2.2 隨機信號的概率表示3. 離散隨機信號的概率密度函數(shù) 只具有若干個離散值，可用概率描述其分布規(guī)律 : 表示 的概率, 離散信號的概率密度函數(shù)可以表示為：4. 概率密度函數(shù)的變換 隨機變量X(t) 輸入一個系統(tǒng)，輸出是Y(t)，即變換 , X(t) 的概率密度函數(shù)為 。則Y(t

4、)的概率密度函數(shù)為2.2 隨機信號的概率表示證明：1.設(shè) 是單調(diào)遞增函數(shù)， 兩邊對y求導數(shù):2.設(shè) 是單調(diào)遞減函數(shù)， 兩邊對y求導數(shù) 由1和2 ，得2.2 隨機信號的概率表示例2-2 隨機相位正弦信號 ， 是 均勻分布，求：p(x).解： (注意：同一個X，有兩個 值)2.2 隨機信號的概率表示5.多維隨機變量的概率分布 對于多個隨機變量 其聯(lián)合概率分布函數(shù)及聯(lián)合概率密度函數(shù)分別是： 若則稱N個隨機變量是統(tǒng)計獨立。2.2 隨機信號的概率表示 2.2.2 隨機信號的階數(shù)及其平穩(wěn)性1.階數(shù) 一個隨機信號為一個兩變量函數(shù) ，不同試驗得到不同樣本函數(shù)，不同樣本隨機變量之間的統(tǒng)計特性實際上是一個多維隨機

5、變量的概率分布問題，即隨機信號的階數(shù)。一階隨機信號：某一時刻 的樣本 取值的概率分布規(guī)律 二階隨機信號： 時刻樣本 的聯(lián)合分布規(guī)律 高階隨機信號： 時刻，樣本隨機變量 聯(lián)合分布概率2.2 隨機信號的概率表示2. 平穩(wěn)隨機信號統(tǒng)計特性與起始時間無關(guān)，僅與時間間隔有關(guān)的信號。定義21：稱X(t)為嚴（強）平穩(wěn)隨機信號，若下式成立 定義22：稱X(t)為一階平穩(wěn)隨機信號，若 定義23：稱X(t)為二階平穩(wěn)隨機信號，若定義24：具有一、二階平穩(wěn)的隨機信號稱為廣義平穩(wěn)信 號。 強平穩(wěn)必為廣義平穩(wěn)，反之不一定成立。2.3 隨機信號的數(shù)字特征2.3.1 均值、方差、協(xié)方差，自相關(guān)和互相關(guān) 函數(shù)、自協(xié)方差和互

6、協(xié)方差函數(shù)2.3.2 平穩(wěn)隨機信號的自相關(guān)函數(shù)和互相關(guān)函數(shù)的性質(zhì)2.3 隨機信號的數(shù)字特征 2.3.1 均值、方差、協(xié)方差，自相關(guān)和互相關(guān)函數(shù)，自協(xié)方差和互協(xié)方差函數(shù) 1.一階原點矩-均值函數(shù)(集合均值) 2.二階原點矩均方值函數(shù) 集合意義下的瞬時功率，某時刻樣本隨機變量的平均功率。 3.二階中心矩方差函數(shù) 反映信號在均值上的起伏程度。2.3 隨機信號的數(shù)字特征4.自相關(guān)函數(shù)若信號平穩(wěn)，則與起始時間無關(guān)，記為隨機信號為平穩(wěn)隨機信號的充要條件： 1） 的均值為常數(shù)： 2） 的自相關(guān)函數(shù)： 3） 信號的瞬時功率：2.3 隨機信號的數(shù)字特征5.自協(xié)方差函數(shù)6.互相關(guān)函數(shù)和互協(xié)方差函數(shù) 互相關(guān)函數(shù)：

7、廣義平穩(wěn)時： 互協(xié)方差函數(shù)：2.3 隨機信號的數(shù)字特征 2.3.2 平穩(wěn)隨機信號的自相關(guān)函數(shù) 和互相關(guān)函數(shù)的性質(zhì)1.復(fù)信號自相關(guān)函數(shù)和自協(xié)方差函數(shù)的性質(zhì) 對稱性 極值性以 為例來說明： 2.3 隨機信號的數(shù)字特征對于實信號： 對稱性 極值性2.自相關(guān)函數(shù)與自協(xié)方差函數(shù)之間的關(guān)系 1)平穩(wěn)信號 2)對于零均值信號 3) 時， 的自相關(guān)函數(shù)退化為二階原點矩（均方值）2.3 隨機信號的數(shù)字特征例：判別下列的相關(guān)矩陣的正確性（A） （B）（C） （D）答案：（B）2.3 隨機信號的數(shù)字特征4) 時， 的自協(xié)方差函數(shù)退化為方差5) 時 即：2.3 隨機信號的數(shù)字特征3.互相關(guān)函數(shù)與互協(xié)方差函數(shù)的關(guān)系 對

8、稱性： 證： 兩者的關(guān)系： 2.3 隨機信號的數(shù)字特征例2-3 求 的均值、自相關(guān)函數(shù)。 2.3 隨機信號的數(shù)字特征自相關(guān)函數(shù)2.3 隨機信號的數(shù)字特征例2-4 為常數(shù)， 為相互獨立的隨機變量 ，且 試討論 的平穩(wěn)性。解： 2.3 隨機信號的數(shù)字特征方差： 均值，方差為常數(shù)，與起始時間無關(guān)，為一個廣義平穩(wěn)隨機信號。2.4 隨機信號的功率譜密度2.4.1 維納辛欽定理2.4.2 功率譜密度性質(zhì)2.4 隨機信號的功率譜密度 由于隨機信號不是周期和平方可積的，因此須從極限意義上來討論。取 在有限時間 內(nèi)的一段記為 , 頻譜為： 能量譜： 非有限，只能從功率譜密度來考慮 定義： 的功率譜密度函數(shù)為：

9、2.4 隨機信號的功率譜密度 2.4.1維納辛欽定理 廣義平穩(wěn)隨機信號功率譜與自相關(guān)函數(shù)的關(guān)系：證：2.4 隨機信號的功率譜密度 （由于平穩(wěn)性） 令可得： 2.4 隨機信號的功率譜密度（證畢）2.4 隨機信號的功率譜密度 2.4.2 功率譜密度性質(zhì)1）對稱性對實信號 ，由 ,所以有 實、偶對于復(fù)信號有 且為實函數(shù)，但非偶證明：由共軛對稱性有： 下面證明非偶性：2.4 隨機信號的功率譜密度由此，可以證得 為非偶函數(shù)2）非負性：3）極限性： 時，由于 表示瞬時功率，有功率譜積分而得，故稱 為功率譜。 判別下列表達式為實信號功率譜的正確表達式為：（B）2.4 隨機信號的功率譜密度4）譜分解定理 為

10、的有理函數(shù)，則 可分解為： 為一僅在 左半平面有零點和極點的有理函數(shù)，為可實現(xiàn)的因果、穩(wěn)定的函數(shù)。注意：互譜密度和功率譜不同，不再是實的、偶的，有 1） 2） 3） 2.4 隨機信號的功率譜密度例2-5 , ,求PSD。 解：2.5 隨機序列的數(shù)字特征2.5.1 隨機序列的數(shù)字特征2.5.2 隨機序列的功率譜密度2.5.3 隨機信號的比較-獨立,不相關(guān),正交,相干性2.5 隨機序列的數(shù)字特征 2.5.1 隨機序列的數(shù)字特征 1)均值(一階矩) 2)二階原點矩(均方值) 3)方差(二階中心矩) 4)自相關(guān)函數(shù) 5)自協(xié)方差函數(shù)2.5 隨機序列的數(shù)字特征對于平穩(wěn)隨機序列的充要條件: 1) ,與n無

11、關(guān)； 2) 3)例2-6 ,A, f為常數(shù)， 判斷 的平穩(wěn)性。 解： 2.5 隨機序列的數(shù)字特征均方值： 所以x(n)為平穩(wěn)序列。 2.5 隨機序列的數(shù)字特征 2.5.2 隨機序列的功率譜密度 設(shè)廣義平穩(wěn)序列 則： 其功率譜為： 離散時間隨機信號的維納辛欽定理： 2.5 隨機序列的數(shù)字特征隨機序列的功率譜主要性質(zhì)如下：1） 周期性，可做FS分解， 正是各次諧波的系數(shù)。 2）信號的瞬時功率： 3）譜分解定理： 令 為平方幅度函數(shù)，可分解為： ,之中 為零極點在單位圓內(nèi)的因果穩(wěn)定系統(tǒng), 為零極點在單位圓外的有理函數(shù)。 2.5 隨機序列的數(shù)字特征因此隨機序列功率譜的計算過程如下： 1）先對 作Z變換

12、 2）令 例2-7 設(shè)一平穩(wěn)時間序列的自相關(guān)函數(shù)為： 求其功率譜 解：2.5 隨機序列的數(shù)字特征2.5.3 隨機信號的比較獨立,不相關(guān),正交,相干性1)獨立-隨機過程x(t)和y(t)統(tǒng)計獨立。 (聯(lián)合概率密度函數(shù)）2）不相關(guān)隨機過程x(t)和y(t)統(tǒng)計不相關(guān)。若對于所有 , 它們的互協(xié)方差函數(shù)2.5 隨機序列的數(shù)字特征3）正交性對于所有 ，互相關(guān)函數(shù)恒等于零。 統(tǒng)計獨立意味著統(tǒng)計不相關(guān)，反之一般不成立。兩個高斯隨機過程統(tǒng)計獨立=統(tǒng)計不相關(guān)。 若x(t)與y(t)均值為零，則統(tǒng)計不相關(guān)與正交等價2.5 隨機序列的數(shù)字特征4）相干性 為 的 倍的放大或縮小，相差一個固定相位 是 在時間上延遲

13、的結(jié)果。 與 互為相干信號，相干拷貝。相干信號的互相關(guān)系數(shù)為：若 的互相關(guān)系數(shù)對于某個 等于1，則 y(t)為x(t)的相干信號，且延遲 ，若則 超前 2.5 隨機序列的數(shù)字特征5)由維納-辛欽定理知： 自相關(guān) 自功率譜密度 互相關(guān) 互功率譜密度IFTFT相關(guān)性強相關(guān)性弱功率譜陡峭的 平坦，相關(guān)性強功率譜平坦的 陡峭，相關(guān)性弱2.6 隨機信號的遍歷性2.6.1 總集意義上的數(shù)字特征與時間意義上的數(shù)字特征2.6.2 平穩(wěn)隨機信號的遍歷性2.6 隨機信號的遍歷性 2.6.1 總集意義上的數(shù)字特征與時間意義上的數(shù)字特征 前面討論的是某時刻上對所有樣本進行統(tǒng)計的數(shù)字特征總集意義上的數(shù)字特征。 若信號是

14、平穩(wěn)的，在時間軸上，對樣本函數(shù)所有時間的取值計算統(tǒng)計特征時間意義上的數(shù)字特征 1) 時間均值 連續(xù)信號： 離散信號： 2.6 隨機信號的遍歷性2) 時間均方值 連續(xù)信號： 離散信號：3）時間自相關(guān)性： 連續(xù)信號： 離散信號： 同理可定義時間意義上的方差，自協(xié)方差等。2.6 隨機信號的遍歷性例2-8 ，求時間均值，自相關(guān)函數(shù)。解： 2.6 隨機信號的遍歷性2.6.2平穩(wěn)隨機信號的遍歷性 人們發(fā)現(xiàn)，一般平穩(wěn)隨機過程具有“各態(tài)歷經(jīng)性”，即如存在一個持續(xù)時間足夠長的平穩(wěn)隨機過程的樣本函數(shù)，在其時間歷程中經(jīng)歷了隨機過程的各種可能狀態(tài)，那么，這一段足夠長的樣本函數(shù)已包含了所有其它樣本函數(shù)的可能信息，因此，

15、可設(shè)想將這一持續(xù)時間足夠長的樣本函數(shù)分成n段，構(gòu)成n個時間歷程t的樣本函數(shù)，不難看出，由這n個樣本函數(shù)得到的總集平均統(tǒng)計特性和這一時間的樣本函數(shù)的時間統(tǒng)計平均特性是一樣的，辛欽證明了這一點。各態(tài)歷經(jīng)性有嚴格意義和廣泛意義下的定義：2.6 隨機信號的遍歷性定義1 （嚴格遍歷性（或各態(tài)歷經(jīng)性） 隨機信號的各種時間數(shù)字特征（時間足夠長）依 概率1收斂于相應(yīng)的總集數(shù)字特征嚴格遍歷隨機信號。定義2 （廣義遍歷性） 隨機信號的時間均值和自相關(guān)函數(shù)等于總集均值和自相關(guān)函數(shù)廣義遍歷隨機信號2.6 隨機信號的遍歷性1）連續(xù)信號：2）離散信號：2.6 隨機信號的遍歷性例2-9 設(shè) ，其中 是平穩(wěn)隨機信號， 為與

16、無關(guān)的隨機變量 , ，討論 的遍歷性解：2.6 隨機信號的遍歷性2.6 隨機信號的遍歷性2.7 幾種常見的隨機信號白噪聲限帶白噪聲高斯隨機信號高斯馬爾可夫隨機信號馬爾可夫隨機序列2.7 幾種常見的隨機信號1.白噪聲 隨機性很強的平穩(wěn)信號，其特點為均值為零，功率譜為常數(shù)。 連續(xù) 或 離散 對應(yīng)的自相關(guān)函數(shù)：白譜2.7 幾種常見的隨機信號=同理 ，對應(yīng)離散白噪聲 ，可由付氏反變換導出：2.7 幾種常見的隨機信號2.限帶白噪聲 連續(xù)離散有2.7 幾種常見的隨機信號3.高斯隨機信號 概率密度函數(shù)是正態(tài)分布(高斯分布)一階： 方差： 為其均值。高階：2.7 幾種常見的隨機信號協(xié)方差矩陣：主對角線上為：

17、方差，或 正定2.7 幾種常見的隨機信號4.高斯馬爾可夫隨機信號（又稱指數(shù)型平穩(wěn) 高斯信號） 具有指數(shù)型自相關(guān)函數(shù)的平穩(wěn)高斯信號 ， 為常數(shù)。5.馬爾可夫隨機序列 如果一個隨機序列 ，其任意時刻的樣本隨機變量的條件概率密度函數(shù)具有如下特性： 稱 為馬爾可夫序列。2.7 幾種常見的隨機信號由上式可導出：（1）馬氏序列的聯(lián)合概率密度可用初始概率密度 與條件概率密度 表示： 2.7 幾種常見的隨機信號(2)若條件概率密度與起始時間無關(guān)平穩(wěn)馬氏序列。對于正態(tài)馬氏序列(即 與 均為正態(tài)分布的馬氏序列)，自相關(guān)函數(shù)滿足： 若這一序列還是平穩(wěn)的，有 2.7幾種常見的隨機信號例2-11 高斯馬爾可夫信號 的自

18、相關(guān)函數(shù)為 ，試求其一階、三階概率密度函數(shù)， ， 解： 一階： 三階：2.7 幾種常見的隨機信號 將 代入上式即得 2.8 隨機信號數(shù)字特征的估計 2.8.1 估計質(zhì)量偏差、均方差、有效性、一 致性 2.8.2 隨機信號均值及方差的估計 2.8.3 自相關(guān)函數(shù)的估計 2.8.4 fisher 信息與cramer-rho 不等式 2.8.5 線性最小均方誤差估計 2.8.6 最小二乘估計 2.8.7 最大似然估計（Maximum Likehood, ML） 2.8.8 貝葉斯（Bayes）估計2.8 隨機信號數(shù)字特征的估計 用有限觀察序列估計信號的各階統(tǒng)計特性， 估計質(zhì)量即統(tǒng)計估計的基本問題。

19、2.8.1 估計質(zhì)量偏差、均方差、有效性、一致性 1.估計的偏差 估計量為（可以是均值、方差、自相關(guān)函數(shù)等）。估計值為 ,若： -無偏估計 (2.8.1) -有偏估計 (2.8.2) -漸進無偏估計 (2.8.3)2.8 隨機信號數(shù)字特征的估計2.估計的均方差估計的方差: (2.8.4) 值小表示估計較集中均值附近。均方差: (2.8.5) 將 代入得: (2.8.6)2.8 隨機信號數(shù)字特征的估計3.有效估計估計中均方差最小的一個，即估計量 中，若 (2.8.7)則稱 為有效估計。4.一致估計 若： (2.8.8)意味著偏差、方差均趨于0 （2.8.6），則稱 為一致估計。 2.8 隨機信號

20、數(shù)字特征的估計定義： ， 為 的弱一致估計，以概率收斂于真值。 以概率1收斂于真值，強一致估計。2.8.2 隨機信號均值及方差的估計 1.均值的估計 對平穩(wěn)隨機序列 -無偏估計 若子樣本 互不相關(guān)，則為一致估計。 2.8 隨機信號數(shù)字特征的估計證明： 所以是無偏的。2.8 隨機信號數(shù)字特征的估計方差：所以 是一致估計。2.8 隨機信號數(shù)字特征的估計2.方差的估計 分兩種情況討論：1) 已知， 可證明是無偏的，并且是一致估計。 2) 未知，估計值為 方法：-有偏，漸近無偏 方法： -無偏 2.8 隨機信號數(shù)字特征的估計證明：對于方法1：其中， 2.8 隨機信號數(shù)字特征的估計有偏，漸近無偏對于方法

21、：所以無偏2.8 隨機信號數(shù)字特征的估計 2.8.3 自相關(guān)函數(shù)的估計 對平穩(wěn)隨機序列，由 個觀察值 估計自相關(guān)函數(shù) -直接法和FFT法。 1.自相關(guān)函數(shù)的直接估計法對于每一個固定時延 ； 范圍內(nèi)可利用的數(shù)據(jù)只有 個。(注意:自相關(guān)函數(shù)的偶對稱性, 長度為 )2.8 隨機信號數(shù)字特征的估計 1)估計的偏差 2.8 隨機信號數(shù)字特征的估計2.8 隨機信號數(shù)字特征的估計設(shè)矩形窗： 顯然： 所以，正是矩形窗函數(shù)將數(shù)據(jù)截成有限長而影響了譜估計質(zhì)量。 2.8 隨機信號數(shù)字特征的估計2)估計的方差 2.8 隨機信號數(shù)字特征的估計當x(n)為零均值高斯隨機信號時 上式： 將(1)(2)代入(0)中2.8 隨

22、機信號數(shù)字特征的估計當時又因為所以是一致漸進無偏估計 。若定義可證明 為無偏估計，但非一致，方差性很差 2.8 隨機信號數(shù)字特征的估計2.自相關(guān)函數(shù)的間接估計法FFT法 兩個序列（N長）卷積后的長度為2N-1，所以用DFT計算卷積，至少須補N-1個零，現(xiàn)補N個零Fourier變換后 則對 式兩邊做付氏變換有2.8 隨機信號數(shù)字特征的估計維納辛欽定理2.8 隨機信號數(shù)字特征的估計 可以由FFT計算，因此可用FFT計算自相關(guān)函數(shù)。具體步驟為：1)對 補N個零，得 即2)計算3)作逆DFT，即2.8 隨機信號數(shù)字特征的估計從離散信號、離散譜的周期性可知，相對于產(chǎn)生以0對稱到N對稱的平移，如下圖所示4

23、)對 中 的點左移2N點（一個周期）得-N-100N2N-12.8 隨機信號數(shù)字特征的估計3.自協(xié)方差函數(shù)的估計 與自相關(guān)函數(shù)的估計原理一樣，有估計的偏差為： 2.8 隨機信號數(shù)字特征的估計 2.8.4 fisher 信息與cramer-rho 不等式 由2.8.2 和2.8.4式分別得到估計的偏差和方差，從前面的自相關(guān)函數(shù)的估計分析可以看到：分析估計的均值一般困難不大，要精確分析估計的方差比較困難，因此實際情況通常希望通過找到方差的下限來估計的性能?？死?羅下界是估計方差的一種下界。定理：若 是參數(shù) 的一個無偏估計, 是觀察值x的條件先驗概率密度函數(shù)，且其對參數(shù) 的偏導 存在，則該估計的方差存在一個下界： 2.8 隨機信號數(shù)字特征的估計通常： ，稱為fisher信息量， 增大，方差越小，描述從觀察數(shù)據(jù)能夠得到 的信息測度。證明：2.8 隨機信號數(shù)字特征的估計2.8 隨機信號數(shù)字特征的估計2.8 隨機信號數(shù)