現(xiàn)代信號(hào)處理

1、現(xiàn)代信號(hào)處理 趙輝 信號(hào)：信息的載體 信號(hào)處理：從觀測(cè)信號(hào)中獲得隱含的信息。 經(jīng)典信號(hào)處理：非參數(shù)化信號(hào)處理（FFT），線性最小相位，高斯平穩(wěn) 現(xiàn)代信號(hào)處理：參數(shù)化信號(hào)處理，非最小相位，非高斯非平穩(wěn) 現(xiàn)代信號(hào)處理研究的問(wèn)題 估計(jì)（estimation）：參數(shù)估計(jì)，信道估計(jì)，功率譜估計(jì)，波達(dá)方向 估計(jì)，特征提取，信號(hào)檢測(cè)（多用戶檢測(cè)） 濾波（filtering）：維納濾波，卡爾曼濾波，自適應(yīng)濾波 辨識(shí)（identification）：系統(tǒng)辨識(shí)，目標(biāo)識(shí)別，信號(hào)分類，反卷積與 均衡 課程特點(diǎn) 現(xiàn)代信號(hào)處理的主要理論、方法和應(yīng)用 “與前沿接軌” 數(shù)學(xué)知識(shí)（矩陣分析、數(shù)理統(tǒng)計(jì)、最優(yōu)化） 創(chuàng)新能力的培養(yǎng)

2、考核方式：課堂下學(xué)術(shù)報(bào)告 1. 何子述，夏威 等編著.現(xiàn)代數(shù)字信號(hào)處理及其應(yīng)用，清華大學(xué)出版社， 2009 2、姚天任，孫洪.現(xiàn)代數(shù)字信號(hào)處理，華中理工大學(xué)出版社，1999 3、張賢達(dá)著.現(xiàn)代信號(hào)處理，清華大學(xué)出版社，2002 4、胡廣書(shū)編著.現(xiàn)代信號(hào)處理教程，清華大學(xué)出版社，2004 5、張賢達(dá)、保錚著.通信信號(hào)處理，國(guó)防工業(yè)出版社，2000 6、楊行峻，鄭君里.人工神經(jīng)網(wǎng)絡(luò)與盲信號(hào)處理.清華大學(xué)出版社，2003 7、Cichocki A, Amari S. 吳正國(guó)，唐勁松，章林柯，等譯.自適應(yīng)盲信號(hào)與 圖像處 理.電子工業(yè)出版社，2005 隨機(jī)信號(hào)隨機(jī)信號(hào) 估計(jì)理論估計(jì)理論 高階高階譜分析

3、譜分析 陣列信號(hào)處理及應(yīng)用陣列信號(hào)處理及應(yīng)用 時(shí)頻分析和時(shí)頻分析和小波分析小波分析 同態(tài)同態(tài)信號(hào)處理信號(hào)處理 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)信號(hào)處理信號(hào)處理 盲盲信號(hào)處理信號(hào)處理 本章主要介紹隨機(jī)信號(hào)的基本概念：相關(guān)函本章主要介紹隨機(jī)信號(hào)的基本概念：相關(guān)函 數(shù)數(shù)、協(xié)方差函數(shù)、功率譜密度、協(xié)方差函數(shù)、功率譜密度、兩個(gè)信號(hào)的正、兩個(gè)信號(hào)的正 交、統(tǒng)計(jì)不相關(guān)和統(tǒng)計(jì)獨(dú)立、相干信號(hào)以及它交、統(tǒng)計(jì)不相關(guān)和統(tǒng)計(jì)獨(dú)立、相干信號(hào)以及它 們的幾個(gè)典型應(yīng)用。們的幾個(gè)典型應(yīng)用。 按信號(hào)取值時(shí)間的連續(xù)性與否 按信號(hào)取值的隨機(jī)性與否 ( ) ( ) s tt s kk 連續(xù)時(shí)間信號(hào) 離散時(shí)間信號(hào) 為整數(shù) 1,01 ,0 ( ) sgn

4、( ) -1,00, tt u tt t 確定性信號(hào)（按某函數(shù)取值，每時(shí)刻值可知） 如 其它 隨機(jī)信號(hào)（每時(shí)刻取值未知）： 取值是隨機(jī)的（不能確切已知） 取值服從概率分布規(guī)律（統(tǒng)計(jì)特性確定，未知） 高斯信號(hào)：概率密度函數(shù)服從正態(tài)分布的隨機(jī)信號(hào) 非高斯信號(hào)：概率密度函數(shù)服從非正態(tài)分布的隨機(jī)信號(hào)。 平穩(wěn)信號(hào)（嚴(yán)格平穩(wěn)，n階平穩(wěn)，廣義平穩(wěn)，） 嚴(yán)格平穩(wěn)：概率密度分布函數(shù)與時(shí)間無(wú)關(guān) n階平穩(wěn)：n及n以下階矩有界且與時(shí)間無(wú)關(guān)。n=2時(shí)，廣義平穩(wěn) 廣義平穩(wěn)的條件（弱平穩(wěn)，協(xié)方差平穩(wěn)）： 嚴(yán)格平穩(wěn)一定廣義平穩(wěn)，反之不成立 非平穩(wěn)信號(hào)：凡不是廣義平穩(wěn)的信號(hào) ( ) ( ) ( ) ( ; )( ) x xx

5、xxxx tE x t C CtC 均值常數(shù) （有界）， n階矩均方遍歷隨機(jī)信號(hào) 總體統(tǒng)計(jì)平均可以用足夠長(zhǎng)的時(shí)間平均代替 可以通過(guò)一次觀測(cè)數(shù)據(jù)估計(jì)所有n及n以下階的統(tǒng)計(jì)平均值 2 11 1 lim()()( ,)0 21 ( ) N kk N tN Ex ttx tttt N x t 若 則稱為均方遍歷信號(hào)。 ()( ) xy R信號(hào)不變部分 均值變化部分 包含直流分量 直流分量 交流分量 （不感興趣） 互協(xié)方差函數(shù) 互功率譜：互協(xié)方差函數(shù)的Fourier變換 * ( ) ( ) () xyxy CEx tmy tm不含直流分量 2 ( )( ) “”0 “” jf xyxy PfCed Fo

6、urier 零均值化 ：均值不為 的信號(hào)減去其均值 注：一些書(shū)將 零均值化 的相關(guān)函數(shù)的變換 定義為功率譜。 互相關(guān)系數(shù) 相干信號(hào)(coherent)拷貝信號(hào) 相干積累：收集相干信號(hào)，以提高接收機(jī)信噪比 ( ) ( ) (0)(0) xy xy xxyy C CC 00 0 ()1 ( )() ( )1 c xy j xy y tCex t 若某一，使 注：若接近于 ，則稱高相關(guān)信號(hào) 統(tǒng)計(jì)獨(dú)立： 統(tǒng)計(jì)不相關(guān)： 正交： , ( ,)( )( ) X YXY fx yfx fy ( )0,( ), ( ) xy Cx ty t 則統(tǒng)計(jì)不相關(guān) * ( )0, ( )()0,( )( ) xy RE

7、x t y tx ty t即則 1. 常數(shù)向量的正交(常數(shù)向量：元素為常量的向量) , cos , H x yx y xy x xy y 夾角： ,0 H x yx y正交： 兩常數(shù)向量夾角為90 2. 函數(shù)的正交 22 ( ) ( ) , cos , ( )( ) b H a bb aa tt dt tdttdt xy x y x xy y xy 夾角： ,( ) ( )0 b H a tt dt x yxy正交： 兩函數(shù)夾角為90 3. 隨機(jī)向量的正交 * 22 ( )( ) ( ) ( ) ( ), ( ) cos ( ), ( )( ), ( ) ( )( ) xy E xy xy x

8、xyy ExEy 兩個(gè)隨機(jī)變量和之間的夾角： * ( ) ( )0E xy兩個(gè)隨機(jī)變量正交，若 12 12 ( )( ),( ),( ) ( )( ),( ),( ) ( )( ) T m T n j xxx yyy y x y i 兩個(gè)隨機(jī)向量和 正交，系指任何一個(gè)隨機(jī)變量 x都與另一個(gè)隨機(jī)變量正交。 ( )( ) H xym n E Rxy0正交條件： （零矩陣） 兩個(gè)向量正交兩個(gè)向量正交 任何一個(gè)向量到另外一個(gè)向量的投影為零任何一個(gè)向量到另外一個(gè)向量的投影為零 兩個(gè)向量互不干擾兩個(gè)向量互不干擾 1. 在多址通信技術(shù)中的應(yīng)用 通信理論的基本結(jié)論：若多個(gè)用戶的信號(hào)可以做到正交， 則這些用戶可

9、共享一個(gè)發(fā)射媒介。 時(shí)分多址(TDMA: time-division multiple access): 各個(gè)用戶的信號(hào)波形在時(shí)域上無(wú)重疊 正交(時(shí)域正交) * 12 ( )( )0, b ij a s t s t dtij 用戶 和用戶 之間有一個(gè)保護(hù)時(shí)隙 共享：整個(gè)頻帶 頻分多址(FDMA: frequency-division multiple access): 各個(gè)用戶的信號(hào)波形在頻域上無(wú)重疊 頻域正交 2 1 * 12 ( )( )0, F ij F Sf Sf dfij 用戶 和用戶 之間有一個(gè)保護(hù)頻隙 共享：整個(gè)時(shí)區(qū) 碼分多址(CDMA: code-division multip

10、le access): 各個(gè)用戶的信號(hào)波形在時(shí)域和頻域都有重疊，但信號(hào)之間 正交 CDMA 擴(kuò)頻碼之間正交 直接序列 共享：整個(gè)時(shí)區(qū)和頻帶 2. 離散Karhunen-Loeve變換 12 1 1 , , 1,2, , 0, T H Mx HH H ii M H iiij i x xxE wiM wij xRxx wQ xQQQ q x xQwqq q wx 零均值隨機(jī)向量，自相關(guān)矩陣 線性變換（為酉矩陣，） 級(jí)數(shù)展開(kāi)： （正交） 目的：希望減少 的系數(shù)個(gè)數(shù)，又能夠重構(gòu)原信號(hào) 基向量 1 1 22 11 2 , 1 m ii i M mii i m MM HHH mmmiiiiii i mi

11、m HHHHHH iiiiiiiixi wmM w EEE wE w wE wEE xq exxq e eqqq q q xq x x qqxxqq R q 逼近： 逼近誤差： 均方誤差： 由得： 1 11 * minmin 1 ()(1) () 0 Lagrange M H mixi i m H ii MM HH iixiiii i mi m i xiiixiii i i E J J x q R q q q qq R qq q q R qqR qq q R 最優(yōu)化： 約束條件： 拉格朗日乘子法： 代價(jià)函數(shù) 乘子 和基向量必須分別選取為自相關(guān)矩陣的 特征值 ii u和特征向量 1 1 1111

12、 K-L m ii i x K ii i MMMM HHH Kixiijjjii i Ki Kji K w KMK w E xu R xu q R quu uu 離散變換 若只有 個(gè)大特征值，其余個(gè)特征值可忽略，則 此時(shí)，均方誤差 可達(dá)到最小。 1 K-L K ii i w xux 結(jié)論： 用 逼近 ，可使逼近（信號(hào)重構(gòu)）的均方誤差 最小化，離散變換是原信號(hào)的最優(yōu)逼近。 12 1 111 1 11 1 1 , , , , , M H Mx i x KK H MK xxx M KK MxxKww Kww Rxx R uuUuu wUx 待發(fā)射信號(hào)：，求樣本自相關(guān)矩陣 特征值分解，確定大特征值個(gè)數(shù)

13、，并存儲(chǔ)個(gè) 特征向量。令 信號(hào)編碼： 個(gè)原數(shù)據(jù)個(gè)變換系數(shù) 實(shí)際發(fā)射：發(fā)射個(gè)系數(shù) K即可 利用離散K-L變換進(jìn)行信號(hào)編碼及解碼 12 1 1 , , K iiM i K wx xx M K MK xu uu 接收端：利用重構(gòu)信號(hào) （信號(hào)解碼） 發(fā)射端和接收端：必須有的信息 壓縮比： 若，則可實(shí)現(xiàn)大壓縮比的信號(hào)壓縮 信號(hào)編碼、信號(hào)壓縮：通信、圖像等。 1 * * ( ) ()( ) ( )( ) ( )( )( ) ) K kkk k T k T k k r tA b i s tiTn t r t s t dtk r t s t dtr t ks t 0 0 CDMA接收機(jī)接收信號(hào)： 相關(guān)接收 可

14、提取用戶 的發(fā)射信號(hào) 原理：相關(guān)運(yùn)算 可抽取接收信號(hào) 與用戶 擴(kuò)頻信號(hào) ( 之間的共同部分。 1 2 2 1 ( )( ) ( ) ( ) ( ) ( ) L ii i i iL k k z tc t z t z t c t z t 無(wú)線通信中的多徑信號(hào)為典型的相干信號(hào) 加權(quán)系數(shù)選擇： 多徑信號(hào) RAKE 接收：將所有具有較大能量的信號(hào)收集起來(lái)， 并相加。這是一個(gè)典型的相干積累，可提供信干噪比 （因?yàn)榭偟哪芰吭黾樱?2 * ( ) ( )( ) () ( ) ( ), ( )0( )0,() ( )( ) ( ) kk k kk k k kkk E x t x tCt C t tx tx t

15、k Cx t gt dtgt 有限能量信號(hào)：（平方可積信號(hào)） 級(jí)數(shù)展開(kāi)： 展開(kāi)系數(shù)；基 本 函數(shù) 基函數(shù)應(yīng)滿足的條件： 線性獨(dú)立 若，則完備性 基函數(shù) 正交信號(hào)變換 雙正交信號(hào)變換 非正交信號(hào)變換 ( )( ) 1, ( ),( )(- ) 0, ,1, kk kl jwtjwt tgt kl ttkl ee 若 其它 標(biāo)準(zhǔn)正交基：如 ( )( ) ( ),( )0 kkkl tgttgt ( )( ) ( ),( )0 kkkl tgttgt 今后均假設(shè)討論的信號(hào)已零均值化，這里x(t)已零均值化 線性系統(tǒng) ( )x t( )y t () ( )h t沖激響應(yīng) 系數(shù) * * ( )( )(

16、)( )() ( )( )( )() y tx th tx u h tu du h tx th u x tu du * * 121212 2 * 2 ( )( )( )() () ( ) ( ) ( )( ) ( )( )( )( ) ( )( ) yyyy xx yyxxxx jft RCE y t y t Cuu h u h u dudu PfPf H f HfPf H f H fh t edt 其中稱為傳遞函數(shù) 穩(wěn)定系統(tǒng)(stable system) 有界輸入必導(dǎo)致有界輸出的系統(tǒng) 對(duì)連續(xù)系統(tǒng): 對(duì)離散系統(tǒng): ( )h t dt （絕對(duì)可積分） ( ) k h t （絕對(duì)可求和） 因果系統(tǒng)

17、(causal system) 輸出必在輸入之后 ( )0,0h tt 第二部分第二部分 參數(shù)估計(jì)參數(shù)估計(jì)理論理論 N 參數(shù)估計(jì)理論的主要研究?jī)?nèi)容： （1）估計(jì)子是如何接近真實(shí)參數(shù) 的?(接近度評(píng)價(jià)) （2）參數(shù)估計(jì)方法 估計(jì)子的定義 11 , , () (,) Np N Nxx Npp N N 映射 已知 個(gè)數(shù)據(jù)估計(jì)真實(shí)參數(shù) 即 維樣本空間維參數(shù)空間（ 維） 小樣本性能 個(gè)數(shù)據(jù)得到的估計(jì)子性能 ：計(jì)算機(jī)仿真 大樣本性能 漸近性能：理論分析 * * 1 1 * 2 1 ( )( ) ()( ) : 1 ( )()( ) 1 ( )()( ) () ( () : x N k n N k n N

18、NN N x nR kE x nk x n R kx nk x n Nk R kx nk x n N bE E 的自相關(guān)函數(shù) 兩個(gè)估計(jì)子 具有相關(guān)函數(shù)矩陣的 半正定性 估計(jì)誤差 隨機(jī)變量，不便使用） 偏差 （固定量，有用） 無(wú)偏估計(jì) 0 NE 1 2 N ( )( ) ( )( ) () : lim x x N E R kR x Nk E R kR x N E 兩個(gè)估計(jì)子的性能： 無(wú)偏估計(jì) 有偏估計(jì) 漸近無(wú)偏估計(jì) 漸近無(wú)偏估計(jì) 無(wú)偏估計(jì)一定是漸近無(wú)偏估計(jì)，反之一般不成立 “好”的估計(jì)：應(yīng)該是漸近無(wú)偏估計(jì) 兩個(gè)無(wú)偏估計(jì)(或其中一個(gè)漸進(jìn)無(wú)偏估計(jì))的性能比較： 2 222 22 2 1212 :()

19、() : () ()() () () 2 () () ()() ()(), NN N NNNNN NNNNNN NN VarEE MEEEE EEEEEEE Varb VarVar 估計(jì)方差 均方誤差 無(wú)偏估計(jì)的評(píng)價(jià)：若則稱比好 有偏 22 1212()(), : MM估計(jì)的評(píng)價(jià)：若則稱優(yōu)于 注 比較估計(jì)子性能時(shí)，用均方誤差比只用方差或偏差更合理 1 1 1 , ( |) ( )ln( |) ( |) ( |) ( )( |) ( |) ( )0, ( |) N N N xx f x V xf x f x f x E V xf xdxdx f xE V x f xdxdx 中隱含真實(shí)參數(shù) 的信

20、息估計(jì)子 引入品質(zhì)函數(shù) 2 2 2 2 2 ( ) ( )( )ln( |)ln( |) 1 ( )() ( ) ln( |)( )() 1 ( ) V xFisher JE VEf xEf x VarE J f xK CramerRao J 定義：品質(zhì)函數(shù)的方差稱為信息： 定理：假設(shè)是 的無(wú)偏估計(jì)，則 取等號(hào)的充要條件： 此時(shí)稱為下界 損失函數(shù)(代價(jià)函數(shù)) 絕對(duì)損失函數(shù) 二次型損失函數(shù) (, ) () () () NN NN C C , 標(biāo)量參數(shù) 向量參數(shù) 2 2 ( , ) () () () C C , 標(biāo)量參數(shù) 向量參數(shù) 均勻損失函數(shù) 0, (, ) () 1, 0, () () 1,

21、N N N N N N C C , 標(biāo)量參數(shù) 向量參數(shù) 風(fēng)險(xiǎn)函數(shù): 損失函數(shù)的數(shù)學(xué)期望 Bayes估計(jì)：使風(fēng)險(xiǎn)函數(shù)最小化的參數(shù)估計(jì) (, ) (, ) NN RE C 2 , (, )() min MMSE (minimum mean square error) NN RE若對(duì)二次型 1 1 1 ,( ,| ), ln( ,| ) argmaxln( ,| ) NN N MLN xxf xx f xx f xx 1 給定 ,似然函數(shù)為但多用對(duì)數(shù)似然函數(shù) 。 的最大似然估計(jì)是對(duì)數(shù)似然函數(shù)最大化時(shí)的估計(jì): 缺點(diǎn)：必須知道似然函數(shù)的形式 線性均方LMS (linear mean square) 1

22、1 2 2 1 2 2 11 11 , minmin 20 N NLMSnn n N nn n NN nnnnk nn kk NN iikkiikk ii xxw x Ew xE e E e Ew xEw xx ww wE x xExwRg 準(zhǔn)則： 1 1 2 2 1 2 2 11 11 , , , minmin 20 N NLMSnn n N nn n NN nnnnk nn kk NN iikkiikk ii N N ik i k xxw x Ew xE e E e Ew xEw xx ww wE x xExwRg R R 準(zhǔn)則： 11 1 , , TT NN wwgg wg Rw = gw = R g 正交性原理 線性均方估計(jì)是典型的Bayes估計(jì) 1 0 0 1, N nnkk n Ew xxE exkN 即 估計(jì)誤差與已知數(shù)據(jù)正交 2 1 2 1 min LMSMMSEBayes N nn n N nn n x w Ex w 代價(jià)函數(shù)（二