第四章短時傅里葉變換ppt課件

1、1,4.1 概述,2,語音的生成模型由線性系統(tǒng)組成，系統(tǒng)輸出的傅里葉頻譜反映了激勵與聲道頻率響應(yīng)特性。 語音信號的頻譜具有非常明顯的語音聲學(xué)意義，可以獲得某些重要的語音特征，如共振峰頻率和帶寬等。 話音波是一個非平穩(wěn)過程，標(biāo)準傅里葉變換不能用來直接表示語音信號。 由于語音信號的特性是隨時間緩慢變化的，因而可以假設(shè)它在一短段時間內(nèi)保持不變。短時分析應(yīng)用于頻域分析就是短時傅里葉變換，即有限長度的傅里葉變換。 短時傅里葉變換可以精確地恢復(fù)語音波形。短時傅里葉變換最重要的應(yīng)用是語音分析-合成系統(tǒng),3,短時幅度譜的計算過程,4.2.1 短時(加窗)傅立葉變換的定義,4,4.2.1 短時傅立葉變換-定義,

2、定義：短時傅立葉變換也叫短時譜（加窗的方式） 短時譜的特點： 1)時變性：既是角頻率的函數(shù)又是時間n的函數(shù) 2)周期性：是關(guān)于的周期函數(shù)，周期為2,5,短時傅里葉變換是窗選語音信號的標(biāo)準傅里葉變換。下標(biāo)n區(qū)別于標(biāo)準的傅里葉變換。w(n-m)是窗口函數(shù)序列。不同的窗口函數(shù)序列，將得到不同的傅里葉變換的結(jié)果。 短時傅里葉變換有兩個自變量：n和，所以它既是關(guān)于時間n的離散函數(shù)，又是關(guān)于角頻率的連續(xù)函數(shù)。 與離散時間序列傅里葉變換和連續(xù)傅里葉變換的關(guān)系一樣，若令2k/N，則得離散頻率的短時傅里葉變換,它實際上是在頻域的取樣,4.2.1 短時傅立葉變換-定義,6,這兩個公式都有兩種解釋： 當(dāng)n固定不變時

3、，它們是序列w(n-m)x(m) (-m)的標(biāo)準傅里葉變換或標(biāo)準的離散時間序列的傅里葉變換。此時與標(biāo)準傅里葉變換具有相同的性質(zhì)，而Xn(k)與標(biāo)準的離散傅里葉變換具有相同的特性。 當(dāng)或k固定時，和Xn(k)看做是時間n的函數(shù)。它們是信號序列和窗口函數(shù)序列的卷積，此時窗口的作用相當(dāng)于一個濾波器,4.2.1 短時傅立葉變換-定義,7,4.2.1 短時傅立葉變換-定義,頻率分辨率f、取樣周期T、加窗寬度N三者關(guān)系： 窗形狀對短時傅立葉變換的影響 矩形窗主瓣窄，衰減慢； 漢明窗主瓣寬，衰減快； 窗寬對短時頻譜的影響 窗寬長頻率分辨率高，能看到頻譜快變化； 窗寬短頻率分辨率低，看不到頻譜的快變化,8,4

4、.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋（n固定，的函數(shù),短時傅里葉變換可寫為 當(dāng)n取不同值時窗w(n-m)沿著x(m)序列滑動，所以w(n-m)是一個“滑動的”窗口。 由于窗口是有限長度的，滿足絕對可和條件，所以這個變換是存在的。與序列的傅里葉變換相同，短時傅里葉變換隨著作周期變化，周期為2,9,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,10,根據(jù)功率譜定義，可以寫出短時功率譜與短時傅里葉變換之間的關(guān)系 式中*表示復(fù)共軛運算。同時功率譜是短時自相關(guān)函數(shù) 的傅里葉變換。 下面將短時傅里葉變換寫為另一種形式。設(shè)信號序列和窗口序列的標(biāo)準傅里葉變換為 均存在。當(dāng)n取固定值時，w(n-m

5、)的傅里葉變換為,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,11,如果 被看成是w(n-m)x(m)序列的標(biāo)準傅里葉變換，同時假設(shè)x(m)及w(m)的標(biāo)準傅里葉變換存在，為： 當(dāng)n固定時，序列w(n-m)的傅里葉變換為,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,12,根據(jù)傅里葉變換的頻域卷積定理，有,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,語音信號x(n)的標(biāo)準傅里葉變換,移動窗口的標(biāo)準傅里葉變換,短時傅里葉變換,13,寫成卷積積分形式： 將改換為-后，可以寫成,可見，為了使 能夠充分地表現(xiàn) 的特性，要求對于 來說， 必須是一個沖激脈沖,14,用波形乘以窗函數(shù)，不僅為

6、了在窗口邊緣兩端不引起急劇變化，使波形緩慢降為零，而且還相當(dāng)于對信號譜與窗函數(shù)的傅里葉變換進行卷積，采樣。 為此窗函數(shù)應(yīng)具有如下特性： 頻率分辨率高，即主瓣狹窄、尖銳；（矩形窗） 通過卷積，在其他頻率成分產(chǎn)生的頻譜泄漏少，即旁瓣衰減大。（海明窗） 這兩個要求實際上相互矛盾，不能同時滿足。 窗口寬度N、取樣周期T和頻率分辨率f之間存在下列關(guān)系f1/NT 可見二者是矛盾的。 窗口寬度頻率分辨率 時間分辨率 窗口寬度頻率分辨率 時間分辨率,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,15,第一個零點位置為2k/N，顯然它與窗口寬度成反比。 矩形窗，雖然頻率分辨率很高，但由于第一旁瓣的衰減只有1

7、3.2dB，所以不適合用于頻譜成分動態(tài)范圍很寬的語音分析中。 海明窗在頻率范圍中的分辨率較高，而且由于旁瓣的衰減大于42dB，具有頻譜泄漏少的優(yōu)點，頻譜中高頻分量弱、波動小，因而得到較平滑的譜。 漢寧窗是高次旁瓣低，第一旁瓣衰減只有30dB。 對語音波形乘以海明窗，壓縮了接近窗兩端的部分波形，等效于用作分析的區(qū)間縮短40%左右，因此，頻率分辨率下降40%左右。所以，即使在基音周期性明顯的濁音頻譜分析中，乘以合適的窗函數(shù)，也能抑制基音周期與分析區(qū)間的相對相位關(guān)系的變動影響，從而得到穩(wěn)定的頻譜。因為乘以窗函數(shù)將導(dǎo)致分幀區(qū)間縮短，所以為跟蹤隨時間變化的頻譜，要求相鄰幀之間一部分區(qū)域重疊,4.2.2

8、短時傅立葉變換-標(biāo)準傅里葉變換的解釋,16,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,總結(jié)： 以上分析可知，窗傅立葉變換W(ej)很重要。為使Xn(ej)忠實再現(xiàn)X (ej)的特性， W(ej) 相對于X (ej)來說必須是一個沖激函數(shù)。 N越大， W(ej)的主瓣越窄，則Xn(ej)越接近于X (ej) 。 當(dāng)N時， Xn(ej) X (ej) 。 但是N值太大時，信號的分幀已失去了意義。尤其是N值大于語音的音素長度時， Xn(ej)已不能反映該語音音素的頻譜了。因此，應(yīng)折衷選擇窗寬N,17,其中圖(a)是海明窗的窗選信號，圖(b)是其對數(shù)功率譜；圖 (c)是矩形窗下的窗選信號，圖(

9、d)是其對數(shù)功率譜。 從圖 (a)可以明顯看出時間波形的周期性，此周期性同樣在圖(b)中表現(xiàn)出來。圖中基頻及其諧波在頻譜中表現(xiàn)為等頻率間隔的窄峰。圖(b)中的頻譜大約在300400Hz附近有較強的第一共振峰，而約在2000Hz附近有一個對應(yīng)于第二、三共振峰的寬峰。此外，還能在3 800Hz附近看到第四個共振峰。最后，由于聲門脈沖譜的高頻衰減特性，頻譜在高頻部分表現(xiàn)出下降的趨勢,給出了N500時(取樣率10 kHz，窗持續(xù)時間50 ms)時直角窗及海明窗下濁音語音的頻譜,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,18,圖4-3給出了N50的比較結(jié)果(窗口持續(xù)時間為5ms)。 由于窗口很短

10、，因而時間序列(圖(a)和(c)及信號頻譜(圖(b)和(d)均不能反映信號的周期性。 與圖4-2相反，圖4-3只大約在400、1400及2200Hz 頻率上有少量較寬的峰值。它們與窗內(nèi)語音段的前三個共振峰相對應(yīng)。比較圖4-3(b)及(d)的頻譜后，再次表明矩形窗可以得到較高的頻率分辨率,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,19,結(jié)論: 窗口寬度與短時傅里葉變換特性之間的關(guān)系 用窄窗可得到好的時間分辨率 用寬窗可以得到好的頻率分辨率。 但由于采用窗的目的是要限制分析的時間以使其中波形的特性相對穩(wěn)定沒有顯著變化，因而要折衷考慮,4.2.2 短時傅立葉變換-標(biāo)準傅里葉變換的解釋,20,

11、w(n) -一個濾波器的單位函數(shù)響應(yīng) -該濾波器的輸出 x(n)-濾波器的輸入 過程:調(diào)制+濾波,4.2.3 短時傅立葉變換-濾波器的解釋一（固定，n變化,圖4-4 短時傅里葉變換濾波器解釋的第一種形式(a)復(fù)數(shù)運算,21,w(n,w(n)是窄帶低通濾波器,將x(n)的頻譜向左搬移了 ，或等效將 頻率上的頻譜搬移到了零頻率處。因此為使輸出端有,w(n)是窄帶低通濾波器,22,23,4.2.3 短時傅立葉變換-濾波器的解釋二（分解為實虛部,圖4-4 短時傅里葉變換濾波器解釋的第一種形式 (b)只有實數(shù)運算,24,令m=n-m,4.2.3 短時傅立葉變換-濾波器的解釋三,25,為窄帶低通濾波器。第

12、一種形式為低通濾波器； 由于第二種形式中的濾波器單位函數(shù)響應(yīng)為 ，所以它為帶通濾波器,4.2.3 短時傅立葉變換-濾波器的解釋,26,如果將w(n)的濾波運算除外，短時傅里葉變換實際上是信號對復(fù)數(shù)頻率的幅度調(diào)制。 第一種形式是在輸入端進行調(diào)制，x(n)乘以 相當(dāng)于將x(n)的頻譜從移到零頻處；而w(n)(直角窗或海明窗等)為窄帶低通濾波器。 后一種形式是在輸出端進行調(diào)制，此時先對信號進行帶通濾波，濾波器的單位函數(shù)響應(yīng)為w(n) ,而調(diào)制后輸出的是短時譜中心頻率為的數(shù)值,4.2.3 短時傅立葉變換-濾波器的解釋,27,恢復(fù)出x(n)的過程稱為短時傅里葉反變換，是由短時譜合成語音信號的問題 由于

13、是n和的二維函數(shù)，因而必須對在所涉及的兩個變量，即時域及頻域內(nèi)進行取樣，取樣率的選取應(yīng)保證 不產(chǎn)生混疊失真，從而能夠恢復(fù)原始語音信號x(n,4.3 短時傅立葉變換的取樣率,28,當(dāng)為固定值時， 是一個單位函數(shù)響應(yīng)為w(n)的低通濾波器的輸出。設(shè)低通濾波器的帶寬為BHz，則 具有與窗相同的帶寬。根據(jù)取樣定理， 的取樣率至少為2B才不致混疊。 低通濾波器的帶寬由w(n)的傅里葉變換 的第一個零點位置01決定，因而B值取決于窗的形狀與長度。,4.3 短時傅立葉變換的取樣率-時間取樣率,29,4.3 短時傅立葉變換的取樣率-時間取樣率,正弦序列的表達式為 幅值A(chǔ)、初相的含義與模擬正弦信號相同 正弦序列

14、的數(shù)字角頻率0的含義與一般模擬信號模擬角頻率0的概念不同。 離散信號定義的時間為kTs，顯然有0 =0 Ts，模擬角頻率0的單位是rad/s， 數(shù)字角頻0的單位為rad/s s = rad。0表示相鄰兩個樣值間弧度的變化量。 書上的0用直接表示,30,以直角窗和海明窗為例，其第一個零點位置分別為 2/N和4/N 數(shù)字角頻率與模擬頻率F之間的關(guān)系為 (其中T是信號取樣周期，fs是取樣率)，因而用模擬頻率表示的 的帶寬為,4.3 短時傅立葉變換的取樣率-時間取樣率,若使用哈明窗， 的近似帶寬為,31,4.3 短時傅立葉變換的取樣率-頻率取樣率,當(dāng)n為固定值時，Xn(ej)為序列x(n)w(n-m)

15、的傅里葉變換。為了用數(shù)字方法得到x(n)，必須對Xn(ej)進行頻域的取樣。由于Xn(ej)是關(guān)于的周期為2的周期函數(shù)，因而只需在2范圍內(nèi)等間隔地取樣。設(shè)取樣點數(shù)為L，則各取樣頻率值為 k = 2k / L （k =0，1，L -1） 這里L(fēng)即為取樣頻率。上式的含義為在單位圓內(nèi)至少取L個均勻分布的頻率，在這些頻率上求出相應(yīng)的Xn(ejk)值。這些頻率取樣經(jīng)過反傅里葉變換IDFT恢復(fù)出來的時間信號應(yīng)該是x(n)w(n-m)進行周期延拓的結(jié)果，延拓周期為L = 2k /k 。 為了使恢復(fù)的時域信號不產(chǎn)生混疊失真，L值需要大于或等于信號長度N，即02范圍內(nèi)取樣至少應(yīng)有N個采樣點，在正常情況下取L=N

16、,32,4.3 短時傅立葉變換的取樣率-總?cè)勇?總?cè)勇蔛R為時域取樣率和頻域取樣率的乘積，即 當(dāng)L=N時，直用窗時，SR2fs，而海明窗時SR 4fs，即短時譜表示所要求的取樣率比原信號本身時域的取樣率fs要高2或4倍。 在大多數(shù)實際窗中，B 可以表示為fs /N的倍數(shù)，即 其中，k是比例常數(shù)，所以SR= 2kfsL/N 2kfsN/N=2kfs ，即SRmin=2kfs 與一般取樣頻率相比即得到的“過速率采樣比”為 SRmin/fs=2k 。如海明窗為4,33,4.3 短時傅立葉變換的取樣率-總?cè)勇?雖然推導(dǎo)出的取樣率在理論上是信號的最小取樣率，但存在一些例外，此時 可以在時間或頻率域

17、內(nèi)欠速率取樣，而x(n)仍能準確地恢復(fù)。 而增加或減少采樣率的問題在語音信號處理中是常見的。某些實際系統(tǒng)致力于使存儲量（或傳輸比特率）為最小，此時欠采樣具有實際的重要意義，如通道聲碼器就是據(jù)此壓縮傳輸碼率的。 例如，當(dāng)窗口寬度很大時，B很小，低通濾波器帶寬很窄。因此當(dāng)w為固定值時，只需取一個Xn(ejw)即可代表wk時的Xn(ejwk) 譜值；聲碼器只需傳送一個參數(shù)碼。對所有頻率（k0，1，L - 1）只需傳送L個譜值（通常，L值為1016）就可以代表x(m)w(n - m)的頻率，即可恢復(fù)有良好質(zhì)量的語音了,34,4.4 語音信號的短時綜合-濾波器組求和法,對于某個頻率k，如果已知Xn(ej

18、)，則由,若令,則,得,35,4.4 語音信號的短時綜合-濾波器組求和法,hk(n)是一個帶通濾波器，其中心頻率為k。yk(n)是第k個濾波器hk(n)的輸出,36,式（4.28）的圖形解釋,37,定義 (4.28) 可得 (4.28) 可見， 是一個沖激響應(yīng)為 的帶通濾波器的輸出，其中心頻率為,38,39,帶通濾波器的頻率響應(yīng)為 上式用圖4.7(b)表示，中心頻率為 ，帶寬為 ，假定所有通道都使用了相同的窗函數(shù)，即,4.32,4.32,40,41,考慮整個帶通濾波器組時，其中每個帶通濾波器具有相同的輸入，其輸出相加在一起，如圖4.8所示，輸出為y(n)，輸入為x( n )，整個系統(tǒng)的復(fù)合頻率

19、響應(yīng)為 (4.33,42,如果 在頻率域上正確抽樣(NL，L為窗寬)，可以證明對于所有都滿足 (4.37) 作業(yè)：證明（4.37），提示：使用傅里葉變換定義,43,4.37) 代入 （4.33）可得 (4.38,所以復(fù)合系統(tǒng)的沖激響應(yīng)為,4.39,所以用濾波器組相加法恢復(fù)的信號可以表示為,44,4.4 語音信號的短時綜合-濾波器組求和法,45,4.4 語音信號的短時綜合-濾波器組求和法,LN時，y(n)正比于x(n)且與窗口w(n)的形狀無關(guān),LN時，通過合理地選取窗函數(shù)，也可以使y(n)得以精確地恢復(fù),46,在實際的實現(xiàn)過程中， Xn(ejk)由于僅有與窗口相同的帶寬，所以傳輸或存儲時的取樣

20、率可大大降低。即在第k個通道上每輸入Dk個抽樣計算一次，此時圖4-6就變?yōu)閳D4-8。圖中，在分析輸出后加上抽取器并在綜合輸入端加上插入器后， Xn(ejk)的取樣率降低了Dk倍。 即取樣器在每Dk個取樣中刪去Dk - 1個取樣，或等效為每隔Dk個取樣值計算一次。 而插值是在降低速率后的每個取樣之間填充Dk - 1個零值，然后再用一個合適的低通濾波器濾波,47,4.4 短時綜合的濾波器組相加法的MATLAB程序?qū)崿F(xiàn),程序filterbank1.m對應(yīng)于圖4.6中的(b)圖，先調(diào)制后濾波，實現(xiàn)流程圖見圖4.10。 圖4.6中的(b)圖,48,分析,綜合,傳輸、存儲、處理加工,49,50,程序fil

21、terbank2.m對應(yīng)于圖4.6中的(a)圖，先濾波后調(diào)制，實現(xiàn)流程圖見圖4.12，程序運行結(jié)果見圖4.13。 圖4.6中的(a)圖,51,分析,綜合,傳輸、存儲、處理加工,52,53,4.4 語音信號的短時綜合-快速傅里葉變換求和法,Xn(ej)可看作序列x(m)w(n-m)的標(biāo)準傅葉變換。為實現(xiàn)反變換，可將Xn(ej)進行頻域取樣，即令wk=2k/L（k0，1，L - 1），則有,若以n為參量，將 Xn(ej)在各 wk的值用離散傅里葉反變換的方法求得各n時刻的序列值，然后再除以窗口長度而得到x(n)。但是這種方法由于 Xn(ej)采用了時域欠速率取樣而極易產(chǎn)生混疊,54,4.4 語音信

22、號的短時綜合-快速傅里葉變換求和法,假設(shè)在時間域上用周期為R抽樣速率對Xn(ej)取樣，則可令,上式中r為整數(shù)。用各個,可求出其離散傅里葉反變換yr(n,顯然yr(n)=x(m)w(n-m)n=rR = x(n)w(rR - n,55,由上式可見，y(n)仍是x(n)與w(n)的卷積和，只是其中每隔R個樣值參與一次運算,對r求和，得(4-49,設(shè)RN4，則n取不同值時有,56,57,58,式中，W(ej0)/R為常系數(shù)。上面只是證明了y(n)正比于x(n)，實際上求y(n)時仍要用,不難證明，如果w(n)的傅立葉變換頻帶受限，同時設(shè)Xn(ejk)在時間上被正確取樣，即R選得足夠小以避免混疊，則

23、不論n為何值均滿足,4-52,因此式（4-50）變?yōu)?4-53,即先將Xn(ej)在頻域上離散化為Xn(ejk) ，再對其進行周期為R的取樣，得到，再由上式用快速傅立葉反變換求出yr(n)，最后在長度為N的范圍內(nèi)對r求和后得到y(tǒng)(n,59,濾波器組求和法與快速傅立葉變換求和法之間存在著對偶性，即一個與頻率取樣有關(guān)，而另一個卻與時間取樣有關(guān)。濾波器組求和法所要求的頻率取樣率應(yīng)能使窗變換滿足下面的關(guān)系,而快速傅立葉變換求和法要求時間取樣應(yīng)選得使窗滿足以下關(guān)系,4-54a）與（4-54b）具有對偶關(guān)系。 而當(dāng)Xn(ej)發(fā)生變形時（例如傳輸過程中有噪聲，相當(dāng)于增加一項 En(ej)），濾波器組求和法

24、將比較優(yōu)越，因為它對噪聲的敏感性較小,4-54a,4-54b,60,61,下面給出短時綜合的疊接相加法的MATLAB程序?qū)崿F(xiàn)的運行結(jié)果,62,語音的時域分析和頻域分析是語音分析的兩種重要方法。 這兩種方法均有局限性： 時域分析對語音信號的頻率特性沒有直觀的了解； 頻域特性中又沒有語音信號隨時間的變化關(guān)系。 時間依賴于傅里葉分析的顯示圖形稱為語譜圖。 語譜圖中顯示了大量的與語音的語句特性有關(guān)的信息，它綜合了頻譜圖和時域波形的優(yōu)點，明顯地顯示出語音頻譜隨時間的變化情況,4.5 語譜圖,63,語譜圖實際上是一種動態(tài)的頻譜。 語譜圖的縱軸為頻率，橫軸為時間。任一給定頻率成分在給定時刻的強弱用點的黑白度

25、來表示，頻譜值大則記錄得濃黑一些，反之則淺淡一些。 用語譜圖分析語音又稱為語譜分析，記錄語譜圖的儀器就是語譜儀。 語譜儀實際上是使一個帶通濾濾器的中心頻率發(fā)生連續(xù)變化，來進行語音的頻率分析。 帶通濾波器有兩種帶寬：窄帶為45 Hz，寬帶為300 Hz。窄帶語譜圖有良好的頻率分辨率及較差的時間分辨率；而寬帶語譜圖具有良好的時間分辨率及較差的頻率分辨率。 窄帶語譜圖中的時間座標(biāo)方向表示的是基音及其各次諧波；而寬帶語譜圖給出語音的共振峰頻率及清輔音的能量匯集區(qū)；這里，共振峰呈現(xiàn)為黑色的條紋,4.5 語譜圖,64,所有元音的特征都是強度變化的規(guī)則的垂直條紋。 條紋的起點相當(dāng)于聲門脈沖的起點，條紋之間的距離表示基音周期。 條紋越密表示基音頻率越高，例