第二章語譜圖分析

1、13.6 語音信號(hào)的語音信號(hào)的 語譜圖分析語譜圖分析3.6.1 語譜圖分析語譜圖分析3.6.2 語音信號(hào)特性分析語音信號(hào)特性分析2一段語音的時(shí)域波形及其語譜圖一段語音的時(shí)域波形及其語譜圖語音時(shí)域波形語音時(shí)域波形對(duì)應(yīng)的語譜圖對(duì)應(yīng)的語譜圖3.6.1 語譜圖分析語譜圖分析3語譜圖語譜圖o 語音的時(shí)域分析和頻域分析是語音分析的兩種重要方法。語音的時(shí)域分析和頻域分析是語音分析的兩種重要方法。但是這兩種方法均有局限性：但是這兩種方法均有局限性：n 時(shí)域分析對(duì)語音信號(hào)的頻率特性沒有直觀的了解；時(shí)域分析對(duì)語音信號(hào)的頻率特性沒有直觀的了解；n 特性中又沒有語音信號(hào)隨時(shí)間的變化關(guān)系。特性中又沒有語音信號(hào)隨時(shí)間的變

2、化關(guān)系。o 因此人們致力于研究語音的時(shí)頻分析特性，把和時(shí)序相關(guān)因此人們致力于研究語音的時(shí)頻分析特性，把和時(shí)序相關(guān)的傅里葉分析的顯示圖形稱為語譜圖。的傅里葉分析的顯示圖形稱為語譜圖。o 語譜圖在語譜圖在19411941年由貝爾實(shí)驗(yàn)室研究人員發(fā)明，它試圖用三年由貝爾實(shí)驗(yàn)室研究人員發(fā)明，它試圖用三維的方式顯示語音頻譜特性，維的方式顯示語音頻譜特性， 縱軸表示頻率，橫軸表示縱軸表示頻率，橫軸表示時(shí)間，顏色的深淺表示特定頻帶的能量大小，語譜圖的發(fā)時(shí)間，顏色的深淺表示特定頻帶的能量大小，語譜圖的發(fā)明是語音研究的一個(gè)里程碑，它將語音的許多特征直觀的明是語音研究的一個(gè)里程碑，它將語音的許多特征直觀的呈現(xiàn)出來。

3、呈現(xiàn)出來。o 語譜圖中顯示了大量的與語音的語句特性有關(guān)的信息，它語譜圖中顯示了大量的與語音的語句特性有關(guān)的信息，它綜合了頻譜圖和時(shí)域波形的特點(diǎn)，明顯地顯示出語音頻譜綜合了頻譜圖和時(shí)域波形的特點(diǎn)，明顯地顯示出語音頻譜隨時(shí)間的變化情況，或者說是一種動(dòng)態(tài)的頻譜。隨時(shí)間的變化情況，或者說是一種動(dòng)態(tài)的頻譜。4語譜圖產(chǎn)生流程語音錄制數(shù)據(jù)讀入程序信號(hào)分幀加窗能量密度譜計(jì)算功率譜偽彩色顯示語譜圖顯示5一、語譜圖的分類o 語譜圖分為寬帶語譜圖和窄帶語譜圖兩種。語譜圖分為寬帶語譜圖和窄帶語譜圖兩種。o 寬帶語譜圖：帶寬約為寬帶語譜圖：帶寬約為300Hz，具有良好的時(shí)，具有良好的時(shí)間分辨率，但是頻率分辨率較差；間分

4、辨率，但是頻率分辨率較差；n 寬帶語譜圖能給出語音的共振峰頻率及清輔寬帶語譜圖能給出語音的共振峰頻率及清輔音的能量匯集區(qū)，在語譜圖里共振峰呈現(xiàn)為音的能量匯集區(qū)，在語譜圖里共振峰呈現(xiàn)為黑色的條紋。黑色的條紋。o 窄帶語譜圖：帶寬約為窄帶語譜圖：帶寬約為45Hz,具有良好的頻率具有良好的頻率分辨率，但是時(shí)間分辨率較差。分辨率，但是時(shí)間分辨率較差。n 有利于顯示基音頻率及其各次諧波，不利于有利于顯示基音頻率及其各次諧波，不利于觀察共振峰的變化。觀察共振峰的變化。o 在不同的語譜圖上所表現(xiàn)的語音特征也不同。在不同的語譜圖上所表現(xiàn)的語音特征也不同。6二、寬帶語譜圖的典型譜型o 寬帶語譜圖的典型譜型：寬帶

5、語譜圖的典型譜型：n 寬橫杠（寬橫杠（Bar）：代表元音的共振峰位置，表現(xiàn)為：代表元音的共振峰位置，表現(xiàn)為圖中與水平時(shí)間軸平行的較寬的黑杠，不同元音的圖中與水平時(shí)間軸平行的較寬的黑杠，不同元音的共振峰位置不同，根據(jù)寬帶語譜圖上各橫杠的位置共振峰位置不同，根據(jù)寬帶語譜圖上各橫杠的位置可以區(qū)分不同的元音，不同人發(fā)音的第一共振峰位可以區(qū)分不同的元音，不同人發(fā)音的第一共振峰位置會(huì)不同，但其分布結(jié)構(gòu)是相似的。置會(huì)不同，但其分布結(jié)構(gòu)是相似的。n 豎直條豎直條（spike）代表塞音（）代表塞音（b,d,g,p,t,k）或塞）或塞擦音（擦音（z,zh,j,c,ch,q）,表現(xiàn)為圖中與垂直頻率軸表現(xiàn)為圖中與垂直

6、頻率軸平行的較寬的黑條，在時(shí)間上持續(xù)時(shí)間很短，在頻平行的較寬的黑條，在時(shí)間上持續(xù)時(shí)間很短，在頻率軸上集中區(qū)位置隨不同的輔音而不同率軸上集中區(qū)位置隨不同的輔音而不同n 摩擦亂紋摩擦亂紋（fill）:代表摩擦音（代表摩擦音（s,sh,x,f,h）或者）或者送氣音的送氣部分，表現(xiàn)為圖中無規(guī)則的亂紋。送氣音的送氣部分，表現(xiàn)為圖中無規(guī)則的亂紋。7三、窄帶語譜圖的典型譜型o 窄橫條：代表元音的基音頻率及各次諧波，表現(xiàn)為圖中與水平軸平行的線條，窄橫條在頻率軸的位置對(duì)應(yīng)了音高頻率值，隨時(shí)間軸的曲折、升降變化代表了音高變化的模式o 無聲間隙段：對(duì)應(yīng)于語音的停頓間隙，在圖中表現(xiàn)為空白區(qū)，在兩種語譜圖中都存在。這種

7、反映語音信號(hào)動(dòng)態(tài)頻譜特性的時(shí)頻圖在語音這種反映語音信號(hào)動(dòng)態(tài)頻譜特性的時(shí)頻圖在語音分析中具有重要的實(shí)用價(jià)值，被稱為分析中具有重要的實(shí)用價(jià)值，被稱為“可視語言可視語言”8語譜圖分析語譜圖分析l語譜圖中的花紋有橫杠、亂紋和豎直條等l橫杠是與時(shí)間軸平行的幾條黑色帶紋，它們是共振峰，從橫杠對(duì)應(yīng)的頻率和帶寬可以確定相應(yīng)的共振峰頻率和帶寬l在一個(gè)語音段的語譜圖中，有沒有橫杠出現(xiàn)是判斷它是否是濁音的重要標(biāo)志。l豎直條（又叫沖直條）是語譜圖中出現(xiàn)與時(shí)間軸垂直的一條窄黑條。l每個(gè)豎直條相當(dāng)于一個(gè)基音，條紋的起點(diǎn)相當(dāng)于聲門脈沖的起點(diǎn)，條紋之間的距離表示基音。條紋越密表示基音頻率越高。910Every salt br

8、eeze comes form the seaWide bandnarrowband11Matlab 命令：命令：specgramlWideband spectrogram：給出共振峰頻率給出共振峰頻率lNarrowband spectrogram：基音周期及其諧波：基音周期及其諧波 specgramspecgram computes the windowed discrete- computes the windowed discrete-time Fourier transform of a signal using a time Fourier transform of a signal

9、 using a sliding window. The spectrogram is the sliding window. The spectrogram is the magnitude of this function.magnitude of this function.12131401020304050607001002003004005006000102030405060700100200300400500600N=1024 hamming window 幅度譜幅度譜 15010203040506070020040060080010001200010203040506070020

10、040060080010001200N=2048 hamming window 幅度譜幅度譜 16 歡迎使用微軟中國研究院中文語音合成系統(tǒng)歡迎使用微軟中國研究院中文語音合成系統(tǒng)的時(shí)域波形和語譜圖的時(shí)域波形和語譜圖1718寬帶語譜圖：“畢業(yè)”語譜圖語譜圖因其不同的黑白程度，形成不同的花紋，被稱作“聲紋”19“曠課曠課”語譜圖語譜圖v從語譜圖上可以看出語音的音調(diào)變化，藍(lán)色的就是音調(diào)從語譜圖上可以看出語音的音調(diào)變化，藍(lán)色的就是音調(diào)20“曼谷”語譜圖21“受用”語譜圖22語譜圖分析特點(diǎn)：（特點(diǎn)：（1）窗長短，可以獲得較高）窗長短，可以獲得較高的時(shí)間分辨率；（的時(shí)間分辨率；（2）功率譜的諧波）功率譜的諧

11、波結(jié)構(gòu)在頻率軸方向被平滑掉了，諧波結(jié)構(gòu)在頻率軸方向被平滑掉了，諧波間隙被填平了，因此在頻域看不出基間隙被填平了，因此在頻域看不出基音頻率和頻譜的諧波形式結(jié)構(gòu)，但可音頻率和頻譜的諧波形式結(jié)構(gòu)，但可以明顯的看成共振峰結(jié)構(gòu)和語譜包絡(luò)以明顯的看成共振峰結(jié)構(gòu)和語譜包絡(luò)（3）時(shí)間分辨率高，可以清楚的看）時(shí)間分辨率高，可以清楚的看到濁音共振峰時(shí)變過程到濁音共振峰時(shí)變過程“你好你好”寬帶寬帶語譜圖灰度顯示語譜圖灰度顯示圖圖“你好你好”窄帶窄帶語譜圖灰度顯示圖語譜圖灰度顯示圖特點(diǎn)：（特點(diǎn)：（1）窗長長，可以）窗長長，可以獲得較高的頻率分辨率。獲得較高的頻率分辨率。（2）濾波器的帶寬能在濁）濾波器的帶寬能在濁音區(qū)

12、分辨出每個(gè)諧波。（音區(qū)分辨出每個(gè)諧波。（3）語譜的諧波形式的結(jié)構(gòu)在頻語譜的諧波形式的結(jié)構(gòu)在頻率方向清晰可見，并能看到率方向清晰可見，并能看到基音頻率的時(shí)變過程?；纛l率的時(shí)變過程。N=256N=204823語譜圖識(shí)別語譜圖識(shí)別24瀑布瀑布 語譜圖（語譜圖（SPECTROGRAM） 時(shí)間、頻率、幅值三維坐標(biāo)，時(shí)間、頻率、幅值三維坐標(biāo)， 頻譜幀隨時(shí)間頻譜幀隨時(shí)間變化變化25彩色語譜圖彩色語譜圖發(fā) “ah.”時(shí)的單元音 /a/發(fā) “eye”時(shí)的雙元音 /ai/發(fā)音 “real”發(fā)音 “mean”26同一個(gè)人的語譜圖同一個(gè)人的語譜圖5個(gè)不同發(fā)音者發(fā)音個(gè)不同發(fā)音者發(fā)音“0”的語譜圖的語譜圖不同的講話者不

13、同的講話者的語譜圖具有的語譜圖具有不同的不同的“聲聲紋紋”。據(jù)此可。據(jù)此可以區(qū)別說話人，以區(qū)別說話人，這與不同的人這與不同的人有不同的指紋，有不同的指紋，根據(jù)指紋可以根據(jù)指紋可以區(qū)別不同的人區(qū)別不同的人是一個(gè)道理。是一個(gè)道理。27話者話者1發(fā)音發(fā)音“0”的結(jié)果的結(jié)果話者話者1另一次發(fā)音另一次發(fā)音“0”的結(jié)果的結(jié)果28話者話者1發(fā)音發(fā)音“0”的結(jié)果的結(jié)果話者話者2發(fā)音發(fā)音“0”的結(jié)果的結(jié)果293.6.2 語音信號(hào)特性分析一首歌曲的截取語音段一首歌曲的截取語音段303.6.2 語音信號(hào)特性分析v語音信號(hào)的特性主要指它的聲學(xué)特性、語音信號(hào)的時(shí)域波形和頻譜特性以及語音信號(hào)的統(tǒng)計(jì)特性。v關(guān)于聲學(xué)特性前面已做了介紹，下面主要分析它的時(shí)域波形和頻譜特性。31漢語拼音漢語拼音“sou ke”的時(shí)間波的時(shí)間波形形32元音元音ou的頻譜圖的頻譜圖33語音特性分析實(shí)例：Ten above in su