語(yǔ)音信號(hào)產(chǎn)生的數(shù)字模型課件

關(guān)于語(yǔ)音信號(hào)產(chǎn)生的數(shù)字模型第1頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三§2.1人類的語(yǔ)言器官和語(yǔ)音產(chǎn)生過(guò)程

人類的語(yǔ)音是由人體發(fā)音器官在大腦控制下的生理運(yùn)動(dòng)產(chǎn)生的。發(fā)音器官包括：肺，喉，聲道等。空氣由肺部排入喉部，經(jīng)過(guò)聲帶進(jìn)入聲道，最后由嘴或鼻輻射出聲波，形成了語(yǔ)音。鼻腔口腔聲帶聲門(mén)第2頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三MuscleforcelungVocalcords

NoseoutputMouthoutputVelumNasalcavityMouthcavityThecompletephysiologicalmechanismofspeechproduction

聲道excitationspeech第3頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三喉的生理結(jié)構(gòu)

喉位于氣管的上端，實(shí)際上是氣管末端一圈軟骨構(gòu)成的一個(gè)框架，前方稍高處的軟骨稱為甲狀軟骨，前后方環(huán)成一圈的稱為喉部環(huán)形軟骨，喉中兩片肌肉稱為聲帶，聲帶之間的空隙為聲門(mén)。當(dāng)聲帶張開(kāi)時(shí)，聲門(mén)打開(kāi)，空氣可自由呼出，正常呼吸就處于這種情況；當(dāng)聲帶閉合，聲門(mén)關(guān)閉。甲狀軟骨聲門(mén)聲帶環(huán)形軟骨人的前方喉第4頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

當(dāng)說(shuō)話時(shí)，聲帶在軟骨的作用下相互靠近但不完全閉合，聲門(mén)變成一條窄縫，當(dāng)氣流通過(guò)窄縫時(shí)壓力減小，外界壓力大，從而兩片聲帶完全閉合使得氣流不能通過(guò)，當(dāng)氣流阻斷時(shí)壓力恢復(fù)正常，推開(kāi)兩片聲帶，聲門(mén)再次打開(kāi)，氣流再次流過(guò)。聲帶靠攏Tp基音周期

聲帶的開(kāi)啟和閉合稱為振動(dòng)。這一振動(dòng)過(guò)程周而復(fù)始，形成了一串周期性脈沖氣流送入聲道。這個(gè)過(guò)程發(fā)出的音稱為濁音。如漢語(yǔ)發(fā)音的[a]、[i]、[u]和[o]等。第5頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三GlottalClosureinstant

T第6頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三女聲漢語(yǔ)拼音a的時(shí)域波形第7頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三Tp基音周期fundamentalperiodVoicedexcitationUnvoicedexcitation（聲帶不振動(dòng)，聲門(mén)開(kāi)啟）第8頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三男聲漢語(yǔ)拼音聲母s的時(shí)域波形第9頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

氣流從喉向上經(jīng)過(guò)口腔或鼻腔后從嘴或鼻孔向外輻射，期間的傳輸通道稱為聲道。氣流流過(guò)聲道時(shí)猶如通過(guò)了一個(gè)具有某種諧振特性的腔體，放大某些頻率，在頻譜上形成相應(yīng)位置的峰起，稱為共振峰。

講話時(shí)，由于舌和唇的連續(xù)運(yùn)動(dòng)，使聲道形狀改變，隨即改變諧振頻率，使得發(fā)不同的音。聲道的不同的形狀，對(duì)應(yīng)不同的諧振頻率。聲道第10頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三發(fā)音的三種方式－excitation濁音（voicedsounds）聲帶開(kāi)啟和閉合，在聲門(mén)處產(chǎn)生一個(gè)準(zhǔn)周期性脈沖序列。（quasi-periodicsequence）清音（unvoicedsounds）聲帶完全舒展開(kāi)來(lái)，聲道的某個(gè)部位發(fā)生收縮形成了一個(gè)狹窄的通道，當(dāng)空氣流到達(dá)此處時(shí)被迫以高速?zèng)_過(guò)收縮區(qū)，并在附近產(chǎn)生空氣的湍流，類似于白噪聲。（whitenoise）爆破音（plosive/stopsounds）聲帶完全舒展開(kāi)來(lái)，聲道的某個(gè)部位完全閉合在一起，當(dāng)空氣流到達(dá)時(shí)便在此處建立起空氣壓力，一旦閉合點(diǎn)突然開(kāi)啟便會(huì)讓氣壓快速釋放，實(shí)際上也是一種空氣的湍流。（whitenoise）第11頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

☆

F0=1/Tp，基音頻率，由聲帶的質(zhì)量來(lái)決定。

☆

F0的大小決定了聲音的高低，稱為音高。

☆

男性的F0大致分布在：50~250Hz

☆

女性和兒童的F0大致分布在：100~500Hz基音頻率(FundamentalFrequency－pitch)F0第12頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三鼻端嘴唇17cm8.5cm13cm聲道的無(wú)損模型聲道的諧振頻率formatfrequency諧振頻率發(fā)生在：Fn=（聲道的橫截面是均勻的，發(fā)元音e時(shí)，聲道近似是均勻的。）L=17cm，聲道的長(zhǎng)度n=1,2,3…稱為第一共振峰F1=500Hz、第二共振峰F2=1500Hz、第三共振峰F3=2500Hz，…c=340m/s2n-14Lc第13頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三基音頻率輸出氣流的頻率共振峰頻率女聲英文a的頻譜第14頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三男聲漢語(yǔ)拼音聲母s的頻譜第15頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

一種聲道形狀對(duì)應(yīng)一套共振峰

不同人的聲道大小不同，共振峰不同

同一人，發(fā)不同音，共振峰也不同總結(jié)前三個(gè)共振峰的大致范圍（Hz）

共振峰

成年男子

成年女子

帶寬f1200~800250~100040~70f2600~2800700~330050~90f31300~34001500~400060~180第16頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

時(shí)域波形：幅度－時(shí)間圖。大致得出音節(jié)的起始點(diǎn)、清音和濁音以及濁音的基音頻率。女聲漢語(yǔ)拼音a的時(shí)域波形第17頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

頻譜特性：幅度譜圖。得出基音周期、共振峰頻率及其位置。女聲英文a的頻譜第18頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三鼻腔的作用

在軟腭的幫助下，可使空氣經(jīng)過(guò)鼻腔排除人體外，由此產(chǎn)生的語(yǔ)音稱為鼻音。如[n]、[ng]為鼻音韻母，[m]、[n]、[l]為鼻音聲母。鼻腔是一個(gè)諧振腔，由于形狀固定，故其共振峰頻率是確定的。第19頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三MuscleforcelungVocalcords

NoseoutputMouthoutputVelumNasalcavityMouthcavityThecompletephysiologicalmechanismofspeechproduction

聲道excitationspeech第20頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三uG(n)Av沖激序列發(fā)生器聲門(mén)脈沖模型G(z)隨機(jī)噪聲發(fā)生器基音周期TPAu清/濁音開(kāi)關(guān)濁音激勵(lì)清音激勵(lì)§2.3語(yǔ)音信號(hào)產(chǎn)生的數(shù)字模型一、激勵(lì)模型第21頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三聲門(mén)脈沖濾波器N1N2第22頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三二、聲道模型(共振峰模型)短時(shí)線性系統(tǒng)聲道V(z)1.級(jí)聯(lián)型(元音)V1V2V3V4V5

聲道是一組串連的二階諧振器（一個(gè)諧振腔對(duì)應(yīng)1個(gè)共振峰頻率）。第23頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

每個(gè)傳輸函數(shù)是一個(gè)全極點(diǎn)的IIR濾波器，這些極點(diǎn)確定了聲管的共振峰。若N取偶數(shù)，V(z)一般有N/2對(duì)共軛極點(diǎn)，rkexp(±j2FkT)，k=1～N/2。各個(gè)wk值分別與語(yǔ)音的共振峰相互對(duì)應(yīng)。N的取值一般為8～12。aiz-1z-1bici第24頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三傳輸函數(shù)N為極點(diǎn)個(gè)數(shù)，G是增益參數(shù)，ak為常系數(shù)。T為采樣周期第25頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三2.并聯(lián)型(大部分輔音)傳輸函數(shù)，零極點(diǎn)IIR濾波器V1V2V3V4V5

零極點(diǎn)IIR濾波器總是可以用全極點(diǎn)IIR濾波器來(lái)代替。因此可以用全極點(diǎn)模型來(lái)表示任何語(yǔ)音。第26頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三三、輻射模型R(z)=R0(1-z-1)

唇端輻射損耗在高頻端較為顯著，而在低頻端影響較小，R(z)應(yīng)具有高通特性。對(duì)高頻提升大約為每倍頻程6dB。第27頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三四、完整的語(yǔ)音信號(hào)的數(shù)字模型Av沖激序列發(fā)生器聲門(mén)脈沖模型G(z)隨機(jī)噪聲發(fā)生器基音周期TPAN線性系統(tǒng)聲道V(z)輻射模型R(z)清/濁音開(kāi)關(guān)傳輸函數(shù)第28頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三傳輸函數(shù)的具體表達(dá)式：第29頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三模型的特點(diǎn)

在這個(gè)模型中，TP、Av、AN、清/濁音開(kāi)關(guān)的位置以及聲道濾波器的參數(shù)都是隨時(shí)間而變化，在10-30ms的時(shí)間間隔內(nèi)是保持不變的。這種特性稱為短時(shí)性。對(duì)于激勵(lì)信號(hào)而言，大部分情況下，這一結(jié)論也是正確的，但有些音變化速度特別快，爆破音，取5ms比較更為恰當(dāng)。

第30頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三§2.4語(yǔ)音信號(hào)的特性一、語(yǔ)音的聲學(xué)特性

語(yǔ)音是發(fā)聲器官發(fā)出的一種聲波，具有一定的音色、音調(diào)和音強(qiáng)和音長(zhǎng)?！褚羯?又稱為音質(zhì)，是一種聲音區(qū)別于另一種聲音的基本特性。●音調(diào)：聲音的高低，取決于聲波的頻率●音強(qiáng)：聲音的強(qiáng)弱，它由聲波的振動(dòng)幅度所決定●音長(zhǎng)：發(fā)音時(shí)間的長(zhǎng)短第31頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三（1）音系簡(jiǎn)單，在漢語(yǔ)中一個(gè)字就是一個(gè)音節(jié)，由一般為2～3個(gè)音素組成，而且具有音素少、音節(jié)少。英語(yǔ)中一個(gè)單詞由若干個(gè)音節(jié)組成，一般為2～3個(gè)，一個(gè)音節(jié)由若干個(gè)音素組成，一般為1～4個(gè)。（2）清輔音多，在聽(tīng)感上有清亮、高揚(yáng)和舒服、柔和的感覺(jué)。（3）有鮮明的輕重音和兒化韻，所以字詞分隔清楚，語(yǔ)言表達(dá)準(zhǔn)確而豐富。漢語(yǔ)語(yǔ)音的特點(diǎn)第32頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

在漢語(yǔ)中，由元音和輔音構(gòu)成聲母和韻母。二、漢語(yǔ)的拼音方法

聲母：一個(gè)音節(jié)開(kāi)始的輔音，聲母完全由輔音充當(dāng)，但輔音不等于聲母，因?yàn)檩o音還可以作為韻尾放在音節(jié)的末尾。b、p、m、f、d、t、n、l、g、k、h、j、q、x、zh、ch、sh、z、c、s、r第33頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

韻母：在音節(jié)中占主要部分，音節(jié)中除了頭上的聲母以外的部分，由單、雙元音、元音帶上輔音等幾種不同的形式組成。所有元音都是濁音。

a、o、e、i、u、ü、ê?jiǎn)雾嵞福ㄔ簦?/p>

ai、ei、ao、ou、ia、ie、iao、iou、ua、uo、uai、uei、üe復(fù)韻母

an、en、ang、eng、ong、ian、in、iang、ing、iong、uan、uen、uang、ueng、üan、ün鼻韻母i表示3個(gè)韻母，即韻母、舌尖前韻母和舌尖后韻母。第34頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

韻母是由單、雙元音、元音帶上輔音等幾種不同的形式組成。不同的元音有不同的基音頻率和共振峰模式，它們是區(qū)別不同韻母的重要參數(shù)。區(qū)別不同韻母的重要參數(shù)第35頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

聲母、韻母和聲調(diào)是漢語(yǔ)語(yǔ)音的三要素。漢語(yǔ)語(yǔ)音的一個(gè)不同于其他語(yǔ)言的是它具有聲調(diào)（音調(diào)）。聲調(diào)是1個(gè)音節(jié)在念法上的高低升降的變化，漢語(yǔ)中有4個(gè)聲調(diào)，即陰平（－）、陽(yáng)平（′）、上聲（）、和去聲（‵）。三、漢語(yǔ)音節(jié)的一般結(jié)構(gòu)第36頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

聲調(diào)的變化就是濁音基音周期的變化，為了將調(diào)值描寫(xiě)地具體一些，一般采用“五度標(biāo)記法”，用一條豎線表示聲音的高低，從上而下用1、2、3、4、5依次表示低、半低、中、半高、高。5高4半高3中2半低1低陰平陽(yáng)平上聲去聲調(diào)類陰平陽(yáng)平上聲去聲調(diào)值553521451第37頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三四、語(yǔ)音信號(hào)的統(tǒng)計(jì)特性

語(yǔ)音信號(hào)振幅分布的概率密度有兩種逼近方法：修正伽瑪（Gamma）分布概率密度函數(shù)：拉譜拉斯（Laplace）分布概率密度函數(shù):第38頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三第39頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

人類接收語(yǔ)音由人耳來(lái)完成，空氣振動(dòng)由耳廓收集，經(jīng)外耳道而抵達(dá)鼓膜，鼓膜隨之振動(dòng)，使鼓室中的空氣和聽(tīng)骨鏈也發(fā)生振動(dòng)，聽(tīng)骨鏈的振動(dòng)經(jīng)前庭窗（卵圓窗）激勵(lì)前庭淋巴，變?yōu)橐翰?，液波使位于基底膜上的螺旋器受到刺激，將神?jīng)沖動(dòng)經(jīng)聽(tīng)神經(jīng)傳到中樞而產(chǎn)生聽(tīng)覺(jué)?！?.5人類的聽(tīng)覺(jué)功能第40頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

正常人的聽(tīng)覺(jué)系統(tǒng)是極為靈敏的，可聽(tīng)聲的范圍為20Hz-20kHz?？陕?tīng)聲的最小聲壓級(jí)(dB)稱為聽(tīng)閾。-5～130dB，對(duì)低頻和高頻是不敏感的，聽(tīng)閾為60dB，在1kHz附近最敏感。第41頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

如果信號(hào)是一個(gè)多頻率的信號(hào)，則產(chǎn)生的行波將沿著基底膜在不同的位置產(chǎn)生最大幅度，從這個(gè)意義上講，耳蝸就像一個(gè)頻譜分析儀，將復(fù)雜信號(hào)分解成各種頻率分量，這種作用稱為人耳的時(shí)頻分析特性。耳蝸在語(yǔ)音接收過(guò)程起著重要的作用。耳蝸對(duì)聲信號(hào)的時(shí)頻分析特性第42頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

人工耳蝸是一種電子裝置，能幫助重度及極重度耳聾患者獲得或重新恢復(fù)聽(tīng)覺(jué)。它代替病變受損的聽(tīng)覺(jué)器官，把聲音轉(zhuǎn)換成編碼的電信號(hào)傳入內(nèi)耳耳蝸，刺激分布在那里的聽(tīng)神經(jīng)，再由大腦產(chǎn)生聽(tīng)覺(jué)。

人工耳蝸第43頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

麥克風(fēng)接收聲音，并通過(guò)導(dǎo)線將其傳至言語(yǔ)處理器；言語(yǔ)處理器對(duì)聲音進(jìn)行數(shù)字化、濾波編碼等處理，并將編碼信號(hào)經(jīng)導(dǎo)線傳至傳輸線圈；傳輸線圈將編碼信號(hào)通過(guò)耦合傳至皮下的接收器；接收器對(duì)編碼信號(hào)進(jìn)行解碼；按信號(hào)選擇一定位置的電極，刺激耳蝸內(nèi)的聽(tīng)神經(jīng)纖維，使其產(chǎn)生興奮，將信號(hào)傳入大腦，產(chǎn)生聽(tīng)覺(jué)。人工耳蝸的工作原理第44頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三人耳的掩蔽效應(yīng)

人耳的掩蔽（maskingphenomenon）效應(yīng):在一個(gè)強(qiáng)信號(hào)附近弱信號(hào)將變得不可聞，被掩蔽掉了。第45頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三掩蔽閾值

被掩蔽掉的不可聞信號(hào)的最大聲壓級(jí)稱為掩蔽門(mén)限和掩蔽閾值（maskingthreshold）,在這個(gè)掩蔽閾值以下的聲音將被掩蔽掉。

掩蔽效應(yīng)分為同時(shí)掩蔽(頻域掩蔽)和短時(shí)掩蔽（時(shí)域掩蔽）。同時(shí)掩蔽是指存在一個(gè)弱信號(hào)和一個(gè)強(qiáng)信號(hào)，當(dāng)其頻率接近時(shí)，強(qiáng)信號(hào)會(huì)提高弱信號(hào)的閾值，就會(huì)導(dǎo)致弱信號(hào)變得不可聞。第46頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三1kHz的聽(tīng)閾1dB20dB4dB可聞聲3dB不可聞聲圖形描述第47頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

同時(shí)出現(xiàn)的A聲和B聲，若原來(lái)A聲的閾值為50dB,由于另一個(gè)頻率不同的B聲的存在使得A聲的閾值提高了68dB,則B聲稱為掩蔽聲，A聲稱為被掩蔽聲。掩蔽量為68dB－50dB＝18dB。數(shù)學(xué)描述第48頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

掩蔽效應(yīng)的作用

當(dāng)只有A聲時(shí)，必須將聲壓級(jí)在50dB以上的聲音信號(hào)傳送出去，50dB以下的聲音是聽(tīng)不到的。當(dāng)同時(shí)出現(xiàn)了B聲，由于掩蔽效應(yīng)，使得A聲中的68dB以下的聲音是聽(tīng)不到了，可以不予傳送，只是傳送50dB以上的信號(hào)。

同時(shí)掩蔽時(shí)，掩蔽聲越強(qiáng)，掩蔽作用越大；掩蔽聲和被掩蔽聲的頻率越接近，掩蔽效果越明顯，當(dāng)頻率相同時(shí)，掩蔽效果最大。第49頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三

前向掩蔽：若被掩蔽聲A出現(xiàn)后，相隔(0.05s,2s)之內(nèi)出現(xiàn)了掩蔽聲B，對(duì)A起掩蔽作用，因?yàn)锳聲尚未被人所反應(yīng)接收而強(qiáng)大的B聲已來(lái)臨。短時(shí)掩蔽前向掩蔽和后向掩蔽

后向掩蔽：掩蔽聲B即使消失后，其掩蔽作用仍將持續(xù)一段時(shí)間，約(0.5s,2s)，這時(shí)由于人耳的存儲(chǔ)效應(yīng)所致。第50頁(yè)，講稿共59頁(yè)，2023年5月2日，星期三語(yǔ)譜圖(Spectrogram)

語(yǔ)音的時(shí)域分析和頻域分析是語(yǔ)音分