電子耳蝸語(yǔ)音處理技術(shù)研究

1、測(cè)試信號(hào)處理作業(yè)題目：電子耳蝸語(yǔ)音處理技術(shù)研究年級(jí)： 班級(jí)： 學(xué)號(hào)： 姓名： 日期： 電子耳蝸語(yǔ)音處理技術(shù)研究摘要：人工電子耳蝸植入的研究是當(dāng)今感音性耳聾康復(fù)醫(yī)學(xué)工程中的重要課題之一，隨著現(xiàn)代科技的發(fā)展耳蝸植入技術(shù)得到了長(zhǎng)足的發(fā)展。本文首先介紹了人工電子耳蝸的設(shè)計(jì)原理 ,然后綜述了其語(yǔ)音信號(hào)處理方案及其進(jìn)展 ,最后展望了其未來(lái)的研究方向。關(guān)鍵字：人工電子耳蝸 語(yǔ)音信號(hào)處理 電刺激 短時(shí)傅立葉變換(STFT) 小波變換1.引言人工電子耳蝸系統(tǒng)主要由體外和體內(nèi)兩部分組成，體外部分包括麥克風(fēng)、語(yǔ)音處理器、編碼 /發(fā)射器，主要從事語(yǔ)音信號(hào)的采集、處理和編碼、發(fā)送，植入體內(nèi)部分包括接收 /解碼器、刺激器

2、和電極距陣。語(yǔ)音信號(hào)處理器將麥克風(fēng)檢測(cè)到的聲音信號(hào)進(jìn)行特征提取或者濾波等處理，產(chǎn)生不同電極的電刺激信號(hào)，碥碼 /發(fā)射器將這些信號(hào)編碼、調(diào)制為高頻信號(hào)，通過(guò)發(fā)射線圈將信號(hào)以無(wú)線方式發(fā)送到體內(nèi)。體內(nèi)的接收線圈接受到信號(hào)后，接收解碼器進(jìn)行解調(diào)、解碼后還原出刺激信號(hào)，然后控制一個(gè)刺激電流生成器，產(chǎn)生相應(yīng)電極的電刺激信號(hào)，并通過(guò)鼓階內(nèi)的電極距陣興奮聽(tīng)神經(jīng)1,2。圖1 人工電子耳蝸的系統(tǒng)結(jié)構(gòu)圖語(yǔ)音信號(hào)處理部分的功能就是將語(yǔ)音信號(hào)轉(zhuǎn)換為與耳蝸中電極相對(duì)應(yīng)的電刺激信號(hào)，音頻處理的范圍一般為 100Hz 400Hz,大致可以劃分為兩大類，一類是基于特征提取，即提取語(yǔ)音信號(hào)的基頻和共振峰等特征信息，然后產(chǎn)生相應(yīng)的

3、刺激信號(hào)；另一類是基于濾波器組的分頻方法，即對(duì)語(yǔ)音信號(hào)進(jìn)行分頻段濾波處理，直接得到電極的刺激信號(hào)分頻方案，根據(jù)耳蝸頻率分布，將不同的頻率信息送至耳蝸相應(yīng)的頻率區(qū)，它類似于基底膜的初步濾波作用。1.基于特征提取的信號(hào)處理方案。言語(yǔ)聲包括兩類：元音+ 輔音。所有元音都是嗓音性或周期性的。周期指聲帶振動(dòng)或從聲門發(fā)出的周期性氣流脈沖。聲帶振動(dòng)的速率形成基頻 ( F0)。音調(diào)由基頻變化傳送，漢語(yǔ)為音調(diào)語(yǔ)言，其四聲就是音調(diào)決定的7。不同元音在頻譜圖上某一特定頻率處有一聲能量加強(qiáng)帶，稱為共振峰 ( Formant)。一切元音都有一個(gè)基頻和至少兩個(gè)聲音加強(qiáng)的頻帶。共振峰是發(fā)聲通路的共鳴和消極發(fā)聲器官（唇、舌)

4、的調(diào)節(jié)產(chǎn)生的。其順序是由低頻向高頻排列，如第一共振峰為 F1，如第二共振峰為F2。在言語(yǔ)識(shí)別中，第一、二共振峰代表該元音的最基本特征，即僅靠第一、二共振峰即可識(shí)別該元音。語(yǔ)音處理方案有 F0 /F 2、F 0 /F1 /F2、F0 /F1 /F 2 /F3 等方法。即從第一代WSP（F0 F1 F2），到第二代MSP（M PEAK= F0 /F1 /F 2+固定高頻濾波器)方案。F0決定電極電流脈沖的頻率，F(xiàn)1 F2和F3的頻率位置與電極位置相對(duì)應(yīng)，其幅度大小決定刺激脈沖的幅度。提取F0、F1、F2、F3 等特征的方法主要有濾波法、自相關(guān)法、倒譜法和線性預(yù)測(cè)編碼法（LPC）等，其中線性預(yù)測(cè)編碼

5、法應(yīng)用較多。F0的提取可采用簡(jiǎn)化逆濾波法 ( SIFT)等。2.基于濾波器組的分頻方案。包括有最大譜峰聲音處理法 ( spectral maxima sound process, SM SP),譜峰法 ( spectral peak, SPEAK),壓縮模擬 ( compressed analog , CA)方案，連續(xù)間隔采樣 ( continuous interleaved sampling ,CIS)方案等1,2,3。表 1 各種現(xiàn)代語(yǔ)音信號(hào)處理方案2采用短時(shí)傅立葉變換方法的電子耳蝸語(yǔ)音處理技術(shù)2.1短時(shí)傅立葉變換語(yǔ)音波是一個(gè)非平穩(wěn)過(guò)程，因此適用于周期、瞬變或平穩(wěn)隨機(jī)信號(hào)的標(biāo)準(zhǔn)傅立葉變換不

6、能用來(lái)直接表示語(yǔ)音信號(hào)。但是，對(duì)語(yǔ)音處理來(lái)說(shuō)，短時(shí)分析的方法是有效的解決途徑。由于語(yǔ)音信號(hào)的特性是隨時(shí)間緩慢變化的，因而可以假設(shè)它在一段短時(shí)間內(nèi)保持不變。短時(shí)分析應(yīng)用于頻域分析就是短時(shí)傅立葉變換，即有限長(zhǎng)度的傅立葉變換4。語(yǔ)音信號(hào)是局部平穩(wěn)的，所以可對(duì)某一幀語(yǔ)音進(jìn)行傅立葉變換，即短時(shí)傅立葉變換。其定義如下:由定義知, 短時(shí)傅立葉變換是窗選語(yǔ)音信號(hào)的標(biāo)準(zhǔn)傅立葉變換。這里用下標(biāo) n 區(qū)別于標(biāo)準(zhǔn)的傅立葉變換。式( 1) 中，w( n-m ) 是窗口函數(shù)序列, 不同的窗口函數(shù)序列, 將得到不同的傅立葉變換的結(jié)果。短時(shí)傅立葉變換有兩個(gè)自變量: n 和 w, 所以它既是關(guān)于時(shí)間 n 的離散函數(shù), 又是關(guān)于

7、角頻率 w 的連續(xù)函數(shù)。 如令 w=2k/N, 則得離散的短時(shí)傅立葉變換:由于時(shí)-頻不確定原理, 窗函數(shù)長(zhǎng)度的選擇是十分關(guān)鍵的。 對(duì)于每一個(gè)不同的時(shí)間, 都可以得到一個(gè)不同的頻譜, 這些頻譜的總體就是語(yǔ)音信號(hào)的時(shí)頻分布, 或者稱為語(yǔ)譜圖。 語(yǔ)音信號(hào)的譜線是分裂的, 依次可以分為 F0、F1、F2 和 F3 等等, 于是語(yǔ)音的特征參數(shù)就可以從中求出。2.2短時(shí)傅立葉變換在電子耳蝸語(yǔ)音處理技術(shù)中的應(yīng)用用 FFT 對(duì)每幀 15ms 30ms的短時(shí)語(yǔ)音信號(hào)進(jìn)行頻譜分析, 就可得到短時(shí)傅立葉變換。得到的頻譜按時(shí)問(wèn)排列, 就構(gòu)成了語(yǔ)音信號(hào)的實(shí)時(shí)語(yǔ)譜圖。 然后根據(jù)通道頻率劃分, 通過(guò)簡(jiǎn)單的乘加法運(yùn)算計(jì)算出每

8、個(gè)通道的平均能量, 就是決定刺激脈沖的幅度。子帶的劃分方法見(jiàn)文獻(xiàn)5,6，從試驗(yàn)得知幅度最大的通道對(duì)應(yīng)著此次測(cè)試頻率對(duì)應(yīng)的通道。所以可證明系統(tǒng)可以很好分辨出語(yǔ)音信號(hào)的頻率。其具體實(shí)現(xiàn)步驟如下圖 2。主要原理為：語(yǔ)音信號(hào)數(shù)字化后, 經(jīng)自動(dòng)增益控制和噪聲抑制等前期處理后, 在DSP 芯片內(nèi)用 FFT 運(yùn)算進(jìn)行頻域分析, 然后根據(jù)以上的通道頻率劃分, 通過(guò)簡(jiǎn)單的乘加法運(yùn)算計(jì)算出每個(gè)通道的平均能量。圖 2 基于 FFT 的語(yǔ)音處理器程序原理框圖根據(jù)帕塞伐爾定理: 一個(gè)序列在時(shí)域計(jì)算的能量與在頻域計(jì)算的能量是相等的。即每個(gè)通道的能量為下面可觀察其運(yùn)算高效性。在以往的語(yǔ)音信號(hào)處理方案中, 通道的帶通劃分采用

9、 IIR 或者 FIR 帶通濾波器和整流低通濾波提取包絡(luò)來(lái)實(shí)現(xiàn), 其原理流程圖見(jiàn)下圖 3所示。圖3 基于濾波器組的語(yǔ)音處理器原理框圖表2為采用上述兩種不同方法的運(yùn)算量的比較結(jié)果。從表中可看出：基于STFT方法運(yùn)算量?jī)H為基于濾波器組方法的1/10，基于 FFT 變換方法的運(yùn)算量?jī)H為基于濾波器組方法的1/13, 大大節(jié)省了時(shí)間,更加適合于實(shí)時(shí)處理。表2 兩種方法運(yùn)算量的比較3.利用小波變換實(shí)現(xiàn)電子耳蝸 CIS語(yǔ)音信號(hào)的處理。在頻域中 ,在不同尺度 a下 ,小波變換相當(dāng)于一組恒定 Q 的帶通濾波器對(duì)信號(hào)進(jìn)行分析。正是由于小波多分辨率分析特性與耳蝸的頻率分析特性極為相似 ,因此可以用小波變換可以代替帶

10、通濾波在CIS號(hào)處理方案中應(yīng)用.里使用Morlet函數(shù)作為小波基函數(shù)，Morlet函數(shù)定義為：Morlet小波函數(shù)可以進(jìn)行連續(xù)變換，濾波器長(zhǎng)度為 - 4, 4 ，有對(duì)稱性，撐程度有限。Morlet小波函數(shù)圖見(jiàn)圖4。用小波變換代替帶通濾波進(jìn)行 CIS語(yǔ)音信號(hào)處理 , 再經(jīng)過(guò)全波整流和低通濾波等檢測(cè)出其包絡(luò)，其原理圖見(jiàn)圖 5。 圖4 Morlet小波函數(shù)圖 圖5 小波變換用于CIS語(yǔ)音信號(hào)處理原理圖對(duì)于連續(xù)小波變換 ,尺度 a 的確定可以由各通道的中心頻率計(jì)算求得。對(duì)于Morlet，Daubechies小波 ,尺度 a = 2時(shí)對(duì)應(yīng)的中心頻率為 3/4*Fs/2 (Fs為語(yǔ)音信號(hào)的抽樣頻率 )。根

11、據(jù)小波變換的恒 Q特性 ,對(duì)于給定的中心頻率 w 0,其對(duì)應(yīng)的尺度為:通過(guò)聲卡對(duì)語(yǔ)音信號(hào)進(jìn)行采樣，給出了每一組帶通濾波器的中心頻率后, 由此計(jì)算各通道進(jìn)行小波變換的尺度a。文獻(xiàn)8,9 實(shí)驗(yàn)結(jié)果表明用小波變換代替CIS語(yǔ)音信號(hào)處理方案中的濾波器組是可行的 ,通過(guò)小波母函數(shù)的伸縮和平移，給定不同的尺度因子a，即可實(shí)現(xiàn)恒定品質(zhì)因數(shù) Q，便于參數(shù)調(diào)整。通過(guò)計(jì)算機(jī)仿真對(duì)用小波變換取代帶通濾波器組的CIS語(yǔ)方案進(jìn)行了研究。結(jié)果表明 ,該方法能夠獲取一定的語(yǔ)言識(shí)辨能力，但是丟失了大量的高頻信號(hào)。因此 ,需要進(jìn)一步改進(jìn)預(yù)加重處理，以改善語(yǔ)音信號(hào)的高頻成分。文獻(xiàn)10提出了一種聽(tīng)覺(jué)感知的小波變換的電子耳蝸語(yǔ)音處理

12、的方法。在CIS 語(yǔ)音信號(hào)處理方案的基礎(chǔ)上, 利用人耳聽(tīng)覺(jué)的臨界頻率與聽(tīng)覺(jué)感知的小波變換域的相似性, 進(jìn)行了電子耳蝸輸出信號(hào)的重構(gòu), 采用短時(shí)傅立葉變換的語(yǔ)譜圖分析。實(shí)驗(yàn)結(jié)果表明：本方法獲得的合成語(yǔ)音與原始語(yǔ)音在頻譜包絡(luò)特征上非常相似, 頻域特征更接近人耳的實(shí)際生理特性。4.討論電子耳蝸的語(yǔ)音信號(hào)處理是正常人聽(tīng)覺(jué)生理功能的模擬 ,電誘發(fā)聽(tīng)覺(jué)必然與生理上的聽(tīng)覺(jué)存在區(qū)別 ,已有的信號(hào)處理方法主要利用了聽(tīng)覺(jué)系統(tǒng)的部位編碼原理 ,但實(shí)際上聽(tīng)覺(jué)對(duì)語(yǔ)音信號(hào)的編碼比較復(fù)雜 ,還有時(shí)間編碼機(jī)制 ,即聽(tīng)神經(jīng)纖維的發(fā)放率 ( Firing Rate)是隨時(shí)間變化的。深入研究語(yǔ)音信號(hào)的處理方法應(yīng)當(dāng)與聽(tīng)覺(jué)生理學(xué)緊密結(jié)

13、合，建立一種完備的聽(tīng)覺(jué)生理模型，這將是今后研究中值得關(guān)注的問(wèn)題之一。如何進(jìn)一步降低成本、提高性能，研究針對(duì)漢語(yǔ)語(yǔ)音特點(diǎn)的信號(hào)處理方法，這些也是值得研究的問(wèn)題。5.結(jié)束語(yǔ)人工耳蝸的深人研究，將會(huì)使耳蝸植片更加成熟，有望能使所有的耳蝸植人者獲得很好的語(yǔ)言理解能力。參考文獻(xiàn)1聶開(kāi)寶,藍(lán)寧,高上凱,楊福生審校(清華大學(xué) 電機(jī)系生物醫(yī)學(xué)工程及儀器組 ,北京).人工電子耳蝸語(yǔ)音信號(hào)處理方法的研究進(jìn)展J,生物醫(yī)學(xué)工程學(xué)雜志J Biomed Eng,1999:16(3):365 370.2劉愛(ài)國(guó),王正敏 (復(fù)旦大學(xué) 醫(yī)學(xué)院附屬眼耳鼻喉科醫(yī)院 上海 200031).人工電子耳蝸語(yǔ)音信號(hào)處理方案研究及其進(jìn)展J.國(guó)

14、外醫(yī)學(xué)耳鼻咽喉科學(xué)分冊(cè):326.3聶開(kāi)寶，韓先花(山東大學(xué) 信息科學(xué)與工程學(xué)院 濟(jì)南 250100).電子耳蝸實(shí)現(xiàn)方案及其語(yǔ)音處理方法綜述J.4胡航.語(yǔ)音信號(hào)處理 M.哈爾濱: 哈爾濱工業(yè)大學(xué)出版社. 2000.5陳紅芳,馮海泓,徐海東( 中國(guó)科學(xué)院聲學(xué)研究所東海研究站 上海 200032).采用短時(shí)傅立葉變換方法的電子耳蝸語(yǔ)音處理技術(shù)J.聲學(xué)技術(shù): 2007年6月第26卷第3期.6 張利軍，岳宏達(dá)，雷正林.基于短時(shí)傅立葉變換的人工電子耳蝸言語(yǔ)處理器設(shè)計(jì)J.Proceedings of the 27th Chinese Control Conference, July 16-18,2008,Kunming,Yunnan,China. 7聶開(kāi)寶,劉 琚.一種基于漢語(yǔ)音調(diào)信息的電子耳蝸語(yǔ)音信號(hào)處理新方案 J.中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào), 2001年6月第20卷第3