31520078104270_黃俊_語(yǔ)音識(shí)別技術(shù)

1、廈門大學(xué)智能系07級(jí)課學(xué)號(hào)：31520078104270指導(dǎo)老師：洪青陽(yáng)-語(yǔ)音識(shí)別技術(shù)E-mail： HYPERLINK mailto: 2010/7/5一、基本概述人類利用語(yǔ)言相互交流信息，包括語(yǔ)音和文字兩種表達(dá)方式。通過(guò)語(yǔ)音相互傳遞信息，這是人類最重要的基本功能之一。隨著信息社會(huì)的發(fā)展，人與人之間，自不必說(shuō)，即使在人與機(jī)器之間也每時(shí)每刻都需要進(jìn)行大量的信息交換。語(yǔ)音識(shí)別技術(shù)，也被稱為自動(dòng)語(yǔ)音識(shí)別AutomaticSpeechRecognition(ASR),語(yǔ)音識(shí)別是研究如何采用數(shù)字信號(hào)處理技術(shù)自動(dòng)提取以及決定語(yǔ)音信號(hào)中最基本、最有意義的信息的一門新興的邊緣學(xué)科。它是語(yǔ)音信號(hào)處理學(xué)科的一個(gè)

2、分支。語(yǔ)音識(shí)別技術(shù)所涉及的領(lǐng)域包括：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等等，是一門十分實(shí)用的交叉前沿學(xué)科。從廣義上講，語(yǔ)音識(shí)別也包括了對(duì)說(shuō)話人的識(shí)別，其主要內(nèi)容是提取語(yǔ)音信號(hào)中有關(guān)個(gè)人特征的信息、即語(yǔ)音的個(gè)性特征(如：音律特性等)。在這里專指有意義、有內(nèi)容的語(yǔ)音識(shí)別。計(jì)算機(jī)語(yǔ)音識(shí)別是智能計(jì)算機(jī)系統(tǒng)的重要特征。這一技術(shù)的應(yīng)用將從根本上改變計(jì)算機(jī)的人機(jī)界面，從而對(duì)計(jì)算機(jī)的發(fā)展以及推廣應(yīng)用產(chǎn)生深遠(yuǎn)的影響.二、發(fā)展歷程語(yǔ)音識(shí)別的研究工作大約開始于20世紀(jì)50年代，當(dāng)時(shí)AT&TBell實(shí)驗(yàn)室基于共振峰提取技術(shù)實(shí)現(xiàn)了第一個(gè)可識(shí)別十個(gè)英文數(shù)字的語(yǔ)音識(shí)別系統(tǒng)udry系統(tǒng)。60年代

3、，計(jì)算機(jī)的應(yīng)用推動(dòng)了語(yǔ)音識(shí)別的發(fā)展。這時(shí)期的重要成果是提出了動(dòng)態(tài)時(shí)間規(guī)劃DP）和線性預(yù)測(cè)分析技術(shù)（LPC）,其中后者較好地解決了語(yǔ)音信號(hào)產(chǎn)生模型的問題，對(duì)語(yǔ)音識(shí)別的發(fā)展產(chǎn)生了深遠(yuǎn)影響。70年代，語(yǔ)音識(shí)別領(lǐng)域取得了較大進(jìn)展。在理論上，LP技術(shù)得到進(jìn)一步發(fā)展，動(dòng)態(tài)時(shí)間歸正技術(shù)DTW）基本成熟，特別是提出了矢量量化（VQ）和隱馬爾可夫模型（HMM）理論。在實(shí)踐上，實(shí)現(xiàn)了基于線性預(yù)測(cè)倒譜和DTW技術(shù)的特定人孤立語(yǔ)音識(shí)別系統(tǒng)。80年代，MFCC的參數(shù)提取技術(shù)和HMM模型的深入使用使得語(yǔ)音識(shí)別技術(shù)得到進(jìn)一步的發(fā)展，語(yǔ)音識(shí)別的問題逐步在理論體系上得到了比較完整和準(zhǔn)確的描述，同時(shí)在實(shí)踐上又逐步研發(fā)出效率較高的

4、解決算法。90年代以來(lái)，在美國(guó)國(guó)防部的Darpa測(cè)試、Ears計(jì)劃、近期的Gales計(jì)劃，以及我國(guó)863計(jì)劃等推動(dòng)下，一大批高水平的研究機(jī)構(gòu)和企業(yè)加入到語(yǔ)音識(shí)別的研究領(lǐng)域，極大地推動(dòng)了語(yǔ)音識(shí)別技術(shù)的發(fā)展和應(yīng)用。語(yǔ)音識(shí)別系統(tǒng)已經(jīng)從過(guò)去的小詞匯量、孤立詞識(shí)別、特定人識(shí)別、安靜環(huán)境等簡(jiǎn)單任務(wù)逐步發(fā)展到大詞匯量、連續(xù)語(yǔ)音、非特定人、噪聲環(huán)境下的識(shí)別任務(wù)，從單純的語(yǔ)音識(shí)別任務(wù)發(fā)展到語(yǔ)音翻譯任務(wù)，從實(shí)驗(yàn)室系統(tǒng)走向商用系統(tǒng)。三、關(guān)鍵技術(shù)下圖展示了人與人之間、人與機(jī)器之間的語(yǔ)音信息處理過(guò)程。（機(jī)肆）垃人與人之間的通信說(shuō)話方收聽方（人）耆文本解析應(yīng)答文生咸語(yǔ)音通信問題第二類人機(jī)語(yǔ)音通信問題語(yǔ)音合成下面是常用的關(guān)

5、鍵技術(shù)和應(yīng)用：語(yǔ)音特征的采集大量的實(shí)驗(yàn)研究發(fā)現(xiàn)語(yǔ)音信號(hào)主要存在以下兩個(gè)特點(diǎn)：在頻域內(nèi)，語(yǔ)音信號(hào)的頻譜分量主要集中在3003400Hz的范圍內(nèi)。利用這個(gè)特點(diǎn)，可以用一個(gè)帶通濾波器將此范圍內(nèi)的語(yǔ)音信號(hào)頻率分量取出，然后按8kHz的采樣率對(duì)語(yǔ)音信號(hào)進(jìn)行采樣，就可以得到離散的語(yǔ)音信號(hào)。在時(shí)域內(nèi)，語(yǔ)音信號(hào)具有“短時(shí)性”的特點(diǎn)，即在總體上，語(yǔ)音信號(hào)的特征是隨著時(shí)間而變化的，但在一段較短的時(shí)間間隔內(nèi)，語(yǔ)音信號(hào)保持平穩(wěn)。在濁音段表現(xiàn)出周期信號(hào)的特征，在清音段表現(xiàn)出隨機(jī)噪聲的特征。因此我們對(duì)語(yǔ)音信號(hào)的分析處理就集中在這兩個(gè)特點(diǎn)上。其中預(yù)處理就包括了對(duì)聲音的采樣和編碼。聲學(xué)的參數(shù)分析這更多的時(shí)域和頻域方面，具體的

6、分析還會(huì)用到倒頻譜分析(采用MFCC或LPCC)。矢量量化(VQ)矢量量化是一種重要的信號(hào)壓縮方法，主要適用于小詞匯量、孤立詞的語(yǔ)音識(shí)別中。其過(guò)程是:將語(yǔ)音信號(hào)波形的k個(gè)樣點(diǎn)的每1幀，或有k個(gè)參數(shù)的每1參數(shù)幀，構(gòu)成k維空間中的1個(gè)矢量，然后對(duì)矢量進(jìn)行量化。量化時(shí)，將k維無(wú)限空間劃分為M個(gè)區(qū)域邊界，然后將輸入矢量與這些邊界進(jìn)行比較，并被量化為“距離”最小的區(qū)域邊界的中心矢量值。矢量量化器的設(shè)計(jì)就是從大量信號(hào)樣本中訓(xùn)練出好的碼書，從實(shí)際效果出發(fā)尋找到好的失真測(cè)度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，用最少的搜索和計(jì)算失真的運(yùn)算量，實(shí)現(xiàn)最大可能的平均信噪比?；谀Ｊ狡ヅ浞绞降恼Z(yǔ)音識(shí)別技術(shù)失真測(cè)度幾種典

7、型的失真測(cè)度(1)歐氏距離D(x,y)二遼|xy|r/N,(01N-1)-均方誤差-絕對(duì)值平均誤差對(duì)數(shù)頻譜距離V(w)=log(f(3)-log(g(3)D(g,f)=/|V(w)|rdw如(3)倒譜距離D(x,y)=I(c一c)2,(1np)采用不同的測(cè)度會(huì)產(chǎn)生不同的匹配結(jié)果。動(dòng)態(tài)時(shí)間規(guī)整法(DTW)為了解決語(yǔ)音模式匹配中匹配時(shí)音長(zhǎng)不一致和線性匹配與非線性的問題，DTW技術(shù)被廣泛應(yīng)用。DTW是把時(shí)間規(guī)整和距離測(cè)度計(jì)算結(jié)合起來(lái)的一種非線性規(guī)整技術(shù)，是較早的一種模式匹配和模型訓(xùn)練技術(shù)。該方法成功解決了語(yǔ)音信號(hào)特征參數(shù)序列比較時(shí)時(shí)長(zhǎng)不等的難題，在孤立詞語(yǔ)音識(shí)別中獲得了良好性能。下面是一個(gè)采用模式匹

8、配的方法完成的對(duì)孤立語(yǔ)音(例如電子門鎖等)的識(shí)別系統(tǒng)的工作流程圖。3基于統(tǒng)計(jì)模型(HMM)方式的語(yǔ)音識(shí)別技術(shù)隱馬爾可夫模型是20世紀(jì)70年代引入語(yǔ)音識(shí)別理論的，它的出現(xiàn)使得自然語(yǔ)音識(shí)別系統(tǒng)取得了實(shí)質(zhì)性的突破。目前大多數(shù)大詞匯量、連續(xù)語(yǔ)音的非特定人語(yǔ)音識(shí)別系統(tǒng)都是基于HMM模型的。HMM是對(duì)語(yǔ)音信號(hào)的時(shí)間序列結(jié)構(gòu)建立統(tǒng)計(jì)模型，將其看作一個(gè)數(shù)學(xué)上的雙重隨機(jī)過(guò)程：一個(gè)是用具有有限狀態(tài)數(shù)的Markov鏈來(lái)模擬語(yǔ)音信號(hào)統(tǒng)計(jì)特性變化的隱含的隨機(jī)過(guò)程，另一個(gè)是與Markov鏈的每一個(gè)狀態(tài)相關(guān)聯(lián)的觀測(cè)序列的隨機(jī)過(guò)程。前者通過(guò)后者表現(xiàn)出來(lái)，但前者的具體參數(shù)是不可測(cè)的。人的言語(yǔ)過(guò)程實(shí)際上就是一個(gè)雙重隨機(jī)過(guò)程，語(yǔ)音

9、信號(hào)本身是一個(gè)可觀測(cè)的時(shí)變序列，是由大腦根據(jù)語(yǔ)法知識(shí)和言語(yǔ)需要(不可觀測(cè)的狀態(tài))發(fā)出的音素的參數(shù)流。HMM合理地模仿了這一過(guò)程，很好地描述了語(yǔ)音信號(hào)的整體非平穩(wěn)性和局部平穩(wěn)性，是較為理想的一種語(yǔ)音模型。HMM模型可細(xì)分為離散隱馬爾可夫模型(DHMM)和連續(xù)隱馬爾可夫模型(CHMM)以及半連續(xù)隱馬爾可夫模型SCHMM)等3。4人工神經(jīng)元網(wǎng)絡(luò)(ANN)人工神經(jīng)元網(wǎng)絡(luò)在語(yǔ)音識(shí)別中的應(yīng)用是目前研究的又一熱點(diǎn)。ANN實(shí)際上是一個(gè)超大規(guī)模非線性連續(xù)時(shí)間自適應(yīng)信息處理系統(tǒng)它模擬了人類神經(jīng)元活動(dòng)的原理，最主要的特征為連續(xù)時(shí)間非線性動(dòng)力學(xué)、網(wǎng)絡(luò)的全局作用、大規(guī)模并行分布處理及高度的穩(wěn)健性和學(xué)習(xí)聯(lián)想能力。這些能力

10、是HMM模型不具備的。但ANN又不具有HMM模型的動(dòng)態(tài)時(shí)間歸正性能。因此，人們嘗試研究基于HMM和ANN的混合模型，把兩者的優(yōu)點(diǎn)有機(jī)結(jié)合起來(lái)，從而提高整個(gè)模型的魯棒性，這也是目前研究的一個(gè)熱點(diǎn)。支持向量機(jī)（SVM）支持向量機(jī)是應(yīng)用統(tǒng)計(jì)學(xué)習(xí)理論的一種新的學(xué)習(xí)機(jī)模型，它采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理（SRM）,有效克服了傳統(tǒng)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法的缺點(diǎn)，在解決小樣本、非線性及高維模式識(shí)別方面有許多優(yōu)越的性能。其基本思想可以概括為：首先通過(guò)非線性變換將輸入空間變換到一個(gè)高維空間，然后在這個(gè)新空間中求取最優(yōu)線性分類面，而這種非線性變換是通過(guò)定義適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的。目前，統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)也是國(guó)際上機(jī)器學(xué)習(xí)

11、領(lǐng)域的研究熱點(diǎn)。孤立詞語(yǔ)音識(shí)別系統(tǒng)孤立詞語(yǔ)音識(shí)別系統(tǒng)系統(tǒng)是目前市場(chǎng)上常見簡(jiǎn)單的語(yǔ)音識(shí)別裝置，這是因?yàn)樗軐?shí)現(xiàn)在低成本的條件下，進(jìn)行實(shí)時(shí)處理（一般W0.3S）且準(zhǔn)確率足夠高（一般為9%）。當(dāng)然他所能承擔(dān)的任務(wù)也是極其簡(jiǎn)單的。當(dāng)下的這類系統(tǒng)多采用基于DTW技術(shù)的多樣板識(shí)別方式或基于VQ/HMM技術(shù)的識(shí)別方式。這兩種方式也是我們前面提到的，它們的實(shí)現(xiàn)較為簡(jiǎn)單且運(yùn)算速度快能更好地滿足實(shí)時(shí)性和低成本的要求。HMM訓(xùn)練識(shí)別X:特征矢量的時(shí)間序列0：基于VQ的觀察符號(hào)序列判決規(guī)則上圖是基于VQ/HMM技術(shù)的識(shí)別方式連續(xù)語(yǔ)音識(shí)別系統(tǒng)這是目前的學(xué)科前沿陣地，連續(xù)的語(yǔ)音識(shí)別是一項(xiàng)很復(fù)雜的過(guò)程即使是人類有時(shí)都無(wú)法正

12、確的理解一段連續(xù)的語(yǔ)音資料。連續(xù)單詞語(yǔ)音識(shí)別的技術(shù)難點(diǎn)：-單詞序列的長(zhǎng)度未知-單詞序列中各單詞之間的邊界未知。-當(dāng)給定M個(gè)單詞參考模式和L長(zhǎng)的待識(shí)語(yǔ)音模式時(shí)，就可能有ML種組合的匹配序列。下圖展示連續(xù)語(yǔ)音識(shí)別的過(guò)程，經(jīng)過(guò)語(yǔ)音識(shí)別后產(chǎn)生的文章和最左邊的原文章之間可能會(huì)有很大的不同。這就是上面的因素所造成的。目前常采用以下兩種算法來(lái)解決：-兩級(jí)DP法(Two-LevelDynamicProgramming)-分層構(gòu)造法(LevelBuilding)說(shuō)話者ASR置聲學(xué)模型聲學(xué)信道(語(yǔ)言編碼)文章A發(fā)聲聲學(xué)參數(shù)分析文章W詞條模型-構(gòu)詞層音素模型語(yǔ)音層聲學(xué)層BEGIN句子模型句法層語(yǔ)音特征矢量序列詞條盤

13、2詞條A1詞條B1詞條E1詞條陽(yáng)音素音素C上圖說(shuō)明了在連續(xù)語(yǔ)音識(shí)別系統(tǒng)中的多層協(xié)作的過(guò)程。說(shuō)話認(rèn)識(shí)別說(shuō)話認(rèn)識(shí)別是目前應(yīng)用最廣泛的語(yǔ)音識(shí)別技術(shù)。其主要任務(wù)就是提取說(shuō)話人的聲音特征，在使用前面提到的模式匹配、HHM等算法最終確認(rèn)說(shuō)話人身份。說(shuō)話人識(shí)別系統(tǒng)分為說(shuō)話人辨認(rèn)(SpeakerIdentification)與說(shuō)話人確認(rèn)(SpeakerVerification。對(duì)于說(shuō)話人辨認(rèn)系統(tǒng)，其性能的評(píng)價(jià)標(biāo)準(zhǔn)主要是正確識(shí)別率。對(duì)于說(shuō)話人確認(rèn)系統(tǒng)，其最重要的兩個(gè)參量是錯(cuò)誤拒絕率(FRR)與錯(cuò)誤接受率(RAR),前者是拒絕真實(shí)的說(shuō)話人，又稱“拒真率”后者是接受冒認(rèn)者而造成的錯(cuò)誤，又稱“認(rèn)假率”，兩者均與閾值的

14、設(shè)定相關(guān)。說(shuō)話人1說(shuō)話人2說(shuō)話人訓(xùn)練語(yǔ)音:測(cè)試語(yǔ)音MFCC特征向量提取UBIvI模型MAP自適應(yīng)k-說(shuō)話人2說(shuō)話人目標(biāo)說(shuō)話人模型：說(shuō)話人1接受拒絕確認(rèn)對(duì)象模型確認(rèn)決策GMM-UBM說(shuō)話人識(shí)別系統(tǒng)(MAP自適應(yīng))未來(lái)前景語(yǔ)音識(shí)別所面臨的問題盡管語(yǔ)音識(shí)別取得很大成功，但是距離真正的人機(jī)自由交流還有很大的距離。例如，目前計(jì)算機(jī)還需要對(duì)用戶做大量訓(xùn)練才能更準(zhǔn)確識(shí)別，用戶的語(yǔ)音識(shí)別率也并不是盡如人意。主要難題有以下幾個(gè)方面：識(shí)別系統(tǒng)的適應(yīng)性差。主要體現(xiàn)在對(duì)環(huán)境依賴性強(qiáng)，特別在高噪音環(huán)境下語(yǔ)音識(shí)別性能還不理想。語(yǔ)音識(shí)別系統(tǒng)從實(shí)驗(yàn)室演示系統(tǒng)到商品的轉(zhuǎn)化過(guò)程中，還有許多具體問題需要解決。例如，識(shí)別速度、拒識(shí)等問題，還有連續(xù)語(yǔ)音中去除不必要語(yǔ)氣詞如“呃”、“啊”等語(yǔ)音的技術(shù)細(xì)節(jié)問題。語(yǔ)言學(xué)、生理學(xué)、心理學(xué)方面的研究成果已有不少，但如何把這些知識(shí)量化、建模并用于語(yǔ)音識(shí)別，還需要進(jìn)一步研究。面對(duì)上面的困難，語(yǔ)音識(shí)別技術(shù)要做到真正成功，在任何環(huán)境中都能人機(jī)進(jìn)行自由地對(duì)話，不僅需要語(yǔ)音識(shí)別基礎(chǔ)理論的突破，更需要大量的實(shí)際工作的積累。語(yǔ)音識(shí)別技術(shù)的前景展望語(yǔ)音作為當(dāng)前通信系統(tǒng)中最自然的通信媒介，語(yǔ)音識(shí)別技術(shù)是非常重要