語(yǔ)音識(shí)別技術(shù)文獻(xiàn)綜述

1、語(yǔ)音識(shí)別技術(shù)綜述The summarizati on of speech recog nition張永雙蘇州大學(xué)摘要本文回顧了語(yǔ)音識(shí)別技術(shù)的發(fā)展歷史，綜述了語(yǔ)音識(shí)別系統(tǒng)的結(jié)構(gòu)、 分類及基本方法，分析了語(yǔ)音識(shí)別技術(shù)面臨的問(wèn)題及發(fā)展方向。 關(guān)鍵詞：語(yǔ)音識(shí)別；特征；匹配AbstactThis article review the courses of speech recog nition tech no logy progress ,summarize the structure,classifications and basic methods of speech recog nition sy

2、stem and an a lyze the directio n and the issues which speech recog nition tech no logy developme nt may confront with. Key words: speech recognition;character;matching引言語(yǔ)音識(shí)別技術(shù)就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng) 的文本或命令的高技術(shù)。語(yǔ)音識(shí)別是一門交叉學(xué)科，所涉及的領(lǐng)域有信號(hào) 處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽(tīng)覺(jué)機(jī)理、人工智能等等， 棋至還涉及到人的體態(tài)語(yǔ)言（如人民在說(shuō)話時(shí)的表情手勢(shì)等行為動(dòng)作可幫

3、 助對(duì)方理解）。其應(yīng)用領(lǐng)域也非常廣，例如相對(duì)于鍵盤輸入方法的語(yǔ)音輸 入系統(tǒng)、可用于工業(yè)控制的語(yǔ)音控制系統(tǒng)及服務(wù)領(lǐng)域的智能對(duì)話查詢系統(tǒng), 在信息高度化的今天，語(yǔ)音識(shí)別技術(shù)及其應(yīng)用已成為信息社會(huì)不可或缺的 重要組成部分。1 語(yǔ)音識(shí)別技術(shù)的發(fā)展歷史語(yǔ)音識(shí)別技術(shù)的研究開(kāi)始二十世紀(jì)50年代。1952年，AT&Tbell實(shí)驗(yàn) 室的Davis等人成功研制出了世界上第一個(gè)能識(shí)別十個(gè)英文數(shù)字發(fā)音的實(shí) 驗(yàn)系統(tǒng)：Audry系統(tǒng)。60年代計(jì)算機(jī)的應(yīng)用推動(dòng)了語(yǔ)音識(shí)別技術(shù)的發(fā)展，提出兩大重要研究 成果：動(dòng)態(tài)規(guī)劃(Dynamic Planning, DP)和線性預(yù)測(cè)分析(Linear Predict, LP),其中

4、后者較好的解決了語(yǔ)音信號(hào)產(chǎn)生模型的問(wèn)題，對(duì)語(yǔ)音識(shí)別技術(shù)的 發(fā)展產(chǎn)生了深遠(yuǎn)影響。70年代，語(yǔ)音識(shí)別領(lǐng)域取得突破性進(jìn)展。線性預(yù)測(cè)編碼技術(shù)(Linear Predict Coding, LPC)被Itakura成功應(yīng)用于語(yǔ)音識(shí)別；Sakoe和Chiba將 動(dòng)態(tài)規(guī)劃的思想應(yīng)用到語(yǔ)音識(shí)別并提出動(dòng)態(tài)時(shí)間規(guī)整算法，有效的解決了 語(yǔ)音信號(hào)的特征提取和不等長(zhǎng)語(yǔ)音匹配問(wèn)題；同時(shí)提出了矢量量化(VQ) 和隱馬爾可夫模型(HMM)理論。在同一時(shí)期，統(tǒng)計(jì)方法開(kāi)始被用來(lái)解決 語(yǔ)音識(shí)別的關(guān)鍵問(wèn)題，這為接下來(lái)的非特定人大詞匯量連續(xù)語(yǔ)音識(shí)別技術(shù) 走向成熟奠定了重要的基礎(chǔ)。80年代，連續(xù)語(yǔ)音識(shí)別成為語(yǔ)音識(shí)別的研究重點(diǎn)之一。Mey

5、ers和 Rabiner研究出多級(jí)動(dòng)態(tài)規(guī)劃語(yǔ)音識(shí)別算法(Level Building, LB)這一連續(xù)語(yǔ) 音識(shí)別算法。80年代另一個(gè)重要的發(fā)展是概率統(tǒng)計(jì)方法成為語(yǔ)音識(shí)別研究 方法的主流，其顯著特征是HMM模型在語(yǔ)音識(shí)別中的成功應(yīng)用。1988年， 美國(guó)卡內(nèi)基一梅隆大學(xué)(CMU)用VQ/HMM方法實(shí)現(xiàn)了 997詞的非特定人連 續(xù)語(yǔ)音識(shí)別系統(tǒng)SPHINXo在這一時(shí)期，人工神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別中也得到 成功應(yīng)用。進(jìn)入90年代后，隨著多媒體時(shí)代的來(lái)臨，迫切要求語(yǔ)音識(shí)別系統(tǒng)從實(shí) 驗(yàn)走向?qū)嵱茫S多發(fā)達(dá)國(guó)家如美國(guó)、日本、韓國(guó)以及IBM、Apple. AT&T、 NTT等著名公司都為語(yǔ)音識(shí)別系統(tǒng)實(shí)用化的開(kāi)

6、發(fā)硏究投以巨資。最具代表 性的是IBM的ViaVoice和Dragon公司的Dragon Dectate系統(tǒng)。這些系統(tǒng) 具有說(shuō)話人自適應(yīng)能力，新用戶不需要對(duì)全部詞匯進(jìn)行訓(xùn)練便可在使用中 不斷提高識(shí)別率。當(dāng)前，美國(guó)在非特定人大詞匯表連續(xù)語(yǔ)音隱馬爾可夫模型識(shí)別方面起 主導(dǎo)作用，而日本則在大詞匯表連續(xù)語(yǔ)音神經(jīng)網(wǎng)絡(luò)識(shí)別、模擬人工智能進(jìn) 行語(yǔ)音后處理方面處于主導(dǎo)地位。國(guó)在七十年代末就開(kāi)始了語(yǔ)音技術(shù)的研究，但在很長(zhǎng)一段時(shí)間內(nèi)，都 處于緩慢發(fā)展的階段。直到八十年代后期，國(guó)內(nèi)許多單位紛紛投入到這項(xiàng) 研究工作中去，其中有中科院聲學(xué)所，自動(dòng)化所，清華大學(xué)，四川大學(xué)和 西北工業(yè)大學(xué)等科研機(jī)構(gòu)和高等院校，大多數(shù)研究者

7、致力于語(yǔ)音識(shí)別的基 礎(chǔ)理論研究工作、模型及算法的研究和改進(jìn)。但山于起步晚、基礎(chǔ)薄弱， 計(jì)算機(jī)水平不發(fā)達(dá)，導(dǎo)致在整個(gè)八十年代，我國(guó)在語(yǔ)音識(shí)別研究方面并沒(méi) 有形成自己的特色，更沒(méi)有取得顯著的成果和開(kāi)發(fā)出大型性能優(yōu)良的實(shí)驗(yàn) 系統(tǒng)。但進(jìn)入九十年代后，我國(guó)語(yǔ)音識(shí)別研究的步伐就逐漸緊追國(guó)際先進(jìn) 水平了，在“八五”、“九五”國(guó)家科技攻關(guān)計(jì)劃、國(guó)家自然科學(xué)基金. 國(guó)家863計(jì)劃的支持下，我國(guó)在中文語(yǔ)音技術(shù)的基礎(chǔ)研究方面也取得了一 系列成果。在語(yǔ)音合成技術(shù)方面，中國(guó)科大訊飛公司已具有國(guó)際上最領(lǐng)先 的核心技術(shù)；中科院聲學(xué)所也在長(zhǎng)期積累的基礎(chǔ)上，研究開(kāi)發(fā)出頗具特色 的產(chǎn)品：在語(yǔ)音識(shí)別技術(shù)方面，中科院自動(dòng)化所具有相當(dāng)

8、的技術(shù)優(yōu)勢(shì)：社 科院語(yǔ)言所在漢語(yǔ)言學(xué)及實(shí)驗(yàn)語(yǔ)言科學(xué)方面同樣具有深厚的積累。但是， 這些成果并沒(méi)有得到很好的應(yīng)用，沒(méi)有轉(zhuǎn)化成產(chǎn)業(yè)；相反，中文語(yǔ)音技術(shù) 在技術(shù)、人才、市場(chǎng)等方面正面臨著來(lái)自國(guó)際競(jìng)爭(zhēng)環(huán)境中越來(lái)越嚴(yán)峻的挑 戰(zhàn)和壓力。2語(yǔ)音識(shí)別系統(tǒng)的結(jié)構(gòu)主要包括語(yǔ)音信號(hào)的釆樣和預(yù)處理部分、特征參數(shù)提取部分、語(yǔ)音識(shí) 別核心部分以及語(yǔ)音識(shí)別后處理部分，圖21給出了語(yǔ)音識(shí)別系統(tǒng)的基本結(jié) 構(gòu)。圖21語(yǔ)音識(shí)別系統(tǒng)的基木結(jié)構(gòu)圖語(yǔ)音識(shí)別的過(guò)程是一個(gè)模式識(shí)別匹配的過(guò)程。在這個(gè)過(guò)程中，首先要 根據(jù)人的語(yǔ)音特點(diǎn)建立語(yǔ)音模型，對(duì)輸入的語(yǔ)音信號(hào)進(jìn)行分析，并抽取所 需的特征，在此基礎(chǔ)上建立語(yǔ)音識(shí)別所需的模式。而在識(shí)別過(guò)程中要根據(jù)

9、 語(yǔ)音識(shí)別的整體模型，將輸入的語(yǔ)音信號(hào)的特征與已經(jīng)存在的語(yǔ)音模式進(jìn) 行比較，根據(jù)一定的搜索和匹配策略，找出一系列最優(yōu)的與輸入的語(yǔ)音相 匹配的模式。然后，根據(jù)此模式號(hào)的定義，通過(guò)查表就可以給出計(jì)算機(jī)的 識(shí)別結(jié)果。3語(yǔ)音識(shí)別系統(tǒng)的分類根據(jù)識(shí)別的對(duì)象不同，語(yǔ)音識(shí)別任務(wù)大體可分為3類，即孤立詞識(shí)別（isolated word recognition）,關(guān)鍵詞識(shí)別（或稱關(guān)鍵詞檢出，keyword spotting）和連續(xù)語(yǔ)音識(shí)別。其中，孤立詞識(shí)別的任務(wù)是識(shí)別事先已知的孤 立的詞，如“開(kāi)機(jī)”、“關(guān)機(jī)”等；連續(xù)語(yǔ)音識(shí)別的任務(wù)則是識(shí)別任意的連續(xù) 語(yǔ)音，如一個(gè)句子或一段話；連續(xù)語(yǔ)音流中的關(guān)鍵詞檢測(cè)針對(duì)的是連續(xù)語(yǔ)

10、 音，但它并不識(shí)別全部文字，而只是檢測(cè)已知的若干關(guān)鍵詞在何處出現(xiàn)， 如在一段話中檢測(cè)“計(jì)算機(jī)”、“世界”這兩個(gè)詞。根據(jù)針對(duì)的發(fā)音人，可以把語(yǔ)音識(shí)別技術(shù)分為特定人語(yǔ)音識(shí)別和非特 定人語(yǔ)音識(shí)別，前者只能識(shí)別一個(gè)或兒個(gè)人的語(yǔ)音，而后者則可以被任何 人使用。顯然，非特定人語(yǔ)音識(shí)別系統(tǒng)更符合實(shí)際需要，但它要比針對(duì)特 定人的識(shí)別困難得多。另外，根據(jù)語(yǔ)音設(shè)備和通道，可以分為桌面（PC）語(yǔ)音識(shí)別、電話語(yǔ) 音識(shí)別和嵌入式設(shè)備（手機(jī)、PDA等）語(yǔ)音識(shí)別。不同的采集通道會(huì)使人 的發(fā)音的聲學(xué)特性發(fā)生變形，因此需要構(gòu)造各自的識(shí)別系統(tǒng)。4. 語(yǔ)音識(shí)別系統(tǒng)的基本識(shí)別方法一般來(lái)說(shuō)，語(yǔ)音識(shí)別的方法有三種：基于聲道模型和語(yǔ)音知識(shí)

11、的方法、 模式匹配的方法以及利用人工神經(jīng)網(wǎng)絡(luò)的方法。4.1基于語(yǔ)音學(xué)和聲學(xué)的方法該方法起步較早，在語(yǔ)音識(shí)別技術(shù)提出的開(kāi)始，就有了這方面的研究， 但由于其模型及語(yǔ)音知識(shí)過(guò)于復(fù)雜，現(xiàn)階段還沒(méi)有達(dá)到實(shí)用的階段。42模式匹配的方法模式匹配方法的發(fā)展比較成熟，目前已達(dá)到實(shí)用階段。在模式匹配方 法中，需經(jīng)過(guò)四個(gè)步驟：特征提取、模式訓(xùn)練、模式識(shí)別和判決。4.2.1特征提取特征提取方法主要釆用以下三種：基于LPC的倒譜參數(shù)（LPCC）分析法， 基于Mel系數(shù)的Mel頻標(biāo)倒譜系數(shù)（MPCC）分析法，基于現(xiàn)代處理技術(shù)的小 波變換系數(shù)分析法。在這些方法中，MFCC方法比LPCC方法的識(shí)別效果稍 好一些，而且MFCC

12、符合人們的聽(tīng)覺(jué)特性，在有信道噪聲和頻譜失真的情況 下具有較好的穩(wěn)健性，其不足之處是MFCC方法中多次用到FFT,故算法的 復(fù)雜程度遠(yuǎn)大于LPCC方法。因此，在安靜的環(huán)境下，目前比較成熟和最常 用的語(yǔ)音特征提取方法還是LPCC方法。在條件不好的環(huán)境下，則宜選用M FCC方法。而小波變換法則是一種新興的理論工具，要獲得較高的識(shí)別率 還有許多問(wèn)題有待研究，但與經(jīng)典的方法相比，小波變換法有著計(jì)算量小、 復(fù)雜程度低、識(shí)別效果好等許多優(yōu)點(diǎn)，研究前景十分樂(lè)觀，是研究發(fā)展的 個(gè)方向。4.2.2模式識(shí)別模式識(shí)別常用技術(shù)有三種：動(dòng)態(tài)時(shí)間規(guī)整（DTW）、隱馬爾可夫模型（HMM）、矢量量化（VQ） o（1）動(dòng)態(tài)時(shí)間規(guī)

13、整（DTW）語(yǔ)音信號(hào)的端點(diǎn)檢測(cè)是進(jìn)行語(yǔ)音識(shí)別中的一個(gè)基本步驟，它是特征訓(xùn) 練和識(shí)別的基礎(chǔ)。所謂端點(diǎn)檢測(cè)就是在語(yǔ)音信號(hào)中的各種段落（如音素、音 節(jié)、詞素）的始點(diǎn)和終點(diǎn)的位置，從語(yǔ)音信號(hào)中排除無(wú)聲段。在早期，進(jìn)行 端點(diǎn)檢測(cè)的主要依據(jù)是能量、振幅和過(guò)零率。但效果往往不明顯。上世紀(jì)6 0年代日本學(xué)者Itakura提出了動(dòng)態(tài)時(shí)間規(guī)整算法。算法的思想就是把未 知量均勻地伸長(zhǎng)或縮短，直到與參考模式的長(zhǎng)度一致。在這一過(guò)程中，未 知單詞的時(shí)間軸要不均勻地扭曲或彎折，以使其特征與模型特征對(duì)正。在 連續(xù)語(yǔ)音識(shí)別中仍然是主流方法。同時(shí)，在小詞匯量、孤立字（詞）識(shí)別系 統(tǒng)中，也已有許多改進(jìn)的DTW算法提出。(2) 隱馬

14、爾可夫模型(HMM)隱馬爾可夫模型是20世紀(jì)70年代引入語(yǔ)音識(shí)別理論的，它的出現(xiàn)使 得自然語(yǔ)音識(shí)別系統(tǒng)取得了實(shí)質(zhì)性的突破。目前大多數(shù)大詞匯量、連續(xù)語(yǔ) 音的非特定人語(yǔ)音識(shí)別系統(tǒng)都是基于HMM模型的。HMM是對(duì)語(yǔ)音信號(hào)的 時(shí)間序列結(jié)構(gòu)建立統(tǒng)計(jì)模型，將之看作一個(gè)數(shù)學(xué)上的雙重隨機(jī)過(guò)程:一個(gè)是 用具有有限狀態(tài)數(shù)的Markov鏈來(lái)模擬語(yǔ)音信號(hào)統(tǒng)計(jì)特性變化的隱含的隨機(jī) 過(guò)程，另一個(gè)是與Markov鏈的每一個(gè)狀態(tài)相關(guān)聯(lián)的觀測(cè)序列的隨機(jī)過(guò)程。 前者通過(guò)后者表現(xiàn)出來(lái)，但前者的具體參數(shù)是不可測(cè)的。人的言語(yǔ)過(guò)程實(shí) 際上就是一個(gè)雙重隨機(jī)過(guò)程，語(yǔ)音信號(hào)本身是一個(gè)可觀測(cè)的時(shí)變序列，是 山大腦根據(jù)語(yǔ)法知識(shí)和言語(yǔ)需要(不可觀測(cè)

15、的狀態(tài))發(fā)出的音素的參數(shù)流。 可見(jiàn)HMM合理地模仿了這一過(guò)程，很好地描述了語(yǔ)音信號(hào)的整體非平穩(wěn)性 和局部平穩(wěn)性，是較為理想的一種語(yǔ)音模型。(3) 矢量量化(VQ)矢量量化是一種重要的信號(hào)壓縮方法。與HMM相比，矢量量化主要適 用于小詞匯量、孤立詞的語(yǔ)音識(shí)別中。其過(guò)程是:將語(yǔ)音信號(hào)波形的k個(gè)樣 點(diǎn)的每一幀，或有k個(gè)參數(shù)的每一參數(shù)幀，構(gòu)成k維空間中的一個(gè)矢量， 然后對(duì)矢量進(jìn)行量化。量化時(shí)，將k維無(wú)限空間劃分為M個(gè)區(qū)域邊界，然 后將輸入矢量與這些邊界進(jìn)行比較，并被量化為“距離”最小的區(qū)域邊界 的中心矢量值。矢量量化器的設(shè)計(jì)就是從大量信號(hào)樣本中訓(xùn)練出好的碼書， 從實(shí)際效果出發(fā)尋找到好的失真測(cè)度定義公式

16、，設(shè)計(jì)出最佳的矢量量化系 統(tǒng)，用最少的搜索和計(jì)算失真的運(yùn)算量，實(shí)現(xiàn)最大可能的平均信噪比。43人工神經(jīng)網(wǎng)絡(luò)的方法利用人工神經(jīng)網(wǎng)絡(luò)的方法是80年代末期提出的一種新的語(yǔ)音識(shí)別方 法。人工神經(jīng)網(wǎng)絡(luò)(ANN)本質(zhì)上是一個(gè)自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，模擬了 人類神經(jīng)活動(dòng)的原理，具有自適應(yīng)性、并行性、魯棒性、容錯(cuò)性和學(xué)習(xí)特 性，其強(qiáng)的分類能力和輸入輸出映射能力在語(yǔ)音識(shí)別中都很有吸引力。 但由于存在訓(xùn)練、識(shí)別時(shí)間太長(zhǎng)的缺點(diǎn)，目前仍處于實(shí)驗(yàn)探索階段。由于 ANN不能很好的描述語(yǔ)音信號(hào)的時(shí)間動(dòng)態(tài)特性，所以常把ANN與傳統(tǒng)識(shí) 別方法結(jié)合，分別利用各自優(yōu)點(diǎn)來(lái)進(jìn)行語(yǔ)音識(shí)別。5. 語(yǔ)音識(shí)別所面臨的問(wèn)題(1) 就算法模型方面而

17、言，需要有進(jìn)一步的突破。LI前使用的語(yǔ)言模型 只是一種概率模型，還沒(méi)有用到以語(yǔ)言學(xué)為基礎(chǔ)的文法模型，而要使計(jì)算 機(jī)確實(shí)理解人類的語(yǔ)言，就必須在這一點(diǎn)上取得進(jìn)展。(2) 就自適應(yīng)方面而言，語(yǔ)音識(shí)別技術(shù)也有待進(jìn)一步改進(jìn)，做到不受特 定人、口音或者方言的影響，這實(shí)際上也意味著對(duì)語(yǔ)言模型的進(jìn)一步改進(jìn)。(3) 就強(qiáng)健性方面而言，語(yǔ)音識(shí)別技術(shù)需要能排除各種環(huán)境因素的影 響。目前，對(duì)語(yǔ)音識(shí)別效果影響最大的就是環(huán)境雜音或嗓音，個(gè)人能有意 識(shí)地扌屛棄環(huán)境嗓音并從中獲取自己所需要的特定聲音，如何讓語(yǔ)音識(shí)別技 術(shù)也能達(dá)成這一點(diǎn)是一個(gè)艱巨的任務(wù)。(4) 多語(yǔ)言混合識(shí)別以及無(wú)限詞匯識(shí)別方面:將來(lái)的語(yǔ)音和聲學(xué)模型可 能會(huì)

18、做到將多種語(yǔ)言混合納入，用戶因此就可以不必在語(yǔ)種之間來(lái)回切換。 此外，對(duì)于聲學(xué)模型的進(jìn)一步改進(jìn)，以及以語(yǔ)義學(xué)為基礎(chǔ)的語(yǔ)言模型的改 進(jìn)，也能幫助用戶盡可能少或不受詞匯的影響，從而可實(shí)行無(wú)限詞匯識(shí)別。(5) 多語(yǔ)種交流系統(tǒng)的應(yīng)用：是將語(yǔ)音識(shí)別技術(shù)、機(jī)器翻譯技術(shù)以及語(yǔ) 音合成技術(shù)的完美結(jié)合，全世界說(shuō)不同語(yǔ)言的人都可以實(shí)時(shí)地自山地交流, 不存在語(yǔ)言障礙?？梢韵胍?jiàn)，多語(yǔ)種自山交流系統(tǒng)將帶給我們?nèi)碌纳?空間。(6) 語(yǔ)音情感識(shí)別:近年來(lái)隨著人工智能的發(fā)展，情感智能跟計(jì)算機(jī)技 術(shù)結(jié)合產(chǎn)生了情感計(jì)算這一研究課題，這將大大的促進(jìn)計(jì)算機(jī)技術(shù)的發(fā)展。 情感自動(dòng)識(shí)別是通向情感計(jì)算的第一步。語(yǔ)音作為人類最重要的交流媒介, 攜帶著豐富的情感信息。如何從語(yǔ)音中自動(dòng)識(shí)別說(shuō)話者的情感狀態(tài)近年來(lái) 受到各領(lǐng)