語音識(shí)別基礎(chǔ)講義01

1、第_章緒論1.1語音識(shí)別的重要性1.1.1語音信息處理與語音識(shí)別人類利用語言相互交流信息，包括語音和文字兩種表達(dá)方式。通過語音相互傳遞信息， 這是人類最重要的基本功能之一。隨著信息社會(huì)的發(fā)展，人與人之間，自不必說，即使在人 與機(jī)器之間也每時(shí)每刻都需要進(jìn)行大量的信息交換。人類在利用語音進(jìn)行信息交流時(shí)，說話 人大腦產(chǎn)生思想，通過語言轉(zhuǎn)換，再由發(fā)聲器官發(fā)出相應(yīng)的語音；語音的聲波經(jīng)由空氣傳播 到達(dá)聽話人的耳朵，通過聽覺器官將語音傳送到大腦，由此理解該語音所表達(dá)的語言意義。 這是人類進(jìn)行信息交流與處理的過程。用計(jì)算機(jī)來模擬人類的這一交流信息的過程，包括以 下幾個(gè)部分：（1）將大腦產(chǎn)生的思想轉(zhuǎn)換成語言；（

2、2）將語言轉(zhuǎn)換成相應(yīng)的語音；（3）識(shí)別表達(dá)語言的語音內(nèi)容；（4）理解語音所表達(dá)的語言意義。上述（1）與（4）的部分屬于自然語言生成和理解的研究范圍，（2）的部分屬于語音合 成的研究范圍；（3）的部分則屬于語音識(shí)別的研究范圍。圖1.1為人與人之間、人與機(jī)器之 間的語音信息處理流程的示意圖。（人）（機(jī)器）說話方人與人之間的語音通信收聽方（人）（機(jī)器）說話方人與人之間的語音通信收聽方圖1.1人與人之間、人與機(jī)器之間的語音信息處理流程圖1.1.2語音識(shí)別的重要性計(jì)算機(jī)語音識(shí)別是智能計(jì)算機(jī)系統(tǒng)的重要特征。這一技術(shù)的應(yīng)用將從根本上改變計(jì)算機(jī) 的人機(jī)界面，從而對(duì)計(jì)算機(jī)的發(fā)展以及推廣應(yīng)用產(chǎn)生深遠(yuǎn)的影響?；陔?/p>

3、話的語音識(shí)別技術(shù)， 使計(jì)算機(jī)直接為客戶提供金融、證券和旅游等方面的信息查詢及服務(wù)成為可能，進(jìn)而成為電 子商務(wù)進(jìn)展中的重要一環(huán)（Voice-Commerce）0其次，語音識(shí)別技術(shù)作為聲控產(chǎn)業(yè)，必將對(duì)編 輯排版、辦公自動(dòng)化、工業(yè)過程和機(jī)器操作的聲控技術(shù)起到重大的推進(jìn)作用。因此可以預(yù)言， 語音技術(shù)必將對(duì)工業(yè)、金融、商業(yè)、文化、教育等諸方面事業(yè)產(chǎn)生革命性的影響。這是一項(xiàng) 具有巨大應(yīng)用推廣前景的工程。正是由于這一點(diǎn)，一些主要先進(jìn)國家都把此工程列為國家級(jí) 研究項(xiàng)目。面對(duì)如此廣闊的應(yīng)用領(lǐng)域，目前國內(nèi)外眾多公司正積極推動(dòng)語音識(shí)別技術(shù)的應(yīng)用。微軟：讓計(jì)算機(jī)能說會(huì)聽在1997年秋季COMDEX世界計(jì)算機(jī)博覽會(huì)上，

4、語音識(shí)別和文本至語音的轉(zhuǎn)換(Speech to Text)系統(tǒng)已是引人注目的技術(shù)之一。在主題演講大會(huì)上，微軟Bill Gates在描繪IT事業(yè) 的發(fā)展宏圖時(shí)，率先指出下一代操作系統(tǒng)和應(yīng)用程序的用戶界面將是語音識(shí)別。并提醒大家： “工業(yè)界應(yīng)對(duì)語音識(shí)別領(lǐng)域的重大突破做好充分準(zhǔn)備，因?yàn)槟菍⑹且粓?chǎng)席卷全球的另一次熱 潮”。展覽會(huì)上，微軟與其合作伙伴將原語音指令和控制程序與連續(xù)語音識(shí)別技術(shù)結(jié)合在一 起聯(lián)合推出了語音識(shí)別產(chǎn)品VoiceExpress0 1998年11月5日，微軟中國研究院在北京成立， 該中心的任務(wù)是重點(diǎn)研究計(jì)算機(jī)在中文環(huán)境下的易用性。IBM： ViaVDice 仍居主流IBM公司潛心研究語

5、音識(shí)別技術(shù)迄今已達(dá)30年之久，投資超過2億美元。IBM公司于 1995年在北京成立了中國研究中心，中文語音信息處理成了該中心三大研究領(lǐng)域之一，并 于1997年9月4日，在北京推出了中文連續(xù)語音識(shí)別產(chǎn)品ViaVoiceoIntel :做語音技術(shù)倡導(dǎo)者1998年，英特爾公司也宣布致力于推廣語音識(shí)別技術(shù)，除了在北京舉辦首屆語音技術(shù) 國際論壇之外，還在北京、上海、成都、廣州等地展開了 “基于英特爾框架的語音識(shí)別技術(shù)” 的宣傳活動(dòng)，并聯(lián)合了七家世界著名學(xué)術(shù)機(jī)構(gòu)(中科院自動(dòng)化所、清華大學(xué)、香港科技大學(xué)、 香港中文大學(xué)、麻省理工學(xué)院、俄勒崗研究院、WATERLLOO大學(xué))成立了 “國際語音技 術(shù)研究組織”，

6、致力于計(jì)算機(jī)語音技術(shù)的基礎(chǔ)研究，以加速中文語音識(shí)別技術(shù)的發(fā)展，由此 可見英特爾公司對(duì)語音識(shí)別技術(shù)的重視程度非同一般。1.2語音識(shí)別的定義、原理及分類1.2.1語音識(shí)別的定義語音識(shí)別是研究如何采用數(shù)字信號(hào)處理技術(shù)自動(dòng)提取以及決定語音信號(hào)中最基本、最有 意義的信息的一門新興的邊緣學(xué)科。它是語音信號(hào)處理學(xué)科的一個(gè)分支。顯然，有意義、有 內(nèi)容的信息是構(gòu)成語音音韻特性、即語音的共性特征之基礎(chǔ)，因此也可將其稱為音韻信息。 從廣義上講，語音識(shí)別也包括了對(duì)說話人的識(shí)別(Speaker Recognition)，其主要內(nèi)容是提取語 音信號(hào)中有關(guān)個(gè)人特征的信息、即語音的個(gè)性特征(如：音律特性等)，在這里專指有意義

7、、 有內(nèi)容的識(shí)別。語音識(shí)別所涉及的學(xué)科領(lǐng)域相當(dāng)廣泛，如：信號(hào)處理、物理學(xué)(聲學(xué))、模式匹配、通 信及信息理論、語言語音學(xué)、生理學(xué)、計(jì)算機(jī)科學(xué)(研究軟硬件算法以便有效地實(shí)現(xiàn)用于識(shí) 別系統(tǒng)中的各種方法)、心理學(xué)等。1.2.2語音識(shí)別的基本原理語音識(shí)別的原理框圖如圖1.2所示。如圖所示，識(shí)別有意義、有內(nèi)容的語音信息的基本 方法是：預(yù)先分析出語音特征，按照要求送給機(jī)器儲(chǔ)存起來，這個(gè)語音參數(shù)庫中的語音參數(shù) 稱為“模板(Template-based Approach)”，而這一過程稱為“訓(xùn)練(Training)”。接著，送來識(shí) 別的語音(又稱待識(shí)語音)經(jīng)過與訓(xùn)練時(shí)相同的分析，得到語音參數(shù)，將它與庫中的參考

8、模 板一一比較，并采用判決的方法找出最接近語音特征的模板，得出識(shí)別結(jié)果，這一過程就稱 為“識(shí)別(Recognition)。當(dāng)然，在進(jìn)行比較時(shí)要有個(gè)標(biāo)準(zhǔn)，這就是計(jì)量語音參數(shù)矢量之間 的“失真測(cè)度(Distortion Measures)”。即：失真最小的那個(gè)模板所代表的內(nèi)容就是識(shí)別的結(jié) 果。目前，常用的語音識(shí)別算法有：基于模式匹配的動(dòng)態(tài)時(shí)間規(guī)正法(DTW: Dynamic Time Warping)、基于統(tǒng)計(jì)模型的隱馬爾柯夫模型法(HMM: Hidden Markov Model)以及基于神經(jīng)網(wǎng)絡(luò)的識(shí)別法（DNN、NPN、TDNN）等。噪聲濾波器識(shí)別噪聲濾波器識(shí)別結(jié)果構(gòu)詞規(guī)則同音字判決語法語義背

9、景知識(shí)圖1.2語音識(shí)別原理圖1.2.3語音識(shí)別的分類語音識(shí)別可以從三個(gè)方面進(jìn)行分類。（1）按語音識(shí)別器的類型孤立單詞識(shí)別（Isolated Word Recognition）對(duì)漢語語音來說，識(shí)別的單元為字、詞或短語，它們組成識(shí)別的詞匯表（Vocabulary）, 對(duì)它們中的每一個(gè)通過訓(xùn)練建立標(biāo)準(zhǔn)模板或模型。待識(shí)別的語音是這些字、詞或短語中 的某一個(gè)。連續(xù)語 音識(shí)別（Continuous Speech Recognition）連續(xù)單詞識(shí)別（Connected Word Recognition）以比較少的詞匯為對(duì)象，能夠完全識(shí)別每個(gè)詞。識(shí)別的詞匯表和標(biāo)準(zhǔn)樣板或模型 也是字、詞或短語，但識(shí)別時(shí)可以是

10、它們中間幾個(gè)的連續(xù)，其中典型的有：詞匯表中 包括“0”到“9”十個(gè)數(shù)字，識(shí)別時(shí)可以說“3”、“27”、“659”等等。連續(xù)言語識(shí)別與理解（Conversational Speech Recognition）以多數(shù)詞匯為對(duì)象，待識(shí)的語音是一些完整的句子。雖然不能完全準(zhǔn)確識(shí)別每個(gè) 單詞，但是能夠理解其意義，連續(xù)言語識(shí)別也稱會(huì)話語音識(shí)別。理解是在識(shí)別了語音 之后，根據(jù)語言學(xué)知識(shí)來推斷語音的含義內(nèi)容的。（2）按語音識(shí)別器對(duì)使用者的適用情況特定人語音識(shí)別（Speaker-Dependent）語音識(shí)別的標(biāo)準(zhǔn)模板或模型只適應(yīng)于某個(gè)人，實(shí)際上，該模板或模型就是該人通 過輸入詞匯表中的每個(gè)字、詞或短語的語音建立

11、起來的（稱為訓(xùn)練:Training）。其他人 使用時(shí)，需同樣建立自己的標(biāo)準(zhǔn)模板或模型。非特定人語音識(shí)別（Speaker-Independent）語音識(shí)別的標(biāo)準(zhǔn)模板或模型適應(yīng)于指定的某一范疇的說話人（如說標(biāo)準(zhǔn)普通話）， 標(biāo)準(zhǔn)模板或模型由該范疇的多個(gè)人通過訓(xùn)練而產(chǎn)生。識(shí)別時(shí)可供參加訓(xùn)練的發(fā)音人（圈 內(nèi)人）使用，也可供未參加訓(xùn)練的同一范疇的發(fā)音人（圈外人）使用。（3）按語音詞匯表的大小有限詞匯識(shí)別按詞匯表中字、詞或短句個(gè)數(shù)的多少，大致分為：100以下為小詞匯；1001000為中詞匯；1000以上為大詞匯。無限詞匯識(shí)別（全音節(jié)識(shí)別）當(dāng)識(shí)別基元為漢語普通話中對(duì)應(yīng)所有漢字的可讀音節(jié)時(shí)，則稱其為全音節(jié)語音識(shí)

12、 別（音節(jié)字表：Lexicon）。全音節(jié)語音識(shí)別是實(shí)現(xiàn)無限詞匯或中文文本輸入的基礎(chǔ)。1.3本課程的內(nèi)容與要求本課程的設(shè)置目的是試圖通過對(duì)最有望的語音識(shí)別系統(tǒng)的基本原理的介紹，然后為大家 提供一種能促使語音識(shí)別研究向前發(fā)展的框架。本課程的內(nèi)容由以下八章構(gòu)成：第一章緒論第二章語音的特征第三章用于語音識(shí)別的信號(hào)處理及分析方法第四章基于模式匹配方式的語音識(shí)別技術(shù)第五章基于統(tǒng)計(jì)模型（HMM）方式的語音識(shí)別技術(shù)第六章孤立字（詞）語音識(shí)別系統(tǒng)第七章連續(xù)語音識(shí)別系統(tǒng)第八章語音識(shí)別的應(yīng)用及展望通過本課程的學(xué)習(xí)，要求大家掌握語音識(shí)別的基本概念及原理，了解語音識(shí)別的基本技 術(shù)和相關(guān)課題。參考書：（1）胡光銳：“語音

13、處理與識(shí)別”，上?？茖W(xué)技術(shù)出版社，1994。（2）陳永彬：“語音信號(hào)處理”，上海交通大學(xué)出版社，1990。（3）陳永斌，王仁華：“語言信號(hào)處理”，中國科學(xué)技術(shù)大學(xué)出版社，1990。（4）姚天任：“數(shù)字語音處理”，華中理工大學(xué)出版社，1992。（5）古井貞熙（朱家新，張國海，易武秀譯）：“數(shù)字聲音處理”，人民郵電出版社，1993。（6）Lawrence Rabiner, Biing-Hwang Juang : FUNDAMENTALS OF SPEECH RECOGNITION”，PTR Prentice-Hall，Inc，1993。1.4語音識(shí)別的歷史回顧1.4.1國外語音識(shí)別研究的歷史對(duì)機(jī)器

14、識(shí)別語音的研究，可以追溯到50年代。1952年貝爾研究所Davis等人研究成功 了世界上第一個(gè)能識(shí)別10個(gè)英文數(shù)字發(fā)音的實(shí)驗(yàn)系統(tǒng)。1960年英國的Denes等人研究成功 了第一個(gè)計(jì)算機(jī)語音識(shí)別系統(tǒng)，從此開始了計(jì)算機(jī)語音識(shí)別研究的階段。大規(guī)模的語音識(shí)別研究是在進(jìn)入了 70年代以后，這一時(shí)期取得了許多實(shí)質(zhì)性的進(jìn)展， 特別是在小詞匯量、孤立詞的識(shí)別方面。這一時(shí)期的語音識(shí)別方法基本上是采用傳統(tǒng)的模式 識(shí)別策略。其中以蘇聯(lián)的Velichko和Zagoruyko、日本的迫江和千葉，以及當(dāng)時(shí)在美國的板 倉等人的研究工作最具有代表性。蘇聯(lián)的研究為模式識(shí)別應(yīng)用于語音識(shí)別這一領(lǐng)域奠定了基 礎(chǔ)；日本的研究則展示了如

15、何利用動(dòng)態(tài)規(guī)劃（Dynamic Programming）技術(shù)在待識(shí)語音模式與 標(biāo)準(zhǔn)語音模式之間進(jìn)行非線性時(shí)間匹配的方法;而板倉的研究提出了如何將線性預(yù)測(cè)分析技 術(shù)（LPC）加以擴(kuò)展，使之用于語音信號(hào)的特征抽取的方法。另外，值得一提的是，目前在大 詞匯語音識(shí)別方面處于領(lǐng)先地位的IBM語音研究小組，就是在70年代開始了它的大詞匯語 音識(shí)別研究工作的。AT&A的貝爾研究所也開始了一系列有關(guān)非特定人語音識(shí)別的實(shí)驗(yàn)。這 一研究歷經(jīng)10年，其成果是確立了如何制作用于非特定人語音識(shí)別的標(biāo)準(zhǔn)模板的方法。進(jìn)入80年代以后，語音識(shí)別研究更加活躍。這一時(shí)期，研究的重點(diǎn)逐漸轉(zhuǎn)向大詞匯量、 非特定人連續(xù)語音識(shí)別。而且，

16、在研究思路上也發(fā)生了重大變化，即由傳統(tǒng)的基于標(biāo)準(zhǔn)模板 匹配的技術(shù)思路開始轉(zhuǎn)向基于統(tǒng)計(jì)模型、特別是隱馬爾柯夫模HMM）的技術(shù)思路。此外， 再次提出了將神經(jīng)網(wǎng)絡(luò)技術(shù)引入語音識(shí)別問題的技術(shù)思路。這一時(shí)期所取得的重大進(jìn)展有：（1）隱碼爾柯夫模型（HMM）技術(shù)的成熟和不斷完善成為語音識(shí)別的主流方法。（2）以知識(shí)為基礎(chǔ)的語音識(shí)別的研究日益受到重視。在進(jìn)行連續(xù)語音識(shí)別的時(shí)候，除了識(shí) 別聲學(xué)信息外，更多地利用各種語言知識(shí)，諸如構(gòu)詞、句法、語義、對(duì)話背景方面等 的知識(shí)來幫助進(jìn)一步對(duì)語音作出識(shí)別和理解。同時(shí)在語音識(shí)別研究領(lǐng)域，還產(chǎn)生了基 于統(tǒng)計(jì)概率的語言模型。（3）人工神經(jīng)網(wǎng)絡(luò)（ANN）在語音識(shí)別中的應(yīng)用研究的興

17、起。在這些研究中，大部分采用基 于反向傳播法（BP算法）的多層感知網(wǎng)絡(luò)。ANN具有區(qū)分復(fù)雜的分類邊界的能力， 顯然它十分有助于模式劃分。進(jìn)入90年代以后，在語音識(shí)別的系統(tǒng)框架方面并沒有什么重大突破。但是，在語音識(shí) 別技術(shù)的應(yīng)用及產(chǎn)品化方面出現(xiàn)了很大的進(jìn)展。特別是在電話語音識(shí)別方面，由于其有著廣 泛的應(yīng)用前景，成了當(dāng)前語音識(shí)別應(yīng)用的一個(gè)熱點(diǎn)。另外，面向個(gè)人用途的連續(xù)語音聽寫機(jī) 技術(shù)也日趨完善。這方面，最具代表性的是IBM的VTD（VoiceTypeDictation）和Dragon公司 的Dragon Dictate系統(tǒng)。這些系統(tǒng)具有說話人自適應(yīng)能力，新用戶不需要對(duì)全部詞匯進(jìn)行訓(xùn) 練，便可在使用

18、中不斷提高識(shí)別率。DARPA（Defense Advanced Research Projects Agency是 在 70 年代由美國國防部遠(yuǎn)景研究 計(jì)劃局資助的一項(xiàng)10年計(jì)劃，其旨在支持語言理解系統(tǒng)的研究開發(fā)工作CMU （卡內(nèi)基梅 龍大學(xué)）、MIT （麻省理工學(xué)院）、IBM、AT&T等都參與了這一計(jì)劃的開發(fā)工作。該計(jì)劃執(zhí) 行的結(jié)果是1976年推出了 HARPY（CMU）系統(tǒng)。雖然，這是有限詞匯和限定領(lǐng)域的識(shí)別系 統(tǒng)，但改變了原來只利用聲學(xué)信息的狀況，開始應(yīng)用高層次語言學(xué)知識(shí)（如構(gòu)詞、句法、語 義、對(duì)話背景等）。在這為期10年的階段中盡管所有的研究計(jì)劃均未能達(dá)到預(yù)期目標(biāo)，但它 對(duì)語音識(shí)別和理

19、解研究的發(fā)展起了重要的推動(dòng)作用。通過這一階段的研究使人們認(rèn)識(shí)到語音 識(shí)別任務(wù)的艱巨性，總結(jié)出許多有意義的經(jīng)驗(yàn)教訓(xùn)，并且從此對(duì)語音識(shí)別提出了許多基礎(chǔ)性 的研究課題。這些課題主要涉及到語音信號(hào)和自然語言的多變性和復(fù)雜性。所謂多變性和復(fù) 雜性大致包括以下幾個(gè)方面：（1）連續(xù)語音詞與詞之間沒有明顯的停頓，詞與詞之間的分割比較困難；（2）每一個(gè)基本的聲學(xué)識(shí)別基元（如音素）受前后音素發(fā)音方式的影響（協(xié)同發(fā)音） 使特征變得不穩(wěn)定；（3）不同人、不同心理和生理以及在不同的說話環(huán)境下說同一詞時(shí)，聲學(xué)信號(hào)特征會(huì) 發(fā)生變化；（4）一個(gè)詞的讀音不僅包含了詞義特征，而且還包含了說話人性別、年齡、情緒等大 量與詞義無關(guān)的

20、信息，而這些信息的分離是不容易的；（5）自然語言的多變性難以借助于一些基本語法規(guī)則進(jìn)行描述，因而使計(jì)算機(jī)編程變 得困難。到了 80年代，美國國防部遠(yuǎn)景研究計(jì)劃局又資助了一項(xiàng)為期10年的DARPA戰(zhàn)略計(jì)劃， 其中包括噪聲下的語音識(shí)別和會(huì)話（口語）識(shí)別系統(tǒng)，識(shí)別任務(wù)設(shè)定為（1000單詞）連續(xù) 語音數(shù)據(jù)庫管理”。到了 90年代，這一DARPA計(jì)劃仍在持續(xù)進(jìn)行中。其研究重點(diǎn)已轉(zhuǎn)向識(shí) 別裝置中的自然語言處理部分，識(shí)別任務(wù)設(shè)定為“航空旅行信息檢索”。日本也在1981年的第五代計(jì)算機(jī)計(jì)劃中提出了有關(guān)語音識(shí)別輸入-輸出自然語言的宏 偉目標(biāo)，雖然沒能實(shí)現(xiàn)預(yù)期目標(biāo)，但是有關(guān)語音識(shí)別技術(shù)的研究有了大幅度的加強(qiáng)和進(jìn)展。 1987年起，日本又?jǐn)M出新的國家項(xiàng)目-高級(jí)人機(jī)口語接口和自動(dòng)電話翻譯系統(tǒng)。日本在開 展研究工作時(shí)的特點(diǎn)是：建立全國的合作體系、分派任務(wù)、避免重復(fù)；共享通用語音資料、盡可能采用標(biāo)準(zhǔn)化設(shè)備和分析技術(shù)，交流研究結(jié)果和經(jīng)驗(yàn)。1.4.2我國語音識(shí)別研究的歷史我國的語音識(shí)別研究起始于1958年，由中國科學(xué)院聲學(xué)