語音信號處理緒論課件

1.1概述1.2語音識別發(fā)展概況1.3語音編碼發(fā)展概況1.4語音合成發(fā)展概況1.5語音處理的其他分支第1章緒論1.1概述第1章緒論噪聲環(huán)境下語音處理系統(tǒng)性能急劇下降說話人發(fā)音方式、口音變化等將導致系統(tǒng)性能下降

訓練和測試數(shù)據(jù)差異較大時，系統(tǒng)性能將下降……車載語音：汽車導航、空調、車窗、影音等的語音控制呼叫中心：交互式語音應答的補充、服務質量評估、增強安全性等

移動終端：語音秘書、語音播報、語音輸入法、語音聽寫系統(tǒng) 教育和娛樂：語音教具、語音（普通話）評測、智能語音家電和玩具公共安全及服務：語音監(jiān)聽與跟蹤、家庭服務、賓館服務、旅行社服務系統(tǒng)、訂票系統(tǒng)、醫(yī)療服務、銀行服務、股票查詢服務等卡耐基梅隆大學、劍橋大學、愛丁堡大學、華盛頓大學、清華大學、中科大、中科院等一直從事語音處理研究

2011年蘋果公司推出Siri(Iphone4S的語音控制功能)2010年科大訊飛推出新一代“語音云”平臺2011年騰訊公司推出QQ云語音面板Nuance,Google,微軟,IBM,百度,盛大,華為等也投入巨資第1章緒論為什么要學習和研究語音信號處理技術？

1.1概述語音是最自然、最有效、最方便的人機（人與人）交互手段

國內(nèi)外各大公司（研究機構）一直從事語音信號處理研究

語音信號處理技術用途非常廣泛

語音信號處理技術遠未成熟，需進一步改進語音信號處理技術始終與當時信息科學中最活躍的前沿學科保持密切的聯(lián)系，并且一起發(fā)展比如：機器學習、小波分析、模式識別、神經(jīng)網(wǎng)絡、人工智能等噪聲環(huán)境下語音處理系統(tǒng)性能急劇下降車載語音：汽車導航、空調、人的言語過程

想說說出傳輸接收理解語音合成語音編碼語音識別說話人識別計算機第1章緒論1.1概述人的言語過程想說說出傳輸接收理解語音合成語音編碼語音識別計算語音識別和語音合成是實現(xiàn)人機語音通信，建立一個有聽和說能力的口語系統(tǒng)所必需的兩項關鍵技術。使電腦具有類似于人一樣的說話能力，是當今時代信息產(chǎn)業(yè)的重要競爭市場。第1章緒論1.1概述語音信號處理的主要分支

語音識別SpeechRecognition語音合成SpeechSynthesis語音編碼SpeechCoding

對模擬的語音信號進行編碼，將模擬信號轉化成數(shù)字信號，從而降低傳輸碼率并進行數(shù)字傳輸。分為波形編碼、參量編碼（音源編碼）和混合編碼。利用計算機和一些專門裝置模擬人，制造語音的技術。TTS（文語轉換）技術隸屬于語音合成。語音識別原理框圖讓機器通過識別和理解過程把語音信號轉變?yōu)橄鄳奈谋净蛎畹募夹g。主要包括特征提取、模式匹配及模型訓練技術。語音識別和語音合成是實現(xiàn)人機語音通信，建立一個有聽和說能力的語音信號處理發(fā)展概況：起步很早、尚未完全成熟1791年，WolfgangvonKempelen構建了語音機器1835年，CharlesWheatstone改進了語音機器B.H.Juang#&LawrenceR.Rabiner.AutomaticSpeechRecognition–ABriefHistoryoftheTechnologyDevelopment,2004第1章緒論1.1概述語音信號處理發(fā)展概況：起步很早、尚未完全成熟B.H.Jua1870年代，電話發(fā)明之爭第1章緒論1.1概述安東尼奧·梅烏奇AntonioMeucci

(1808–1889)亞歷山大·格拉漢姆·貝爾AlexanderGrahamBell(1847-1922)伊萊沙·格雷ElishaGray1835-1901對于大多數(shù)人來說，每當提到電話的發(fā)明，一定會聯(lián)想到貝爾。然而，一個叫伊萊沙·格雷的人就曾與貝爾展開過關于電話專利權的法律訴訟。格雷與貝爾在同一天申報了專利，由于比貝爾晚一點申報（只晚了2個小時左右），最終敗訴。事實上，梅烏奇于1860年代就已對電話機進行了原創(chuàng)性的發(fā)明創(chuàng)造，比貝爾和格雷早10多年。由于經(jīng)濟困窘等原因，19世紀70年代，梅烏奇并沒有贏得與貝爾的電話機專利爭奪戰(zhàn)。在其逝世113年后，美國議會認定梅烏奇為電話機的發(fā)明者。真理得以昭然，梅烏奇實至名歸。誰是電話的真正發(fā)明者？1870年代，電話發(fā)明之爭第1章緒論1.1概述安東尼奧·AblockschematicofHomerDudley’sVODERB.H.Juang#&LawrenceR.Rabiner.AutomaticSpeechRecognition–ABriefHistoryoftheTechnologyDevelopment,2004第1章緒論1.1概述1939年，H.Dudley研制成功第一個聲碼器打破了以前的“波形原則”，提出了一種全新的語音通信技術，即提取參數(shù)加以傳輸，在收端重新合成語音。其后，產(chǎn)生“語音參數(shù)模型”的思想AblockschematicofHomerDud1942年，Bell實驗室發(fā)明了語譜儀1948年，美國Haskin實驗室研制成功“語圖回放機”1952年，Bell實驗室研制成識別十個英語數(shù)字識別器1956年，Olson和Belar等人研制出語音打字機1960年代以后，隨著計算機技術的發(fā)展，語音信號處理技術獲得了長足的進步，計算機模擬實驗取代了硬件研制的傳統(tǒng)做法。各種突破性的思想不斷涌現(xiàn)第1章緒論1.1概述1942年，Bell實驗室發(fā)明了語譜儀第1章緒論1.1概1960年，Denes等人用計算機實現(xiàn)自動語音識別，引入了時間歸正算法改進匹配性能1970年代起，人工智能技術開始引入到語音識別中。美國國防部ARPA組織了有CMU等五個單位參加的一項大規(guī)模語音識別和理解研究計劃1970年代中，日本學者Sakoe提出的動態(tài)時間彎折算法對小詞表的研究獲得了成功，從而掀起了語音識別的研究熱潮第1章緒論1.2語音識別發(fā)展概況1960年，Denes等人用計算機實現(xiàn)自動語音識別，引入了時誰先提出動態(tài)時間彎折（DTW）算法？

1960年代末期，蘇聯(lián)學者Vintsyuk提出了采用動態(tài)規(guī)劃方法解決兩個語音的時間對準問題其研究不為學術界的廣大研究者所知道1980年代，學術界才知道Vintsyuk當初的工作；而DTW已廣為人知第1章緒論1.2語音識別發(fā)展概況誰先提出動態(tài)時間彎折（DTW）算法？第1章緒論1.2語1970年代末，基于矢量量化碼本生成的LBG算法被提出，矢量量化技術廣泛應用于語音識別、語音編碼和說話人識別中1970年代末至80年代初，Baker等將隱馬爾可夫模型(HiddenMarkovModel)技術應用到語音識別中1985年IBM公司研制了5000詞英語聽寫機Tangora-5，80年代末完成的Tangora-20能識別的詞匯達到了20000，識別率達到了94.6%第1章緒論1.2語音識別發(fā)展概況1970年代末，基于矢量量化碼本生成的LBG算法被提出，矢量1990年代初，CMU的LeeKaifu完成的非特定人連續(xù)語音識別系統(tǒng)SPHINX是最有代表性的，它能識別997個詞匯的連續(xù)語音，識別率達到95.8%1997年，IBM推出的漢語聽寫機Viavoice為語音識別在漢字輸入方面的實際應用開辟了新的道路1999年，Intel推出語音識別軟件開發(fā)包Spark3.0MicrosoftVoice及基于.net的語音識別引擎目前，在語音識別的系統(tǒng)框架方面并沒有什么重大突破。但是，在語音識別技術的應用及產(chǎn)品化方面出現(xiàn)了很大的進展第1章緒論1.2語音識別發(fā)展概況1988年，李開復獲卡內(nèi)基梅隆大學計算機學博士學位。他的博士論文是世界上第一個“非特定人連續(xù)語音識別系統(tǒng)”。1988年，《商業(yè)周刊》授予該系統(tǒng)“最重要科學創(chuàng)新獎”。在校期間，李開復還開發(fā)了“奧賽羅”（黑白棋）人機對弈系統(tǒng)，因為1988年擊敗了世界團體冠軍美國隊的一名成員而名噪一時。1990年代初，CMU的LeeKaifu完成的非特定人連續(xù)1970年代起，國外就開始研究計算機網(wǎng)絡上的語音通信，主要是基于ARPANET網(wǎng)絡平臺進行研究1974年，首次分組語音實驗是在美國西海岸南加州大學和東海岸的林肯實驗室間進行，數(shù)碼率為9.6kb/s

1975年1月，美國實現(xiàn)使用LPC聲碼器的分組語音電話會議1980年代，集中在局域網(wǎng)上的語音通信，最早的實驗是由英國劍橋大學于1982年在10Mb/s的劍橋環(huán)形網(wǎng)上進行的第1章緒論1.3語音編碼發(fā)展概況第1章緒論1.3語音編碼發(fā)展概況1988年，美國公布了一個4.8kb/s的碼激勵線性預測編碼（CELP）語音編碼標準算法進入1990年代，隨著Internet的興起和語音編碼技術的發(fā)展，IP分組語音通信技術獲得了突破性的進展。如網(wǎng)絡游戲，語音聊天，IP電話技術1990年代中期，出現(xiàn)了很多被廣泛使用的語音編碼國際標準，如數(shù)碼率為5.3/6.4kb/s的G.723.1、數(shù)碼率為8kb/s的G.729等目前，主要集中在4kbit/s碼率以下的高音質、低延遲的聲碼器，提高在噪聲信道中低碼率編碼器的性能第1章緒論1.3語音編碼發(fā)展概況1988年，美國公布了一個4.8kb/s的碼激勵線性預測編碼第1章緒論1.4語音合成發(fā)展概況1939年，貝爾實驗室利用共振峰原理制作出第一個電子語音合成器1960年，G.Fant系統(tǒng)地闡述了語音產(chǎn)生的理論，推動了語音合成技術的進步1968年，第一個完整的TTS系統(tǒng)得以實現(xiàn)1980年，D.Klatt設計出串/并聯(lián)混合型共振峰合成器1980年代，基音同步疊加的波形拼接方法PSOLA被提出第1章緒論1.4語音合成發(fā)展概況1939年，貝爾實驗室利第1章緒論1.4語音合成發(fā)展概況20世紀末，提出了可訓練的語音合成方法——基于HMM的合成方法目前，語音合成系統(tǒng)具有了很高的可懂度，但自然度還不盡人意第1章緒論1.4語音合成發(fā)展概況20世紀末，提出了可訓練說話人識別說話人日志語種辨識語音轉換語音隱藏語音情感識別語音增強語音搜索SpeakerRecognition，又稱聲紋識別、話者識別。通過對語音信號的分析和處理，提取代表說話人個性信息的特征，計算機就能夠自動地鑒別說話人的身份。主要分為：SpeakerIdentification和SpeakerVerification。SpeechRetrieval，一種新穎的搜索技術，代替原來的鍵盤或手寫輸入，用戶可以使用語音進行檢索和查詢。SpeechHiding，利用語音信號中存在的冗余及人類感知系統(tǒng)的特性，在不影響原始語音信息感知質量的前提下，把額外的信息隱藏到原始語音中的一種技術。EmotionRecognition，計算機對語音信號進行分析和處理，從而得出說話人的情感狀態(tài)（憤怒、悲傷、高興、恐懼等）。VoiceConversion，將A話者的語音轉換為具有B話者發(fā)音特征的語音，且保持語音內(nèi)容不變。SpeechEnhancement，當語音信號被各種各樣的噪聲干擾、甚至淹沒后，從噪聲背景中提取有用的語音信號，抑制、降低噪聲干擾的技術。第1章緒論1.5語音處理的其他分支LanguageIdentification，通過分析處理一個語言片段從而判別其屬于哪種語言。SpeakerDiarization，主要解決：“誰在說話”和“在什么時候說話”兩個問題。前者通過說話人識別技術來檢測，后者由說話人分割和說話人聚類技術來檢測。說話人識別SpeakerRecognition，又稱聲紋識第1章緒論謝謝！第1章緒論謝謝！1.1概述1.2語音識別發(fā)展概況1.3語音編碼發(fā)展概況1.4語音合成發(fā)展概況1.5語音處理的其他分支第1章緒論1.1概述第1章緒論噪聲環(huán)境下語音處理系統(tǒng)性能急劇下降說話人發(fā)音方式、口音變化等將導致系統(tǒng)性能下降

訓練和測試數(shù)據(jù)差異較大時，系統(tǒng)性能將下降……車載語音：汽車導航、空調、車窗、影音等的語音控制呼叫中心：交互式語音應答的補充、服務質量評估、增強安全性等

移動終端：語音秘書、語音播報、語音輸入法、語音聽寫系統(tǒng) 教育和娛樂：語音教具、語音（普通話）評測、智能語音家電和玩具公共安全及服務：語音監(jiān)聽與跟蹤、家庭服務、賓館服務、旅行社服務系統(tǒng)、訂票系統(tǒng)、醫(yī)療服務、銀行服務、股票查詢服務等卡耐基梅隆大學、劍橋大學、愛丁堡大學、華盛頓大學、清華大學、中科大、中科院等一直從事語音處理研究

2011年蘋果公司推出Siri(Iphone4S的語音控制功能)2010年科大訊飛推出新一代“語音云”平臺2011年騰訊公司推出QQ云語音面板Nuance,Google,微軟,IBM,百度,盛大,華為等也投入巨資第1章緒論為什么要學習和研究語音信號處理技術？

1.1概述語音是最自然、最有效、最方便的人機（人與人）交互手段

國內(nèi)外各大公司（研究機構）一直從事語音信號處理研究

語音信號處理技術用途非常廣泛

語音信號處理技術遠未成熟，需進一步改進語音信號處理技術始終與當時信息科學中最活躍的前沿學科保持密切的聯(lián)系，并且一起發(fā)展比如：機器學習、小波分析、模式識別、神經(jīng)網(wǎng)絡、人工智能等噪聲環(huán)境下語音處理系統(tǒng)性能急劇下降車載語音：汽車導航、空調、人的言語過程

想說說出傳輸接收理解語音合成語音編碼語音識別說話人識別計算機第1章緒論1.1概述人的言語過程想說說出傳輸接收理解語音合成語音編碼語音識別計算語音識別和語音合成是實現(xiàn)人機語音通信，建立一個有聽和說能力的口語系統(tǒng)所必需的兩項關鍵技術。使電腦具有類似于人一樣的說話能力，是當今時代信息產(chǎn)業(yè)的重要競爭市場。第1章緒論1.1概述語音信號處理的主要分支

語音識別SpeechRecognition語音合成SpeechSynthesis語音編碼SpeechCoding

對模擬的語音信號進行編碼，將模擬信號轉化成數(shù)字信號，從而降低傳輸碼率并進行數(shù)字傳輸。分為波形編碼、參量編碼（音源編碼）和混合編碼。利用計算機和一些專門裝置模擬人，制造語音的技術。TTS（文語轉換）技術隸屬于語音合成。語音識別原理框圖讓機器通過識別和理解過程把語音信號轉變?yōu)橄鄳奈谋净蛎畹募夹g。主要包括特征提取、模式匹配及模型訓練技術。語音識別和語音合成是實現(xiàn)人機語音通信，建立一個有聽和說能力的語音信號處理發(fā)展概況：起步很早、尚未完全成熟1791年，WolfgangvonKempelen構建了語音機器1835年，CharlesWheatstone改進了語音機器B.H.Juang#&LawrenceR.Rabiner.AutomaticSpeechRecognition–ABriefHistoryoftheTechnologyDevelopment,2004第1章緒論1.1概述語音信號處理發(fā)展概況：起步很早、尚未完全成熟B.H.Jua1870年代，電話發(fā)明之爭第1章緒論1.1概述安東尼奧·梅烏奇AntonioMeucci

(1808–1889)亞歷山大·格拉漢姆·貝爾AlexanderGrahamBell(1847-1922)伊萊沙·格雷ElishaGray1835-1901對于大多數(shù)人來說，每當提到電話的發(fā)明，一定會聯(lián)想到貝爾。然而，一個叫伊萊沙·格雷的人就曾與貝爾展開過關于電話專利權的法律訴訟。格雷與貝爾在同一天申報了專利，由于比貝爾晚一點申報（只晚了2個小時左右），最終敗訴。事實上，梅烏奇于1860年代就已對電話機進行了原創(chuàng)性的發(fā)明創(chuàng)造，比貝爾和格雷早10多年。由于經(jīng)濟困窘等原因，19世紀70年代，梅烏奇并沒有贏得與貝爾的電話機專利爭奪戰(zhàn)。在其逝世113年后，美國議會認定梅烏奇為電話機的發(fā)明者。真理得以昭然，梅烏奇實至名歸。誰是電話的真正發(fā)明者？1870年代，電話發(fā)明之爭第1章緒論1.1概述安東尼奧·AblockschematicofHomerDudley’sVODERB.H.Juang#&LawrenceR.Rabiner.AutomaticSpeechRecognition–ABriefHistoryoftheTechnologyDevelopment,2004第1章緒論1.1概述1939年，H.Dudley研制成功第一個聲碼器打破了以前的“波形原則”，提出了一種全新的語音通信技術，即提取參數(shù)加以傳輸，在收端重新合成語音。其后，產(chǎn)生“語音參數(shù)模型”的思想AblockschematicofHomerDud1942年，Bell實驗室發(fā)明了語譜儀1948年，美國Haskin實驗室研制成功“語圖回放機”1952年，Bell實驗室研制成識別十個英語數(shù)字識別器1956年，Olson和Belar等人研制出語音打字機1960年代以后，隨著計算機技術的發(fā)展，語音信號處理技術獲得了長足的進步，計算機模擬實驗取代了硬件研制的傳統(tǒng)做法。各種突破性的思想不斷涌現(xiàn)第1章緒論1.1概述1942年，Bell實驗室發(fā)明了語譜儀第1章緒論1.1概1960年，Denes等人用計算機實現(xiàn)自動語音識別，引入了時間歸正算法改進匹配性能1970年代起，人工智能技術開始引入到語音識別中。美國國防部ARPA組織了有CMU等五個單位參加的一項大規(guī)模語音識別和理解研究計劃1970年代中，日本學者Sakoe提出的動態(tài)時間彎折算法對小詞表的研究獲得了成功，從而掀起了語音識別的研究熱潮第1章緒論1.2語音識別發(fā)展概況1960年，Denes等人用計算機實現(xiàn)自動語音識別，引入了時誰先提出動態(tài)時間彎折（DTW）算法？

1960年代末期，蘇聯(lián)學者Vintsyuk提出了采用動態(tài)規(guī)劃方法解決兩個語音的時間對準問題其研究不為學術界的廣大研究者所知道1980年代，學術界才知道Vintsyuk當初的工作；而DTW已廣為人知第1章緒論1.2語音識別發(fā)展概況誰先提出動態(tài)時間彎折（DTW）算法？第1章緒論1.2語1970年代末，基于矢量量化碼本生成的LBG算法被提出，矢量量化技術廣泛應用于語音識別、語音編碼和說話人識別中1970年代末至80年代初，Baker等將隱馬爾可夫模型(HiddenMarkovModel)技術應用到語音識別中1985年IBM公司研制了5000詞英語聽寫機Tangora-5，80年代末完成的Tangora-20能識別的詞匯達到了20000，識別率達到了94.6%第1章緒論1.2語音識別發(fā)展概況1970年代末，基于矢量量化碼本生成的LBG算法被提出，矢量1990年代初，CMU的LeeKaifu完成的非特定人連續(xù)語音識別系統(tǒng)SPHINX是最有代表性的，它能識別997個詞匯的連續(xù)語音，識別率達到95.8%1997年，IBM推出的漢語聽寫機Viavoice為語音識別在漢字輸入方面的實際應用開辟了新的道路1999年，Intel推出語音識別軟件開發(fā)包Spark3.0MicrosoftVoice及基于.net的語音識別引擎目前，在語音識別的系統(tǒng)框架方面并沒有什么重大突破。但是，在語音識別技術的應用及產(chǎn)品化方面出現(xiàn)了很大的進展第1章緒論1.2語音識別發(fā)展概況1988年，李開復獲卡內(nèi)基梅隆大學計算機學博士學位。他的博士論文是世界上第一個“非特定人連續(xù)語音識別系統(tǒng)”。1988年，《商業(yè)周刊》授予該系統(tǒng)“最重要科學創(chuàng)新獎”。在校期間，李開復還開發(fā)了“奧賽羅”（黑白棋）人機對弈系統(tǒng)，因為1988年擊敗了世界團體冠軍美國隊的一名成員而名噪一時。1990年代初，CMU的LeeKaifu完成的非特定人連續(xù)1970年代起，國外就開始研究計算機網(wǎng)絡上的語音通信，主要是基于ARPANET網(wǎng)絡平臺進行研究1974年，首次分組語音實驗是在美國西海岸南加州大學和東海岸的林肯實驗室間進行，數(shù)碼率為9.6kb/s

1975年1月，美國實現(xiàn)使用LPC聲碼器的分組語音電話會議1980年代，集中在局域網(wǎng)上的語音通信，最早的實驗是由英國劍橋大學于1982年在10Mb/s的劍橋環(huán)形網(wǎng)上進行的第1章緒論1.3語音編碼發(fā)展概況第1章緒論1.3語音編碼發(fā)展概況1988年，美國公布了一個4.8kb/s的碼激勵線性預測編碼（CELP）語音編碼標準算法進入1990年代，隨著Internet的興起和語音編碼技術的發(fā)展，IP分組語音通信技術獲得了突破性的進展。如網(wǎng)絡游戲，語音聊天，IP電話技術1990年代中期，出現(xiàn)了很多被廣泛使用的語音編碼國際標準，如數(shù)碼率為5.3/6.4kb/s的G.723.1、數(shù)碼率為8kb/s的G.729等目前，主要集中在4kbit/s碼率以下的高音質、低延遲的聲碼器，提高在噪聲信道中低碼率編碼器的性能第1章緒論1.3語音編碼發(fā)展概況1988年，美國公布了一個4.8kb/s的碼激勵線性