數(shù)字聲音及應(yīng)用ppt課件

1、5.3 數(shù)字聲音及運(yùn)用數(shù)字聲音及運(yùn)用5.3.1 波形聲音的獲取與播放波形聲音的獲取與播放5.3.2 波形聲音的表示與緊縮編碼波形聲音的表示與緊縮編碼5.3.3 波形聲音的編輯波形聲音的編輯5.3.4 計算機(jī)合成聲音計算機(jī)合成聲音25.3.1 波形聲音的獲取與播放波形聲音的獲取與播放3聲音的特性和類型聲音的特性和類型n聲音由振動產(chǎn)生，經(jīng)過空氣進(jìn)展傳播聲音由振動產(chǎn)生，經(jīng)過空氣進(jìn)展傳播n聲音是一種波，它由許多不同頻率的聲音是一種波，它由許多不同頻率的諧波組成諧波組成n諧波的頻率范圍稱為聲音的諧波的頻率范圍稱為聲音的“帶寬帶寬n計算機(jī)處置的聲音類型：計算機(jī)處置的聲音類型：n話音或語音話音或語音(spe

2、ech)，專指人的說話聲音，帶寬僅為，專指人的說話聲音，帶寬僅為3003400Hzn全頻帶聲音全頻帶聲音(如音樂聲、風(fēng)雨聲、汽車聲等如音樂聲、風(fēng)雨聲、汽車聲等)，其帶寬可到，其帶寬可到達(dá)達(dá)20Hz20kHz n人耳可聽到的聲音統(tǒng)稱人耳可聽到的聲音統(tǒng)稱“可聽聲可聽聲(audio) ，20Hz20kHz4數(shù)字波形聲音的獲取數(shù)字波形聲音的獲取方法：方法：2. 量化量化quantization，模數(shù)轉(zhuǎn)換，模數(shù)轉(zhuǎn)換 )3. 編碼編碼encoding1. 取樣取樣sampling取取 樣樣模擬聲音信號模擬聲音信號取樣的目的是把時間上延取樣的目的是把時間上延續(xù)的信號轉(zhuǎn)換成時間上離續(xù)的信號轉(zhuǎn)換成時間上離散的信

3、號散的信號量量 化化量化是把每個樣本從模擬量化是把每個樣本從模擬量轉(zhuǎn)換成為數(shù)字量量轉(zhuǎn)換成為數(shù)字量(8位或位或16位整數(shù)表示位整數(shù)表示)數(shù)字?jǐn)?shù)字聲音聲音01100011001編編 碼碼將一切樣本的二進(jìn)制將一切樣本的二進(jìn)制代碼組織在一同，并代碼組織在一同，并進(jìn)展數(shù)據(jù)緊縮進(jìn)展數(shù)據(jù)緊縮5數(shù)字波形聲音的獲取設(shè)備數(shù)字波形聲音的獲取設(shè)備n聲音的聯(lián)機(jī)獲取設(shè)備聲音的聯(lián)機(jī)獲取設(shè)備(聲卡聲卡)麥克風(fēng)麥克風(fēng)microphone聲音卡聲音卡sound card聲波轉(zhuǎn)換聲波轉(zhuǎn)換為電信號為電信號取樣、量化、取樣、量化、緊縮和編碼緊縮和編碼模擬聲音模擬聲音數(shù)字聲音數(shù)字聲音n聲音的脫機(jī)獲取設(shè)備：數(shù)碼錄音筆聲音的脫機(jī)獲取設(shè)備：數(shù)

4、碼錄音筆6聲卡的功能與組成聲卡的功能與組成波形聲音的獲取與編碼波形聲音的獲取與編碼波形聲音的重建與播放波形聲音的重建與播放MIDI音訊的輸入音訊的輸入MIDI音樂的合成音樂的合成DSPDMA接口接口PC總線總線取樣，量化取樣，量化D/A重建，濾波重建，濾波聲音輸出聲音輸出聲音輸入聲音輸入音樂合成器音樂合成器mixerMIDI接口接口聲卡的主要功能聲卡的主要功能注：當(dāng)前注：當(dāng)前PC機(jī)的聲卡曾機(jī)的聲卡曾經(jīng)與主板芯片組集成在一經(jīng)與主板芯片組集成在一同，不再做成獨(dú)立的插卡同，不再做成獨(dú)立的插卡 7聲音的重建與播放聲音的重建與播放n計算機(jī)輸出聲音分為兩步：計算機(jī)輸出聲音分為兩步：n1 聲音的重建：把聲音

5、從數(shù)字方式轉(zhuǎn)換成模擬信號方式，聲音的重建：把聲音從數(shù)字方式轉(zhuǎn)換成模擬信號方式，由聲卡完成由聲卡完成2 聲音播放：將模擬聲音信號經(jīng)處置和放大后送到音箱聲音播放：將模擬聲音信號經(jīng)處置和放大后送到音箱(揚(yáng)聲器揚(yáng)聲器)關(guān)于音箱：關(guān)于音箱：普通音箱接納的是重建的模擬聲音信號普通音箱接納的是重建的模擬聲音信號數(shù)字音箱可直接接納數(shù)字聲音信號，聲音失真更小數(shù)字音箱可直接接納數(shù)字聲音信號，聲音失真更小 重建的模擬重建的模擬聲音信號聲音信號數(shù)字?jǐn)?shù)字聲音聲音011010011101插插 值值數(shù)模轉(zhuǎn)換數(shù)模轉(zhuǎn)換解解 碼碼把緊縮編碼的數(shù)字把緊縮編碼的數(shù)字聲音恢復(fù)為緊縮編聲音恢復(fù)為緊縮編碼前的形狀碼前的形狀把聲音樣本從把聲

6、音樣本從數(shù)字量轉(zhuǎn)換為數(shù)字量轉(zhuǎn)換為模擬量模擬量把時間上離散的一組把時間上離散的一組樣本轉(zhuǎn)換成在時間上樣本轉(zhuǎn)換成在時間上延續(xù)的模擬聲音信號延續(xù)的模擬聲音信號85.3.2 波形聲音的表示波形聲音的表示 與緊縮編碼與緊縮編碼9數(shù)字波形聲音的表示及參數(shù)數(shù)字波形聲音的表示及參數(shù)n數(shù)字波形聲音是運(yùn)用二進(jìn)位表示的一種串行比特流，其數(shù)數(shù)字波形聲音是運(yùn)用二進(jìn)位表示的一種串行比特流，其數(shù)據(jù)按時間順序進(jìn)展組織，文件擴(kuò)展名為據(jù)按時間順序進(jìn)展組織，文件擴(kuò)展名為“.wavn數(shù)字波形聲音的主要參數(shù)有：數(shù)字波形聲音的主要參數(shù)有：n取樣頻率：取樣頻率：n語音的取樣頻率低，普通為語音的取樣頻率低，普通為8kHzn全頻帶聲音如音樂的

7、取樣頻率高，普通為全頻帶聲音如音樂的取樣頻率高，普通為44.1kHzn量化位數(shù)：通常為量化位數(shù)：通常為8位、位、12位或位或16位位n聲道數(shù)目：單聲道為聲道數(shù)目：單聲道為1，雙聲道為，雙聲道為2n碼率碼率(比特率比特率)，每秒鐘的數(shù)據(jù)量，每秒鐘的數(shù)據(jù)量10數(shù)字波形聲音碼率的計算數(shù)字波形聲音碼率的計算n未緊縮時數(shù)字波形聲音的碼率計算公式未緊縮時數(shù)字波形聲音的碼率計算公式n 碼率碼率 = = 取樣頻率取樣頻率 量化位數(shù)量化位數(shù) 聲道數(shù)聲道數(shù) n例：例：聲音類型聲音類型聲音信號帶寬聲音信號帶寬(Hz)取樣頻率取樣頻率(kHz)量化位數(shù)量化位數(shù)(bits)聲道聲道數(shù)數(shù)未壓縮時的未壓縮時的碼率碼率數(shù)字語

8、音數(shù)字語音3003 40088164 kb/sCD立體聲立體聲2020 00044.11621141.2(kb/s)n緊縮編碼之后數(shù)字波形聲音的碼率為：緊縮編碼之后數(shù)字波形聲音的碼率為：n 緊縮后的碼率緊縮后的碼率 = = 未緊縮時的碼率未緊縮時的碼率/ /緊縮倍數(shù)緊縮倍數(shù) n例：上面例：上面CDCD唱片的立體聲音樂緊縮為唱片的立體聲音樂緊縮為MP3MP3后，假設(shè)緊縮倍數(shù)后，假設(shè)緊縮倍數(shù)是是1010倍，那么該倍，那么該MP3MP3音樂的碼率是：音樂的碼率是：114kb/s114kb/s左右左右11數(shù)字波形聲音的數(shù)據(jù)緊縮數(shù)字波形聲音的數(shù)據(jù)緊縮n數(shù)字波形聲音的數(shù)據(jù)量很大，例如：數(shù)字波形聲音的數(shù)據(jù)量

9、很大，例如：n數(shù)字語音數(shù)字語音1小時的數(shù)據(jù)量大約是小時的數(shù)據(jù)量大約是30MBnCD立體聲高保真的數(shù)字音樂立體聲高保真的數(shù)字音樂1小時的數(shù)據(jù)量大約是小時的數(shù)據(jù)量大約是635MBn數(shù)據(jù)緊縮的必要性：數(shù)據(jù)緊縮的必要性：n為了降低存儲本錢和提高在網(wǎng)絡(luò)上的傳輸效率為了降低存儲本錢和提高在網(wǎng)絡(luò)上的傳輸效率n數(shù)據(jù)緊縮的能夠性：數(shù)據(jù)緊縮的能夠性：n聲音中包含了大量冗余信息；人耳的靈敏度有限，允許有聲音中包含了大量冗余信息；人耳的靈敏度有限，允許有一定失真一定失真n數(shù)字波形聲音緊縮編碼的方法：數(shù)字波形聲音緊縮編碼的方法：n全頻帶聲音：國際規(guī)范全頻帶聲音：國際規(guī)范MPEG；工業(yè)規(guī)范；工業(yè)規(guī)范Dolby AC-3

10、n數(shù)字語音：固定運(yùn)用數(shù)字語音：固定運(yùn)用ADPCM編碼編碼n 挪動運(yùn)用高效率的混合編碼技術(shù)挪動運(yùn)用高效率的混合編碼技術(shù)12全頻帶數(shù)字音頻編碼的規(guī)范全頻帶數(shù)字音頻編碼的規(guī)范n所謂所謂“MP3音樂就是一種采用音樂就是一種采用MPEG-1層層3編碼的高質(zhì)量數(shù)字聲音編碼的高質(zhì)量數(shù)字聲音, 它能以它能以10倍左右的緊縮比降低高保真數(shù)字聲音的倍左右的緊縮比降低高保真數(shù)字聲音的存儲量，使一張普通存儲量，使一張普通CD光盤上可以存光盤上可以存儲大約儲大約100首首MP3歌曲歌曲 標(biāo)準(zhǔn)名稱標(biāo)準(zhǔn)名稱壓縮后的碼率壓縮后的碼率(每個聲道每個聲道)聲道數(shù)目聲道數(shù)目主要應(yīng)用主要應(yīng)用MPEG-1 audio層層1192 kb

11、ps （壓縮（壓縮4倍）倍）2數(shù)字盒式錄音帶數(shù)字盒式錄音帶MPEG-1 audio層層2128 kbps（壓縮（壓縮6倍）倍）2DAB,VCD,MPEG-1 audio層層364kbps（壓縮（壓縮12倍）倍）2Internet，MP3音樂音樂MPEG-2 audio與與MPEG-1層層1,層層2,層層3相同相同5.1, 7.1同同MPEG-1Dolby AC-364 kbp5.1, 7.1DVD, DTV，家庭影院，家庭影院13什么是流媒體？什么是流媒體？n在因特網(wǎng)上收聽在因特網(wǎng)上收聽(看看)音音(視視)頻節(jié)目的頻節(jié)目的2種方式：種方式：n下載存儲方式：先下載存儲在計算機(jī)中，下載終了后再播下

12、載存儲方式：先下載存儲在計算機(jī)中，下載終了后再播放缺陷：需求等待很長時間，并需求較大的存儲容量放缺陷：需求等待很長時間，并需求較大的存儲容量n流式傳輸方式：邊下載、邊播放優(yōu)點(diǎn)：只需求下載一部流式傳輸方式：邊下載、邊播放優(yōu)點(diǎn)：只需求下載一部分?jǐn)?shù)據(jù)之后分?jǐn)?shù)據(jù)之后, 就可以開場一邊播放一邊下載，等待時間短、就可以開場一邊播放一邊下載，等待時間短、存儲需求小存儲需求小n流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看(聽聽)音視頻媒體的一種技術(shù)音視頻媒體的一種技術(shù)n目前主要有目前主要有3個公司的流媒體產(chǎn)品：個公司的流媒體產(chǎn)品：nReal Networks

13、公司的公司的 Real Median微軟公司的微軟公司的 Windows Media n蘋果公司的蘋果公司的 Quick Time14數(shù)字波形聲音的主要文件格式數(shù)字波形聲音的主要文件格式n.wav波形聲音文件波形聲音文件 n.pcm運(yùn)用運(yùn)用PCM編碼的聲音文件編碼的聲音文件n.mp2MPEG 層層 1 或?qū)踊驅(qū)? 編碼的聲音文件編碼的聲音文件n.mp3MPEG 層層3 編碼的聲音文件編碼的聲音文件n.rm，.ra(RealAudio)RealNetworks的流式聲音文件的流式聲音文件n.wma微軟公司的流式聲音文件微軟公司的流式聲音文件n.aif (Audio Interchangeable

14、 File Format)蘋果公司的蘋果公司的聲音文件聲音文件155.3.3 波形聲音的編輯波形聲音的編輯16波形聲音編輯軟件的功能波形聲音編輯軟件的功能主要功能：主要功能：1 編輯聲音：如聲音剪編輯聲音：如聲音剪輯、復(fù)制、調(diào)理音量輯、復(fù)制、調(diào)理音量2 聲音的效果處置：如聲音的效果處置：如混響、回聲等混響、回聲等3 錄音錄音4 聲音的格式轉(zhuǎn)換聲音的格式轉(zhuǎn)換5 播放聲音播放聲音數(shù)字聲音數(shù)字聲音的參數(shù)的參數(shù)左聲道左聲道信號波形信號波形右聲道右聲道信號波形信號波形淡入淡入淡出淡出時間刻度時間刻度播放標(biāo)尺播放標(biāo)尺聲音編輯軟件的聲音編輯軟件的典型用戶界面典型用戶界面175.3.4 計算機(jī)合成聲音計算機(jī)合

15、成聲音18什么是計算機(jī)合成聲音？什么是計算機(jī)合成聲音？n計算機(jī)合成聲音就是計算機(jī)模擬人說話或演奏音樂計算機(jī)合成聲音就是計算機(jī)模擬人說話或演奏音樂n計算機(jī)合成聲音有兩類：計算機(jī)合成聲音有兩類：n計算機(jī)合成語音：計算機(jī)合成語音：n計算機(jī)模擬人把一段文字朗誦出來，即把文字轉(zhuǎn)換為語音計算機(jī)模擬人把一段文字朗誦出來，即把文字轉(zhuǎn)換為語音簡稱為簡稱為 TTSn運(yùn)用：有聲查詢、文稿校正、言語學(xué)習(xí)、語音秘書、自動運(yùn)用：有聲查詢、文稿校正、言語學(xué)習(xí)、語音秘書、自動報警、殘疾人效力等報警、殘疾人效力等n計算機(jī)合成音樂：計算機(jī)合成音樂：n計算機(jī)模擬各種樂器發(fā)聲并按照樂譜演奏音樂計算機(jī)模擬各種樂器發(fā)聲并按照樂譜演奏音樂

16、n運(yùn)用：計算機(jī)作曲、配器等運(yùn)用：計算機(jī)作曲、配器等19例：計算機(jī)合成的語音例：計算機(jī)合成的語音nHello，everybody 1n他好，我是貝爾實(shí)驗(yàn)室的中文語音合成系統(tǒng)他好，我是貝爾實(shí)驗(yàn)室的中文語音合成系統(tǒng)BellTTS1n南京大學(xué)計算機(jī)系南京大學(xué)計算機(jī)系2019年招收了年招收了202名本科生，名本科生，22名博士名博士生，生，130多名碩士生。中科大訊飛公司多名碩士生。中科大訊飛公司 Belln安徽中科大訊飛信息科技是專門從事中文語音及言語技術(shù)安徽中科大訊飛信息科技是專門從事中文語音及言語技術(shù)軟件軟件 訊飛訊飛n我們都是同行，我們一路同行，去參與人參培植研討會我們都是同行，我們一路同行，去

17、參與人參培植研討會 訊飛訊飛 Bell需求進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力需求進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力20計算機(jī)合成音樂計算機(jī)合成音樂MIDI音樂音樂合成器合成器音樂音樂MIDI文件文件媒體媒體播放器播放器MIDI音訊音訊n計算機(jī)合成音樂需求三個要素：樂器、樂譜和計算機(jī)合成音樂需求三個要素：樂器、樂譜和“演奏員演奏員 聲卡上的音樂合成聲卡上的音樂合成器能像電子琴一樣器能像電子琴一樣模擬幾十種不同的模擬幾十種不同的樂器發(fā)出聲音，它樂器發(fā)出聲音，它按照按照MIDI音訊合成音訊合成出不同音色和音調(diào)出不同音色和音調(diào)的音符，經(jīng)過揚(yáng)聲的音符，經(jīng)過揚(yáng)聲

18、器播放出音樂來器播放出音樂來 樂譜在計算機(jī)中運(yùn)用樂譜在計算機(jī)中運(yùn)用一種叫做一種叫做MIDI的音樂的音樂描畫言語來表示。運(yùn)描畫言語來表示。運(yùn)用用MIDI描畫的音樂稱描畫的音樂稱為為MIDI音樂。一首樂音樂。一首樂曲對應(yīng)一個曲對應(yīng)一個MIDI文件，文件，其文件擴(kuò)展名其文件擴(kuò)展名為為 .MID或或 .MIDI媒體播放器軟件相當(dāng)媒體播放器軟件相當(dāng)于于“演奏員。播放演奏員。播放MIDI音樂時，它先從音樂時，它先從磁盤上讀入磁盤上讀入.MID文件，文件，解釋其內(nèi)容，然后以解釋其內(nèi)容，然后以MIDI音訊的方式向聲音訊的方式向聲卡上的音樂合成器發(fā)卡上的音樂合成器發(fā)出各種指令出各種指令21例：計算機(jī)合成的例：計算機(jī)合成的MIDI音樂音樂n例例1 音樂之聲音樂之聲6KB n例例2 軍港之夜軍港之夜7KBnMIDI的優(yōu)點(diǎn)：的優(yōu)點(diǎn)：n數(shù)據(jù)量極小比數(shù)據(jù)量極小比CD立體聲少立體聲少3個數(shù)量級，比個數(shù)量級，比MP3少少3個數(shù)量個數(shù)量級級n易于制造和編輯修正易于制造和編輯修正n可以與波形聲音同時播放可以與波形聲音同時播放nMIDI的缺乏：的缺乏：n只能合成音樂，不能合成歌曲和言語只能合成音樂，不能合成歌曲和言語n音質(zhì)與硬件設(shè)備相