第5章53數(shù)字聲音及應(yīng)用.ppt

1、5.3 數(shù)字聲音及應(yīng)用,5.3.1 波形聲音的獲取與播放 5.3.2 波形聲音的表示與壓縮編碼 5.3.3 波形聲音的編輯 5.3.4 計(jì)算機(jī)合成聲音,5.3.1 波形聲音的獲取與播放,聲音的特性和類型,聲音由振動(dòng)產(chǎn)生，通過空氣進(jìn)行傳播 聲音是一種波，它由許多不同頻率的諧波組成 諧波的頻率范圍稱為聲音的“帶寬”,計(jì)算機(jī)處理的聲音類型： 話音或語(yǔ)音(speech)，專指人的說(shuō)話聲音，帶寬僅為3003400Hz 全頻帶聲音(如音樂聲、風(fēng)雨聲、汽車聲等)，其帶寬可達(dá)到20Hz20kHz 人耳可聽到的聲音統(tǒng)稱“可聽聲”(audio) ，20Hz20kHz,數(shù)字波形聲音的獲取,方法：,2. 量化（qua

2、ntization，模數(shù)轉(zhuǎn)換 ),3. 編碼（encoding）,1. 取樣（sampling）,數(shù)字波形聲音的獲取設(shè)備,聲音的聯(lián)機(jī)獲取設(shè)備(聲卡),聲音的脫機(jī)獲取設(shè)備：數(shù)碼錄音筆,聲卡的功能與組成,波形聲音的獲取與編碼 波形聲音的重建與播放 MIDI消息的輸入 MIDI音樂的合成,注：當(dāng)前PC機(jī)的聲卡已經(jīng)與主板芯片組集成在一起，不再做成獨(dú)立的插卡,聲音的重建與播放,計(jì)算機(jī)輸出聲音分為兩步： 1 聲音的重建：把聲音從數(shù)字形式轉(zhuǎn)換成模擬信號(hào)形式，由聲卡完成,2 聲音播放：將模擬聲音信號(hào)經(jīng)處理和放大后送到音箱(揚(yáng)聲器) 關(guān)于音箱： 普通音箱接收的是重建的模擬聲音信號(hào) 數(shù)字音箱可直接接收數(shù)字聲音信號(hào)

3、，聲音失真更小,5.3.2 波形聲音的表示 與壓縮編碼,數(shù)字波形聲音的表示及參數(shù),數(shù)字波形聲音是使用二進(jìn)位表示的一種串行比特流，其數(shù)據(jù)按時(shí)間順序進(jìn)行組織，文件擴(kuò)展名為“.wav” 數(shù)字波形聲音的主要參數(shù)有： 取樣頻率： 語(yǔ)音的取樣頻率低，一般為8kHz 全頻帶聲音（如音樂）的取樣頻率高，一般為44.1kHz 量化位數(shù)：通常為8位、12位或16位 聲道數(shù)目：?jiǎn)温暤罏?，雙聲道為2 碼率(比特率)，每秒鐘的數(shù)據(jù)量,數(shù)字波形聲音碼率的計(jì)算,未壓縮時(shí)數(shù)字波形聲音的碼率計(jì)算公式 碼率 = 取樣頻率 量化位數(shù) 聲道數(shù) 例：,壓縮編碼之后數(shù)字波形聲音的碼率為： 壓縮后的碼率 = 未壓縮時(shí)的碼率/壓縮倍數(shù) 例

4、：上面CD唱片的立體聲音樂壓縮為MP3后，若壓縮倍數(shù)是10倍，則該MP3音樂的碼率是：114kb/s左右,數(shù)字波形聲音的數(shù)據(jù)壓縮,數(shù)字波形聲音的數(shù)據(jù)量很大，例如： 數(shù)字語(yǔ)音1小時(shí)的數(shù)據(jù)量大約是30MB CD立體聲高保真的數(shù)字音樂1小時(shí)的數(shù)據(jù)量大約是635MB 數(shù)據(jù)壓縮的必要性： 為了降低存儲(chǔ)成本和提高在網(wǎng)絡(luò)上的傳輸效率 數(shù)據(jù)壓縮的可能性： 聲音中包含了大量冗余信息；人耳的靈敏度有限，允許有一定失真 數(shù)字波形聲音壓縮編碼的方法： 全頻帶聲音：國(guó)際標(biāo)準(zhǔn)MPEG；工業(yè)標(biāo)準(zhǔn)Dolby AC-3 數(shù)字語(yǔ)音：固定電話使用ADPCM編碼 移動(dòng)電話使用高效率的混合編碼技術(shù),全頻帶數(shù)字音頻編碼的標(biāo)準(zhǔn),所謂“MP

5、3音樂”就是一種采用MPEG-1層3編碼的高質(zhì)量數(shù)字聲音, 它能以10倍左右的壓縮比降低高保真數(shù)字聲音的存儲(chǔ)量，使一張普通CD光盤上可以存儲(chǔ)大約100首MP3歌曲,附：MP3播放器的結(jié)構(gòu)與原理,嵌入式處理器用于運(yùn)行控制程序，控制各個(gè)部件協(xié)調(diào)工作：它接收控制按鍵的操作命令，從閃爍存儲(chǔ)器讀取MP3音樂數(shù)據(jù)送到DSP去解碼；顯示播放器的工作狀態(tài)；負(fù)責(zé)與主機(jī)連接并交換數(shù)據(jù)等等,數(shù)字信號(hào)處理器DSP完成MP3數(shù)據(jù)流的解碼操作，并輸出波形格式的數(shù)字音頻信號(hào)，經(jīng)數(shù)模轉(zhuǎn)換和功率放大之后，用戶即可聽到聲音,存放MP3音樂數(shù)據(jù)，容量越大，可存放的歌曲數(shù)目就越多,存放MP3播放器的控制程序,顯示MP3播放器的工作狀

6、態(tài)和歌曲的歌詞,什么是流媒體？,在因特網(wǎng)上收聽(看)音(視)頻節(jié)目的2種方式： 下載存儲(chǔ)方式：先下載存儲(chǔ)在計(jì)算機(jī)中，下載完畢后再播放（缺點(diǎn)：需要等待很長(zhǎng)時(shí)間，并需要較大的存儲(chǔ)容量） 流式傳輸方式：邊下載、邊播放（優(yōu)點(diǎn)：只需要下載一部分?jǐn)?shù)據(jù)之后, 就可以開始一邊播放一邊下載，等待時(shí)間短、存儲(chǔ)需求?。?流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看(聽)音視頻媒體的一種技術(shù) 目前主要有3個(gè)公司的流媒體產(chǎn)品： Real Networks公司的 Real Media 微軟公司的 Windows Media 蘋果公司的 Quick Time,附：流媒體是如何工作的？,流媒體 播放軟件,Web服務(wù)器,W

7、eb 瀏覽器,網(wǎng) 頁(yè),（客戶計(jì)算機(jī)）,http協(xié)議,3 點(diǎn)擊流媒體節(jié)目，啟動(dòng)流媒體播放程序,RTSP/TCP,RTP/UDP,6 播放器可以邊播放邊接收數(shù)據(jù)，并可以控制播放、暫停、快進(jìn)、快倒等,5 將音(視)頻節(jié)目傳輸給客戶計(jì)算機(jī),RTCP/UDP,HTML網(wǎng)頁(yè),1 請(qǐng)求網(wǎng)頁(yè),2 服務(wù)器送回網(wǎng)頁(yè),4 向流媒體服務(wù)器發(fā)出請(qǐng)求,數(shù)字波形聲音的主要文件格式,.wav波形聲音文件 .pcm使用PCM編碼的聲音文件 .mp2MPEG 層 1 或?qū)? 編碼的聲音文件 .mp3MPEG 層3 編碼的聲音文件 .rm，.ra(RealAudio)RealNetworks的流式聲音文件 .wma微軟公司的流式聲

8、音文件 .aif (Audio Interchangeable File Format)蘋果公司的聲音文件,5.3.3 波形聲音的編輯,波形聲音編輯軟件的功能,主要功能： 1 編輯聲音：如聲音剪輯、復(fù)制、調(diào)節(jié)音量 2 聲音的效果處理：如混響、回聲等 3 錄音 4 聲音的格式轉(zhuǎn)換 5 播放聲音,聲音編輯軟件的 典型用戶界面,5.3.4 計(jì)算機(jī)合成聲音,什么是計(jì)算機(jī)合成聲音？,計(jì)算機(jī)合成聲音就是計(jì)算機(jī)模仿人說(shuō)話或演奏音樂 計(jì)算機(jī)合成聲音有兩類： 計(jì)算機(jī)合成語(yǔ)音： 計(jì)算機(jī)模仿人把一段文字朗讀出來(lái)，即把文字轉(zhuǎn)換為語(yǔ)音（簡(jiǎn)稱為 TTS） 應(yīng)用：有聲查詢、文稿校對(duì)、語(yǔ)言學(xué)習(xí)、語(yǔ)音秘書、自動(dòng)報(bào)警、殘疾人服務(wù)

9、等 計(jì)算機(jī)合成音樂： 計(jì)算機(jī)模擬各種樂器發(fā)聲并按照樂譜演奏音樂 應(yīng)用：計(jì)算機(jī)作曲、配器等,例：計(jì)算機(jī)合成的語(yǔ)音,Hello，everybody （1） 你好，我是貝爾實(shí)驗(yàn)室的中文語(yǔ)音合成系統(tǒng)（BellTTS1） 南京大學(xué)計(jì)算機(jī)系2002年招收了202名本科生，22名博士生，130多名碩士生。（中科大訊飛公司） （Bell） 安徽中科大訊飛信息科技有限公司是專門從事中文語(yǔ)音及語(yǔ)言技術(shù)軟件 （訊飛） 我們都是同行，我們一路同行，去參加人參培植研討會(huì) （訊飛） （Bell）,需要進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力,計(jì)算機(jī)合成音樂（MIDI）,計(jì)算機(jī)合成音樂需要三個(gè)要素：樂器、樂

10、譜和“演奏員”,聲卡上的音樂合成器能像電子琴一樣模仿幾十種不同的樂器發(fā)出聲音，它按照MIDI消息合成出不同音色和音調(diào)的音符，通過揚(yáng)聲器播放出音樂來(lái),樂譜在計(jì)算機(jī)中使用一種叫做MIDI的音樂描述語(yǔ)言來(lái)表示。使用MIDI描述的音樂稱為MIDI音樂。一首樂曲對(duì)應(yīng)一個(gè)MIDI文件，其文件擴(kuò)展名為 .MID或 .MIDI,媒體播放器軟件相當(dāng)于“演奏員”。播放MIDI音樂時(shí)，它先從磁盤上讀入.MID文件，解釋其內(nèi)容，然后以MIDI消息的形式向聲卡上的音樂合成器發(fā)出各種指令,例：計(jì)算機(jī)合成的MIDI音樂,例1 音樂之聲（6KB） 例2 軍港之夜（7KB） MIDI的優(yōu)點(diǎn)： 數(shù)據(jù)量極?。ū菴D立體聲少3個(gè)數(shù)量級(jí)，比MP3少3個(gè)數(shù)量級(jí)） 易于制作和編輯修改 可以與波形聲音同時(shí)播放 MIDI的不足： 只能合成音樂，不能合成歌曲和語(yǔ)言 音質(zhì)