數(shù)字聲音及MIDI簡介

MMTYANGZHOUDAXUE物理科學(xué)與技術(shù)學(xué)院第二講數(shù)字聲音及MIDI簡介

聲音是攜帶信息的極其重要的媒體(20%)，是多媒體技術(shù)研究中的一個重要內(nèi)容。聲音的種類繁多，如人的話音、樂器聲、動物發(fā)出的聲音、機器產(chǎn)生的聲音以及自然界的聲音等。這些聲音有許多共同的特性，也有它們各自的特性。在用計算機處理這些聲音時，既要考慮它們的共性，又要利用它們的各自的特性。我們將研究聲音的基礎(chǔ)知識，掌握聲音數(shù)字化的兩個最基本的概念；了解基本的音頻信號編碼技術(shù)。第1節(jié)聲音聲音是通過空氣傳播的一種連續(xù)的波，叫聲波。反射(reflection)、折射(refraction)和衍射(diffraction)聲音信號是由許多頻率不同的分量信號組成的復(fù)合信號。復(fù)合信號的頻率范圍稱為帶寬。聲音的本質(zhì)帶寬為20Hz－20kHz的信號稱為音頻（audio）信號，可以被人的耳朵感知。話音信號帶寬在80Hz～3400Hz。頻率決定音調(diào)。

響度（音量）表示的是聲音能量的強弱程度，主要取決于聲波振幅的大小。用聲壓(達因／平方厘米，牛頓／平方米)或聲強(瓦特／平方厘米)來計量。聲壓的單位為帕(Pa)。人耳對lkHz、10-16W/cm2的純音剛能聽到。聲強級表示響度的相對量，它定義為某響度與10-16W/cm2比值的對數(shù)值乘以10，單位為dB。正常人聽覺的強度范圍為0dB—120dB。聲音與聽覺樂音以小提琴為例，當(dāng)它的A弦振動時，并不僅僅是整根弦在振動，這根弦的二分之一、三分之一、四分之一、五分之一……處都在振動著。于是，整根弦的振動產(chǎn)生了最主要的頻率，我們稱之為基音，而弦長的二分之一、三分之一、四分之一等處的振動則產(chǎn)生了一些次要的頻率，我們稱之為泛音。如果一個物體振動所發(fā)出的泛音為基音的整數(shù)倍，這個音就會具有清晰可辨的音高，我們稱之為樂音，如鋼琴，小提琴等發(fā)出的都是樂音；如果泛音是基音的非整數(shù)倍，這個音就不具備清晰可辨的音高，我們稱之為噪音，如汽車發(fā)動機、計算機風(fēng)扇等發(fā)出的都是噪音。

基音和混入基音的泛音決定音色。聲音的三要素音調(diào)、音強、音色為聲音的三要素。音強（響度）取決于聲音的幅度。音調(diào)取決于聲音的頻率。音色是由混入基音的泛音所決定的。聲音的聽覺特性聲音的方向性人的耳朵對聲音強度和頻率的反應(yīng)成對數(shù)形式聲音的掩蔽特性（時域掩蔽、頻域掩蔽）聲音質(zhì)量的度量聲音的質(zhì)量與聲音的帶寬有關(guān)，一般來說頻率范圍越寬，聲音質(zhì)量也就越高。聲音類型帶寬電話語音200Hz－3.4kHz調(diào)幅廣播(AM)50Hz－7kHz調(diào)頻廣播(FM)20Hz－15kHzCD10Hz－20kHz信噪比（SNR）度量指試聽者要把語音編碼器的輸出按質(zhì)量分為：優(yōu)（5分）、良（4分）、中（3分）、差（2分）、劣（1分）或分類為：察覺不到（5分），稍稍察覺到但無不適感（4分），能察覺且有不適感（3分），有不適感但還能忍受（2分），很不適且無法忍受（1分）主觀平均判分法（MOS，MeanOpinionScore

）第2節(jié)聲音信號數(shù)字化聲音信號是典型的連續(xù)信號，不僅在時間上是連續(xù)的，而且在幅度上也是連續(xù)的。聲音進入計算機的第一步就是數(shù)字化，數(shù)字化過程中最重要的步驟就是采樣和量化。采樣（sampling）：將聲音信號在時間上離散化，即每隔相等的一段時間抽取一個信號樣本。量化（quantization）：將連續(xù)的信號幅度離散化。如果幅度的劃分是等間隔的，稱為線性量化，否則為非線性量化。一般緊跟編碼過程。

電壓范圍量化步長量化結(jié)果

編碼逆量化結(jié)果5~723 01163~522 01041~321 0012-1~1200000-3~-12-1 111-2-5~-32-2 110-4-7~-52-3 101-6-9~-72-4 100-8多媒體數(shù)據(jù)的量化一般通過除以量化步長量化為整數(shù)。逆量化就是乘以量化步長。量化步長越長，壓縮字節(jié)越多，但是誤差越大。量化步長越短，壓縮字節(jié)越少，但是誤差越小。量化除了有使幅度離散的作用外，同時：（1）壓縮字節(jié)（2）產(chǎn)生量化誤差（量化誤差：逆量化的結(jié)果和原始信號幅值之差，也稱為量化噪聲。

）采樣頻率奈奎斯特理論指出：采樣頻率不應(yīng)低于聲音信號最高頻率的兩倍，這樣就能把以數(shù)字表達的聲音還原成原來的聲音，稱為無損數(shù)字化。

fs

>=

2fmax例如話音信號最高頻率約為3.4kHz，所以采樣頻率取為8kHz。采樣精度每個聲音樣本的數(shù)字化位數(shù)。反映聲音波形幅度的采樣精度。也直接決定數(shù)據(jù)率的大小。質(zhì)量采樣頻率（kHz）樣本精度（bit）單道聲/立體聲數(shù)據(jù)率（kb/s）電話88單道聲64AM11.0258單道聲88.2FM22.05016立體聲705.6CD44.116立體聲1411.2人－機通信，計算機接收音頻信號。獲取、語音識別與理解。機－人通信，計算機輸出音頻。音頻合成；聲音重構(gòu)、模擬。產(chǎn)生真實感聲音。人－機－人通信，人通過網(wǎng)絡(luò)進行語音通信，需要的處理包括：語音采集、編碼解碼、傳輸、檢索，識別。音頻信號處理的內(nèi)容第3節(jié)音頻處理技術(shù)關(guān)于音頻信號的幾個問題奈奎斯特（Nyquist）理論與混迭效應(yīng)量化信號的時域與頻率特征人耳對音頻信號的理解信號的表示和編碼信號的重構(gòu)音頻信號處理的流程原始聲音信號聲電信號轉(zhuǎn)換低通濾波模擬數(shù)字轉(zhuǎn)換數(shù)字信號處理傳輸存儲聲音合成功率放大數(shù)字模擬轉(zhuǎn)換電聲信號轉(zhuǎn)換音頻信號處理的重要硬件就是音頻卡。音頻卡結(jié)構(gòu)第4節(jié)WAVE音效和MIDI音樂Wave音效合成與MIDI音樂合成是聲卡最主要的功能。WAVE音效合成是由聲卡的AD模數(shù)轉(zhuǎn)換器和DA數(shù)模轉(zhuǎn)換器來完成的。模擬音頻信號經(jīng)AD轉(zhuǎn)換后為數(shù)字音頻后，以文件形式將數(shù)據(jù)直接存放在磁盤等介質(zhì)上，成為聲音文件。這類文件我們稱之為waveform文件，通常以.wav為擴展名，因此也稱為wav文件。缺點：wav文件需要占用很大的貯存空間。為了節(jié)省存貯空間，人們使用各種算法對wav文件進行壓縮，時下極為流行的MP3就是一種高壓縮比低失真的壓縮算法。WAVE文件格式

偏移地址字節(jié)數(shù)數(shù)據(jù)類型內(nèi)

容

文件頭42字節(jié)00H4char"RIFF"標(biāo)志04H4longint文件長度-8字節(jié)08H4char"WAVE"標(biāo)志0CH4char"fmt"標(biāo)志10H4

過渡字節(jié)（不定）14H2int格式類別（01H為PCM形式的聲音數(shù)據(jù))16H2int通道數(shù)，單聲道為1，雙聲道為218H2int采樣率（每秒樣本數(shù)），表示每個通道的播放速度，1CH4longint波形音頻數(shù)據(jù)傳送速率，其值為通道數(shù)×每秒數(shù)據(jù)位數(shù)×每樣本的數(shù)據(jù)位數(shù)／8。播放軟件利用此值可以估計緩沖區(qū)的大小。20H2int數(shù)據(jù)塊的調(diào)整數(shù)（按字節(jié)算的），其值為通道數(shù)×每樣本的數(shù)據(jù)位值／8。播放軟件需要一次處理多個該值大小的字節(jié)數(shù)據(jù)，以便將其值用于緩沖區(qū)的調(diào)整。22H2

每樣本的數(shù)據(jù)位數(shù)，表示每個聲道中各個樣本的數(shù)據(jù)位數(shù)。如果有多個聲道，對每個聲道而言，樣本大小都一樣。24H4char數(shù)據(jù)標(biāo)記符＂data＂28H4longint語音數(shù)據(jù)的長度8位單聲道0聲道0聲道0聲道0聲道8位立體聲0（左）聲道1（右）聲道0（左）聲道1（右）聲道16位單聲道0聲道低字節(jié)0聲道高字節(jié)0聲道低字節(jié)0聲道高字節(jié)16位立體聲0聲道低字節(jié)0聲道高字節(jié)1聲道低字節(jié)1聲道高字節(jié)PCM數(shù)據(jù)（WAV文件音頻數(shù)據(jù)）的存放方式

PCM波形樣本的數(shù)據(jù)格式樣本大小數(shù)據(jù)格式最大值最小值8位PCMunsignedint255016位PCMint32767-32767（MIDI）

MusicalinstrumentdigitalinterfaceMIDI，即樂器數(shù)字化接口，是一種用于計算機與電子樂器之間進行數(shù)據(jù)交換的通信標(biāo)準(zhǔn)。MIDI文件（以.mid為文件擴展名）記錄了用于合成MIDI音樂的各種控制指令，包括發(fā)聲樂器、所用通道、音量大小等。由于MIDI文件本身不包含任何數(shù)字音頻信號，因而所占的貯存空間比wav文件要小得多。從80年代初問世至今，MIDI經(jīng)歷了長時間的發(fā)展，現(xiàn)已成為電腦音樂的代名詞。MIDI的發(fā)展與電子音樂合成密不可分。電子音樂合成使用電子元器件（計算機）生成音樂的技術(shù)稱為電子音樂合成。電子音樂合成方法分為兩類：FM頻率調(diào)制合成音樂樣本合成頻率調(diào)制（FM）合成法數(shù)字式頻率調(diào)制合成法，簡稱為FM合成法。FM電子合成器先由震蕩器產(chǎn)生一個載波作為基音，然后再產(chǎn)生若干個調(diào)制波帶著許多泛音加在載波之上，可以對這個組合加以任意調(diào)整，然后加上典型的聲音包絡(luò)線（ADSR），再通過數(shù)控濾波器和數(shù)控放大器送往數(shù)字/模擬轉(zhuǎn)換器，從而形成最后的聲音。由于一個物體不可能總是一成不變的振動，所以它的頻率和振幅都會隨著時間的改變而改變，并最終趨于靜止。我們把一聲音的發(fā)展過程分為四個階段，分別是觸發(fā)、衰減、保持和消失。這四個階段我們統(tǒng)稱為“包絡(luò)”。包絡(luò)的發(fā)生時間，也決定了一個樂音的時值。

由以下五部分組成：數(shù)字載波器調(diào)制器聲音包絡(luò)發(fā)生器數(shù)字運算器模數(shù)轉(zhuǎn)換器頻率調(diào)制（FM）合成法FM聲音合成器的工作原理從理論上講，F(xiàn)M合成方法可以產(chǎn)生任何樂音，但是，合成出來的聲音不夠真實。FM合成法的發(fā)明人：JohnChowning

20世紀(jì)60年代，在斯坦福大學(xué)和他的同事研究FM理論和合成技術(shù)，1966年研究成功，成為使用FM制作并錄音的第一人。之后JohnChowning通過斯坦福大學(xué)尋找美國的制造商。被YAMAHA采用。樂音樣本合成法樂音樣本合成法是把真實樂器發(fā)出的聲音以數(shù)字的形式記錄下來，播放時再加以調(diào)整、修飾和放大，生成各種音階的音符。樂音樣本通常放在ROM芯片上，播放時以查表的方式給出，所以這種合成器又叫做波表（wavetable）合成器。Wavetable合成器的工作原理Wavetable合成器所需要的輸入控制參數(shù)比較少，可控的數(shù)字音效也不多，大多數(shù)采用這種合成方法的聲音設(shè)備都可以控制聲音包絡(luò)的ADSR參數(shù)，產(chǎn)生的聲音質(zhì)量比FM合成方法產(chǎn)生的聲音質(zhì)量要高。樂音樣本合成法MIDI實質(zhì)上是由MIDI控制器（或MIDI文件）產(chǎn)生的指示電子音樂合成器要做什么、怎么做（如演奏某個音符、加大音量、生成音響效果）的一套標(biāo)準(zhǔn)指令。MIDI不是聲音信號，在MIDI電纜上傳送的不是聲音，而是動作指令（MIDI文件）。MIDI設(shè)備的簡單聯(lián)接MIDI硬件各個MIDI設(shè)備通過專用的串行電纜(MIDI線)連接，并以31.25kb/s（每字節(jié)10位）的速度傳送著數(shù)字音樂信息。MIDIThruOutInMIDI的物理接口標(biāo)準(zhǔn)MIDI通道的概念單個物理MIDI通道分為16個邏輯通道，每個邏輯通道可指定一種樂器。MIDI鍵盤可設(shè)置在這16個通道中的任何一個，MIDI合成器可以被設(shè)置在指定的通道上接收MIDI指令。

MIDI設(shè)備的復(fù)雜連接把MIDI理解成一種局域網(wǎng)，網(wǎng)絡(luò)各個部分通過專用的串行電纜(MIDI線)連接。指定各聲音模塊播放某一個通道。音序器規(guī)定發(fā)聲順序。

輸入設(shè)備，音序器，音源（聲音模塊）是MIDI系統(tǒng)重要的三個部分。MIDI指令舉例

演奏員按下MIDI鍵盤中間的一個“C”鍵時，MIDI鍵盤就會發(fā)送一個三字節(jié)組成的消息，用16