數(shù)字音頻技術(shù)基礎(chǔ)

數(shù)字音頻技術(shù)基礎(chǔ)Part1Part1數(shù)字音頻技術(shù)基礎(chǔ)數(shù)字音頻技術(shù)基礎(chǔ)聲音聲音信號(hào)數(shù)字化采樣與量化音頻質(zhì)量與數(shù)據(jù)量音頻文件的存儲(chǔ)格式語音合成與語音識(shí)別技術(shù)聲音聲波是由機(jī)械振動(dòng)產(chǎn)生的波。當(dāng)聲波進(jìn)入人耳，鼓膜振動(dòng)導(dǎo)致內(nèi)耳里的微細(xì)感骨的振動(dòng)，將神經(jīng)沖動(dòng)傳向大腦，聽者感覺到的這些沖動(dòng)就是聲音。表現(xiàn)形式：語音、自然聲、音樂即音頻信號(hào)可分為：語音信號(hào)與非語音信號(hào)t振幅周期A數(shù)字音頻技術(shù)基礎(chǔ)數(shù)字音頻信號(hào)的處理主要表現(xiàn)在數(shù)據(jù)采樣和編輯加工兩方面。聲音的基本特點(diǎn)

振幅

——表示聲音的強(qiáng)弱

周期——兩個(gè)相鄰聲波之間的時(shí)間長(zhǎng)度，單位(s)

頻率——每秒鐘聲波振動(dòng)的次數(shù)，單位(Hz)頻域——聲音的頻率范圍聲音的方向以振動(dòng)波的形式從聲源向四周傳播。從聲源直接到達(dá)人類聽覺器官的聲音稱為“直達(dá)聲”，直達(dá)聲的方向辨別最容易?，F(xiàn)實(shí)生活中，森林、建筑、各種地貌和景物存在于人們的周圍，聲音從聲源發(fā)出后，一般須經(jīng)過多次反射才能被人們聽到，這就是“反射聲”。聲音的三要素音調(diào)：聲音的高低(與頻率相關(guān))音色：具有特色的聲音(純音與復(fù)音)音強(qiáng)：聲音的強(qiáng)度(與振幅成正比)頻譜、質(zhì)量、連續(xù)時(shí)基性聲音的質(zhì)量簡(jiǎn)稱“音質(zhì)”，音質(zhì)的好壞與音色和頻率范圍有關(guān)。聲音的連續(xù)時(shí)基性：在時(shí)間軸上是連續(xù)的信號(hào)，具有連續(xù)性與過程性。數(shù)字音頻技術(shù)基礎(chǔ)聲音按頻率分類：次聲波可聽聲波超聲波20Hz20kHzf(Hz)人類說話聲音頻率范圍：300Hz-3kHz聲音質(zhì)量的頻率范圍：1020502003.4k7k15k20kCD-DAFM廣播AM廣播電話f(Hz)頻帶聲音的傳播與可聽域聲音依靠介質(zhì)的振動(dòng)進(jìn)行傳播聲源類型頻帶寬度（hz）男性語音100~9000女性語音150~10000電話聲音200~3400電臺(tái)調(diào)幅廣播（AM）50~7000電臺(tái)調(diào)頻廣播（FM）20~15000高級(jí)音響設(shè)備重放聲音20~20000寬帶音響設(shè)備重放聲音10~40000聲音信號(hào)數(shù)字化音頻處理技術(shù)主要包括電聲轉(zhuǎn)換、音頻信號(hào)的存儲(chǔ)、重放技術(shù)、加工處理技術(shù)以及數(shù)字化音頻信號(hào)的編碼、壓縮、傳輸、存取、糾錯(cuò)等。聲音的A/D與D/A轉(zhuǎn)換A/D轉(zhuǎn)換的一個(gè)關(guān)鍵步驟是聲音的采樣和量化，得到數(shù)字音頻信號(hào)，它在時(shí)間上是不連續(xù)的離散信號(hào)。借助A/D或D/A轉(zhuǎn)換器，模擬信號(hào)和數(shù)字信號(hào)可以互相轉(zhuǎn)換采樣與量化聲音信息的數(shù)字化過程是每隔一個(gè)時(shí)間間隔在模擬聲音波形上取一個(gè)幅度值（稱為采樣，采樣的時(shí)間間隔稱為采樣周期），將采樣得到的表示聲音強(qiáng)弱的模擬電壓用數(shù)字表示（稱為量化）。音頻數(shù)字化處理采樣和量化的過程可由A/D轉(zhuǎn)換器實(shí)現(xiàn)。A/D轉(zhuǎn)換器以固定的頻率去采樣，即每個(gè)周期測(cè)量和量化信號(hào)兩次(正負(fù)振幅)。經(jīng)采樣和量化后聲音信號(hào)經(jīng)編碼后就成為數(shù)字音頻信號(hào)，可以將其以文件形式保存在計(jì)算機(jī)的存儲(chǔ)介質(zhì)中，這樣的文件一般稱為數(shù)字聲波文件音頻數(shù)據(jù)采樣信息論的奠基者香農(nóng)（Shannon）指出：在一定條件下，用離散的序列可以完全代表一個(gè)連續(xù)函數(shù)，這是采樣定理的基本內(nèi)容。為實(shí)現(xiàn)A/D轉(zhuǎn)換，需要把模擬音頻信號(hào)波形進(jìn)行分割，這種方法稱為采樣(Sampling)。將采樣值用二進(jìn)制的形式表示成為“量化編碼”聲道數(shù)：一次采樣的聲音波形個(gè)數(shù)。采樣頻率指計(jì)算機(jī)每秒鐘采集多少個(gè)聲音樣本。采樣音頻是連續(xù)的時(shí)間函數(shù)X(t),對(duì)連續(xù)信號(hào)采樣，即按一定的時(shí)間間隔(T)取值，得到X(nT)(n為整數(shù))，T稱為采樣周期、1/T稱為采樣頻率。X(0)、X(T)、X(2T)稱為采樣值。采樣頻率與聲音頻率之間有一定的關(guān)系，根據(jù)奈奎斯特（Nyquist）理論，只有采樣頻率高于聲音信號(hào)最高頻率的兩倍時(shí)，才能把數(shù)字信號(hào)表示的聲音還原成為原來的聲音。聲音信號(hào)數(shù)字化常用的采樣頻率：8kHZ(電話質(zhì)量)11.025kHZ(AM)22.05kHZ(FM)44.1kHZ(CD質(zhì)量)問題：為什么CD的音質(zhì)要比電話音質(zhì)好很多？聲音質(zhì)量的評(píng)價(jià)用聲音信號(hào)的帶寬來衡量聲音的質(zhì)量，等級(jí)由高到低依次是DAT，CD，F(xiàn)M，AM和數(shù)字電話。量化量化的過程是先將采樣后的信號(hào)按整個(gè)聲波的幅度劃分成有限個(gè)區(qū)段的集合，把落入某個(gè)區(qū)段內(nèi)的樣值歸為一類，并賦于相同的量化值。如何分割采樣信號(hào)的幅度呢?我們還是采取二進(jìn)制的方式，以８位(bit)或16位(bit)的方式來劃分縱軸。也就是說在一個(gè)以8位為記錄模式的音效中，其縱軸將會(huì)被劃分為多個(gè)量化等級(jí)，用以記錄其幅度大小。量化以下圖所示的原始模擬波形為例進(jìn)行采樣和量化。假設(shè)采樣頻率為1000次/秒，即每1/1000秒A/D轉(zhuǎn)換器采樣一次，其幅度被劃分成0到9共10個(gè)量化等級(jí)，并將其采樣的幅度值取最接近0~9之間的一個(gè)數(shù)來表示，如下圖所示。圖中每個(gè)正方形表示一次采樣。音頻數(shù)據(jù)采樣、離散、量化過程

(a)劃分為8個(gè)量化級(jí)的示意

(b)按采樣周期切割過程示意(c)對(duì)采樣點(diǎn)進(jìn)行離散化示意

(d)量化過程示意

音頻數(shù)據(jù)采樣、離散、量化過程

00101110111011110110001000100100000076543210

經(jīng)過離散并且量化的音頻信號(hào)，在完成量化后，就可以對(duì)其點(diǎn)進(jìn)行編碼。8級(jí)量化點(diǎn)，可用3位二進(jìn)制數(shù)來表示，如圖中的量化點(diǎn)，其值編碼分別為001、011、101、110、111、101、100、010、001、001、000、000。量化與失真如何減少失真呢？可以直觀地看出，我們可以把上圖中的波形劃分成更為細(xì)小的區(qū)間，即采用更高的采樣頻率。同時(shí)，增加量化精度，以得到更高的量化等級(jí)均勻量化與非均勻量化

非均勻量化的基本思想：對(duì)輸入信號(hào)進(jìn)行量化時(shí)，大的信號(hào)采用大的量化階距，小的輸入信號(hào)采用小的量化階距，這樣可以滿足在采樣精度的要求下用較少的位數(shù)來表示大信號(hào)數(shù)據(jù)。22

律壓擴(kuò)

μ律(μ-Law)壓擴(kuò)主要用在北美和日本等地區(qū)的數(shù)字電話通信中，按下面的式子確定量化輸入和輸出的關(guān)系

23

A律(A-Law)A律(A-Law)壓擴(kuò)主要用在歐洲和中國大陸等地區(qū)的數(shù)字電話通信中，按下面的式子確定量化輸入和輸出的關(guān)系

音頻數(shù)字化采樣頻率越高，數(shù)字化音頻的質(zhì)量也就越高。量化位數(shù)越大，對(duì)音頻信號(hào)的采樣精度就越高聲音數(shù)字化三要素采樣頻率量化位數(shù)聲道數(shù)每秒鐘抽取聲波幅度樣本的次數(shù)每個(gè)采樣點(diǎn)用多少二進(jìn)制位表示數(shù)據(jù)范圍使用聲音通道的個(gè)數(shù)采樣頻率越高聲音質(zhì)量越好數(shù)據(jù)量也越大量化位數(shù)越多音質(zhì)越好數(shù)據(jù)量也越大立體聲比單聲道的表現(xiàn)力豐富，但數(shù)據(jù)量翻倍11.025kHz22.05kHz44.1kHz8位＝256個(gè)值16位＝65536個(gè)值單聲道立體聲

音頻的質(zhì)量與數(shù)據(jù)量數(shù)據(jù)量：v=f×b×s/8其中，v代表數(shù)據(jù)量；f是采樣頻率；b是數(shù)據(jù)位數(shù)；s是聲道數(shù)。

[例]如果一張CD質(zhì)量的參數(shù)為，f=44.1kHz，b=16bit，s=2，則每秒鐘的數(shù)據(jù)量為多少？解：v=（44100Hz×16bit×2）÷8=176400B（約合172KB）比特率比特率，或數(shù)碼率，是指每秒傳送的比特(bit)數(shù)。單位為bps(BitPerSecond)。比特率越高，傳送的數(shù)據(jù)越大，音質(zhì)越好。計(jì)算方法：I=b*f*sCD的比特率為1.4Mb/sMP3：112~128kb/s128Kb/s為手機(jī)立體聲MP3播放器最佳設(shè)定值、低檔MP3播放器最佳設(shè)定值音頻質(zhì)量采樣頻率

kHz采樣精度bit聲道形式數(shù)碼率

kbps頻帶Hz電話88單聲道AM11.0258單聲道50~7000FM16立體聲20~15000CD16立體聲DAT4816立體聲20~200006488.2705.61411.21536200~340020~2000022.0544.1防失真濾波器波形編碼器(采樣器)量化器÷模擬聲音信號(hào)輸入PCM樣本脈沖編碼調(diào)制（PCM）PCM的特點(diǎn)概念最簡(jiǎn)單、理論最完善的編碼系統(tǒng)；最早研制、使用最廣泛的編碼系統(tǒng)；數(shù)據(jù)量最大的編碼系統(tǒng)。原理量化分為均勻量化和非均勻量化。采用的量化方法不同，量化后的數(shù)據(jù)量不同，可以說量化是一種壓縮數(shù)據(jù)的方法增量調(diào)制(DM)增量調(diào)制(DeltaModulation)思想對(duì)實(shí)際信號(hào)與預(yù)測(cè)信號(hào)之差的極性進(jìn)行編碼。步驟：根據(jù)前面的采樣數(shù)據(jù)預(yù)測(cè)下一個(gè)數(shù)據(jù)采樣y[i+1]=y[i]±△；得實(shí)際當(dāng)前采樣信號(hào)輸入，計(jì)算預(yù)測(cè)誤差e=yi-y[i+1]；量化：均勻量化，量化階為△ife>=0then編碼值＝1；ife<0then編碼值＝0特點(diǎn)：1位編碼系統(tǒng)問題：若信號(hào)變化過快，DM輸出不能跟隨，稱為“斜率過載”。這是受到量化階△大小的限制，而△是固定大小的（意味著固定的斜率）。信號(hào)緩變部分，DM輸出出現(xiàn)隨機(jī)“0”和“1”，稱為“粒狀噪聲”，不可消除。在確定△大小時(shí)，粒狀噪聲和斜率過載是相互矛盾的自適應(yīng)增量調(diào)制(ADM)思想使DM的量化階△能自適應(yīng)，根據(jù)輸入信號(hào)的斜率變化自動(dòng)調(diào)節(jié)其大小方法斜率增大，△增大；反之亦然不同方法調(diào)制細(xì)節(jié)不同自適應(yīng)脈沖編碼調(diào)制(APCM)思想根據(jù)輸入信號(hào)幅度大小來改變量化階大小的一種波形編碼技術(shù)自適應(yīng)策略瞬時(shí)自適應(yīng)：每隔幾個(gè)樣本就改變量化階。音節(jié)自適應(yīng)：量化階的大小在較長(zhǎng)時(shí)間周期里發(fā)生變化自適應(yīng)方法前向自適應(yīng)根據(jù)未量化樣本值的均方根值來估算輸入信號(hào)的電平，以此確定量化階的大小，并對(duì)其電平進(jìn)行編碼作為邊信息傳送到接收端。后向自適應(yīng)從量化階剛輸出的過去樣本中來提取量化階信息。本方法可以在解碼端自動(dòng)生成量化階，不需傳送邊信息量化器逆量化器預(yù)測(cè)器－＋＋＋8位PCM樣本差分編碼信號(hào)d(k)dq(k)Sr(k)Se(k-1)S(k)T(k)差分脈沖編碼調(diào)制(DPCM)思想（與PCM的不同之處）PCM：直接對(duì)采樣信號(hào)進(jìn)行量化編碼。DPCM：對(duì)實(shí)際信號(hào)與預(yù)測(cè)信號(hào)之差進(jìn)行編碼，即利用樣本與樣本之間的信息冗余度來進(jìn)行編碼。特點(diǎn)對(duì)差值進(jìn)行編碼，減少了每個(gè)樣本信號(hào)的位數(shù)；存儲(chǔ)或傳送的是差值，降低了數(shù)據(jù)量；適應(yīng)大范圍變化的輸入信號(hào)量化器逆量化器預(yù)測(cè)器－＋＋＋8位PCM樣本差分編碼信號(hào)調(diào)整量化階自適應(yīng)差分脈沖編碼調(diào)制(ADPCM)思想：利用自適應(yīng)改變量化階的大小。小的量化階編碼小的差值，反之亦然。使用過去的樣本估算下一個(gè)輸入樣本的預(yù)測(cè)值，使預(yù)測(cè)誤差最小。特點(diǎn)綜合了APCM和DPCM兩種算法的優(yōu)點(diǎn)，是綜合性能較好的波形編碼算法聲音文件的存儲(chǔ)格式

媒體格式擴(kuò)展名相關(guān)公司或組織主要優(yōu)點(diǎn)主要缺點(diǎn)適用領(lǐng)域WAV wavMicrosoft可通過增加驅(qū)動(dòng)程序而支持各種各樣的編碼技術(shù)不適于傳播和用作聆聽，Windows平臺(tái)下使用音頻原始素材保存mp3Fraunhofer-IISMPEG-1AudioLayer3在低至128kbps的比特率下提供接近CD音質(zhì)的音頻質(zhì)量。廣泛的支持音質(zhì)欠佳一般聆聽和高保真聆聽RealMediara,RealNetworksrma極低的比特率環(huán)境下提供可聽音頻質(zhì)量不適于除網(wǎng)絡(luò)傳播之外的用途。音質(zhì)不是很好網(wǎng)絡(luò)音頻流傳輸聲音文件的存儲(chǔ)格式WindowsMedia功能齊全，使用方便。同時(shí)支持無失真、有失真、語音壓縮方式失真壓縮方式下音質(zhì)不高。平臺(tái)限制音頻檔案級(jí)別保存，一般聆聽，網(wǎng)絡(luò)音頻流傳輸wma,asfMicrosoftMIDMIDIRMIXMI等音頻數(shù)據(jù)為樂器的演奏控制，通常不帶有音頻采樣沒有波表硬件或軟件配合時(shí)播放效果不佳與電子樂器的數(shù)據(jù)交互，樂曲創(chuàng)作等MIDIAssociationOggVorbisOGGXiphFoundation在極低的比特率環(huán)境下提供接近CD音質(zhì)的音頻。開放源代碼，跨平臺(tái)發(fā)展較慢，推廣力度不足一般聆聽和高保真聆聽媒體格式擴(kuò)展名相關(guān)公司或組織主要優(yōu)點(diǎn)主要缺點(diǎn)適用領(lǐng)域ape無失真壓縮。部分開放代碼由于是個(gè)人作品，使用上存在一定風(fēng)險(xiǎn)高保真聆聽和音頻檔案級(jí)別保存MatthewT.AshlandMonkey'sAudioaiff可通過增加驅(qū)動(dòng)程序而支持各種各樣的編碼技術(shù)一般限于蘋果電腦平臺(tái)使用音頻原始素材保存aiffApple

voxvoxDialogic面向語音的編碼文件格式缺乏足夠的信息，不適應(yīng)作存檔用途。淘汰聲音文件的存儲(chǔ)格式媒體格式擴(kuò)展名相關(guān)公司或組織主要優(yōu)點(diǎn)主要缺點(diǎn)適用領(lǐng)域WAV文件采樣、量化后轉(zhuǎn)換的二進(jìn)制數(shù)直接存入磁盤支持PCM、ADPCM等多種編碼，支持多種量化位數(shù)、采樣頻率和聲道。特點(diǎn)：效果穩(wěn)定、一致性好立體聲比單聲道的數(shù)據(jù)量大一倍可真實(shí)記錄任何一種聲源發(fā)出的聲音格式：包含兩個(gè)文件構(gòu)造塊(格式塊以及聲音數(shù)據(jù)塊)時(shí)域TimeDomain頻域FrequencyDomain頻域與時(shí)域時(shí)域TimeDomain頻域FrequencyDomain頻域與時(shí)域

語種languages

性別sex聲音類型Thekindsofvoice笛子flute鋼琴piano中文Chineseviolin小提琴英文English德文Deutsch男聲male女聲female

樂器instrument不同種類的聲音分析

不同類型聲音對(duì)比分析

不同類型聲音對(duì)比分析

不同類型聲音對(duì)比分析

一段語音的時(shí)域波形及其語譜圖語音時(shí)域波形對(duì)應(yīng)的語譜圖語譜圖分析語譜圖語音的時(shí)域分析和頻域分析是語音分析的兩種重要方法。但是這兩種方法均有局限性：時(shí)域分析對(duì)語音信號(hào)的頻率特性沒有直觀的了解；頻域中又沒有語音信號(hào)隨時(shí)間的變化關(guān)系。因此人們致力于研究語音的時(shí)頻分析特性，把和時(shí)序相關(guān)的傅里葉分析的顯示圖形稱為語譜圖。語譜圖語譜圖在1941年由貝爾實(shí)驗(yàn)室研究人員發(fā)明，它試圖用三維的方式顯示語音頻譜特性，縱軸表示頻率，橫軸表示時(shí)間，顏色的深淺表示特定頻帶的能量大小，語譜圖的發(fā)明是語音研究的一個(gè)里程碑，它將語音的許多特征直觀的呈現(xiàn)出來。語譜圖中顯示了大量的與語音的語句特性有關(guān)的信息，它綜合了頻譜圖和時(shí)域波形的特點(diǎn)，明顯地顯示出語音頻譜隨時(shí)間的變化情況，或者說是一種動(dòng)態(tài)的頻譜。一、語譜圖的分類語譜圖分為寬帶語譜圖和窄帶語譜圖兩種。寬帶語譜圖：帶寬約為300Hz，具有良好的時(shí)間分辨率，但是頻率分辨率較差；寬帶語譜圖能給出語音的共振峰頻率及清輔音的能量匯集區(qū)，在語譜圖里共振峰呈現(xiàn)為黑色的條紋。窄帶語譜圖：帶寬約為45Hz,具有良好的頻率分辨率，但是時(shí)間分辨率較差。有利于顯示基音頻率及其各次諧波，不利于觀察共振峰的變化。在不同的語譜圖上所表現(xiàn)的語音特征也不同。二、寬帶語譜圖的典型譜型寬帶語譜圖的典型譜型：寬橫杠（Bar）：代表元音的共振峰位置，表現(xiàn)為圖中與水平時(shí)間軸平行的較寬的黑杠，不同元音的共振峰位置不同，根據(jù)寬帶語譜圖上各橫杠的位置可以區(qū)分不同的元音，不同人發(fā)音的第一共振峰位置會(huì)不同，但其分布結(jié)構(gòu)是相似的。豎直條（spike）代表塞音（b,d,g,p,t,k）或塞擦音（z,zh,j,c,ch,q）,表現(xiàn)為圖中與垂直頻率軸平行的較寬的黑條，在時(shí)間上持續(xù)時(shí)間很短，在頻率軸上集中區(qū)位置隨不同的輔音而不同摩擦亂紋（fill）:代表摩擦音（s,sh,x,f,h）或者送氣音的送氣部分，表現(xiàn)為圖中無規(guī)則的亂紋。51三、窄帶語譜圖的典型譜型窄橫條：代表元音的基音頻率及各次諧波，表現(xiàn)為圖中與水平軸平行的線條，窄橫條在頻率軸的位置對(duì)應(yīng)了音高頻率值，隨時(shí)間軸的曲折、升降變化代表了音高變化的模式無聲間隙段：對(duì)應(yīng)于語音的停頓間隙，在圖中表現(xiàn)為空白區(qū)，在兩種語譜圖中都存在。這種反映語音信號(hào)動(dòng)態(tài)頻譜特性的時(shí)頻圖在語音分析中具有重要的實(shí)用價(jià)值，被稱為“可視語言”語譜圖分析語譜圖中的花紋有橫杠、亂紋和豎直條等橫杠是與時(shí)間軸平行的幾條黑色帶紋，它們是共振峰，從橫杠對(duì)應(yīng)的頻率和帶寬可以確定相應(yīng)的共振峰頻率和帶寬在一個(gè)語音段的語譜圖中，有沒有橫杠出現(xiàn)是判斷它是否是濁音的重要標(biāo)志。豎直條（又叫沖直條）是語譜圖中出現(xiàn)與時(shí)間軸垂直的一條窄黑條。每個(gè)豎直條相當(dāng)于一個(gè)基音，條紋的起點(diǎn)相當(dāng)于聲門脈沖的起點(diǎn)，條紋之間的距離表示基音。條紋越密表示基音頻率越高。53寬帶語譜圖：“畢業(yè)”語譜圖語譜圖因其不同的黑白程度，形成不同的花紋，被稱作“聲紋”從語譜圖上可以看出語音的音調(diào)變化，藍(lán)色的就是音調(diào)同一個(gè)人的語譜圖5個(gè)不同發(fā)音者發(fā)音“0”的語譜圖不同的講話者的語譜圖具有不同的“聲紋”。據(jù)此可以區(qū)別說話人，這與不同的人有不同的指紋，根據(jù)指紋可以區(qū)別不同的人是一個(gè)道理。話者1發(fā)音“0”的結(jié)果話者1另一次發(fā)音“0”的結(jié)果58話者1發(fā)音“0”的結(jié)果話者2發(fā)音“0”的結(jié)果

不同類型聲音對(duì)比分析

不同類型聲音對(duì)比分析幅度時(shí)間

不同類型聲音對(duì)比分析幅度頻率思考：從時(shí)域、頻域、語譜對(duì)不同性別、不同樂器、不同語種的聲音信號(hào)進(jìn)行對(duì)比和分析。聲音信號(hào)數(shù)字化計(jì)算機(jī)聲音有兩種產(chǎn)生途徑一種是通過數(shù)字化錄制直接獲?。úㄐ我纛l）另一種是利用聲音合成技術(shù)實(shí)現(xiàn)（MIDI）聲音合成技術(shù)是用微處理器和數(shù)字信號(hào)處理器代替發(fā)聲部件，模擬出聲音波形數(shù)據(jù)，然后將這些數(shù)據(jù)通過數(shù)模轉(zhuǎn)換器轉(zhuǎn)換成音頻信號(hào)并發(fā)送到放大器，合成出聲音或音樂。MIDI（樂器數(shù)字接口）是在1983年由MIDI制造者協(xié)會(huì)（MMA）提出作為一個(gè)控制電子樂器的標(biāo)準(zhǔn)化串行通信協(xié)議提出的。該協(xié)議允許電子合成器互相通信，而不考慮制造廠家是誰。音階CDEFGAB樂譜音符1234567基頻Hz216293330349392440494音樂合成與MIDI系統(tǒng)

音樂合成技術(shù)音樂基礎(chǔ)知識(shí)音樂的特點(diǎn)時(shí)域——音樂波形呈現(xiàn)周期性變化；頻域——基頻譜和諧波譜（基頻的整數(shù)倍）音樂的四個(gè)要素音高：聲波的基頻，也叫音階音色：由聲音的頻譜決定。不同樂器音色不同，因此能夠區(qū)分音量：聲音強(qiáng)度音長(zhǎng)：樂聲的持續(xù)時(shí)間音樂合成技術(shù)數(shù)字合成技術(shù)使用電子元器件（計(jì)算機(jī)）生成音樂的技術(shù)合成方法頻率調(diào)制（FM）合成法樂音樣本合成法，也稱波形表合成法音樂合成的關(guān)鍵在于解決好音樂各要素的表達(dá)和配合頻率調(diào)制（FM）合成法原理FM電子合成器先由震蕩器產(chǎn)生一個(gè)載波作為基音，然后再產(chǎn)生若干個(gè)調(diào)制波帶著許多泛音加在載波之上，可以對(duì)這個(gè)組合加以任意調(diào)整，然后加上典型的聲音包絡(luò)線（ADSR），再通過數(shù)控濾波器和數(shù)控放大器送往數(shù)字/模擬轉(zhuǎn)換器，從而形成最后的音響包絡(luò)由于一個(gè)物體不可能總是一成不變的振動(dòng)，所以它的頻率和振幅都會(huì)隨著時(shí)間的改變而改變，并最終趨于靜止。把一聲音的發(fā)展過程分為觸發(fā)、衰減、保持和消失四個(gè)階段，統(tǒng)稱為“包絡(luò)”包絡(luò)的發(fā)生時(shí)間，也決定了一個(gè)樂音的時(shí)值組合數(shù)字載波和調(diào)制器波形參數(shù)進(jìn)行數(shù)字運(yùn)算D/A模擬聲音信號(hào)輸出聲音包絡(luò)發(fā)生器ADSR數(shù)字載波調(diào)制波形音調(diào)音量波形頻率深度類型反饋顫音音效A：音量提升速度D：音量降低速度S：樂音維持強(qiáng)度R：聲音回零速度改變頻率改變幅度音調(diào)完整改變音調(diào)周期，可改變顫音特性調(diào)節(jié)電平調(diào)頻音樂（FM）合成原理圖a=1i=0.5fc=1fm=10t=[0:0.1:9]y=a*sin(fc*t+i*sin(fm*t))plot(y)sound(y)調(diào)制信號(hào)載波信號(hào)a=1i=0.1fc=1fm=10a=1i=0.5fc=1fm=10a=1i=0.1fc=1fm=20FM合成原理仿真樂音樣本合成法問題FM合成音樂難度大，有些樂音無法合成解決把真實(shí)樂器發(fā)出的聲音以數(shù)字形式記錄下來，播放時(shí)加以調(diào)整、修飾和放大，生成各種音階的音符采集存放44.1kHz、16位的樂音樣本（CD音質(zhì)），存放在ROM芯片上。播放時(shí)以查表的方式給出，所以這種合成器又叫做波表（wavetable）合成器特點(diǎn)輸入控制參數(shù)比較少，可控制數(shù)字音效不多，聲音質(zhì)量比FM合成方法產(chǎn)生的聲音質(zhì)量要高波形表合成器的工作原理波形表合成器的衡量標(biāo)準(zhǔn)波表庫容量，音調(diào)數(shù)（復(fù)音數(shù)），音色數(shù)，特殊效果硬波表、軟波表與DLS硬波表把樂器波形存放到ROM里，需要時(shí)直接調(diào)用；價(jià)格貴并且不易升級(jí)軟波表把樂器的波形存到硬盤上的某一個(gè)文件里，需要時(shí)通過CPU運(yùn)算調(diào)用，會(huì)占用比較多的CPU資源著名的軟波表有YAMAHA公司的S-YXG系列和ROLAND公司的VSC系列，還有韓國COWON公司的JET-MIDIDLS（DownloadableSoundModules）波表介于硬波表和軟波表之間，能把波表存儲(chǔ)在硬盤上，使用時(shí)再調(diào)入內(nèi)存然后通過聲卡上的專用音效芯片來處理；價(jià)格便宜公式準(zhǔn)備2024/11/1472聲音合成從最簡(jiǎn)單的開始732024/11/1474頻率的基準(zhǔn)點(diǎn)

·鋼琴鍵盤知識(shí)準(zhǔn)備2024/11/1475關(guān)于簡(jiǎn)譜和音高的知識(shí)，在鋼琴的鍵盤上面，排列著黑白雙色的琴鍵，這里引入音高和聲音頻率的關(guān)系式：其中f是聲音的頻率，p是音高。而每個(gè)琴鍵之間差一個(gè)音高，例如：白色琴鍵和白色琴鍵之間是相差了1個(gè)音高（如果中間沒有黑鍵），白色琴鍵和黑色琴鍵之間是差了1個(gè)音高。具體如下圖：2024/11/1476一般情況下，如果簡(jiǎn)譜沒有寫明，則以C4為do,之后的D4，E4，F(xiàn)4，G4，A4，B4分別為re,mi,fa,sol,la,xi，其中C4為一般情況下的do，其音高為60，則D4，E4，F(xiàn)4，G4，A4，B4分別為62，64，65，67，69,71。當(dāng)然了，簡(jiǎn)譜左上角一般都會(huì)寫明以哪一個(gè)為起始的do，例如，《傳奇》中寫明了1=E，即是以E4為do，然后各個(gè)音調(diào)整體向右移兩格，之后的F4，G4，A4，B4，C5，D5分別為re,mi,fa,sol,la,xi2024/11/1477因?yàn)橐皇赘枋怯扇舾蓚€(gè)音符組成，首先對(duì)原歌曲的聲音信號(hào)進(jìn)行傅里葉分析，然后簡(jiǎn)化成不同頻率的sin函數(shù)的和，再乘以其所占的比例。再調(diào)用這些不同的已經(jīng)擬合好的音節(jié)，便可以組成一首歌曲了。

聲音的衰減會(huì)影響音色，并且如果不把衰減加入，會(huì)產(chǎn)生沖擊雜音。因?yàn)橐粋€(gè)音從一個(gè)固定值結(jié)束為0時(shí)，另一個(gè)音的值會(huì)突然從0跳躍到某一個(gè)值，這便產(chǎn)生了脈沖，讓人有噪聲的感覺。2024/11/1478那么什么是聲音的衰減呢，我們都知道當(dāng)我們說話的時(shí)候不可能保持一個(gè)響度，即聲音的振幅，話快說完時(shí)聲音會(huì)減弱，這就是聲音的衰減。我這里為了簡(jiǎn)便，將e^t作為衰減函數(shù)了，并將聲音函數(shù)構(gòu)造如下：

其實(shí)這并不是很完美的一個(gè)方案，每個(gè)音衰減的沖擊消除了，但是每個(gè)音開始的沖擊并沒有消除，但是有改善，那是因?yàn)榭梢詫^t的最小值設(shè)為1，使跳躍的幅度不那么大。真正理想的衰減應(yīng)當(dāng)是類似心電路圖的那種形式，如圖：2024/11/1479

現(xiàn)在我們可以計(jì)算每個(gè)音符的頻率，也就是我們可以單獨(dú)用matlab發(fā)出單個(gè)的音節(jié)了。但是對(duì)于下面的譜子：

我們發(fā)現(xiàn)還有一個(gè)沒有解決的問題：

每個(gè)音符的時(shí)長(zhǎng)2024/11/1480Matlab里面有兩個(gè)函數(shù)：一個(gè)是sound函數(shù)sound（Y，F(xiàn)s，bits),Y為聲音的信號(hào)。Fs為采樣頻率，根據(jù)采樣定理，當(dāng)采樣頻率大于實(shí)際信號(hào)頻率最大值的兩倍時(shí)，采樣之后的信號(hào)可完整保留原始信號(hào)中的信息?？扇×薓P3的標(biāo)準(zhǔn)44.1kHz。bit是字節(jié)數(shù)，數(shù)值越大，聲音在播放時(shí)每秒通過的字節(jié)越多，音質(zhì)越好。同時(shí)，bit的值越大，信噪比越高，即聲音信號(hào)與噪聲信號(hào)的比值越大，說明混在聲音中的噪音越少，CD的標(biāo)準(zhǔn)是16bit,44.1kHz。2024/11/1481另一個(gè)函數(shù)是wavwrite(Y,Fs,bits,‘filename’)，Y，F(xiàn)s，bits和上面的意義相同，需要注意的是，這里的bits要取的大于sound函數(shù)中的bits，以防止聲音信號(hào)的值被裁減掉（即失真）。filename即為你想要保存的文件名2024/11/1482調(diào)整旋律2024/11/1483ASDR2024/11/1484ASDR起音(attack):這段決定聲音從開始發(fā)出到最初的最大音量所需的時(shí)間長(zhǎng)短。在打擊樂音色里這部分當(dāng)然要很短。

衰減(decay):在聲音達(dá)到最大音量后立即發(fā)生衰減的時(shí)間長(zhǎng)短，衰減后的音量大小就是后面保持的音量大小。

保持(sustain):他決定在衰減后音量保持的大小，與其他三個(gè)不同的是他并不代表保持的時(shí)間長(zhǎng)短，形象的說當(dāng)你按下鍵盤不松手，持續(xù)發(fā)聲時(shí)的音量大小就是保持決定的，你按多長(zhǎng)時(shí)間他就保持多長(zhǎng)時(shí)間，所以他不代表時(shí)間長(zhǎng)短。通常保持的音量都低于起音的最高音量，不過也有相同甚至高出起音音量的。

釋音(release):這是聲音最后的階段，代表著聲音從保持的音量逐漸衰減到0電平（最小音量）的時(shí)間長(zhǎng)短。

2024/11/1485wave=wavread('F:\g.wav');[Y,FS]=audioread(FILENAME)2024/11/1486電子樂器數(shù)字接口MIDIMusicalInstrumentDigitalInterface的縮寫，即：電子樂器數(shù)字接口用于在音樂合成器(musicsynthesizers)、樂器(musicalinstruments)和計(jì)算機(jī)之間交換音樂信息的一種標(biāo)準(zhǔn)協(xié)議MIDI不是聲音信號(hào)。是一串時(shí)序命令。原聲鋼琴8分音符的C3音：000060音色Piano編號(hào)音符C3編號(hào)8分音符編號(hào)MIDI與音樂合成MIDI標(biāo)準(zhǔn)MIDI是各種電子音樂設(shè)備之間以及與計(jì)算機(jī)交換信息的國際標(biāo)準(zhǔn)。(Yamaha,Roland)MIDI硬件規(guī)范：硬件接口標(biāo)準(zhǔn)和信號(hào)傳輸機(jī)制(I/O通道類型、連接電纜和插座形式)。MIDI軟件規(guī)范：音樂信息數(shù)字化編碼方式(音符、音符長(zhǎng)短、音調(diào)和音量等)。利用數(shù)字信號(hào)處理技術(shù)合成的音效有：①模仿鋼琴、小提琴、吉他等音色；②超越時(shí)空的太空音樂。電子樂器數(shù)字接口MIDI優(yōu)點(diǎn)：占用的存儲(chǔ)空間較小，易編輯缺點(diǎn)：只與樂器之間發(fā)生緊密的信息聯(lián)系產(chǎn)生方法：FM合成法和樂音樣本(波表)合成法MIDI規(guī)范包含三個(gè)部分：MIDI協(xié)議；標(biāo)準(zhǔn)MIDI文件規(guī)范；MIDI連接器。2006年08月22日第四章音頻處理技術(shù)90兩臺(tái)MIDI設(shè)備之間可以通過接口發(fā)送信息而進(jìn)行相互通信。一臺(tái)MIDI設(shè)備可以有1～3個(gè)端口：MIDIIn接口——接收來自其它MIDI設(shè)備上的MIDI信息；

MIDIOut接口——用來輸出本設(shè)備生成的MIDI信息；

MIDIThru接口——將從MIDIIn端口傳來的信息發(fā)送到另一臺(tái)相聯(lián)的MIDI設(shè)備上。MIDI設(shè)備配置與連接在進(jìn)行MIDI通信時(shí)，用戶可以通過標(biāo)準(zhǔn)的MIDI電纜來相互連接各端口。MIDI電纜是一根屏蔽的雙絞線和兩端帶有插入式的5針D型插頭組成。MIDI與游戲口電纜MIDI接口游戲接口In和OutMIDI設(shè)備配置與連接MIDI設(shè)備配置與連接

多媒體計(jì)算機(jī)與MIDI設(shè)備連接示意聲卡聲卡的功能音頻錄放數(shù)字化音頻采樣頻率范圍：5~44.1kHz；量化位：8/16位；通道數(shù):立體聲/單聲道編碼與壓縮：基本編碼方法為PCM，壓縮編碼方法有ADPCM等，實(shí)時(shí)硬件壓縮/軟件壓縮音頻錄放的自動(dòng)動(dòng)態(tài)濾波錄音聲源：麥克風(fēng)、立體聲線路輸入、CD編輯與音樂合成——對(duì)聲音進(jìn)行各種特殊處理，如倒播、增加回音效果、靜噪音、往返放音、交換聲道等。音樂合成功能和性能主要是依賴于合成芯片。其它接口：MIDI接口、CD-ROM接口，游戲棒接口文語轉(zhuǎn)換和語音識(shí)別：一般聲卡都提供英語文語轉(zhuǎn)換軟件，如SoundBlaster。有的聲卡提供語言識(shí)別軟件聲卡的組成原理線性輸出總線接口芯片數(shù)字音頻處理芯片音樂合成器A/D和D/AMIDI接口混音器CD接口計(jì)算機(jī)總線話筒輸入線性輸入揚(yáng)聲器輸出聲卡的外部接口濾波的意義在于：

面對(duì)一個(gè)復(fù)合頻率，根據(jù)需要，濾掉一部分頻率。概念、定義：

濾波器是針對(duì)對(duì)聲音頻譜進(jìn)行修改的效果器；對(duì)特定頻率進(jìn)行有效提取并對(duì)提取部分進(jìn)行特定的編輯（增、減、刪除），就是濾波。常見的濾波器分為高通、低通、帶通、帶阻4種。未處理的聲音低通濾波器與高通濾波器LPF（Lowpassfilter）HPF（Highpassfilter）帶通濾波器與帶阻濾波器BPF（Bandpassfilter）BRF（Bandrejectionfilter）命令路徑：效果——濾波器——FFT濾波器低通濾波器的應(yīng)用在空氣中傳播的聲音，遇到固體和液體時(shí)，會(huì)有一部分聲音被阻礙，而另一部分聲音則能或穿過、或繞過這些阻礙；多數(shù)情況下，被阻礙的是高頻，穿過、繞過的是低頻；即我們可以使用低通濾波器將高頻減小、濾除，模擬這種受到阻礙的聲音。實(shí)例：隔壁傳來的音樂聲（切除點(diǎn)：880Hz）潛水人聽到岸上的音樂聲（切除點(diǎn)：110Hz）切除點(diǎn)與坡度可根據(jù)具體場(chǎng)景，靈活變化；如，磚墻與石墻的濾波效果不一樣；木門與厚鐵門的濾波效果不一樣；又如，潛水的深度不同，濾波效果也有區(qū)別。此類參數(shù)沒有固定值，下面實(shí)例同理。高通濾波器的應(yīng)用人耳對(duì)高頻比較敏感（等響曲線）;換句話說，要制造同樣響度的高頻和低頻，低頻需要更多的能量，高頻需要較低的能量；耳機(jī)由于功率很小，所以距離遠(yuǎn)的時(shí)候，聲音能量損失很大；這種聲能損失后，低頻能量太小，超出了人耳的感覺閾限，而高頻雖然也有損失，但留下的量仍能刺激人耳聽感。實(shí)例：耳機(jī)里傳來的音樂聲（切除點(diǎn)：3500Hz）低音單元壞掉的音箱（切除點(diǎn)：400Hz）帶通通濾波器的應(yīng)用許多電器發(fā)出的聲音，其頻譜是有“缺陷”的；比如，電話的聽筒，它濾掉了高頻和低頻，只保留對(duì)語言識(shí)別有作用的400Hz~4000Hz；又如，小型收音機(jī)，由于揚(yáng)聲器較差，所以不能發(fā)出200Hz以下、7000Hz以上的頻率；還如，電視機(jī)、對(duì)講機(jī)……實(shí)例：電話（頻帶：400Hz~4000Hz）收音機(jī)（頻帶200Hz~7000Hz）另外，在模擬更“劣質(zhì)”揚(yáng)聲器的時(shí)候，還可以通過設(shè)定最大能量的方式提升某個(gè)頻段，如：語音信號(hào)的冗余度時(shí)域信息的冗余度頻域信息的冗余度人的聽覺感知機(jī)理時(shí)域信息的冗余度幅度的非均勻分布語音中的小幅度樣本比大幅度樣本出現(xiàn)的概率要高又由于通話間隙造成大量低電平樣本實(shí)際講話信號(hào)功率電平也趨向于出現(xiàn)在編碼范圍的較低電平端。樣本間的相關(guān)性采樣數(shù)據(jù)的最大相關(guān)性出現(xiàn)在鄰近樣本間。當(dāng)采樣頻率為8KHz時(shí)，相鄰樣本相關(guān)系數(shù)大于0.85。周期之間的相關(guān)性雖然語音信號(hào)需要300～3400Hz的帶寬，但在特定的瞬間，某一聲音卻往往只是該頻帶內(nèi)的少數(shù)頻率成分在起作用，跟某些振蕩波形一樣，周期與周期之間存在相關(guān)性頻域信息的冗余度非均勻的長(zhǎng)時(shí)功率譜密度呈現(xiàn)強(qiáng)烈的非平坦性。功率譜上的高頻能量較低，恰好對(duì)應(yīng)時(shí)域上相鄰樣本間的相關(guān)性。語音特有的短時(shí)功率譜密度在某些頻率上出現(xiàn)峰值，某些上出現(xiàn)谷值。這些峰值頻率稱為共振峰。人的聽覺感知機(jī)理人的聽覺具有掩蔽效應(yīng)同時(shí)掩蔽同時(shí)發(fā)聲時(shí)，強(qiáng)聲掩蓋弱聲。異時(shí)掩蔽不同時(shí)間先后發(fā)生，強(qiáng)聲使周圍弱聲難以聽見人耳對(duì)不同頻段的聲音的敏感程度不同對(duì)低頻更敏感同樣聲壓級(jí)，人耳實(shí)際感覺到的音量是隨頻率而變化人耳對(duì)語音信號(hào)的相位變化不敏感音頻壓縮編碼的基本方法無失真壓縮音頻壓縮方法有失真壓縮Huffman編碼行程編碼波形編碼參數(shù)編碼混合編碼全頻帶編碼PCMDPCMADPCM子帶編碼自適應(yīng)變換編碼ATC

心理學(xué)模型矢量量化線性預(yù)測(cè)LPC矢量和激勵(lì)線性預(yù)測(cè)VSELP多脈沖線性預(yù)測(cè)MP-LPC碼本激勵(lì)線性預(yù)測(cè)CELP音頻編碼的分類（1）基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼典型技術(shù)：波形編碼目標(biāo)：重建語音波形保持原波形的形狀。編碼方法時(shí)域法：以下均為預(yù)測(cè)編碼PCM（脈沖編碼調(diào)制）、DPCM（差分脈沖編碼調(diào)制）APCM（自適應(yīng)脈沖編碼調(diào)制）、ADPCM（自適應(yīng)差分脈沖編碼調(diào)制）等。頻域法（變換編碼）：SBC（子帶編碼）、ATC（自適應(yīng)變換編碼）、小波編碼等。特點(diǎn)：適應(yīng)性強(qiáng)，音頻質(zhì)量好，但壓縮比不高，因而數(shù)據(jù)率較高音頻編碼的分類（2）基于音頻的聲學(xué)參數(shù)進(jìn)行參數(shù)編碼原理：從語音波形信號(hào)中提取參數(shù)，通過語音生成模型重構(gòu)語音。目標(biāo)：保持原音頻的特性。常用參數(shù)：共振峰、線性預(yù)測(cè)系數(shù)、濾波器組等。特點(diǎn)：數(shù)據(jù)率低，保密性好（用于軍事）；還原信號(hào)質(zhì)量較差，自然度低?；旌暇幋a：結(jié)合（1）和（2）特點(diǎn)：能在較低的碼率上得到較高的音質(zhì)。方法：AbS（時(shí)域合成－分析編譯碼器）、MPE（多脈沖激勵(lì)編譯碼器）、RPE（等間隔脈沖激勵(lì)）CELP（碼本激勵(lì)線性預(yù)測(cè)編碼）、MPLPC（多脈沖激勵(lì)線性預(yù)測(cè)編碼）音頻編碼的分類（3）基于人的聽覺特性進(jìn)行編碼原理：從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應(yīng)，設(shè)計(jì)心理學(xué)模型，從而實(shí)現(xiàn)更高效率的數(shù)學(xué)音頻的壓縮。方法：從MPEG標(biāo)準(zhǔn)中的高頻編碼、DolbyAC－3CCITT(國際電報(bào)電話顧問委員會(huì))、ISO（國際標(biāo)準(zhǔn)化組織）分類算法名稱數(shù)據(jù)率標(biāo)準(zhǔn)應(yīng)用質(zhì)量波形編碼PCM均勻量化公共網(wǎng)ISDN配音4.0-4.5(A)