多媒體音頻信息處理技術(shù)

多媒體音頻信息處理技術(shù)第1頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1認(rèn)識(shí)聲音4.1.1聲音處理技術(shù)的歷史回顧4.1.2聲音信號(hào)的形式與特征4.1.3聲音質(zhì)量的評(píng)價(jià)第2頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.1聲音處理技術(shù)的歷史回顧1.自古以來(lái)人類(lèi)很早就開(kāi)始研究聲音，并利用當(dāng)時(shí)已掌握的聲音的某些規(guī)律來(lái)制造樂(lè)器、進(jìn)行建筑設(shè)計(jì)或傳聲裝置設(shè)計(jì)等，使聲音更悅耳動(dòng)聽(tīng)或傳得更遠(yuǎn)。請(qǐng)舉出古代利用聲音的例子天壇的回音壁、三音石，古代樂(lè)器，等鐵路工人用鐵錘敲擊鐵軌、醫(yī)生的聽(tīng)診器、行軍打仗的號(hào)角鼓聲這個(gè)時(shí)期，聲音處理技術(shù)的特征：憑耳朵辨別聲音，不能記錄和存儲(chǔ)聲音第3頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.1聲音處理技術(shù)的歷史回顧2.機(jī)械方法記錄和播放19世紀(jì)愛(ài)迪生發(fā)明留聲機(jī)啟發(fā)現(xiàn)象電話(huà)傳話(huà)器里的膜板隨著說(shuō)話(huà)聲會(huì)引起震動(dòng)的現(xiàn)象是一種播放聲音的機(jī)械裝置，預(yù)先按聲音波形特征刻制在唱片表面(弧形凹槽)，播放時(shí)引起探針的不同幅度的振動(dòng)并傳遞發(fā)聲。第4頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.1聲音處理技術(shù)的歷史回顧3.電聲技術(shù)依靠電信號(hào)來(lái)記錄并播放聲音通過(guò)電壓產(chǎn)生模擬聲波變化的電流信號(hào)，灌錄成早期的唱片或磁帶，這種電流信號(hào)稱(chēng)為模擬信號(hào)。磁帶上的磁極變化或唱片音槽內(nèi)的紋路起伏變化都是聲音信號(hào)的變化對(duì)應(yīng)成正比的。第5頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.1聲音處理技術(shù)的歷史回顧4.數(shù)字化聲音處理技術(shù)依靠數(shù)字信號(hào)來(lái)記錄并播放聲音核心技術(shù)是對(duì)聲音的采樣。第6頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征1.什么是聲音？(聲音的形式)聲音是一種振動(dòng)波，是機(jī)械振動(dòng)或氣流擾動(dòng)引起周?chē)膹椥越橘|(zhì)發(fā)生波動(dòng)的現(xiàn)象。許多聲音的波形混合在一起可能構(gòu)成交響樂(lè)、交談聲，也可能完全是噪聲。在物理上，聲音可用一條連線(xiàn)的曲線(xiàn)來(lái)表示，它是在時(shí)間和幅度上都連續(xù)變化的量，所以稱(chēng)為模擬量。第7頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征2.聲音的物理特征(1)頻率：即聲波振動(dòng)的快慢，單位Hz。根據(jù)頻率，聲音可分為A.次聲波：低于20HzB.正常聲音：20Hz—20KHz（語(yǔ)音：300Hz—3KHz）C.超聲波：高于20KHz頻率的倒數(shù)為周期具有周期性的聲音通常會(huì)更悅耳動(dòng)聽(tīng)。第8頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征也可用聲音的波長(zhǎng)來(lái)描述聲音波長(zhǎng)：沿聲音傳播方向，振動(dòng)一個(gè)周期所傳播的距離；或在波形上相位相同的兩個(gè)相鄰點(diǎn)間的距離，單位m.聲音的頻率也反映了聲音的速度聲速：?jiǎn)挝粫r(shí)間內(nèi)聲音傳播的距離，單位m/s.聲速、周期、波長(zhǎng)的關(guān)系為第9頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征(2)幅度：是指信號(hào)的基線(xiàn)到當(dāng)前波峰的距離，即聲波振動(dòng)的強(qiáng)弱，決定了信號(hào)音量的強(qiáng)弱程度。A.在物理上，通常用聲壓和聲壓級(jí)來(lái)衡量聲音的強(qiáng)弱程度。聲壓：指在聲場(chǎng)中某處由聲波引起的壓強(qiáng)的變化值，單位為“帕斯卡(Pa)”。正常人剛剛能聽(tīng)到的最微弱聲音的聲壓為2X10-5Pa，這個(gè)聲壓值稱(chēng)為人耳的“聽(tīng)閾”。使人耳產(chǎn)生劇烈疼痛感覺(jué)的聲音的聲壓約為20Pa，這個(gè)聲壓值稱(chēng)為人耳的“痛閾”。第10頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征經(jīng)研究發(fā)現(xiàn)：人耳對(duì)聲音強(qiáng)弱的感覺(jué)大體上與聲壓的對(duì)數(shù)成正比，稱(chēng)為聲壓級(jí)，單位為分貝(dB)分貝數(shù)的計(jì)算公式為其中P0為基準(zhǔn)聲壓值，取P0=2X10-5Pa第11頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征B.在物理上，也可用聲功率和聲強(qiáng)來(lái)衡量聲音的強(qiáng)弱程度。聲功率：是指單位時(shí)間內(nèi)，聲波通過(guò)垂直于傳播方向某指定面積的聲能量，單位為W。聲強(qiáng)：是指單位時(shí)間內(nèi)，聲波通過(guò)垂直于傳播方向的單位面積的聲能量，單位為W/S2。聲壓與聲強(qiáng)的關(guān)系為第12頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征也可用聲功率或聲強(qiáng)計(jì)算聲音分貝數(shù)，分別稱(chēng)為聲功率級(jí)LW和聲強(qiáng)級(jí)LI，其公式為聲強(qiáng)級(jí)與聲壓級(jí)的關(guān)系為其中W0=10-12w，

I0=10-12w/s2b與媒介的聲特性阻抗有關(guān)，因此與空氣的溫度t和壓強(qiáng)p有關(guān),可查表。第13頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征(3)聲音的相加和相減即兩個(gè)以上獨(dú)立聲源作用于某一點(diǎn)疊加形成的聲音。聲音的能量(聲功率W,聲強(qiáng)I)是可以代數(shù)相加的，但聲壓(聲壓P,聲壓級(jí)L)不能直接相加。一些主要結(jié)論：兩個(gè)聲音相加，總聲壓級(jí)不會(huì)比其中一個(gè)大3dB以上兩個(gè)聲音的聲壓級(jí)相差10dB以上時(shí)，疊加增量可以忽略不計(jì)。第14頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征2.聲音的聽(tīng)覺(jué)特征（主觀(guān)感受）(1)音調(diào)：即聲音頻率的主觀(guān)反映，也稱(chēng)音高。一般地，音調(diào)的高低與頻率的高低是一致的。當(dāng)頻率不變時(shí)，強(qiáng)度的變化對(duì)音調(diào)稍有影響（強(qiáng)度增大時(shí)，低頻率音調(diào)顯得更低，高頻率音調(diào)顯得更高）。(2)音色：日常生活中通常是復(fù)合音，包括基音和諧音成分。人耳對(duì)復(fù)合音中各種諧音成分總和起來(lái)的主觀(guān)印象，稱(chēng)為音色。第15頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征諧音的頻率和振幅決定音色任何復(fù)雜的周期性振動(dòng)都可分解為許多諧波，稱(chēng)為傅里葉定律；把復(fù)雜的振動(dòng)分解成各種頻率成分的過(guò)程稱(chēng)為傅里葉分析，也稱(chēng)頻譜分析；分析結(jié)果稱(chēng)為譜圖。第16頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.2聲音信號(hào)的形式與特征例如：基音為100Hz的鋼琴聲約有15個(gè)振幅不同的諧音基音為100Hz的黑管聲約有9個(gè)振幅不同的諧音.語(yǔ)音：特殊的復(fù)合音，包括元音和輔音。(3)音響：即聲音的響度，是聲音振幅的主觀(guān)屬性。振幅越大，響度越大，但它們也不是線(xiàn)性關(guān)系。音樂(lè)中的音階：就是按頻率的對(duì)數(shù)取等分來(lái)確定的。每八度的聲音，其頻率就升高或降低一倍。第17頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.1.3聲音質(zhì)量的評(píng)價(jià)聲音質(zhì)量的評(píng)價(jià)是很困難的，也是一個(gè)值得研究的課題。目前，主要有兩種度量方法1.聲音質(zhì)量的客觀(guān)度量2.聲音質(zhì)量的主觀(guān)度量第18頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音質(zhì)量的客觀(guān)度量法即用儀器對(duì)聲波進(jìn)行測(cè)量和分析常用儀器：聲級(jí)計(jì)是一種能對(duì)聲音做出類(lèi)似人耳反應(yīng)的儀器，它能進(jìn)行客觀(guān)且可重復(fù)的聲壓測(cè)量和聲級(jí)測(cè)量。主要指標(biāo)：信噪比SNR即有用信號(hào)與噪聲之比，單位為分貝。一般用信號(hào)的功率計(jì)算，也可用信號(hào)的電壓計(jì)算。信噪比數(shù)值越高，噪聲越小。一般地，HiFi音響要求SNR達(dá)到70dB以上，CD機(jī)要求SNR達(dá)到90dB以上。第19頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲音質(zhì)量的主觀(guān)度量(1)評(píng)分標(biāo)準(zhǔn)5優(yōu)不能察覺(jué)失真4良剛能察覺(jué)，但不討厭3中察覺(jué)失真，稍微討厭2差討厭，但不令人反感1劣極其討厭，令人反感目前這種評(píng)分標(biāo)準(zhǔn)和方法廣泛應(yīng)用于多媒體技術(shù)和通信中，如可視電話(huà)、電視會(huì)議、語(yǔ)音信箱、語(yǔ)音電子郵件，等。第20頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲音質(zhì)量的主觀(guān)度量(2)評(píng)價(jià)方法主要根據(jù)音質(zhì)的三要素（音調(diào)/音色/音響）的變化和組合來(lái)主觀(guān)評(píng)定音質(zhì)的一些特性。例如：低頻響亮—聲音豐滿(mǎn)，高頻響亮—聲音明亮

低頻微弱—聲音平滑，高頻微弱—聲音清澄(3)評(píng)價(jià)音質(zhì)的常用聽(tīng)感空間感(環(huán)繞感)、定位感(方向感)、層次感(厚度感)力度感、亮度感、軟硬感、松緊感、寬窄感，等第21頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月3.聲音質(zhì)量的分級(jí)與帶寬從頻帶寬度的角度上，頻帶越寬，信號(hào)強(qiáng)度的相對(duì)變化范圍就越大，音響效果就越好。第22頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.2聲音的數(shù)字化方法4.2.1數(shù)字化聲音的優(yōu)點(diǎn)4.2.2聲音的數(shù)字化過(guò)程4.2.3聲音數(shù)據(jù)的編碼方法與標(biāo)準(zhǔn)第23頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.2.1數(shù)字化聲音的優(yōu)點(diǎn)1.動(dòng)態(tài)范圍大若采用8bit量化，音頻信號(hào)幅度可分為256個(gè)量化級(jí)，動(dòng)態(tài)范圍達(dá)96dB。2.信息易處理可以通過(guò)計(jì)算機(jī)對(duì)音頻、視頻信號(hào)進(jìn)行各種特技及非線(xiàn)性編輯。3.媒體易保存使用時(shí)間長(zhǎng)，采用數(shù)字化的光盤(pán)，重放時(shí)不存在機(jī)械磨損，使用壽命長(zhǎng)。第24頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.2.1數(shù)字化聲音的優(yōu)點(diǎn)4.成本低數(shù)字化信息便于大規(guī)模集成電路的存儲(chǔ)和處理，可降低成本。5.可靠性高數(shù)字信號(hào)只要求脈沖的有無(wú)，而不依賴(lài)信號(hào)的幅值大小，對(duì)硬件一致性和穩(wěn)定性要求下降了許多，從而提高了可靠性。第25頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.2.2聲音的數(shù)字化過(guò)程聲音的數(shù)字化過(guò)程可分為三步1.采樣2.量化3.編碼第26頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的采樣(Sampling)(1)什么是采樣?對(duì)給定的模擬聲音波形信號(hào)，以適當(dāng)?shù)臅r(shí)間間隔采取樣本值(波形的幅度值)的過(guò)程。常用器件：A/D轉(zhuǎn)換器(2)采樣頻率即單位時(shí)間內(nèi)采集樣本點(diǎn)的個(gè)數(shù)。一般地，采樣頻率越高，樣本點(diǎn)就越多，聲音信號(hào)的還原效果越好。根據(jù)采樣頻率可分為均勻采樣和非均勻采樣。第27頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的采樣(Sampling)采樣示例第28頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的采樣(Sampling)(3)奈奎斯特(Nyquist)定理只有采樣頻率高于聲音信號(hào)最高頻率的2倍時(shí)，才能把數(shù)字信號(hào)表示的聲音還原為原來(lái)的聲音。反之，建議：采樣頻率通常應(yīng)高于原信號(hào)頻率的2倍。(4)常用采樣頻率8,11.025,22.05,44.1(KHz)第29頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲音的量化(Quantifying)(1)什么是量化?將整個(gè)模擬聲音波形信號(hào)的幅度劃分成有限個(gè)區(qū)段的集合，把落入某個(gè)區(qū)段的樣本值歸為一類(lèi)，并賦予相同的值，這種過(guò)程稱(chēng)為量化?？煞譃榫鶆蛄炕头蔷鶆蛄炕?。(2)量化級(jí)數(shù)整個(gè)聲音波形信號(hào)的幅度被劃分出來(lái)的區(qū)段數(shù)，稱(chēng)為量化級(jí)數(shù)，例如：256級(jí)，65536級(jí)，等.一般地，考慮到二進(jìn)制數(shù)的表示和存儲(chǔ)特性，量化級(jí)數(shù)取2n。第30頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲音的量化(Quantifying)(3)量化位數(shù)與量化級(jí)數(shù)2n對(duì)應(yīng)的二進(jìn)制位數(shù)n，即用多少位二進(jìn)制數(shù)來(lái)表示每一個(gè)樣本值。量化位數(shù)越高，聲音的質(zhì)量越好。(4)量化示例第31頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲音的量化(Quantifying)(5)量化誤差在量化過(guò)程中由于四舍五入所造成的樣本值與量化值之差。設(shè)量化級(jí)差為“△”，則量化誤差不會(huì)超過(guò)“△/2”.例如：設(shè)有10級(jí)量化，級(jí)次分別為0,1,2,…,9

則級(jí)差△=1，任意樣本值的量化誤差必≤1/2.(6)量化噪聲與信噪比由于量化誤差而引起的聲音失真，稱(chēng)為量化噪聲，也可用信噪比來(lái)衡量。一般地，量化位數(shù)每增加1位，信噪比增大6dB.第32頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月聲音的采樣與量化示例1采樣頻率為1000Hz，10個(gè)量化等級(jí)的波形第33頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月示例1--還原的波形圖直線(xiàn)段波形有較大失真第34頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月聲音的采樣與量化示例2采樣頻率為2000Hz，20個(gè)量化等級(jí)的波形第35頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月聲音的采樣與量化示例3采樣頻率為4000Hz，40個(gè)量化等級(jí)的波形第36頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月3.聲音的編碼(Encoding)(1)什么是編碼?將量化得到的二進(jìn)制數(shù)按一定格式組裝成可存儲(chǔ)或傳輸?shù)亩M(jìn)制格式，這個(gè)過(guò)程稱(chēng)為編碼。(2)為什么要編碼?原因1：存儲(chǔ)需要為聲音定義一種文件存儲(chǔ)或傳輸格式，量化得到的二進(jìn)制數(shù)不一定剛好符合這樣的文件格式，因此需要重新組裝。原因2：壓縮不壓縮的數(shù)字化聲音，數(shù)據(jù)量較大。第37頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月3.聲音的編碼(Encoding)(3)聲音數(shù)據(jù)能否壓縮?客觀(guān)上，數(shù)據(jù)之間存在冗余性和相關(guān)性數(shù)據(jù)之間存在許多冗余性數(shù)據(jù)之間存在很強(qiáng)的相關(guān)性利用一定的數(shù)學(xué)方法可去除這些冗余，達(dá)到壓縮目的；反之，可利用相應(yīng)方法恢復(fù)冗余數(shù)據(jù)，以再現(xiàn)原始聲音。主觀(guān)上，人的聽(tīng)覺(jué)器官具有某些不敏感性。如果去掉不敏感的數(shù)據(jù)也不會(huì)影響或較小影響人的聽(tīng)覺(jué)感受。例如：人耳的“掩蔽效應(yīng)”—強(qiáng)音抑制弱音的現(xiàn)象。第38頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.2.3聲音數(shù)據(jù)的編碼方法聲音數(shù)據(jù)編碼方法的分類(lèi)1.基于聲音數(shù)據(jù)的統(tǒng)計(jì)特性的編碼典型技術(shù)是波形編碼，包括PCM,DPCM,ADPCM等適應(yīng)性強(qiáng)，還原音質(zhì)好，但壓縮比不大，數(shù)據(jù)率高。2.基于聲音的聲學(xué)特性的參數(shù)編碼常用聲學(xué)特性參數(shù)：共振峰、線(xiàn)性預(yù)測(cè)系數(shù)、濾波器數(shù)據(jù)率低，還原音質(zhì)較差；但保密性好。3.基于統(tǒng)計(jì)特性和聲學(xué)特性的混合編碼例如：CELP,MPLPC等。4.基于人的聽(tīng)覺(jué)特性的編碼利用掩蔽效應(yīng)，設(shè)計(jì)心理聲學(xué)模型，如：杜比AC-3.第39頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的波形編碼方法(1)脈沖編碼調(diào)制-PCM即把聲音經(jīng)A/D(采樣)轉(zhuǎn)換得到的樣本值簡(jiǎn)單直接地量化為計(jì)算機(jī)二進(jìn)制數(shù)（如二進(jìn)制補(bǔ)碼）的方法，稱(chēng)為PCM。如：Win系統(tǒng)的“錄音機(jī)”即采用該編碼方法第40頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的波形編碼方法(2)律和A律PCM編碼主要思路：在PCM基礎(chǔ)上，設(shè)法讓量化階距隨信號(hào)的概率密度的減小而增大(把大的量化誤差留給出現(xiàn)概率小的樣本值)。具體方法：引入和A參數(shù)，量化時(shí)用對(duì)數(shù)函數(shù)將幅度(樣本值)壓縮，解碼時(shí)再用指數(shù)函數(shù)進(jìn)行幅度還原。已形成語(yǔ)音國(guó)際標(biāo)準(zhǔn)：G.711廣泛用于數(shù)字電話(huà)、可視電話(huà)、電視會(huì)議等。第41頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的波形編碼方法(3)自適應(yīng)脈沖編碼調(diào)制-APCM有兩種思路：A.使量化的階距(△n)隨輸入信號(hào)的方差而增減B.在固定階距(△n)基礎(chǔ)上+增益量在兩種方法中隨需要隨時(shí)估計(jì)輸入信號(hào)的時(shí)變幅度，以修正階距或增益值。（都稱(chēng)為自適應(yīng)量化編碼方法）具體方法(根據(jù)估計(jì)方法的不同分兩類(lèi))：A.前饋?zhàn)赃m應(yīng)量化：由輸入信號(hào)本身來(lái)估計(jì)B.反饋?zhàn)赃m應(yīng)量化：由輸出信號(hào)來(lái)估計(jì)第42頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.聲音的波形編碼方法(4)差值量化-DM研究表明，相鄰聲音樣本值之間存在很大的相關(guān)性，因此樣本值之差的方差比信號(hào)本身的方差要小。根據(jù)上述原理形成的編碼方法稱(chēng)為增量調(diào)制(DM)(5)自適應(yīng)差值量化編碼-ADPCM綜合采用自適應(yīng)量化和自適應(yīng)預(yù)測(cè)的PCM編碼方法。第43頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲音的參數(shù)編碼是基于話(huà)音波形信號(hào)中提取生成話(huà)音的參數(shù)，使用這些參數(shù)通過(guò)話(huà)音生成模型重構(gòu)出話(huà)音。常用的音頻參數(shù)有共振峰、線(xiàn)性預(yù)測(cè)系數(shù)和濾波器組等。其優(yōu)點(diǎn)是數(shù)據(jù)率低，但還原信號(hào)的質(zhì)量較差，自然度低，而且由于受到話(huà)音生成模型的限制，增加數(shù)據(jù)率對(duì)提高合成話(huà)音的質(zhì)量無(wú)濟(jì)于事。但是保密性好，因此常用于軍事領(lǐng)域。第44頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月3.聲音的混合編碼綜合運(yùn)用聲音的統(tǒng)計(jì)特性和聲學(xué)特性進(jìn)行編碼。第45頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.聲音的感知編碼基于人的感知特性進(jìn)行編碼常見(jiàn)的感知特性：可聽(tīng)范圍時(shí)差效應(yīng)雙耳效應(yīng)俺蔽效應(yīng)第46頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月5.常用音頻編碼算法和標(biāo)準(zhǔn)類(lèi)別算法名稱(chēng)數(shù)據(jù)率標(biāo)準(zhǔn)應(yīng)用質(zhì)量波形編碼PCM均勻量化公共網(wǎng)ISDN配音4-4.5(A)(A)64G.711APCM,DPCM(自適應(yīng),差值)量化ADPCM自適應(yīng)差值量化32G.721SB-ADPCM子帶-自適應(yīng)差值量化64G.7226.3G.723參數(shù)編碼LPC線(xiàn)性預(yù)測(cè)編碼2.4保密話(huà)聲2-3混合編碼CELPC碼激勵(lì)LPC4.8移動(dòng)通信3-4VSELP矢量和激勵(lì)LPC8語(yǔ)音郵件RPE-LTP長(zhǎng)時(shí)預(yù)測(cè)規(guī)則碼激勵(lì)13.2LD-CELP低延時(shí)碼激勵(lì)LPC16G.728/9MPEG多子帶,感知編碼128CD5AC-3感知編碼音響5第47頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3聲音的MIDI技術(shù)4.3.1MIDI技術(shù)的產(chǎn)生4.3.2MIDI系統(tǒng)及其工件過(guò)程4.3.3MIDI消息與文件第48頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.1MIDI技術(shù)的產(chǎn)生1.如何使計(jì)算機(jī)輸出優(yōu)美的音樂(lè)?(1)早期技術(shù)---錄音/重放方式利用模/數(shù)(A/D)轉(zhuǎn)換部件采集和存儲(chǔ)---錄音利用數(shù)/模(D/A)轉(zhuǎn)換部件播放---重放(2)后期技術(shù)---音樂(lè)合成技術(shù)從硬件上，增加一個(gè)獨(dú)立的“音樂(lè)合成”部件從軟件上，通過(guò)編程控制該部件將一些基本的音符波形合成為一首音樂(lè)所需要的波形數(shù)據(jù)。(3)兩類(lèi)主要的合成技術(shù)：A.調(diào)頻(FM)技術(shù)B.波表(WaveTable)技術(shù)第49頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.1MIDI技術(shù)的產(chǎn)生2.音樂(lè)合成技術(shù)帶來(lái)的影響音樂(lè)的“合成”意味著在計(jì)算機(jī)硬件和軟件的幫助下，計(jì)算機(jī)不再是簡(jiǎn)單地對(duì)音樂(lè)的記錄和重放。音樂(lè)“合成”技術(shù)促使計(jì)算機(jī)聲卡不斷升級(jí)以獲得更好的音質(zhì)效果，也促使計(jì)算機(jī)音樂(lè)創(chuàng)作軟件的不斷豐富和發(fā)展。第50頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.1MIDI技術(shù)的產(chǎn)生3.調(diào)頻(FM)合成技術(shù)(1)基本方法在正弦波或余弦波基礎(chǔ)上，根據(jù)需要產(chǎn)生的音符的波形特征，通過(guò)調(diào)節(jié)基礎(chǔ)波形的頻率或振幅來(lái)達(dá)到近似(稱(chēng)為調(diào)制)，從而產(chǎn)生不同的樂(lè)音。(2)聲音效果可以達(dá)到廣播級(jí)聲音質(zhì)量但音樂(lè)的頻域范圍比較廣，有部分聲音無(wú)法表達(dá)第51頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.1MIDI技術(shù)的產(chǎn)生4.波表(WaveTable)合成技術(shù)(1)基本方法首先，對(duì)音樂(lè)中常用音符的波形數(shù)據(jù)進(jìn)行采樣和存儲(chǔ)(稱(chēng)為波表庫(kù)或音源庫(kù))。其次，當(dāng)需要播放音樂(lè)時(shí)，在硬件和軟件幫助下從波表庫(kù)中查表并疊加音符的波形數(shù)據(jù)。最后，通過(guò)數(shù)/模(D/A)轉(zhuǎn)換部件播放出來(lái)。(2)聲音效果可以達(dá)到CD級(jí)聲音質(zhì)量，受音源庫(kù)的影響很大。音源庫(kù)一般隨聲卡驅(qū)動(dòng)程序而安裝在系統(tǒng)中。第52頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.1MIDI技術(shù)的產(chǎn)生5.MIDI技術(shù)的產(chǎn)生在波表合成技術(shù)基礎(chǔ)上，如何讓各種音樂(lè)樂(lè)器都能連接到計(jì)算機(jī)上，做到隨時(shí)彈奏、隨時(shí)錄制、隨時(shí)播放?MIDI技術(shù)就是這樣的背景下產(chǎn)生的。MIDI技術(shù)的重要意義使任何人都可以在計(jì)算機(jī)硬件和軟件的幫助下將音樂(lè)樂(lè)器連接到計(jì)算機(jī)中進(jìn)行音樂(lè)的創(chuàng)作、編輯和播放。而且這種數(shù)字化音樂(lè)可以被無(wú)限次地復(fù)制。第53頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)1.什么MIDI技術(shù)?即數(shù)字音樂(lè)接口(MusicalInstrumentDigitalInterface).它是一套標(biāo)準(zhǔn)和規(guī)范，規(guī)定了電子樂(lè)器與計(jì)算機(jī)相連的物理標(biāo)準(zhǔn)和數(shù)據(jù)通信的協(xié)議。說(shuō)明：MIDI不是數(shù)字音響技術(shù)的范疇，它記錄和傳輸?shù)氖请娮訕?lè)器演奏音樂(lè)時(shí)的音符、速度、音量等樂(lè)譜信息.MIDI技術(shù)是使計(jì)算機(jī)能夠利用“記譜”的方法進(jìn)行音樂(lè)的數(shù)字錄音及放音。第54頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)2.MIDI系統(tǒng)就是將各種電子樂(lè)器連接到計(jì)算機(jī)上進(jìn)行音樂(lè)創(chuàng)作的電子模擬系統(tǒng)。第55頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)3.MIDI系統(tǒng)的構(gòu)成一般地，MIDI系統(tǒng)主要包括：(1)多媒體計(jì)算機(jī)(2)合成器(3)音序器(4)音源(5)MIDI鍵盤(pán)(6)錄音設(shè)備(7)監(jiān)聽(tīng)設(shè)備這些設(shè)備可以是獨(dú)立的，也可以是集成的。第56頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)(1)合成器通過(guò)振蕩器的電流振蕩產(chǎn)生各種波形并進(jìn)行處理，合成出新的音色。合成器的歷史比聲卡和MIDI都要久遠(yuǎn)，早在1955年，世界上第一臺(tái)合成器RCA就已經(jīng)誕生了。隨著計(jì)算機(jī)技術(shù)的發(fā)展，早期合成器的音序器功能、硬件音源功能、MIDI控制鍵盤(pán)功能等逐漸分離出來(lái)，形成獨(dú)立的、可隨意組合搭配的部分。第57頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)具有USB接口的MIDI鍵盤(pán)第58頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)(2)音源即聲音樣本庫(kù)，內(nèi)部有很多不同音色的樣本波形。如：鋼琴音色的真實(shí)樣本波形

吉它音色的真實(shí)樣本波形音源只是一個(gè)資源庫(kù)，何時(shí)被調(diào)用由音序器來(lái)完成。音源可以是硬件音源。專(zhuān)業(yè)人士通常需要使用獨(dú)立的硬件音源一般用戶(hù)可獲得聲卡上的一個(gè)含有128種音色的GM音色庫(kù)，即MIDI音源。音源也可以是軟件音源一般以插件形式提供，對(duì)MIDI音樂(lè)的普及有很大貢獻(xiàn)。第59頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)硬件音源產(chǎn)品：RolandJV1080第60頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)(3)音序器是用來(lái)記錄、編輯和播放MIDI文件的設(shè)備，可分為硬件和軟件兩種。硬件音序器（編曲機(jī)）它可以是獨(dú)立的，也可以?xún)?nèi)置于合成器中。其編輯和修改操作必須在它的面板上進(jìn)行，使用不方便。軟件音序器是安裝在計(jì)算機(jī)中的多功能音樂(lè)創(chuàng)作、編輯軟件，如常用的CakeWalk等。功能可以通過(guò)升級(jí)不斷增強(qiáng)，操作方便。第61頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)(4)采樣器普通的音源是封閉的，所能提供的音色品種和數(shù)量都是有限的，不能滿(mǎn)足制作者對(duì)新音色的需求。采樣器是一種開(kāi)放式的音源，它可以對(duì)任何聲音進(jìn)行采樣，并把它們編輯成音色供計(jì)算機(jī)音樂(lè)系統(tǒng)使用。(5)其他設(shè)備錄音設(shè)備、監(jiān)聽(tīng)設(shè)備、音箱功放等。第62頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.2MIDI系統(tǒng)4.MIDI系統(tǒng)的工作過(guò)程MIDI電子樂(lè)器MIDI文件MIDI接口計(jì)算機(jī)音序器軟件MIDI合成器音響系統(tǒng)消息或指令存儲(chǔ)編輯合成播放第63頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.3MIDI消息與文件1.MIDI消息它是對(duì)MIDI電子樂(lè)器演奏音樂(lè)時(shí)的動(dòng)作描述信息，通過(guò)MIDI接口發(fā)送到計(jì)算機(jī)的音序器軟件中予以記錄、保存和再現(xiàn)。它包括音符、節(jié)拍、樂(lè)器種類(lèi)等信息，因此可被理解為對(duì)樂(lè)譜的數(shù)字化描述。它包括兩類(lèi)信息：(1)狀態(tài)信息：描述音符被演奏或聲音被加強(qiáng)等信息(2)數(shù)據(jù)信息：描述哪個(gè)音符被演奏，或聲音加強(qiáng)的強(qiáng)度是多少。第64頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.3MIDI消息與文件2.MIDI消息示例在MIDI電子琴上按下鍵和松開(kāi)鍵時(shí)按下鍵時(shí)的MIDI消息：Note-On/CH1#(1001CCCC)NoteNumber(0NNNNNNN)Velocity(0VVVVVVV)松開(kāi)鍵時(shí)的MIDI消息：Note-Off/CH1#(1001CCCC)NoteNumber(0NNNNNNN)Velocity(0VVVVVVV)第65頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.3MIDI消息與文件3.MIDI文件將MIDI消息按一定格式保存得到的計(jì)算機(jī)文件。MIDI文件通常由音序器軟件創(chuàng)建和編輯，文件擴(kuò)展名通常為.mid或.midi。第66頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.3.3MIDI消息與文件4.MIDI聲音與波形聲音的比較波形聲音MIDI聲音優(yōu)點(diǎn)(1)是對(duì)聲音波形的真實(shí)記錄，回放質(zhì)量具有一致性(與設(shè)備無(wú)關(guān))(2)適應(yīng)面廣，既可制作音樂(lè)，也可制作特效聲音，如自然界的特殊音響，還可制作話(huà)音；(3)須懂得樂(lè)理知識(shí)(1)是對(duì)音樂(lè)樂(lè)譜的直接數(shù)字化，因此它不是聲音波形的真實(shí)記錄(2)文件體積小，通常比波形聲音文件小200至1000倍(3)MIDI音樂(lè)數(shù)據(jù)是完全可編輯的局限性(1)文件體積大(2)聲音數(shù)據(jù)不易按希望編輯(1)回放質(zhì)量具有不一致性，與音響設(shè)備密切相關(guān)(2)要用于音樂(lè)類(lèi)聲音(3)須懂得樂(lè)理知識(shí)第67頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.4計(jì)算機(jī)聲卡與聲音文件格式4.4.1計(jì)算機(jī)聲卡4.4.2計(jì)算機(jī)聲音文件格式第68頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.4.1計(jì)算機(jī)聲卡1.計(jì)算機(jī)聲卡的分類(lèi)（從接口形式可分為）板卡式集成式外置式第69頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲卡的工作原理(1)聲卡的功能結(jié)構(gòu)圖第70頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲卡的工作原理(2)聲卡的主要功能部件①主芯片承擔(dān)聲音信號(hào)處理、特殊音效的過(guò)濾與處理、語(yǔ)音識(shí)別、實(shí)時(shí)音頻壓縮、MIDI合成等主要任務(wù)。是一塊具有強(qiáng)大運(yùn)算能力的可編程DSP芯片。第71頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲卡的工作原理②混音芯片（CODEC）即多媒體數(shù)字信號(hào)編/解碼器，主要包含模/和數(shù)數(shù)/模轉(zhuǎn)換器兩個(gè)部件，簡(jiǎn)稱(chēng)為混音器。承擔(dān)對(duì)原始聲音信號(hào)的采樣與編碼，對(duì)來(lái)自不同音源的聲音進(jìn)行混音處理，并提供軟件上的音量控制功能.多聲道聲卡:模/數(shù)(A/D)轉(zhuǎn)換部件負(fù)責(zé)聲音的錄制，仍是兩聲道錄制但數(shù)/模(D/A)轉(zhuǎn)換部件可以支持多個(gè)聲道的輸出一般地，混音芯片都有獨(dú)立的I/O端口，可利用匯編語(yǔ)言等對(duì)其編程設(shè)置.第72頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲卡的工作原理③

音樂(lè)合成芯片主要用于合成并播放音樂(lè)，也稱(chēng)MIDI合成器。根據(jù)計(jì)算機(jī)合成音樂(lè)技術(shù)的發(fā)展過(guò)程，MIDI合成器可分為兩種：頻率調(diào)制(FM)合成器在正弦波或余弦波基礎(chǔ)上，通過(guò)對(duì)頻率或振幅進(jìn)行調(diào)制，使其波形近似于要表達(dá)的聲音波形。波表(WaveTable)合成器預(yù)先采集高質(zhì)量的每種樂(lè)器的單音波形數(shù)據(jù)，形成波表庫(kù)，需要合成并播放音樂(lè)時(shí)，以查表方式獲取各音符的波形數(shù)據(jù).第73頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲卡的工作原理④

總線(xiàn)接口和控制器總線(xiàn)接口和控制器由數(shù)據(jù)總線(xiàn)雙向驅(qū)動(dòng)器、總線(xiàn)接口控制邏輯、總線(xiàn)中斷邏輯和DMA控制邏輯組成。⑤外部輸入輸出口聲卡外部輸入輸出口均為3.5mm規(guī)格插口（MIDI/Joystick除外）第74頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月2.聲卡的工作原理第75頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月3.聲卡的主要性能指標(biāo)(1)支持的音頻技術(shù)指標(biāo)采樣頻率和量化位數(shù)(2)MIDI音樂(lè)的能力(3)聲道數(shù)(4)多音頻流輸出能力(5)I/O接口數(shù)量(6)驅(qū)動(dòng)程序及應(yīng)用軟件的豐富性(7)總線(xiàn)結(jié)構(gòu)第76頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月4.4.2計(jì)算機(jī)聲音文件的格式第77頁(yè)，課件共86頁(yè)，創(chuàng)作于2023年2月1.WAV聲音文件格式(1)概述又稱(chēng)波形聲音文件，是微軟公司開(kāi)發(fā)的一種聲音文件格式，擴(kuò)展名為.wav，是最早的數(shù)字音頻格式之一，被Windows系統(tǒng)及應(yīng)用程序廣泛支持.早期的WAV格式直接采用PCM編碼方法，因此是未壓縮的數(shù)字化聲音。標(biāo)準(zhǔn)格式采用44.1