多媒體復習資料

1、第一章 多媒體技術概述一、 媒體1. 含義：媒體（Media）就是指信息的載體，其本質是信息傳播的技術和手段。2. 按照媒體的發(fā)展，媒體可以分為傳統(tǒng)媒體和新媒體：傳統(tǒng)媒體：廣播、電視、報刊雜志新媒體：基于互聯網、PC和移動終端技術的數字媒體技術，包括網站、博客、微博、微信、手機 App等。3. 國際電信聯盟（International Telecommunication Union，ITU）對媒體進行了詳細的分類：1) 感覺媒體（Perception media）：指直接作用于人的感覺器官、從而為人的感知系統(tǒng)所接受的信息形態(tài)或媒體形式。舉例：文字、聲音、圖形、圖像、動畫、視頻2) 表示媒體（P

2、resentation media）：指感覺媒體在電子設備、計算機、網絡等系統(tǒng)內部的存在形式，即編碼形態(tài)的媒體。舉例：計算機系統(tǒng)中的 ASCII 碼、國家標準漢字字符集的區(qū)位碼、字符的點陣碼、音頻、圖像與視頻編碼。3) 表現媒體（Representation media）：指將編碼形式的媒體顯示成感覺媒體的設備或技術，實際上就是指多媒體系統(tǒng)的輸入、輸出設備。舉例：顯示器、投影儀、打印機、繪圖儀、有源或無源音箱、鍵盤、鼠標、攝像機、麥克風。4) 存儲媒體（Store media）：指用于存放表示媒體（即編碼形態(tài)的媒體）的設備或技術。舉例：內存、寄存器、磁盤、磁帶、光盤、USB 盤。5) 傳輸媒體

3、（Transmission media）：指用于傳送表示媒體的設備或技術。舉例：雙絞線、電纜、光纖、空氣、電磁波。二、 多媒體1. 含義：多媒體就是指能夠同時處理兩種以上感覺媒體的計算機系統(tǒng)，其目標是為用戶提供更豐富的應用體驗。2. 多媒體技術的特征：1) 媒體類型或媒體技術的多樣性。一個可以被稱為多媒體的應用系統(tǒng)，必須至少集成了兩種不同類型的媒體及其相關技術。該特征是多媒體系統(tǒng)的本質特征，也是其魅力所在。2) 媒體內容的同步性（synchronization）。在多媒體應用系統(tǒng)中，多種媒體是融合在一起的，它們是以一種協(xié)同的方式工作的。3) 交互性（Interactive）。與交互性密切相關的

4、另外兩個概念是人機交互（Human-Computer Interaction，HCI）和人機界面（Human-Computer Interface，HCI） 。前者是研究、設計、評價和實現交互式計算系統(tǒng)的科學。人機界面則是人與計算機之間傳遞、交換信息的媒介和對話接口，是計算機系統(tǒng)的重要組成部分。3. 多媒體應用：1) 大眾傳媒領域大眾傳媒（mass media）是指傳播速度快、覆蓋范圍廣、影響效果大的媒體，主要包括報紙、廣播、電視、電影、互聯網等。2) 消費電子領域消費電子（consumer electronics）產品是指用于個人和家庭的與廣播、電視有關的各類音頻和視頻產品，主要包括：電視機

5、、影碟機（VCD、SVCD、DVD）、錄像機、攝錄機、收音機、收錄機、組合音響、激光唱機（CD）、視頻游戲設備、智能電視機頂盒等。3) 現代教育技術領域現代教育技術是指建立在信息與網絡技術基礎之上的教育教學手段構成的系統(tǒng)。4) 多媒體通信領域數字通信是用數字信號作為載體來傳輸消息，或用數字信號對載波進行數字調制后再傳輸的通信方式。它可傳輸電報、數字數據等數字信號，也可傳輸經過數字化處理的語聲和圖像等模擬信號。數字通信系統(tǒng)通常由用戶設備、編碼與解碼、調制和解調、加密和解密、傳輸和交換設備等組成。多媒體通信是指在一次呼叫過程中能同時提供多種媒體信息如聲音、圖像、圖形、數據、文本等的新型通信方式，所

6、以，它是通信技術和多媒體技術相結合的產物。 視頻會議是最典型的多媒體通信系統(tǒng)，它由視頻會議終端、會議服務器、多點控制單元（MCU）等子系統(tǒng)構成。多媒體技術在視頻會議終端中占有重要地位，主要包括音視頻數據的采集、編碼、解碼、傳輸與呈現等處理。5) 表演與會展6) Web應用Web 應用是指基于瀏覽器/服務器模型的應用系統(tǒng)，在客戶端表現為瀏覽器頁面， 是一種以HTTP協(xié)議為核心的網絡應用。數量最多的Web應用是各類網站，如門戶網站（搜狐、163、新浪等）、搜索網站（百度等）和各種專業(yè)網站（音樂、視頻、軟件、行業(yè)等等）。7) 物聯網領域物聯網是通過各種信息傳感設備及系統(tǒng)（如傳感器網絡、射頻識別（Ra

7、dio Frequency Identification, RFID）、紅外感應器、條碼與二維碼、全球定位系統(tǒng)、激光掃描器等）和其它基于物物通信模式的短距離無線傳感網絡，按約定的協(xié)議，把物體接入互聯網所形成的一個巨大的智能網絡。8) 軍事領域首先，多媒體技術在戰(zhàn)場信息采集和傳輸中具有重要的作用，例如通過圖像、視頻和音頻信息的采集獲取戰(zhàn)場和相關地域的直觀戰(zhàn)況和態(tài)勢， 能夠為指揮決策提供有力支持。其次，多媒體技術在軍事指揮系統(tǒng)中也扮演重要角色。目前最現代化的軍事指揮系統(tǒng)被稱為 C4ISR 系統(tǒng)（C4 表示 Command、Control、Communication、Computer，I 表示 In

8、formation，S 代表 Surveillance，R 表示 Reconnaissance） ，以美國的國家軍事指揮中心為典型代表。第三，軍事訓練中應用了大量多媒體技術。為了提高軍事訓練效果、節(jié)省訓練成本，各國軍事訓練系統(tǒng)都不同程度地采用了基于多媒體技術的各種模擬、仿真訓練方法。9) 游戲與軟件游戲軟件通常是指各種游戲規(guī)則與聲音圖像視頻相結合的軟件產品。目前，在網絡上我們經常看到的大型 3D 網絡游戲和網頁游戲等都是通過用 3DMAX、MAYA、FLASH 等多媒體軟件和 JAVA、C+、VB、HTML5 等程序語言相結合而開發(fā)出來的，所以叫游戲軟件。4. 多媒體技術的體系結構1) 硬件平

9、臺層現代多媒體計算平臺，從硬件配置上看，主要包括如下幾個方面：a) 光盤驅動器：包括可重寫光盤驅動器（CD-R)、WORM 光盤驅動器和 CD-ROM 驅動器。b) 音頻卡：在音頻卡上連接的音頻輸入輸出設備包括話筒、音頻播放設備、MIDI 合成器、耳機、揚聲器等。數字音頻處理的支持是多媒體計算機的重要方面，音頻卡具有A/D和D/A音頻信號的轉換功能，可以合成音樂、混合多種聲源，還可以外接MIDI電子音樂設備。c) 圖形加速卡：圖文并茂的多媒體表現需要分辨率高，而且同屏顯示色彩豐富的顯示卡的支持，同時還要求具有 Windows 的顯示驅動程序，并在 Windows 下的像素運算速度要快。所以現在

10、帶有圖形用戶接口 GUI 加速器的局部總線顯示適配器使得Windows的顯示速度大大加快。 d) 視頻卡：可細分為視頻捕捉卡、視頻處理卡、視頻播放卡以及TV編碼器等專用卡，其功能是連接攝像機、VCR 影碟機、TV 等設備，以便獲取、處理和表現各種動畫和數字化視頻媒體。 e) 掃描卡：它是用來連接各種圖形掃描儀的，是常用的靜態(tài)照片、文字、工程圖輸入設備。 f) 打印機接口：用來連接各種打印機，包括普通打印機、激光打印機、彩色打印機等，打印機現在已經是最常用的多媒體輸出設備之一了。 g) 交互控制接口：它是用來連接觸摸屏、鼠標、光筆等人機交互設備的，這些設備將大大方便用戶對 MPC 的使用。 h)

11、 網絡接口：是實現多媒體通信的重要MPC擴充部件。計算機和通信技術相結合的時代已經來臨，這就需要專門的多媒體外部設備將數據量龐大的多媒體信息傳送出去或接收進來，通過網絡接口相接的設備包括視頻電話機、傳真機、LAN和ISDN 等。2) 操作系統(tǒng)層計算機操作系統(tǒng)是管理計算機軟硬件資源，控制其他程序運行，并為用戶提供操作界面的系統(tǒng)軟件的集合。操作系統(tǒng)中配置的重要多媒體組件如下：a) 編解碼器（codec，coder和decoder合成詞語）：是系統(tǒng)中完成媒體數據壓縮、解壓縮、格式轉換（轉碼）等操作的軟件，在多媒體操作系統(tǒng)中居核心地位。b) 媒體服務器（media server）：一種通過網絡或平臺向

12、用戶提供各種多媒體業(yè)務所需的媒體資源功能的系統(tǒng)軟件，通常表現為操作系統(tǒng)中的媒體服務（media service）組件。c) 多媒體編程接口：應用編程接口是指一組數量可觀、結構復雜的子程序、函數、變量、常量、類、數據結構，是應用系統(tǒng)設計與實現的軟件資源。Windows 操作系統(tǒng)中常見的多媒體編程接口有 DirectX、DirectShow、Media Foundation、SilverLight 等。Andriod 操作系統(tǒng)下，開發(fā)人員可以使用 Media APIs，實現移動設備上的 MP3、MP4、高清視頻播放等等。3) 應用系統(tǒng)層整個多媒體技術架構的最上層是各類多媒體開發(fā)工具和應用系統(tǒng)。最典

13、型的應用系統(tǒng)是各類多媒體著作或編輯工具，如 Photoshop、Authorware、Illustrator、PowerPoint、Premier、3D Max等等。5. 多媒體應用系統(tǒng)設計面臨的挑戰(zhàn)1) 數據量大2) 實時性要求高3) 同步性要求嚴格4) 數據來源繁多6. 多媒體技術的核心問題暫無第二章 數字音頻基礎一、 聲音1. 含義：聲音是物體振動形成的機械波，稱為聲波。聲波通過介質（例如空氣、水等）傳播到聽覺系統(tǒng)里產生聽覺反應。聲音本質上是介質的周期振動。2. 基本屬性：頻率和振幅頻率：指振動的快慢，通常用每秒鐘的振動次數表示（赫茲）。人耳可以聽到的聲音頻率范圍在20到2萬赫茲之間。高

14、于這個范圍的波動稱為超聲波（Ultrasonic），而低于這一范圍的稱為次聲波（Subsonic）。我們把人類聽覺系統(tǒng)所能聽到的聲音稱為音頻（Audio）。振幅：指聲波在某個位置上的瞬時強弱。3. 三要素：音高、音質（音色）、音強二、 從模擬到數字1. 模擬音頻信號：用連續(xù)變化的電壓或電流表示的音頻信號。2. 數字音頻信號：通過采樣和量化技術獲得的離散性（數字化）音頻數據。3. 采樣：指以一定的頻率（或周期）捕獲模擬音頻信號，從而得到一系列離散化音頻樣本的過程。采樣頻率：單位時間內捕獲的樣本個數，是采樣周期的倒數。采樣定理：將頻帶為 F 的模擬音頻信號 f(t）采樣為離散化樣本序列 f(t0+

15、t)、f(t0+2t)f(t0+nt)后，如果 1/t（即采樣頻率）大于 2F，即采樣頻率大于模擬信號頻帶 F 的兩倍， 則可從離散樣本序列恢復原來的信號 f(t)。常見的采樣頻率及其應用場合4. 量化：指用若干比特表示一個樣本的過程。量化深度（bit depth）：表示一個樣本所使用的比特數。采樣是時間上的離散化，而量化則是空間上的離散化。 5. 編碼：以某種格式最終生成數字音頻數據流的過程，所得到的數字音頻數據將會被存儲、傳輸或者進行各種處理。模擬音頻數字化的三個步驟是采樣、量化、編碼。三、 聲卡1. 結構：2. 功能模塊1) DSP：Digital Signal Processor 數字

16、信號處理負責采樣、量化、編碼和解碼、數模轉換2) Synthesizer : 合成器負責將數字音頻波形數據或MIDI消息合成為聲音。3) ROM or/and RAM : 波表/軟波表ROM存放有實際音樂設備的聲音樣本，用于合成，稱之為波表RAM能夠被新的樣本數據更新，稱之為軟波表。4) Mixture：混聲器負責過濾以降低噪音、混合不同的聲音信號、單/雙通道轉換、音量調節(jié)一、二、三、四、 數字音頻編碼1. 含義：指將模擬音頻轉換成數字音頻并以某種格式存儲的技術或過程。2. 種類：1) PCM(Pulse Code Modulation脈沖編碼調制)編碼：即通過脈沖編碼調制方法生成數字音頻數據

17、的技術或格式。a) 系統(tǒng)原理系統(tǒng)由三個部分構成：l 防失真濾波器：它是一個低通濾波器，用來濾除音頻信號以外的信號。l 波形編碼器：主要完成采樣任務。l 量化器：負責對樣本進行量化， 即對每一個樣本賦予一個對應的二進制數據， 從而得到 PCM樣本序列，作為系統(tǒng)的輸出。其實，量化器輸出的 PCM 樣本序列還會進一步被編制成格式化的二進制碼流，包括幀和通道的構成，這個處理可以視為狹義的編碼過程。b) 量化分類l 均勻量化（線性量化）：指采用相等的量化間隔（量化階躍）進行的量化。量化間隔：指將整個量化空間分割成若干離散的有限狀態(tài)后，相鄰的兩個離散狀態(tài)值之間的差值。l 非均勻量化（非線性量化）：指量化間

18、隔在量化空間中不是一個常數的量化。一般情況下，量化間隔的大小分布服從一種非線性函數，對小的輸入信號采用較小的量化間隔，大的輸入信號則采用較大的量化間隔。分類：Ø 律壓擴（-Law）：所定義的函數關系如下：x: 輸入信號的幅值，其大小歸一化為-1和+1之間的一個小數， 即-1x1。sgn(x): x 的極性，也就是信號的正負。: 一個常量參數，由最大量化間隔和最小量化間隔之比決定，一般在100500之間取值。值越大，整個對數曲線越往上拱，反之就越靠近45度的線性量化曲線。在具體實現時，一般取255，并把對數曲線變成8條折線以簡化計算。Ø A 律壓擴（A-Law）：所定義的函數

19、關系如下：x: 為輸入信號的幅度，歸一化成為-1 < x < 1。Sgn(x):x的極性，也就是信號的正負。A: 為確定壓縮量的參數，為最大量化間隔和最小量化間隔之比。A 律壓擴的前一部分是線性的，以1/A為分界點，其余部分與律壓擴類似，為對數函數。具體計算時，A 取87.56。為簡化計算，同樣把整個曲線變成8條折線。2) DM(Delta Modulation增量調制)編碼：通過增量起伏來記錄模擬音頻信號實際變化過程的數字音頻編碼。a) 原理xi：編碼輸出yi：yi的預測值yi：第i個采樣值 ：量化間隔連續(xù)的1表示信號在上升，每次上升一個；連續(xù)的0表示信號在下降，每次下降一個；在

20、信號的平緩部分，編碼輸出表現為0 和1的交錯，即數字化信號以階 的大小上下起伏，用以記錄模擬波形的平緩變化（對DM編碼來說只能這樣做）。偽代碼描述：Algorithm：DM 編碼 input：模擬信號樣本序列 output：DM 編碼比特流 x DM_coding() / 初始化階段 x0 = 1; /第一個編碼比特等于 1 y0 = 0; /第一個樣本的預測值賦 0 while(輸入第 i 個樣本) / 預測值計算階段 if (xi-1 = 1 ) /如果前一個編碼輸出是 1 yi = yi-1 + ; /則當前樣本的預測值等于前一個預測值加 else yi = yi-1 - ; /當前樣本

21、的預測值等于前一個預測值減 / 編碼階段 if(yi > yi) /如果實際樣本值大于預測值 xi = 1; /編碼輸出等于 1 Else xi = 0; /否則，編碼輸出等于 0 b) 優(yōu)缺點l 優(yōu)點數據量得到顯著壓縮。DM編碼總是用一個比特來表示一個樣本，即對應一個樣本的編碼不是1就是0。所以，DM編碼被稱為一位系統(tǒng)。l 缺點Ø 斜率過載如果輸入信號變化太快，那么預測信號將不能保持對輸入信號的跟蹤，因為當前預測值只能在前一次預測值的基礎上加 1 個 （或減 1 個 ），也就是說，由于量化階躍固定不變，導致預測值跟不上信號的變化。這種現象稱為增量調制器的“斜率過載”（slop

22、e overload） ，即模擬信號的斜率太大，超過了量化階躍允許的變化幅度。一般來說，當輸入信號的變化速度超過輸出信號的最大變化速度時，就會出現斜率過載。Ø 粒狀噪聲當輸入信號變化比較平緩時，增量調制器的編碼輸出為交錯出現的 0 和1，即數字信號并不平緩，而是以量化階躍的大小起伏變化，這就相當于引入了噪聲信號。DM編碼器的這種噪聲是系統(tǒng)固有的，不可能徹底消除。3) ADPCM(Adaptive Difference Pulse Code Modulation,自適應差分脈沖編碼調制)：利用樣本與樣本之間的高度相關性和量化階自適應來壓縮數據的一種波形編碼技術a) 原理第一，使用過去的

23、樣本值估算下一個輸入樣本的預測值，使實際樣本值和預測值之間的差值總是最小，并對差值進行編碼。第二，利用自適應的思想在時間維度上改變量化階躍的大小，對小的差值使用小的量化階躍（），對大的差值則使用大的量化階躍進行編碼。4) SB-ADPCM(Sub Band-ADPCM,子帶自適應差分脈沖編調制)：是一種融合了子帶與自適應差分脈沖編調制技術的新型編碼方法。SBC(Sub Band Coding,子帶編碼)：子帶編碼使用一組帶通濾波器（Band-Pass Filter，BPF）把輸入音頻信號的頻帶分成若干個連續(xù)的子頻段，子頻段又稱為子帶。對每個子帶中的音頻信號采用獨立的編碼方案編碼。在傳輸編碼信號

24、時，系統(tǒng)會采用復用技術，將所有子帶的編碼整合起來傳輸。在接收端解碼時，首先進行解復用，即把各個子帶信號分解出來，然后對每個子帶的數據獨立解碼。當然，最后還原音頻信號時，系統(tǒng)會把所有子帶的解碼信號融合起來，從而還原成原來的音頻信號。這里的融合，實際上就是相加，即某一時刻的還原信號樣本等于同一時刻所有子帶樣本之和。3. 數字音頻編碼國際標準序號標準名稱編碼算法基本屬性1G.711PCM（含線性、 律以及A律PCM編碼算法）采樣頻率為8kHz，每樣本8 bits，數據率為64kbps2G.721ADPCM采樣頻率為8kHz，每樣本4 bits，數據率為32kbps3G.722SB-ADPCM采樣頻率

25、為8kHz，每樣本高子帶2 bits，低子帶6位，數據率為64kbps4G.723ADPCM采樣頻率為8kHz，每樣本3或5 bits，數據率為24或40kbps5G.723.1LPC提供 5.3kbps、6.3kbps兩種速率的配置第三章 音頻數據處理程序設計一、 波形音頻文件1. 含義：波形音頻文件（WAVE文件）是存儲數字音頻樣本（samples）序列的格式文件，這些樣本直接記錄了音頻的波形，故稱波形音頻文件。2. 格式標準：RIFF（Resource Interchange File Format），一個 WAVE 文件的最開頭四個字節(jié)便是“RIFF”。3. 組成：WAVE 文件是由若

26、干個Chunk（可以翻譯為塊）組成的。按照在文件中的出現位置，它們分別是 RIFF WAVE Chunk、Format Chunk、 Fact Chunk（可選）和 Data Chunk。1) RIFF WAVE Chunksize 是整個wav 文件大小減去ID 和Size所占用的字節(jié)數，即 FileLen - 8 = Size。2) Format Chunk3) Fact ChunkFact Chunk 是可選字段，一般當 wav 文件由某些軟件轉化而成，則包含該 Chunk。4) Data Chunk根據 Format Chunk 中的聲道數以及采樣 bit 數，wav 數據的 bit

27、位置可以分成以下 4 種形式:二、 音頻播放程序1. 利用 PlaySound 函數播放音頻文件1) 基本介紹：PlaySound是Windows系統(tǒng)提供的基本音頻播放函數，在 C/C+中使用。PlaySound函數不僅能夠播放波形音頻文件，而且可以播放系統(tǒng)事件對應的音頻。2) 原型：l pszSound：字符串變量，指向播放的波形音頻文件，可以為 NULL，這時任何當前播放的音頻將停止l hmod：可執(zhí)行文件的句柄，該可執(zhí)行文件包含了需要加載的資源。一般情況下， hmod被設置為 NULL。l fdwSound：播放標識，有 15 種取值：Ø SDN_ASYNC：異步播放，即調用

28、PlaySound 函數后聲音開始播放，而調用立即返回，無需等待播放完畢。Ø SDN_SYNC：同步播放，即調用要在播放完畢后才能返回。Ø SND_RESOURCE：此時hmod設置為一個可執(zhí)行文件的句柄。Ø SND_ALIAS：此時pszSound 不能是文件名，而必須是注冊的事件別名。3) 核心代碼：switch (wmId) case ID_DISP_SOUND: /控件IDPlaySound(L"angry_bird.wav",NULL,SND_ASYNC); /播放音頻break; case ID_STOP_SOUND: PlaySo

29、und(NULL, NULL,SND_ASYNC); /停止播放break;2. 基于 MF Media Session 的音頻播放1) 基本框架：2) 基礎過程：l 調用 MFStartup 函數進行 Media Foundation platform 的初始化； l 調用 MFCreateMediaSession 函數創(chuàng)建一個 Media Session 對象實例； l 利用 Source Resolver 創(chuàng)建媒體源。 l 創(chuàng)建 Topology，并將媒體源節(jié)點與 SAR 節(jié)點連接起來。實際上，應用程序在這里只需要創(chuàng)建一個Partial Topology（部分拓撲），然后將媒體源與輸出節(jié)

30、點 SAR 連接，這時，Partial Topology 能夠自動在兩者之間插入必要的解碼器，這體現出 Media Foundation的智能性； l 調用 IMFMediaSession:SetTopology 將 Topology 設置到 Media Session； l 使用 IMFMediaEventGenerator 接口從 Media Session 取得事件； l 調用 IMFMediaSession:Start 啟動播放。之后，可以調用 IMFMediaSession:Pause、l IMFMediaSession:Stop 暫停、停止播放。 l 退出應用程序時，需調用IMFMediaSession:Close關閉 Media Session。 該方法是異步的，因此，當調用完畢，Media Session發(fā)送MESessionClosed 事件，并能夠安全處理后面的操作。3. 音頻轉碼程序1) 功能：將 MP3、WMA 以及 AVI、WMV 中的音頻數據轉換