多媒體原理與系統(tǒng)研發(fā)設(shè)計復(fù)習總結(jié)

1、多媒體原理與系統(tǒng)設(shè)計第一章 多媒體技術(shù)概述1. 相關(guān)基本概念1) 媒體：信息傳輸、存儲和呈現(xiàn)的載體2) 新媒體：藝術(shù)與現(xiàn)代數(shù)字媒體技術(shù)結(jié)合的新型媒體形態(tài)3) 媒體分類：a) 感覺媒體：作用于感覺器官的信息形態(tài)b) 表示媒體：以模擬或數(shù)字編碼形態(tài)出現(xiàn)的感覺媒體c) 顯示媒體： (顯示器 )d) 存儲媒體： (光盤 )e) 傳輸媒體： (光纖 )4) 多媒體 (技術(shù)) ：融合了兩種以上感覺媒體的協(xié)同應(yīng)用系統(tǒng)和技術(shù)，以幫助人們 獲得更豐富的應(yīng)用體驗5) 超媒體： (媒體的媒體 ) 通過超鏈接技術(shù)構(gòu)成的多媒體系統(tǒng)6) 多媒體技術(shù)的特點：a) 媒體形式的多樣性b) 媒體技術(shù)的集成性c) 媒體應(yīng)用的交互性

2、2. 應(yīng)用場景多媒體電子消費領(lǐng)域現(xiàn)代教育技術(shù)領(lǐng)域通信領(lǐng)域軍事領(lǐng)域管理與決策領(lǐng)域表演與會展領(lǐng)域信息可視化領(lǐng)域 物聯(lián)網(wǎng)工程領(lǐng)域Web 應(yīng)用系統(tǒng)3. 多媒體技術(shù)的體系結(jié)構(gòu)第二章 數(shù)字音頻基礎(chǔ)1. 聲音的相關(guān)概念1) 聲音的基本物理屬性：頻率、振幅2) 聲音的三要素：音高、音色、音強3) 模擬音頻 (Analogous Audio) ：用連續(xù)的電流或電壓表示的音頻信號4) 數(shù)字音頻 (Digital Audio) ：通過采用和量化技術(shù)獲得的離散性 (數(shù)字化 )音頻數(shù) 據(jù)5) 采樣頻率：單位時間內(nèi)采集的樣本數(shù)，是采樣周期的倒數(shù)CD-Audio 采樣頻率為 44.1kHz一般網(wǎng)絡(luò)和移動通信采樣頻率： 8k

3、Hz6) 量化深度：表示一個樣本的二進制的位數(shù) (樣本的比特數(shù) )2. 聲卡的結(jié)構(gòu)及工作原理功能模塊：a) DSP： Digital Signal Processor( 數(shù)字信號處理器 )Sampling( 采樣 )Quantization( 量化 )Code and decode( 編/解碼 )D/Ab) Synthesizer ：合成器c) ROM/RAM ：波表d) Mixture ：混聲器 (過濾、去噪、切換單 /雙聲道 )3. 數(shù)字音頻編碼1) 音頻編碼：將模擬音頻轉(zhuǎn)換成數(shù)字音頻里并以某種格式存儲的技術(shù)或過程2) PCM 編碼：即通過脈沖編碼調(diào)制的方式生成數(shù)字音頻數(shù)據(jù)的技術(shù)或格式a)

4、 PCM的均勻量化：量化階躍值是常數(shù)的PCM量化b）非均勻量化：量化階躍值為變量的PCM量化（又稱非線性量化）c）卩律壓擴：有口洗漱調(diào)節(jié)的對數(shù)函數(shù)型非線性量化PCM編碼d）A律壓擴：由A系數(shù)調(diào)節(jié)的分段函數(shù)型線性與非線性組合量化構(gòu)成的PCM編碼3）增量調(diào)制編碼（DM）:通過增量起伏來記錄模擬音頻信號實際變化過程的數(shù)字音頻編碼（數(shù)據(jù)量很小，用離散的跳躍信號去仿真（模擬）去逼近輸入信號的變化）矚慫潤厲釤瘞睞櫪廡賴。DM算法描述:yo = 0 ；y0 = o ；x0 = 1 ；for (ith sampli ng not end)if ( xi-1= 1 )yi = yi-1 +:;elseyi =

5、yi-1-:;if ( y i > yi ) xi = 1 else xi = 0;第三章 音頻數(shù)據(jù)處理程序設(shè)計1. 音頻數(shù)據(jù)格式分析波形音頻文件格式：存儲數(shù)字音頻樣本序列的格式文件，該文件直接記錄的音頻 的波形WAVE波形音頻文件：使用最廣泛，遵從RIFF格式標準文件結(jié)構(gòu)： RIFF WAVE Chunk 、 Format Chunk 、Fact Chunk 、Data Chunk 聞創(chuàng)溝燴鐺險愛氌譴凈。wav 數(shù)據(jù)的 bit 格式形式：單聲道 8bit 量化、雙聲道 8bit 量化單聲道 16bit 量化、雙聲道 16bit 量化2. 音頻回放與編程接口1) 使用 PlaySound

6、 函數(shù)2) 使用 MCI 函數(shù)3) 基于 DirectShow 開發(fā)包的應(yīng)用程序：目標是簡化在 Windows 平臺上創(chuàng)建數(shù)字 媒體的任務(wù)，通過將應(yīng)用程序從數(shù)據(jù)傳輸、硬件區(qū)別、同步中隔離出來 殘騖樓諍 錈瀨濟溆塹籟。諸多挑戰(zhàn)：a) 多媒體流包含大量需要被快速處理的數(shù)據(jù)b) 音頻和視頻必須同步c) 數(shù)據(jù)來源很多：本地、計算機網(wǎng)路、廣播、攝像機d) 數(shù)據(jù)格式繁多：Audio-Video Interleaved (AVI)Advanced Streaming Format (ASF)Motion Picture Experts Group (MPEG) Digital Video (DV)e) 應(yīng)用

7、程序并不能預(yù)見終端設(shè)備上的硬件4) 基于 Media Foundation 開發(fā)包的應(yīng)用程序3. 基于 MF 的音頻轉(zhuǎn)碼程序設(shè)計第四章無損數(shù)據(jù)壓縮編碼1. 熵編碼1) 算術(shù)編碼(Arithmetic Coding)2）行程編碼：可用索引+索引對象（重復(fù)對象）的方式來表示2. 字典編碼1）第一類字典編碼：用指向早起曾經(jīng)出現(xiàn)過的字符串的指針來表示當前被編 碼字符串C B C算法：LZ77算法、LZSS算法（LZ77的改進版）2）第二類字典編碼：從輸入的數(shù)據(jù)流中創(chuàng)建一個短語詞典，后續(xù)數(shù)據(jù)流中若 出現(xiàn)詞典中的短語，則可用該短語在詞典中的索引表示該短語，而不需要 輸出短語本身釅錒極額閉鎮(zhèn)檜豬訣錐。ABC

8、BCABC BABCB算法：LZ78算法Dictionary1 BC2 ABC第五章 數(shù)字圖像基礎(chǔ)1. 色彩及其模型1) 色彩的概念2) 色彩的三特性a) 亮度：色光的明暗程度，由色光所含的能量決定b) 色調(diào)：顏色的類別c) 飽和度：色調(diào)深淺的程度3) 色彩模型：對三維色彩空間中的可見光子集的一個描述4) RGB模型：用紅、綠、藍三種基本顏色表示其他顏色的模型RGBA模型：A表示Alpha通道(一般用作不透明度參數(shù)，0%表示完全 透明， 100% 表示完全不透明 )5) CMYK模型：用物質(zhì)吸收光的數(shù)量表示色彩的方式(青C,品M,黃Y,黑K)6) HSV 模型：a) 色相(H):色彩的基本屬性

9、b) 飽和度 (S) ：色彩的純度c) 亮度值 (V) ：顏色的明亮程度2. 數(shù)字圖像的概念1) 數(shù)字圖像：用二維像素矩陣表示的圖像2) 像素：圖像平面中特定位置的一個點，具有一定的顏色屬性3) 二值圖像：像素值僅僅為兩種顏色的圖像4) 灰度圖像：像素值分布在 RGB 色彩空間中的灰度線上的數(shù)字圖像5) 色彩圖像：由三幅原色圖像 (紅、綠、藍 )融合而成的圖像6) 真彩圖像：像素值直接表示了顏色屬性的彩色圖像7) 偽彩圖像：像素值不直接表示顏色值本身而表示了顏色在調(diào)色板中索引的彩 色圖像8) 圖像分辨率：圖像在水平和垂直方向上的像素數(shù)的乘積3. 圖像的存儲格式1) BMP 文件格式2) BMP

10、 文件的數(shù)據(jù)存儲格式a) 非壓縮格式：b) 壓縮格式：個編碼BI_RLE_8 編碼：一個字節(jié)表示一個像素，二個字節(jié)為 單元BI_RLE_4 編碼4. 圖像壓縮技術(shù)JPEG的格式第六章 圖像處理程序設(shè)計1. 圖像的基本操作1) 利用系統(tǒng)函數(shù)顯示圖像2) 利用打點函數(shù)顯示圖像2. 濾波與合成1) 卷積運算2) 高斯模板第七章 數(shù)字視頻基礎(chǔ)1. 模擬電視信號分析1) 模擬電視系統(tǒng)的主要概念：a) 掃描：逐行掃描、隔行掃描b) 電視制式c) 彩色模型2) 模擬電視信號分析a) 電視信號的調(diào)制過程b) 復(fù)合電視信號c) 分量電視信號d) S-Video 信號2. 模擬視頻信號的數(shù)字化1) 數(shù)字化方法a)

11、 先分離再采樣b) 先采樣再分離c) 采樣頻率d) 每行有效樣本數(shù)e) 采樣格式f) 視頻圖像的公共交換格式3. 數(shù)字視頻數(shù)據(jù)格式1) YUV 文件格式trfrJ- I .丄-第一幀第幀2) AVI文件格式第八章 數(shù)字視頻編碼1. 視頻編碼原理1) 視頻數(shù)據(jù)分層2) 視頻圖像的類型a) frame ：采用幀內(nèi)編碼的圖像b) P-frame ：采用單向預(yù)測編碼的圖像c) B-frame ：采用雙向預(yù)測編碼的圖像3) P/B 圖像的處理過程4) 塊匹配標準a) 絕對差b) 均方差c) 平均絕對差5) 最佳匹配宏塊搜索算法a) 二維對數(shù)法b) 三步法c) 對偶搜索法2. H.2613. H.2631

12、) 支持更多格式2) 運動向量的模式不受限制3) 基于語法的算術(shù)編碼4) 高級預(yù)測模式5) P/B 幀模式4. MPEG-1/21) MPEG-1采用了 I、B、P的幀分類2) MPEG-1 幀內(nèi)量化表與幀間量化表不同3) MPEG-2 采用分場壓縮技術(shù)4) MPEG-2的DCT系數(shù)行程編碼之子形掃描方式5. MPEG-41) MPEG-4的基本概念a) 視頻對象：視頻圖像序列中的同一個物理對象b) 視頻對象區(qū)：位于一個圖像中的視頻對象2) MPEG-4的編碼方法a) 幀視頻對象編碼b) 任意視頻對象的編碼c) 輪廓編碼d) 紋理編碼3) MPEG-4面向?qū)ο蟮谋硎九c交互式框架第九章 MPEG

13、 音頻1. 聽覺系統(tǒng)的感知特性1) 對響度的感知2) 對音高的感知3) 掩蔽效應(yīng)2. MPEG Audio 的心理聲學模型3. MPEG Audio 編解碼系統(tǒng)1) 系統(tǒng)結(jié)構(gòu)2) 部件分析a) 多相濾波器組：將輸入信號分層 32 個頻率子帶b) 編碼器c) 心理聲學模型SMR來調(diào)節(jié)量d) 心理聲學模型如何作用于編碼器：計算所謂信掩比，通過 化深度3) MPEG Audio 的編碼分層：層 1、層 2、層 3(MP3)第十章 光學存儲媒體1. 基本技術(shù)1) 光盤的構(gòu)造2) 光盤驅(qū)動器的構(gòu)造3) 通道編碼2. 激光數(shù)字唱盤 CD-DA：Red Book1) 幀、扇區(qū)和區(qū)的概念2) CD-DA 的數(shù)

14、據(jù)率與容量計算3. CD-RO M:黃皮書4. Compact Disk Write Once第十一章 網(wǎng)絡(luò)組播技術(shù)1. 組播的概念1) 廣播：將源端數(shù)據(jù)發(fā)送到一個網(wǎng)絡(luò)中的所有主機的傳播方式。廣播使用廣播 地址2) 單播：將源端數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)中的某個特定主機的傳播方式。單播使用特定 主機地址3) 組播：將源端數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)中的一組主機的傳播方式。組播使用組地址2. 組播的應(yīng)用：遠程會議、Web緩存更新1) 組播與廣播、單播的比較a) 廣播( Broadcast ) :將一個數(shù)據(jù)拷貝發(fā)送到網(wǎng)絡(luò)中的所有主機實現(xiàn)簡單( Simple ) , 但是效率不高( inefficient )即使主機對該數(shù)據(jù)

15、不感興趣也必須處理它因此占用了主機的 CPU 資源會產(chǎn)生廣播風暴“ broadcast storms ”b) 多個重復(fù)的單播( Replicated Unicast )：發(fā)送者依次向各接收主機發(fā)送相同的數(shù)據(jù)發(fā)送者必須事先知道每個接收主機的地址通訊量在發(fā)送方過于集中，但比較可靠( Reliability => per-receiver state, separate sessions/processes at sender ) 彈貿(mào)攝爾霽斃攬磚鹵廡。3. IP 組播的體系結(jié)構(gòu)4. IP 組播模型： RFC 11125. IP 組播地址6. IP 組播地址到鏈路層組地址的映射7. 群組關(guān)系管理協(xié)議8. 組播路由第十二章 視頻會議系統(tǒng)1. 視頻會議系統(tǒng)的概念1) 基本定義：視頻會議系統(tǒng)