多媒體技術(shù)基礎(chǔ)及應(yīng)用

1、 多媒體技術(shù)基礎(chǔ)及應(yīng)用中央廣播電視大學(xué)袁 薇副教授1多媒體技術(shù)基礎(chǔ)及應(yīng)用期末復(fù)習(xí)2多媒體技術(shù)基礎(chǔ)及應(yīng)用期末復(fù)習(xí)考核要求重點(diǎn)難點(diǎn)題型解析3第1章 多媒體計(jì)算機(jī)概述 考核要求 掌握：多媒體計(jì)算機(jī)的定義。理解：什么是多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)、多媒體技術(shù)和計(jì)算機(jī)的融合解決了哪些實(shí)際問題。 了解：多媒體計(jì)算機(jī)發(fā)展史上卓有成效的公司和系統(tǒng)。 4第1章 重點(diǎn)難點(diǎn) 多媒體計(jì)算機(jī)的定義 多媒體計(jì)算機(jī)的分類 多媒體計(jì)算機(jī)要解決的關(guān)鍵技術(shù) 多媒體計(jì)算機(jī)的發(fā)展趨勢 5多媒體計(jì)算機(jī)的定義多媒體計(jì)算機(jī)的定義是：計(jì)算機(jī)綜合處理多媒體信息（文本、圖形、圖像、音頻和視頻）使多種信息建立邏輯連接、集成為一個(gè)系統(tǒng)并具有交互性的技術(shù)。

2、簡單地說：計(jì)算機(jī)綜合處理聲、文、圖信息；具有集成性和交互性。 。 6多媒體計(jì)算機(jī)的分類 一類是家電制造廠商研制的電視計(jì)算機(jī)（Teleputer），是把CPU放到家電中通過編程控制管理電視機(jī)、音響。有人稱它為“靈巧”電視-Smart TV； 另一類是計(jì)算機(jī)制造廠商研制的計(jì)算機(jī)電視（Compuvision），采用微處理器（80X86，68XXX）作為CPU，其它設(shè)備還有VGA卡，CD-ROM，音響設(shè)備以及擴(kuò)展的多媒體家電系統(tǒng)，有人說它的發(fā)展方向是TV-Killer。 7多媒體計(jì)算機(jī)的分類電視計(jì)算機(jī)計(jì)算機(jī)電視8多媒體計(jì)算機(jī)要解決的關(guān)鍵技術(shù)視頻音頻信息的獲取技術(shù)；多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)；視頻音頻

3、數(shù)據(jù)的實(shí)時(shí)處理和特技；視頻音頻數(shù)據(jù)的輸出技術(shù)。 9多媒體計(jì)算機(jī)的發(fā)展趨勢進(jìn)一步完善計(jì)算機(jī)支撐的協(xié)同工作環(huán)境（CSCW）。智能多媒體系統(tǒng)。把多媒體信息實(shí)時(shí)處理和壓縮編碼算法集成到CPU芯片中。 10第2章 音頻信息的獲取與處理 考核要求掌握：數(shù)字音頻信息的獲取與處理的原理過程、音頻卡的工作原理。理解：數(shù)字音頻采樣量化的原理過程、音樂合成的原理。了解：數(shù)字音頻編碼的標(biāo)準(zhǔn)。11第2章 重點(diǎn)難點(diǎn)模擬音頻與數(shù)字音頻的概念音頻信號(hào)處理的特點(diǎn)是什么 音頻卡的功能 音頻卡的工作原理 12模擬音頻與數(shù)字音頻的概念 模擬音頻是把機(jī)械振動(dòng)轉(zhuǎn)換成電信號(hào)，以模擬電壓的幅度來表示聲音的強(qiáng)弱。 數(shù)字音頻是把表示聲音信號(hào)強(qiáng)弱

4、的模擬電壓用一系列數(shù)字表示，也就是說，把模擬量表示的音頻信號(hào)轉(zhuǎn)換成由許多1和0組成的二進(jìn)制數(shù)的數(shù)字音頻文件。 13音頻信號(hào)處理的特點(diǎn)是什么音頻信號(hào)是時(shí)間依賴的連續(xù)媒體。理想的合成聲音是立體聲。對(duì)語音信號(hào)的處理，不僅是信號(hào)處理問題，還要抽取語意等其他信息。 14音頻卡的功能音頻卡的功能有以下幾個(gè)主要方面：音頻錄放、編輯、音樂合成、文語轉(zhuǎn)換、CD-ROM接口、MIDI接口、游戲接口等。 15第3章 視頻信息的獲取與處理 考核要求掌握：視頻信息的獲取與處理的基本原理、彩色全電視信號(hào)的組成、視頻卡的工作原理。理解：彩色空間的表示及轉(zhuǎn)換、圖像文件格式及轉(zhuǎn)換。 16第3章 重點(diǎn)難點(diǎn)彩色空間的概念色度學(xué)中的

5、三基色原理 黑白全電視信號(hào)和彩色全電視信號(hào) 17彩色空間的概念RGB彩色空間 YUV彩色空間 YIQ彩色空間 HSI彩色空間 18彩色全電視信號(hào) 彩色全電視信號(hào)是由色度信號(hào)F、亮度信號(hào)Y（或用B表示）、復(fù)合消隱信號(hào)A（包括行消隱和場消隱信號(hào)）、復(fù)合同步信號(hào)S（包括行同步和場同步信號(hào)）等迭加在一起組成的 19色度學(xué)中的三基色原理自然界常見的各種顏色光，都可由紅（R）、綠（G）、藍(lán)（B）三種顏色光按不同比例相配而成；（2）同樣絕大多數(shù)顏色也可以分解成紅（R）、綠（G）、藍(lán)（B）三種顏色光，這就是色度學(xué)中最基本原理，三基色原理。（3）三基色的選擇不是唯一的，但三種顏色必須是相互獨(dú)立的，即任何一種顏色

6、都不能由其他兩種顏色合成。 20黑白全電視信號(hào)全電視信號(hào)主要由圖像信號(hào)、復(fù)合消隱信號(hào)（包括行消隱信號(hào)、場消隱信號(hào)）和復(fù)合同步信號(hào)（包括行同步信號(hào)、場同步信號(hào)）三部分組成。 21彩色全電視信號(hào)彩色全電視信號(hào)是由色度信號(hào)F、亮度信號(hào)Y（或用B表示）、復(fù)合消隱信號(hào)A（包括行消隱和場消隱信號(hào)）、復(fù)合同步信號(hào)S（包括行同步和場同步信號(hào)）等迭加在一起組成的 22第4章 多媒體數(shù)據(jù)壓縮編碼技術(shù) 考核要求掌握：數(shù)據(jù)壓縮編碼的方法、常用的壓縮編碼和算法、JPEG的原理和實(shí)現(xiàn)技術(shù)。理解：量化的原理和量化器的設(shè)計(jì)、MPEG-1的原理和實(shí)現(xiàn)技術(shù)。了解：其它的國際標(biāo)準(zhǔn)等。 23第4章 重點(diǎn)難點(diǎn)為什么要進(jìn)行數(shù)據(jù)壓縮 數(shù)據(jù)

7、壓縮方法的分類 預(yù)測編碼的基本思想 哈夫曼編碼方法 信息熵的概念 24為什么要進(jìn)行數(shù)據(jù)壓縮多媒體信息包括了文本、數(shù)據(jù)、聲音、動(dòng)畫、圖形、圖像以及視頻等多種媒體信息。雖然經(jīng)過數(shù)字化處理后其數(shù)據(jù)量是非常大的，如果不進(jìn)行數(shù)據(jù)壓縮處理，計(jì)算機(jī)系統(tǒng)就無法對(duì)它進(jìn)行存儲(chǔ)和交換。另一個(gè)原因是圖像、音頻和視頻這些媒體具有很大的壓縮潛力。因?yàn)樵诙嗝襟w數(shù)據(jù)中，存在著空間冗余、時(shí)間冗余、結(jié)構(gòu)冗余、知識(shí)冗余、視覺冗余、圖像區(qū)域的相同性冗余、紋理的統(tǒng)計(jì)冗余等。它們?yōu)閿?shù)據(jù)壓縮技術(shù)的應(yīng)用提供了可能的條件。因此在多媒體系統(tǒng)中必須采用數(shù)據(jù)壓縮技術(shù)，它是多媒體技術(shù)中一項(xiàng)十分關(guān)鍵的技術(shù)。 25數(shù)據(jù)壓縮方法的分類常用的壓縮編碼方法可以

8、分為兩大類，一類是無損壓縮法；另一類是有損壓縮法。常用的數(shù)據(jù)壓縮方法按其原理分類也可分為：預(yù)測編碼、變換編碼、量化與矢量量化編碼、信息熵編碼、分頻帶編碼、結(jié)構(gòu)編碼和基于知識(shí)的編碼。 26預(yù)測編碼的基本思想首先建立數(shù)學(xué)模型，利用以往的樣本值對(duì)新的樣本值進(jìn)行預(yù)測；將樣本的實(shí)際值與其預(yù)測值相減得到一個(gè)誤差值；對(duì)誤差值進(jìn)行編碼。27哈夫曼編碼方法概率統(tǒng)計(jì)（如對(duì)一幅圖像，或m幅同種類型圖像作灰度信號(hào)統(tǒng)計(jì)），得到n個(gè)不同概率的信息符號(hào)。 將n個(gè)信源信息符號(hào)的n個(gè)概率，按概率大小排序。 將n個(gè)概率中，最后兩個(gè)小概率相加，這時(shí)概率個(gè)數(shù)減為n-1個(gè)。 將n-1個(gè)概率，按大小重新排序。 重復(fù)，將新排序后的最后兩個(gè)

9、小概率再相加，相加和與其余概率再排序。 如此反復(fù)重復(fù)n-2次，得到只剩兩個(gè)概率序列。 以二進(jìn)制碼元（0.1)賦值，構(gòu)成霍夫曼碼字。編碼結(jié)束。 28 例如：a1 0.20 01a2 0.19 00a3 0.18 111a4 0.17 110a5 0.15 101a6 0.10 1001a7 0.01 1000 10111000.3900.3510.2600.1100.61129 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 0.110.260.350.390.6130 a1 0.20 a2 0.19 a3 0.18 a4 0.17

10、 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.61131 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.6110132 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.611010033a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.

11、01 10111000.3900.3510.2600.1100.611010011134a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.611010011111035a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.611010011111010136 a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0

12、.01 10111000.3900.3510.2600.1100.6110100111110101100137a1 0.20 a2 0.19 a3 0.18 a4 0.17 a5 0.15 a6 0.10 a7 0.01 10111000.3900.3510.2600.1100.61101001111101011001100038信息熵的概念信息:是用不確定性的量度定義的。信息量:從N個(gè)相等可能事件中選出 一個(gè)事件所需要的信息度量或含量。熵:如果將信源所有可能事件信息量 進(jìn)行平均就得到信息的熵(熵就是平 均信息量)。39信息熵的概念信息量:信息熵:40信息熵的概念信源X中有16個(gè)隨機(jī)事件，即n

13、=16。每一個(gè)隨機(jī)事件的概率分別為：X1-X81/32 ； X9-X121/16；X13-X161/8，請(qǐng)寫出信息熵的計(jì)算公式并計(jì)算信源X的熵。 41信息熵的概念42第5章 媒體計(jì)算機(jī)硬件及軟件系統(tǒng)結(jié)構(gòu) 掌握：DVI系統(tǒng)的設(shè)計(jì)思想和工作原理及其成功和失敗的教訓(xùn)。 43第5章 重點(diǎn)難點(diǎn)數(shù)字視頻交互式多媒體計(jì)算機(jī)系統(tǒng) 型DVI系統(tǒng)的核心是什么 理想多媒體系統(tǒng)的設(shè)計(jì)原則 44數(shù)字視頻交互式多媒體計(jì)算機(jī)系統(tǒng)DVI ，Digital Video Interactive，數(shù)字視頻交互式多媒體計(jì)算機(jī)系統(tǒng)。DVI(Digital Video Interactive),是Intel公司推出的支持對(duì)多媒體信息進(jìn)行

14、處理及表現(xiàn)的一個(gè)集成環(huán)境。該產(chǎn)品采用了PLV(Product Level Video)視頻壓縮編碼算法；45數(shù)字視頻交互式多媒體計(jì)算機(jī)系統(tǒng)設(shè)計(jì)了兩個(gè)專用芯片（82750 PB像素處理器及82750 DB顯示處理器）；設(shè)計(jì)制造了三塊門陣電路：82750LH主機(jī)接口門陣、82750LV VRAM/SCSI/capture接口門陣、82750LA音頻子系統(tǒng)接口門陣；首次設(shè)計(jì)了視頻音頻引擎 (AVE-Audio Video Engine)；開發(fā)了多媒體計(jì)算機(jī)軟件系統(tǒng)： AVSS(Audio Video Sub-System)和AVK(Audio Video Kernel)。 46數(shù)字視頻交互式多媒體計(jì)

15、算機(jī)系統(tǒng)DVI系統(tǒng)主要在以下幾個(gè)方面取得了實(shí)質(zhì)性的突破：一種全數(shù)字化的方法視頻壓縮聲音壓縮合成圖形47數(shù)字視頻交互式多媒體計(jì)算機(jī)系統(tǒng)DVI-II型比DVI-I型主要的改進(jìn)主要有以下幾點(diǎn)：性能指標(biāo)高使用了三個(gè)專用的門陣列電路將多塊處理板集成為一塊處理板 48型DVI系統(tǒng)的核心是什么II型 DVI系統(tǒng)的核心是視頻算法和顯示引擎；它們是由 82750 PB像素處理器，82750 DB顯示處理器和靜止圖像壓縮編碼和解壓縮算法。49理想多媒體系統(tǒng)的設(shè)計(jì)原則采用國際標(biāo)準(zhǔn)設(shè)計(jì)的原則多媒體和通信功能的單獨(dú)解決變成集中解決體系結(jié)構(gòu)設(shè)計(jì)和算法相結(jié)合把多媒體和通信技術(shù)作到CPU芯片中 50第6章 多媒體計(jì)算機(jī)概述

16、掌握：超文本和超媒體的基本概念、主要特性和體系結(jié)構(gòu)以及超文本和超媒體組成要素。了解：超文本和超媒體的應(yīng)用及研究的問題。 51第6章 重點(diǎn)難點(diǎn)超文本和超媒體的概念超文本和超媒體的主要特征 超文本的組成要素 超文本和超媒體的兩個(gè)基本模型 52超文本和超媒體的概念由信息結(jié)點(diǎn)和表示信息結(jié)點(diǎn)間相關(guān)性的鏈構(gòu)成的一個(gè)具有一定邏輯結(jié)構(gòu)和語義的網(wǎng)絡(luò)超媒體（Hypermedia)： 超媒體=超文本+多媒體是對(duì)超文本的擴(kuò)展，超文本中節(jié)點(diǎn)的數(shù)據(jù)不僅可以是文本，還可以是圖形、圖像、動(dòng)畫、聲音或它們的組合體。這就形成了超媒體的概念53超文本和超媒體的主要特征多媒體化網(wǎng)絡(luò)結(jié)構(gòu)交互性54超文本的組成要素結(jié)點(diǎn)鏈55超文本和超媒

17、體的兩個(gè)基本模型56第7章 多媒體計(jì)算機(jī)概述 掌握：視頻會(huì)議系統(tǒng)的組成和基本的工作原理。了解：多媒體數(shù)據(jù)庫及基于內(nèi)容的檢索。 57第7章 重點(diǎn)難點(diǎn)視頻會(huì)議系統(tǒng)的分類 視頻會(huì)議系統(tǒng)的組成以及各部分的主要功能。 基于內(nèi)容檢索的關(guān)鍵技術(shù) 58視頻會(huì)議系統(tǒng)的分類視頻會(huì)議系統(tǒng)根據(jù)通訊節(jié)點(diǎn)數(shù)量分成兩類：點(diǎn)對(duì)點(diǎn)視頻會(huì)議系統(tǒng)多點(diǎn)視頻會(huì)議系統(tǒng) 59視頻會(huì)議系統(tǒng)的組成以及各部分的主要功能視頻會(huì)議終端；視頻會(huì)議終端的主要功能是：完成視頻音頻信號(hào)的采集、編輯處理及輸出、視頻音頻數(shù)字信號(hào)的壓縮編碼和解碼，最后將符合國際標(biāo)準(zhǔn)的壓縮碼流經(jīng)線路接口送到信道，或從信道上將標(biāo)準(zhǔn)壓縮碼流經(jīng)線路接口送到終端。60視頻會(huì)議系統(tǒng)的組成以

18、及各部分的主要功能多端控制單元（MCU）；多端控制單元的主要功能是：對(duì)視頻、語音及數(shù)據(jù)信號(hào)進(jìn)行切換，例如它把傳送到MCU某會(huì)場發(fā)言者的圖像信號(hào)切換到所有會(huì)場。61視頻會(huì)議系統(tǒng)的組成以及各部分的主要功能信道（網(wǎng)絡(luò)）；信道（網(wǎng)絡(luò)）的主要功能是：保證視頻音頻數(shù)據(jù)壓縮碼流安全在信道上傳輸?shù)揭曨l會(huì)議系統(tǒng)的終端。62視頻會(huì)議系統(tǒng)的組成以及各部分的主要功能控制管理軟件；控制管理軟件主要是視頻會(huì)議系統(tǒng)的標(biāo)準(zhǔn)，其中最著名的標(biāo)準(zhǔn)是H.320系列和T.120系列建議。H系列的建議和標(biāo)準(zhǔn)是專門針對(duì)交互式電視會(huì)議業(yè)務(wù)而制定的，而T系列是針對(duì)其他媒體的管理功能做出規(guī)定，兩種協(xié)議的結(jié)合將使多媒體會(huì)議系統(tǒng)的通信有更完善的依據(jù)

19、。H.320系列標(biāo)準(zhǔn)包括了視頻、音視的壓縮和解壓縮，靜止圖像，多點(diǎn)會(huì)議，加密及一些改進(jìn)的特性。T.120是國際電信聯(lián)盟通信標(biāo)準(zhǔn)部開發(fā)的系列國際標(biāo)準(zhǔn)，此標(biāo)準(zhǔn)是為多媒體會(huì)議系統(tǒng)中發(fā)送數(shù)據(jù)而制定的。 63題型解析一、單項(xiàng)選擇題（每小題2分，共20分） 二、多項(xiàng)選擇題（每小題3分，共15分） 三、填空題（每空2分，共10分）四、簡答題（每小題6分，共30分）五、綜合題（共25分） 64題型解析單項(xiàng)選擇1.下列數(shù)字視頻中哪個(gè)質(zhì)量最好（ ）。A240180分辨率、24位真彩色、15幀/秒的幀率B320240分辨率、30位真彩色、25幀/秒的幀率C320240分辨率、30位真彩色、30幀/秒的幀率D640480分辨率、16位真彩色、15幀/秒的幀率答案：C65題型解析2.下