多媒體技術(shù)概論

多媒體技術(shù)概論第1頁，共32頁，2023年，2月20日，星期四第一章多媒體技術(shù)概論學(xué)習(xí)目標(biāo)·掌握多媒體技術(shù)的相關(guān)概念和關(guān)鍵特性·了解多媒體技術(shù)的發(fā)展歷程·了解多媒體技術(shù)的研究內(nèi)容·了解多媒體技術(shù)的應(yīng)用領(lǐng)域和發(fā)展趨勢第2頁，共32頁，2023年，2月20日，星期四1．1多媒體技術(shù)的基本概念1．1．1媒體(Medium)

媒體在計(jì)算機(jī)領(lǐng)域中有兩種含義：用以存儲(chǔ)信息的實(shí)體，如磁帶、磁盤、光盤和半導(dǎo)體存儲(chǔ)器；信息的載體，如數(shù)字、文字、聲音、圖形和圖像等。在多媒體技術(shù)中的媒體指的是后者。第3頁，共32頁，2023年，2月20日，星期四1．媒體的類型國際電信聯(lián)盟電信標(biāo)準(zhǔn)局ITu—T(原CCF[1T)給媒體作了如下的分類和定義：

(1)感覺媒體(PerceptionMedium)。感覺媒體是指直接作用于人的感官，使人直接產(chǎn)生感覺的一類媒體。如人類使用的各種語言、音樂，自然界的各種聲音、圖形圖像，使人的觸覺、嗅覺和味覺產(chǎn)生反應(yīng)的力、溫度、滋味、氣味等。

(2)表示媒體(RepresentationMedium)。表示媒體是為了加工、處理和傳輸感覺媒體而人為構(gòu)造出來的一種媒體，如文字、音頻、圖像和視頻等的數(shù)字化編碼表示。

(3)顯示媒體(PresentationMedium)。顯示媒體是指感覺媒體與用于通信傳輸?shù)碾娦盘?hào)之間轉(zhuǎn)換的一類媒體，又可分為兩種：輸入顯示媒體和輸出顯示媒體，如鍵盤、攝像機(jī)和話筒屬于輸入顯示媒體，顯示器、投影儀和音箱屬于輸出顯示媒體。

(4)存儲(chǔ)媒體(StorageMedium)。存儲(chǔ)媒體又稱存儲(chǔ)介質(zhì)，用來存放表示媒體，以方便計(jì)算機(jī)處理和調(diào)用信息編碼，如磁盤、光盤和內(nèi)存等。

(5)傳輸媒體(TransmissionMedium)。傳輸媒體又稱傳輸介質(zhì)，它是用來將媒體從一處傳送到另一處的物理載體，如雙絞線、同軸電纜、光纖和無線傳輸介質(zhì)等。第4頁，共32頁，2023年，2月20日，星期四

2．常見的表示媒體元素多媒體技術(shù)中可顯示給用戶使用的媒體是表示媒體，其元素目前主要包含以下幾類：

(1)文本(Text)。文本是指各種文字的集合，是計(jì)算機(jī)文字處理的基礎(chǔ)，在目前也是多媒體應(yīng)用程序的基礎(chǔ)。

1)非格式化文本。類似于.TxT格式的文本，字符大小是固定的，僅能按一種形式和類型使用，不具備排版功能。

2)格式化文本。在文本上附加了一定的格式可對(duì)文本進(jìn)行各種格式編排，包括各種字體、尺寸、格式及色彩等。第5頁，共32頁，2023年，2月20日，星期四(2)音頻(Audio)。音頻有時(shí)也泛稱聲音，除語音、音樂外還包括各種音響效果。影響聲音質(zhì)量主要的因素有采樣頻率、采樣精度及聲音通道數(shù)。數(shù)字化后計(jì)算機(jī)中保存的聲音文件有多種存儲(chǔ)格式，常用的有波形音頻文件(WAV)和數(shù)字音頻文件(MIDI)兩種。波形音頻文件是真實(shí)聲音數(shù)字化后的數(shù)據(jù)文件：數(shù)字音頻文件又稱樂器數(shù)字接口，是以一系列指令來表示聲音的，可以看成是聲音的符號(hào)表示。第6頁，共32頁，2023年，2月20日，星期四(3)圖形(Graphic)和靜態(tài)圖像(Image)。靜態(tài)圖像(簡稱圖像)是多媒體應(yīng)用中最活躍的媒體元素。有的資料將圖像定義為：“凡是能為人類視覺系統(tǒng)所感知的信息形式或人們心目中的有形想象”。在媒體展現(xiàn)時(shí)，無論是傳統(tǒng)的文字，還是圖形、視頻，最終都是以圖像的形式出現(xiàn)，更確切地講是以“像素點(diǎn)”(Pixel)的形式展現(xiàn)的。與像素點(diǎn)對(duì)應(yīng)的圖像稱為位圖圖像(簡稱位圖，Bitmap)，這是圖像最基本的一種格式。位圖中的像素點(diǎn)是基本數(shù)據(jù)單位(可用一定位數(shù)的二進(jìn)制表示，二進(jìn)制位數(shù)也稱為圖像深度)，用來定義像素點(diǎn)的顏色和亮度。一幅圖像的像素點(diǎn)越多或表示每個(gè)像素點(diǎn)的位數(shù)越多，則圖像質(zhì)量越好，越接近自然狀況，但需存儲(chǔ)的數(shù)據(jù)量越大。第7頁，共32頁，2023年，2月20日，星期四

(4)動(dòng)畫(Animation)與視頻(’Video)。動(dòng)態(tài)圖像是由多幅連續(xù)的、順序的圖像序列構(gòu)成，序列中的每幅圖像稱為一“幀”。如果每一幀圖像是由人工或計(jì)算機(jī)生成的圖形時(shí)，該動(dòng)態(tài)圖像就稱為動(dòng)畫；若每幀圖像為計(jì)算機(jī)產(chǎn)生的具有真實(shí)感的圖像，則稱為三維真實(shí)感動(dòng)畫，二者統(tǒng)稱動(dòng)畫；若每幀圖像為實(shí)時(shí)獲取的自然景物圖像時(shí)，就稱為動(dòng)態(tài)影像視頻，簡稱動(dòng)態(tài)視頻或視頻(Video)?，F(xiàn)在，包括模式識(shí)別在內(nèi)的先進(jìn)技術(shù)允許把捕捉的視頻和動(dòng)畫結(jié)合在一起，形成混合運(yùn)動(dòng)圖像。第8頁，共32頁，2023年，2月20日，星期四為保證獲得較好的運(yùn)動(dòng)感覺，視頻的幀速應(yīng)該大約是15幀/秒或者16幀/秒。幀速在10～16幀/秒時(shí)，會(huì)感到畫面在抖動(dòng)。相對(duì)應(yīng)，電影采用的幀速是24幀/秒，NTSC制式電視的幀速是30幀/秒，PAL制式的幀速是25幀/秒。運(yùn)動(dòng)圖像每秒鐘的數(shù)據(jù)量是幀速乘以單幀數(shù)據(jù)量。第9頁，共32頁，2023年，2月20日，星期四1．1．2多媒體及特性

1．多媒體多媒體的“多”是其多種媒體表現(xiàn)，多種感官作用，多種設(shè)備，多學(xué)科交匯，多領(lǐng)域應(yīng)用：“媒”是指人與客觀世界之中介；“體”是指其綜合、集成一體化。多媒體技術(shù)就是利用計(jì)算機(jī)技術(shù)綜合處理多種媒體信息(文本、圖形、圖像、音頻和視頻)，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互性。簡單地說多媒體技術(shù)就是計(jì)算機(jī)綜合處理聲、文、圖信息的技術(shù)，具有集成性和交互性。第10頁，共32頁，2023年，2月20日，星期四2．多媒體的特性多媒體的主要特性包括以下三點(diǎn)：

(1)多維化。多維化是指計(jì)算機(jī)處理媒體信息的多樣化，它使人與計(jì)算機(jī)之間的交互不再局限于順序的、單調(diào)的、狹小的范圍，而有充分自由的余地。(2)集成性。集成性包括兩方面：一方面是指多媒體技術(shù)能將各種不同的媒體信息有機(jī)地進(jìn)行同步組合，形成一個(gè)完整的多媒體信息：另一方面是指把不同的媒體設(shè)備集成在一起，形成多媒體系統(tǒng)。(3)交互性。第11頁，共32頁，2023年，2月20日，星期四1．1．3多媒體信息系統(tǒng)多媒體信息系統(tǒng)是指利用計(jì)算機(jī)技術(shù)和數(shù)字通信網(wǎng)技術(shù)來處理和控制多媒體信息的系統(tǒng)。簡單地說，一個(gè)電視節(jié)目、一部動(dòng)畫片、CAI課件或者視頻音頻演示系統(tǒng)，都可以稱為多媒體信息系統(tǒng)。按照功能可以把多媒體信息系統(tǒng)分為以下幾類：

(1)開發(fā)系統(tǒng)。(2)演示系統(tǒng)。

(3)培訓(xùn)系統(tǒng)。(4)家庭系統(tǒng)。第12頁，共32頁，2023年，2月20日，星期四1．2多媒體技術(shù)的發(fā)展1.2.1多媒體技術(shù)的發(fā)展

1984年，美國Apple公司在Macintosh上為了改善人機(jī)之間的界面，首先大膽地引入位映射(Bitmap)的概念對(duì)圖進(jìn)行描述，并使用了窗口和圖符作為用戶接口。

1985年，美國Commodore個(gè)人計(jì)算機(jī)公司率先推出了世界上第一臺(tái)多媒體計(jì)算機(jī)Amiga，后來不斷完善，形成一個(gè)完整的多媒體計(jì)算機(jī)系列。

1986年3月，荷蘭Philips公司和日本Sony公司聯(lián)合研制并推出了交互式緊湊光盤系統(tǒng).1987年3月，美國RCA公司推出交互式數(shù)字視頻系統(tǒng).1993年5月，MPC市場協(xié)會(huì)又制定了第2代多媒體個(gè)人計(jì)算機(jī)標(biāo)準(zhǔn)MPC2，提高了基本部件的性能指標(biāo)。

1995年，隨著Windows95的問世，使多媒體計(jì)算機(jī)的用戶界面更易操作、功能更全。第13頁，共32頁，2023年，2月20日，星期四1.2.2多媒體技術(shù)促進(jìn)了通信和娛樂與計(jì)算機(jī)的融合計(jì)算機(jī)中的信息最初只能用二進(jìn)制的0、1來表示.第14頁，共32頁，2023年，2月20日，星期四1．3多媒體技術(shù)的研究內(nèi)容1．3．1數(shù)據(jù)壓縮與編碼技術(shù)數(shù)據(jù)能夠進(jìn)行壓縮是基于兩個(gè)原因：一是數(shù)據(jù)中存在大量的冗余(相關(guān)性)，主要是空間冗余、時(shí)間冗余、結(jié)構(gòu)冗余、知識(shí)冗余及紋理的統(tǒng)計(jì)冗余?；谠撛淼膲嚎s稱為無損失壓縮。二是對(duì)于圖像、音頻和視頻，人的感官可容忍某些細(xì)節(jié)(質(zhì)量)的丟失。在研究和選用編碼時(shí)，主要有兩個(gè)問題：一是該編碼方法能用計(jì)算機(jī)軟件或集成電路芯片快速實(shí)現(xiàn)。二是一定要符合壓縮編碼／解壓縮編碼的國際標(biāo)準(zhǔn)。此外，還應(yīng)考慮媒體的種類、應(yīng)用的對(duì)象、應(yīng)用要求和采用的設(shè)備特性等因素。第15頁，共32頁，2023年，2月20日，星期四1．3．2多媒體專用芯片技術(shù)多媒體專用芯片依賴于大規(guī)模集成電路(VLSI)技術(shù)，它是多媒體硬件系統(tǒng)體系結(jié)構(gòu)的關(guān)鍵技術(shù)。因?yàn)?，要?shí)現(xiàn)音頻、視頻信號(hào)的快速壓縮、解壓縮和播放處理，需要大量的快速計(jì)算。而實(shí)現(xiàn)圖像許多特殊效果、圖像生成、繪制等處理以及音頻信號(hào)的處理等，也需要較快的運(yùn)算處理速度，因此，只有采用專用芯片，才能取得滿意的效果。多媒體計(jì)算機(jī)的專用芯片可分為兩類：一類是固定功能的芯片，另一類是可編程數(shù)字信號(hào)處理器DSP芯片。除專用處理器芯片外，多媒體系統(tǒng)還需要其他集成電路芯片支持，如數(shù)/模(D/A)和模傲(A/D)轉(zhuǎn)換器，音頻、視頻芯片，彩色空間變換器及時(shí)鐘信號(hào)產(chǎn)生器，等等。第16頁，共32頁，2023年，2月20日，星期四1．3．3多媒體數(shù)據(jù)存儲(chǔ)技術(shù)服務(wù)器的存儲(chǔ)技術(shù)己分化為兩大類：直接連接存儲(chǔ)技術(shù)和儲(chǔ)存網(wǎng)絡(luò)技術(shù)。第17頁，共32頁，2023年，2月20日，星期四1．3．4．媒體輸X／輸出技術(shù)媒體輸入/輸出技術(shù)包括媒體變換技術(shù)、媒體識(shí)別技術(shù)、媒體理解技術(shù)和媒體綜合技術(shù)。

·媒體變換技術(shù)：是指改變媒體的表現(xiàn)形式，如當(dāng)前廣泛使用的視頻卡、音頻卡(聲卡)都屬于媒體變換技術(shù)。

·媒體識(shí)別技術(shù)：是對(duì)信息進(jìn)行一對(duì)一的映像過程。例如，語音識(shí)別是將語音映像為一串字、詞或句子；觸摸屏是根據(jù)觸摸屏上的位置識(shí)別其操作。

·媒體理解技術(shù)：是對(duì)信息進(jìn)行更進(jìn)一步的分析處理和理解信息內(nèi)容。如，自然語言理解、圖像理解、模式識(shí)別這類技術(shù)。

·媒體綜合技術(shù)：是把低維信息表示映像成高維的模式空間的過程。如，語音合成器就可以把語音的內(nèi)部表示綜合為聲音輸入。第18頁，共32頁，2023年，2月20日，星期四輸入／輸出技術(shù)進(jìn)一步發(fā)展的趨勢是：

(1)人工智能輸入／輸出技術(shù)。

(2)外圍設(shè)備控制技術(shù)。

(3)多媒體網(wǎng)絡(luò)傳輸技術(shù)。第19頁，共32頁，2023年，2月20日，星期四1．3．5多媒體系統(tǒng)軟件技術(shù)多媒體系統(tǒng)軟件技術(shù)主要包括多媒體操作系統(tǒng)、多媒體編輯系統(tǒng)、多媒體數(shù)據(jù)庫管理技術(shù)、多媒體信息的混合與重疊技術(shù)等。

1．多媒體操作系統(tǒng)

2．多媒體數(shù)據(jù)庫技術(shù)由于多媒體信息的構(gòu)成特點(diǎn)，多媒體數(shù)據(jù)庫具有下列區(qū)別于傳統(tǒng)數(shù)據(jù)庫的特點(diǎn)：

(1)占用存貯空間大，數(shù)據(jù)源廣泛。

(2)大量的非格式化數(shù)據(jù)信息，即多媒體信息，種類多，結(jié)構(gòu)復(fù)雜。

(3)由于大多數(shù)多媒體應(yīng)用都主要基于通信技術(shù)，因此數(shù)據(jù)庫系統(tǒng)必須是完全分布式的。第20頁，共32頁，2023年，2月20日，星期四數(shù)據(jù)庫存儲(chǔ)方法可供選擇：

(1)擴(kuò)展現(xiàn)存的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)來支持類似于二進(jìn)制對(duì)象的各種多媒體對(duì)象。

(2)將RDBMS從基本的二進(jìn)制對(duì)象擴(kuò)展到繼承和類這一概念，支持這些特性的數(shù)據(jù)庫管理系統(tǒng)提供對(duì)象編程前端擴(kuò)展或C++支持。

(3)轉(zhuǎn)變?yōu)榘l(fā)展成熟的面向?qū)ο髷?shù)據(jù)庫，以支持SQL語言。

(4)將數(shù)據(jù)庫和應(yīng)用軟件轉(zhuǎn)變?yōu)槊嫦驅(qū)ο蟮臄?shù)據(jù)并使用面向?qū)ο蟮恼Z言，如C++，或使用面向?qū)ο蟮腟QL來開發(fā)。第21頁，共32頁，2023年，2月20日，星期四1．3．6超文本和Web技術(shù)

超文本是一種有效的多媒體信息管理技術(shù)

Web系統(tǒng)是運(yùn)行在Internet上的超文本系統(tǒng)第22頁，共32頁，2023年，2月20日，星期四1.3.7多媒體應(yīng)用開發(fā)和編著工具1.3.8多媒體通信技術(shù)多媒體通信是多媒體技術(shù)和通信技術(shù)的完美結(jié)合，它使計(jì)算機(jī)的交互性、通信網(wǎng)絡(luò)的分布性和廣播電視的真實(shí)性融為一體，出現(xiàn)了許多令人向往的應(yīng)用領(lǐng)域，如可視電話、視頻會(huì)議、視頻點(diǎn)播以及以分布式多媒體系統(tǒng)為基礎(chǔ)的計(jì)算機(jī)支持協(xié)同工作系統(tǒng)等。多媒體通信可分為以下兩大類：

(1)對(duì)稱的全雙工的多媒體通信

(2)非對(duì)稱全雙工的多媒體通信系統(tǒng)第23頁，共32頁，2023年，2月20日，星期四多媒體通信的關(guān)鍵技術(shù)有：多媒體數(shù)據(jù)壓縮和解壓縮；音頻、視頻、動(dòng)畫等的傳輸技術(shù)：多媒體實(shí)時(shí)同步技術(shù)；協(xié)議和標(biāo)準(zhǔn)化。第24頁，共32頁，2023年，2月20日，星期四1．3．9虛擬現(xiàn)實(shí)技術(shù)虛擬現(xiàn)實(shí)主要有以下三方面的含義：

(1)虛擬現(xiàn)實(shí)是利用計(jì)算機(jī)技術(shù)而生成的逼真的實(shí)體，人對(duì)該實(shí)體具有真實(shí)的三維視覺、立體聽覺、質(zhì)感的觸覺和嗅覺。

(2)人可通過自然技能與虛擬現(xiàn)實(shí)進(jìn)行對(duì)話，即人的頭、眼、四肢等的各種動(dòng)作在虛擬現(xiàn)實(shí)中的反應(yīng)具有真實(shí)感。

(3)虛擬現(xiàn)實(shí)技術(shù)往往要借助于一些三維傳感設(shè)備來完成交互動(dòng)作第25頁，共32頁，2023年，2月20日，星期四虛擬現(xiàn)實(shí)具有以下三個(gè)基本特征：沉浸(Immersion)、交互(Interaction)和構(gòu)想(Imagination)，即通常所說的3I。

·沉浸：是指用戶借助各類先進(jìn)的傳感器進(jìn)入虛擬環(huán)境之后，由于他所看到的、聽到的、感受到的一切內(nèi)容非常逼真。因此，他相信這一切都是“真實(shí)”存在的，而且相信自己正處于所感受到的環(huán)境中。

·交互：是指用戶進(jìn)入虛擬環(huán)境后，可以用自然的方式對(duì)虛擬環(huán)境中的物體進(jìn)行操作。如搬動(dòng)虛擬環(huán)境中的一個(gè)虛擬盒子，甚至還可以同時(shí)感受到盒子的重量。

·構(gòu)想：是由虛擬環(huán)境的逼真性與實(shí)時(shí)交互性而使用戶產(chǎn)生更豐富的聯(lián)想，它是獲取沉浸感的一個(gè)必要條件。第26頁，共32頁，2023年，2月20日，星期四1．4多媒體技術(shù)的應(yīng)用領(lǐng)域1．4．1在教育領(lǐng)域的應(yīng)用

1．多媒體課件輔助教學(xué)

2．計(jì)算機(jī)輔助訓(xùn)練

3．計(jì)算機(jī)輔助教學(xué)管理1．4．2商務(wù)廣告1．4．3影視娛樂1．4．4電子出版第27頁，共32頁，2023年，2月20日，星期四1．5多媒體技術(shù)的發(fā)展趨勢

(1)多媒體通信網(wǎng)絡(luò)環(huán)境的研究和建立，將使多媒體從單機(jī)單點(diǎn)向分布、協(xié)同多媒體環(huán)境發(fā)展

(2)利用比較成熟的圖像理解、語音識(shí)別，全文檢索等技術(shù)研究多媒體基于內(nèi)容的處理。

(3)多媒體標(biāo)準(zhǔn)仍是研究的重點(diǎn)。

(4)多媒體技術(shù)將與相鄰技術(shù)結(jié)合以提供完善的人一機(jī)交互環(huán)境。

(5)虛擬現(xiàn)實(shí)技術(shù)的研究將繼續(xù)取得進(jìn)展，虛擬現(xiàn)實(shí)與可視化技術(shù)相互補(bǔ)充第28頁，共32頁，2023年，2月20日，星期四習(xí)題一

一、選擇題

1．媒體中的——是為了加工、處理和傳輸感覺媒體而人為構(gòu)造出來的一種媒體，如文字、音頻、圖像和視頻等的數(shù)字化編碼表示等。

A．感覺媒體B．表示媒體c．顯示媒體D．存儲(chǔ)媒體

2．多媒體技術(shù)的主要特性有。

(1)多樣性(2)集成性(3)交互性(4)實(shí)時(shí)性

A．僅(1)B．(1)+(2)C．(1)+(2)+(3)D．全部

3．請(qǐng)根據(jù)多媒體的特性判斷以下哪些屬于計(jì)算機(jī)多媒體的范疇?(1)交互式視頻游戲(2)有聲圖書(3)彩色畫報(bào)(4)彩色電視

A．僅(1)B．(1)+(2)C．(1)+(2)+(3)D．全部

4．一般認(rèn)為，多媒體技術(shù)研究的興起，從開始。

A．1972年，Philips展示播放電視節(jié)目的激光視盤

B．1984年，美國Apple公司推出Macintosh系列機(jī)

C．1986年，Philips和Sony公司宣布發(fā)明了交互式光盤系統(tǒng)CD-ID．1987年，美國RCA公司展示了交互式數(shù)字影像系統(tǒng)DVI第29頁，共32頁，2023年，2月20日，星期四5．多