多媒體技術講義第一章概論課件

第一章多媒體技術概述本章的講解包括兩個部分：

第一部分

媒體與多媒體數(shù)據(jù)流

第二部分

多媒體計算機技術概述本章重點講述主要講解內(nèi)容第一章多媒體技術概述本章的講解包括兩個部分：本章主要1內(nèi)容簡介第一部分 媒體與多媒體數(shù)據(jù)流第二部分 多媒體計算機技術概述本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對多媒體這個術語的含義進行界定，然后對不同的媒體特征進行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。概述多媒體計算機的定義、分類、現(xiàn)狀及發(fā)展趨勢。2003.9Multimedia:Computing,Communications&Applications內(nèi)容簡介第一部分 媒體與多媒體數(shù)據(jù)流本部分介紹多媒體系統(tǒng)的基Part1.媒體與數(shù)據(jù)流1.1.1 媒體的概念與分類1.1.2 多媒體系統(tǒng)的主要特征1.1.3 多媒體的概念1.1.4 傳統(tǒng)的數(shù)據(jù)流特性1.1.5 連續(xù)媒體的數(shù)據(jù)流特性1.1.6 信息單元

本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對多媒體這個術語的含義進行界定，然后對不同的媒體特征進行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。Part1.媒體與數(shù)據(jù)流1.1.1 媒體的概念與分類31.1.1媒體的概念與分類媒體的概念媒體的類型感知媒體(ThePerceptionMedium)表示媒體(TheRepresentationMedium)表現(xiàn)媒體(ThePresentationMedium)存儲媒體(TheStorageMedium)傳輸媒體(TheTransmissionMedium)信息交換媒體(TheInformationExchangeMedium)一般說來，媒體是一種信息發(fā)布和表現(xiàn)的方法，如文本、圖形、語音、音樂等，也可以將水和空氣加入媒體范疇。根據(jù)ISOIECJTC1/SC29標準，媒體可以劃分成6種類型。幫助人來感知環(huán)境。要解決的主要問題是：人在計算機環(huán)境中如何感知信息?視、聽……用信息的計算機內(nèi)部表示來刻畫。要解決的主要問題是：計算機信息如何編碼?PCM,MPEG,……指信息輸入/輸出的工具和設備。要解決的問題是：信息通過何種媒體輸入到計算機中或從計算機中輸出?喇叭、攝像機……是指能支持信息存儲的數(shù)據(jù)載體，數(shù)據(jù)存儲并不局限于計算機的部件，例如，紙也是一種存儲媒體。要解決的問題是：信息存儲力：什么地力?縮微膠片、軟盤、CD-ROM……傳輸媒體用于傳輸數(shù)據(jù)信息，它們支持連續(xù)媒體的數(shù)據(jù)傳輸，存儲媒體不屬于傳輸媒體的范圍。要解決的問題是：在什么上而傳輸信息?網(wǎng)絡、光纖、無線通信……信息交換媒體包括所有用于傳輸和存儲的信息載體。要回答的主要問題是：在不同地點之間使用哪種信息載體來進行信息交換?三個答案：通過中間存儲媒體、使用計算機網(wǎng)絡、組合使用存儲媒體和傳輸媒體(如電子郵件系統(tǒng))。2003.9Multimedia:Computing,Communications&Applications1.1.1媒體的概念與分類媒體的概念一般說來，媒媒體的概念與分類(cont.)表示值與描述空間(TheRepresentationValues&Spaces)表示維數(shù)(RepresentationDimensions)表示值決定：不同媒體的信息表示。它可以是離散型(Discrete)的，也可以是連續(xù)型(Continuous)的。每種媒體定義了自己的表示值和表示空間某些表示值是自包含(self-contained)的，由接受者作適當?shù)慕忉屇承┟襟w需要預定義符號集，用戶必須遵守媒體表示方法、手段的多樣性，表示能力的差異性每個表示空間由一個或多個表示維組成。除空間維外，時間是一個重要的表示維。根據(jù)時間在表示空間中的作用，由可以將媒體劃分成獨立于時間的媒體與依賴于時間的媒體。時間依賴媒體、離散媒體和連續(xù)媒體這些術語與信息的計算機內(nèi)部表示無關，它們與觀察者或聆聽者的感覺有關。如電影，它由離散的數(shù)值組成，當它以15幀/秒顯示時，人們就有連續(xù)感。2003.9Multimedia:Computing,Communications&Applications媒體的概念與分類(cont.)表示值與描述空間(TheRe1.1.2多媒體系統(tǒng)的主要特征多媒體系統(tǒng)的定義多媒體系統(tǒng)的特點媒體的組合(CombinationofMedia)注意：不是所有的媒體任意組合均可稱之為“Multimedia”，我們所談論的“多媒體”應該包含連續(xù)型媒體和離散型媒體獨立性(Independence)媒體的一個重要的特性是它的獨立性。一般的應用也需要各種媒體具有一定的獨立性，但是多媒體系統(tǒng)需要的是多個層次的獨立性。計算機支持的媒體集成(Computer-supportedIntegration)媒體的獨立性使多種媒體的組合成為可能，而計算機是實現(xiàn)這種組合的理想工具(既有多媒體處理能力，又有二次開發(fā)的功能支持)。通信系統(tǒng)(CommunicationSystems)多媒體系統(tǒng)必須具備通信能力(先今的計算機大部分是互聯(lián)的、很多有趣的多媒體應用是專門為分布式計算環(huán)境而設計的)。多媒體系統(tǒng)的特征是：用計算機對一些獨立的信息進行一體化的制作、處理、表現(xiàn)、存儲和通信，這些信息必須至少通過一種連續(xù)(時間有關)媒體和一種離散(時間無關)媒體進行編碼。MultimediaSystemischaracterizedbycomputer-controlled,integratedproduction,manipulation,presentation,storageandcommunicationofindependentinformation,whichisencodedatleastthroughacontinuous(time-dependent)andadiscrete(time-independent)medium.任何支持一種以上媒體的系統(tǒng)都可以稱為多媒體系統(tǒng)？??!2003.9Multimedia:Computing,Communications&Applications1.1.2多媒體系統(tǒng)的主要特征多媒體系統(tǒng)的定義1.1.3多媒體的概念狹義的“多媒體”廣義的“多媒體”只要同時處理了多種媒體、就可以使用“多媒體”這個提法??！多媒體系統(tǒng)必須包括連續(xù)媒體，同時為處理離散媒體，引入重要的時間邊界條件(通過連續(xù)媒體)，但這些條件直到現(xiàn)在才在計算機中得到使用。Multimedia: Multi＋Medium

Multi-:

[lat.:much]many;much;multiple

Medium:

[lat.:middle]Aninterveningsubstancethroughwhichsomethingistransmittedorcarriedon;Ameansofmasscommunicationsuchasnewspaper,magazine,ortelevision.[fromAmericanHeritageElectronicDictionary,1991]集成性交互性同步性！2003.9Multimedia:Computing,Communications&Applications1.1.3多媒體的概念狹義的“多媒體”只要1.1.4傳統(tǒng)的數(shù)據(jù)流特性在分布式多媒體通信系統(tǒng)中，信息的交換是伴隨著連續(xù)媒體和離散媒體數(shù)據(jù)的傳輸產(chǎn)生的傳輸媒體的信息類型的差異使得數(shù)據(jù)流間的特征差異很大在計算機通信相交互領域中有三種傳輸模式異步傳輸模式(ATM,AsynchronousTransmissionMode)同步傳輸模式(STM,SynchronousTransmissionMode)等時傳輸模式(ITM,IsochronousTransmissionMode)信息的傳送不受時間條件的約束，數(shù)據(jù)包總是盡可能快地被送達接收端；例子：互聯(lián)網(wǎng)上電了郵件的傳輸協(xié)議、以太網(wǎng)；特點：所有離散媒體信息都可以作為異步數(shù)據(jù)流來傳輸，而傳輸連續(xù)媒體，則必須使用其他技術來提供時間約束。等時傳輸模式對于每個包的端到端延時在規(guī)定一個最大值之外還規(guī)定一個最小值。這就意味著單個包的延時跳動被限定在了一個更小的范圍內(nèi)。在這種模式下，上例子中的接收端所需緩存就大大減小了，當然還要把數(shù)據(jù)路由經(jīng)過的從起點到終點間所有中間部件中的存儲都考慮在內(nèi)。同步傳輸模式為數(shù)據(jù)流中的每個數(shù)據(jù)包規(guī)定了一個端到端的最大延時，包可以在早于這個最大延時的任意時刻到達接收端，但絕對不能超過這個最大延時，這樣多媒體應用的一個重要要求--端到端(End-to-End)最大延時就得到了保證。另外在支持同步傳輸模式的局域網(wǎng)上還可以進行音頻信號傳輸。使用檢索方式(RetrievalMode)傳送未壓縮的視頻數(shù)據(jù)的重要特征是具有較高的數(shù)據(jù)速率，相應也有較大的端到端延時。典型的數(shù)據(jù)速率是140Mb/s、最大延時1秒，所以在極端情況下，包可以提前1秒被送達，這樣就需要一個緩沖存儲來保存這些數(shù)據(jù)．如果按上面的數(shù)據(jù)速率這個緩沖需要有17.5兆字節(jié)。2003.9Multimedia:Computing,Communications&Applications1.1.4傳統(tǒng)的數(shù)據(jù)流特性在分布式多媒體通信系統(tǒng)中，信息1.1.5連續(xù)媒體的數(shù)據(jù)流特性傳輸中相鄰數(shù)據(jù)包間的時間間隔如果相鄰包之間的時間間隔是一個常量，那么這個數(shù)據(jù)流就是強周期性的，也就是說時間間隔的變化值為0如果兩個相鄰包之間的時間間隔長度不是常數(shù)(否則就是強周期數(shù)據(jù)流)。但可以用一個有固定周期的函數(shù)來描述，那么就稱這種數(shù)據(jù)流為弱周期性的以其他時間間隔形式傳輸?shù)臄?shù)據(jù)稱為非周期數(shù)據(jù)流2003.9Multimedia:Computing,Communications&Applications1.1.5連續(xù)媒體的數(shù)據(jù)流特性傳輸中相鄰數(shù)據(jù)包間的時間間連續(xù)媒體的數(shù)據(jù)流特性(cont.)傳輸中相鄰數(shù)據(jù)包數(shù)量的變化在數(shù)據(jù)流的生命周期中，數(shù)據(jù)包的大小沒有改變，則稱該數(shù)據(jù)流是強規(guī)則的。未壓縮數(shù)據(jù)的傳的具有這種典型特征，例如以未壓縮形式傳輸?shù)囊曨l數(shù)據(jù)流以及CD中的音頻數(shù)據(jù)流。如果包的數(shù)據(jù)量隨時間作周期性的變化，就稱這種數(shù)據(jù)流為弱規(guī)則的。按以下壓縮方法進行壓縮的視頻數(shù)據(jù)的數(shù)據(jù)流是弱規(guī)則的：對視頻序列中的某些圖像單獨壓縮編碼，使之成為數(shù)據(jù)流中相對較大的包（不考慮網(wǎng)絡對包長度的限制），并使這些包以一定的時間間隔(如2秒)在數(shù)據(jù)流中周期性地出現(xiàn)，而在這些時間間隔內(nèi)傳送的是圖像的附加包，它包含兩幅相鄰壓縮的圖像間的差別。如果數(shù)據(jù)包的數(shù)據(jù)量既不恒定也不依某個周期函數(shù)變化，那么就稱這個數(shù)據(jù)流為不規(guī)則的，這種情況下的數(shù)據(jù)傳輸與處理就更為復雜。在對數(shù)據(jù)流進行壓縮時，數(shù)據(jù)流有一個可變的位率，從單幅圖像得來的單個包的大小取決于前一幅變化圖像的內(nèi)容。這樣產(chǎn)生的信息單元的大小就與視頻序列的內(nèi)容有關，從而使得數(shù)據(jù)流變成不規(guī)則。2003.9Multimedia:Computing,Communications&Applications連續(xù)媒體的數(shù)據(jù)流特性(cont.)傳輸中相鄰數(shù)據(jù)包數(shù)量的變化連續(xù)媒體的數(shù)據(jù)流特性(cont.)包的連續(xù)性連續(xù)傳輸：所有的包都緊跟在前一個包后面?zhèn)鬏?，中間沒有空隙，必要的附加倍息(如誤差控制代碼)也在其中，這樣就100%地利用了系統(tǒng)資源。以這種連接方式傳輸?shù)臄?shù)據(jù)流可以獲得最大的數(shù)據(jù)吞吐量并最大限度地利用系統(tǒng)資源。ISDN中傳送音頻信息的64kb/s的B通道采用的就是這種傳輸力式。首尾相接的數(shù)據(jù)包在傳輸時如果通道的容納能力大于數(shù)據(jù)的輸入速率，包與包之間就會出現(xiàn)空隙，如圖2.8所示。這種在信息單元間有空隙的數(shù)據(jù)流稱為非連續(xù)數(shù)據(jù)流，但空隙是否存在于所有的包之間以及空隙的長度是否變化并不重要。例如，經(jīng)JPEG編碼平均數(shù)據(jù)傳輸速率為1.2Mb/s的數(shù)據(jù)流，在FDDI網(wǎng)上傳輸時包之間會產(chǎn)生空隙。2003.9Multimedia:Computing,Communications&Applications連續(xù)媒體的數(shù)據(jù)流特性(cont.)包的連續(xù)性連續(xù)傳輸：所有的1.1.6信息單元連續(xù)媒體是由與時間有關的獨立信息單元的序列構成的，我們稱這樣的信息單元為邏輯數(shù)據(jù)單元(LDU，LogicalDataUnit)例如：（1） 舉JosephHoydn的交響樂“TheBear”為例，它分為4個樂句：vivaceassai，a11egretto和finatevivace。每一樂句都是整首交響樂中獨立的一個部分、由各種樂器的演奏音符組成。在數(shù)字系統(tǒng)中，音符是用一系列的采樣值來表示的(這里不考慮壓縮)。CD-DA質(zhì)量的聲音每秒有44l00次采樣，每個采樣值用16位編碼。在CD上，這些采樣值被組織成許多1/75秒的小單元，所以既可以把LDU看做整首交響曲，也可以把它看做獨立的樂句、1/75秒的采樣單元或者就是采樣值，這取決于不同的應用需要。例如對于播放整首交響樂的應用，LDU就是整首交響曲。有些應用會把有意義的最小單元作為LDU(在這里是音符)，數(shù)字系統(tǒng)則把采樣點看成LDU。（2） 再舉視頻圖像為例。未經(jīng)壓縮的視頻序列由表示場景的視頻片斷組成．如圖2.9所示。一個場景是由一系列國像組成的，一幅圖像又可以被劃分為16×l6像素的小塊，而每個像素的信息又是由亮度值和色度值來表示的。因此，視頻序列的LDU并不局限于是單幅圖像，它可以是場景也可以是像素。使用DVI或MPEG編碼方法可以用幀間壓縮的方法消除視頻序列的冗余，在這個應用中，能自我包含的有意義的最小單元是圖像序列本身。

粒度這個概念用來描述音頻和視頻數(shù)據(jù)流層次劃分的細密程度。在上述例子中，最常見的名字也是最顯而易見的信息單元是交響樂和影片，但也可根據(jù)時間長度做出其他類型的LDU劃分。預先確定時間長度的LDU稱為閉合LDU。計算機中的音頻采樣數(shù)據(jù)流就是閉合LDU數(shù)據(jù)流。不能預先確定時間長度的IDU稱為開放LDU，由攝像機或麥克風傳向計算機的數(shù)據(jù)流就是開放LDU數(shù)據(jù)流。2003.9Multimedia:Computing,Communications&Applications1.1.6信息單元連續(xù)媒體是由與時間有關的獨立信息單元的第二部分多媒體計算機技術概述概述多媒體計算機的定義、分類、現(xiàn)狀及發(fā)展趨勢。要點：

1.

多媒體計算機的定義、分類和關鍵技術2.從多媒體計算機的分類看家電制造廠商研制的電視計算機，“靈巧”電視—SmartTV3.從多媒體計算機的分類看計算機制造廠商研制的計算機電視，TV-Killer第二部分多媒體計算機技術概述概述多媒體計算機13主要講述內(nèi)容1.2.1多媒體計算機的定義和關鍵技術1.2.2多媒體技術促進了通訊、娛樂和計算機的融合1.2.3多媒體計算機技術的發(fā)展和應用2003.9Multimedia:Computing,Communications&Applications主要講述內(nèi)容1.2.1多媒體計算機的定義和關鍵技術21.2.1多媒體計算機的定義和關鍵技術多媒體計算機技術定義多媒體計算機的分類多媒體計算機的關鍵技術1.2.1多媒體計算機的定義和關鍵技術多媒體計算15多媒體計算機技術定義多媒體計算機技術(MultimediaComputing)定義：計算機綜合處理多種媒體信息(文本、圖形、圖像、音頻和視頻)，使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。計算機綜合處理聲、文、圖信息具有集成性和交互性2003.9Multimedia:Computing,Communications&Applications多媒體計算機技術定義多媒體計算機技術定義：計算機綜合處理多種多媒體計算機的分類從開發(fā)和生產(chǎn)廠商以及應用的角度出發(fā)可以分成兩大類：電視計算機（Teleputer）家電制造廠商研制的電視計算機，是把CPU放到家電中，通過編程控制管理電視機、音響，有人稱它為“靈巧/智能”電視——SmartTV；計算機電視（Compuvision）計算機制造廠商研制的計算機電視，采用微處理器（80×86、68×××）作為CPU，其它設備還有VGA卡、CD-ROM、音響設備以及擴展的多窗口系統(tǒng)，有人說它的發(fā)展方向是TV-Killer。2003.9Multimedia:Computing,Communications&Applications多媒體計算機的分類從開發(fā)和生產(chǎn)廠商以及應用的角度出發(fā)節(jié)目流通過網(wǎng)絡接口模塊（NIM）進入核心處理芯片STB01X0；在STB01X0中，解復用、解壓縮、再NTSC/PAL編碼；得到的視頻送到電視，得到的音頻流經(jīng)過D/A轉(zhuǎn)換輸出；控制各存儲器SDRAM(用于視音頻緩存)，F(xiàn)lash/DRAM(用于系統(tǒng)處理)；接收遙控器信號等的處理由Peripherals外設部分接收，STB01X0協(xié)調(diào)處理。RedWoodIII機頂盒平臺2003.9Multimedia:Computing,Communications&Applications節(jié)目流通過網(wǎng)絡接口模塊（NIM）進入核心處理芯片STB

多媒體計算機的關鍵技術要把一臺普通的計算機變成多媒體計算機要解決的關鍵技術是：

視頻音頻信號獲取技術；多媒體數(shù)據(jù)壓縮編碼和解碼技術；視頻音頻數(shù)據(jù)的實時處理技術；視頻音頻數(shù)據(jù)的輸出技術。2003.9Multimedia:Computing,Communications&Applications多媒體計算機的關鍵技術要把一臺普通的計算1.2.2多媒體技術促進了通訊、娛樂和

計算機的融合現(xiàn)代化社會人的工作方式和特點是：群體性、交互性分布性、協(xié)作性1.2.2多媒體技術促進了通訊、娛樂和

20TimeUserScaleControlSingleUserMultipleUser(Group)SynchronousAsynchronousDistributedCentralizedGroupDecisionMakingConferenceRoomMeetingFace-to-FaceMeetingGroupCSCWDesktopTeleconferencingTelephoneTele-MentoringElectronicMailBulletinBoardCollaborativeSoftwareDevelopmentCollaborativeDocumentEditingGroupScheduleManagement多媒體協(xié)同計算的多維空間表示2003.9Multimedia:Computing,Communications&ApplicationsTimeUserScaleControlSingleUs多方協(xié)作的任務-活動模型合作層合作項目任務層任務網(wǎng)絡活動層活動序列CollaborationT1T2T3T4T5A1A2A3A4A5A6A7A8CollaborationCollaboration2003.9Multimedia:Computing,Communications&Applications多方協(xié)作的任務-活動模型合作層任務層活動層Collabora多媒體通訊分類1.對稱的全雙工的多媒體通訊如分布式多媒體信息系統(tǒng)、視頻會議系統(tǒng)及計算機支持的協(xié)同工作系統(tǒng)；2.非對稱全雙工的多媒體通訊系統(tǒng)如交互式電視系統(tǒng)（ITV）、點播電視系統(tǒng)（VOD）、遠程教育系統(tǒng)、遠程醫(yī)療診斷系統(tǒng)及及遠程圖書館。

2003.9Multimedia:Computing,Communications&Applications多媒體通訊分類1.對稱的全雙工的多媒體通訊2.非對稱1.多媒體數(shù)據(jù)壓縮（越小越好）二、多媒體通訊的關鍵技術2.高速數(shù)據(jù)通訊問題（頻帶越寬越好）

尤其是視頻會議系統(tǒng)要解決視頻會議系統(tǒng)的國際標準問題。2003.9Multimedia:Computing,Communications&Applications1.多媒體數(shù)據(jù)壓縮（越小越好）二、多媒體通訊2003.9Multimedia:Computing,Communications&Applications2003.9Multimedia:Computing,C2003.9Multimedia:Computing,Communications&Applications2003.9Multimedia:Computing,C1.2.3多媒體計算機技術的發(fā)展和應用進一步完善計算機支持的協(xié)同工作環(huán)境CSCW智能多媒體技術把多媒體信息實時處理和壓縮編碼算法作到CPU芯片中1.2.3多媒體計算機技術的發(fā)展和應用進一步完27分布式多媒體協(xié)同編著系統(tǒng)界面私人編輯窗口權限控制窗口協(xié)同編輯窗口發(fā)言人視頻圖像2003.9Multimedia:Computing,Communications&Applications分布式多媒體協(xié)同編著系統(tǒng)界面私人編輯窗口權限控制窗口協(xié)同編輯智能多媒體技術計算機人工智能中間地帶用交互式彌補計算機智能的不足智能多媒體數(shù)據(jù)庫的核心技術：將具有推理功能的知識庫與多媒體數(shù)據(jù)庫結合起來，形成智能多媒體數(shù)據(jù)庫。2003.9Multimedia:Computing,Communications&Applications智能多媒體技術計算機人工智能中間地帶用交互式彌補計算機智能的Content-basedRetrieval猜！猜！！

猜?。?！2003.9Multimedia:Computing,Communications&ApplicationsContent-basedRetrieval猜！2003.多媒體計算機硬件從目前的發(fā)展趨勢看可以把這種芯片分成兩類：1.以多媒體和通信功能為主，融合

原有的計算功能。

2.以通用CPU計算功能為主，融合

多媒體和通信功能。2003.9Multimedia:Computing,Communications&Applications多媒體計算機硬件從目前的發(fā)展趨勢看可以把這多媒體技術講義第一章概論課件32第一章多媒體技術概述本章的講解包括兩個部分：

第一部分

媒體與多媒體數(shù)據(jù)流

第二部分

多媒體計算機技術概述本章重點講述主要講解內(nèi)容第一章多媒體技術概述本章的講解包括兩個部分：本章主要33內(nèi)容簡介第一部分 媒體與多媒體數(shù)據(jù)流第二部分 多媒體計算機技術概述本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對多媒體這個術語的含義進行界定，然后對不同的媒體特征進行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。概述多媒體計算機的定義、分類、現(xiàn)狀及發(fā)展趨勢。2003.9Multimedia:Computing,Communications&Applications內(nèi)容簡介第一部分 媒體與多媒體數(shù)據(jù)流本部分介紹多媒體系統(tǒng)的基Part1.媒體與數(shù)據(jù)流1.1.1 媒體的概念與分類1.1.2 多媒體系統(tǒng)的主要特征1.1.3 多媒體的概念1.1.4 傳統(tǒng)的數(shù)據(jù)流特性1.1.5 連續(xù)媒體的數(shù)據(jù)流特性1.1.6 信息單元

本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對多媒體這個術語的含義進行界定，然后對不同的媒體特征進行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。Part1.媒體與數(shù)據(jù)流1.1.1 媒體的概念與分類351.1.1媒體的概念與分類媒體的概念媒體的類型感知媒體(ThePerceptionMedium)表示媒體(TheRepresentationMedium)表現(xiàn)媒體(ThePresentationMedium)存儲媒體(TheStorageMedium)傳輸媒體(TheTransmissionMedium)信息交換媒體(TheInformationExchangeMedium)一般說來，媒體是一種信息發(fā)布和表現(xiàn)的方法，如文本、圖形、語音、音樂等，也可以將水和空氣加入媒體范疇。根據(jù)ISOIECJTC1/SC29標準，媒體可以劃分成6種類型。幫助人來感知環(huán)境。要解決的主要問題是：人在計算機環(huán)境中如何感知信息?視、聽……用信息的計算機內(nèi)部表示來刻畫。要解決的主要問題是：計算機信息如何編碼?PCM,MPEG,……指信息輸入/輸出的工具和設備。要解決的問題是：信息通過何種媒體輸入到計算機中或從計算機中輸出?喇叭、攝像機……是指能支持信息存儲的數(shù)據(jù)載體，數(shù)據(jù)存儲并不局限于計算機的部件，例如，紙也是一種存儲媒體。要解決的問題是：信息存儲力：什么地力?縮微膠片、軟盤、CD-ROM……傳輸媒體用于傳輸數(shù)據(jù)信息，它們支持連續(xù)媒體的數(shù)據(jù)傳輸，存儲媒體不屬于傳輸媒體的范圍。要解決的問題是：在什么上而傳輸信息?網(wǎng)絡、光纖、無線通信……信息交換媒體包括所有用于傳輸和存儲的信息載體。要回答的主要問題是：在不同地點之間使用哪種信息載體來進行信息交換?三個答案：通過中間存儲媒體、使用計算機網(wǎng)絡、組合使用存儲媒體和傳輸媒體(如電子郵件系統(tǒng))。2003.9Multimedia:Computing,Communications&Applications1.1.1媒體的概念與分類媒體的概念一般說來，媒媒體的概念與分類(cont.)表示值與描述空間(TheRepresentationValues&Spaces)表示維數(shù)(RepresentationDimensions)表示值決定：不同媒體的信息表示。它可以是離散型(Discrete)的，也可以是連續(xù)型(Continuous)的。每種媒體定義了自己的表示值和表示空間某些表示值是自包含(self-contained)的，由接受者作適當?shù)慕忉屇承┟襟w需要預定義符號集，用戶必須遵守媒體表示方法、手段的多樣性，表示能力的差異性每個表示空間由一個或多個表示維組成。除空間維外，時間是一個重要的表示維。根據(jù)時間在表示空間中的作用，由可以將媒體劃分成獨立于時間的媒體與依賴于時間的媒體。時間依賴媒體、離散媒體和連續(xù)媒體這些術語與信息的計算機內(nèi)部表示無關，它們與觀察者或聆聽者的感覺有關。如電影，它由離散的數(shù)值組成，當它以15幀/秒顯示時，人們就有連續(xù)感。2003.9Multimedia:Computing,Communications&Applications媒體的概念與分類(cont.)表示值與描述空間(TheRe1.1.2多媒體系統(tǒng)的主要特征多媒體系統(tǒng)的定義多媒體系統(tǒng)的特點媒體的組合(CombinationofMedia)注意：不是所有的媒體任意組合均可稱之為“Multimedia”，我們所談論的“多媒體”應該包含連續(xù)型媒體和離散型媒體獨立性(Independence)媒體的一個重要的特性是它的獨立性。一般的應用也需要各種媒體具有一定的獨立性，但是多媒體系統(tǒng)需要的是多個層次的獨立性。計算機支持的媒體集成(Computer-supportedIntegration)媒體的獨立性使多種媒體的組合成為可能，而計算機是實現(xiàn)這種組合的理想工具(既有多媒體處理能力，又有二次開發(fā)的功能支持)。通信系統(tǒng)(CommunicationSystems)多媒體系統(tǒng)必須具備通信能力(先今的計算機大部分是互聯(lián)的、很多有趣的多媒體應用是專門為分布式計算環(huán)境而設計的)。多媒體系統(tǒng)的特征是：用計算機對一些獨立的信息進行一體化的制作、處理、表現(xiàn)、存儲和通信，這些信息必須至少通過一種連續(xù)(時間有關)媒體和一種離散(時間無關)媒體進行編碼。MultimediaSystemischaracterizedbycomputer-controlled,integratedproduction,manipulation,presentation,storageandcommunicationofindependentinformation,whichisencodedatleastthroughacontinuous(time-dependent)andadiscrete(time-independent)medium.任何支持一種以上媒體的系統(tǒng)都可以稱為多媒體系統(tǒng)？??!2003.9Multimedia:Computing,Communications&Applications1.1.2多媒體系統(tǒng)的主要特征多媒體系統(tǒng)的定義1.1.3多媒體的概念狹義的“多媒體”廣義的“多媒體”只要同時處理了多種媒體、就可以使用“多媒體”這個提法??！多媒體系統(tǒng)必須包括連續(xù)媒體，同時為處理離散媒體，引入重要的時間邊界條件(通過連續(xù)媒體)，但這些條件直到現(xiàn)在才在計算機中得到使用。Multimedia: Multi＋Medium

Multi-:

[lat.:much]many;much;multiple

Medium:

[lat.:middle]Aninterveningsubstancethroughwhichsomethingistransmittedorcarriedon;Ameansofmasscommunicationsuchasnewspaper,magazine,ortelevision.[fromAmericanHeritageElectronicDictionary,1991]集成性交互性同步性！2003.9Multimedia:Computing,Communications&Applications1.1.3多媒體的概念狹義的“多媒體”只要1.1.4傳統(tǒng)的數(shù)據(jù)流特性在分布式多媒體通信系統(tǒng)中，信息的交換是伴隨著連續(xù)媒體和離散媒體數(shù)據(jù)的傳輸產(chǎn)生的傳輸媒體的信息類型的差異使得數(shù)據(jù)流間的特征差異很大在計算機通信相交互領域中有三種傳輸模式異步傳輸模式(ATM,AsynchronousTransmissionMode)同步傳輸模式(STM,SynchronousTransmissionMode)等時傳輸模式(ITM,IsochronousTransmissionMode)信息的傳送不受時間條件的約束，數(shù)據(jù)包總是盡可能快地被送達接收端；例子：互聯(lián)網(wǎng)上電了郵件的傳輸協(xié)議、以太網(wǎng)；特點：所有離散媒體信息都可以作為異步數(shù)據(jù)流來傳輸，而傳輸連續(xù)媒體，則必須使用其他技術來提供時間約束。等時傳輸模式對于每個包的端到端延時在規(guī)定一個最大值之外還規(guī)定一個最小值。這就意味著單個包的延時跳動被限定在了一個更小的范圍內(nèi)。在這種模式下，上例子中的接收端所需緩存就大大減小了，當然還要把數(shù)據(jù)路由經(jīng)過的從起點到終點間所有中間部件中的存儲都考慮在內(nèi)。同步傳輸模式為數(shù)據(jù)流中的每個數(shù)據(jù)包規(guī)定了一個端到端的最大延時，包可以在早于這個最大延時的任意時刻到達接收端，但絕對不能超過這個最大延時，這樣多媒體應用的一個重要要求--端到端(End-to-End)最大延時就得到了保證。另外在支持同步傳輸模式的局域網(wǎng)上還可以進行音頻信號傳輸。使用檢索方式(RetrievalMode)傳送未壓縮的視頻數(shù)據(jù)的重要特征是具有較高的數(shù)據(jù)速率，相應也有較大的端到端延時。典型的數(shù)據(jù)速率是140Mb/s、最大延時1秒，所以在極端情況下，包可以提前1秒被送達，這樣就需要一個緩沖存儲來保存這些數(shù)據(jù)．如果按上面的數(shù)據(jù)速率這個緩沖需要有17.5兆字節(jié)。2003.9Multimedia:Computing,Communications&Applications1.1.4傳統(tǒng)的數(shù)據(jù)流特性在分布式多媒體通信系統(tǒng)中，信息1.1.5連續(xù)媒體的數(shù)據(jù)流特性傳輸中相鄰數(shù)據(jù)包間的時間間隔如果相鄰包之間的時間間隔是一個常量，那么這個數(shù)據(jù)流就是強周期性的，也就是說時間間隔的變化值為0如果兩個相鄰包之間的時間間隔長度不是常數(shù)(否則就是強周期數(shù)據(jù)流)。但可以用一個有固定周期的函數(shù)來描述，那么就稱這種數(shù)據(jù)流為弱周期性的以其他時間間隔形式傳輸?shù)臄?shù)據(jù)稱為非周期數(shù)據(jù)流2003.9Multimedia:Computing,Communications&Applications1.1.5連續(xù)媒體的數(shù)據(jù)流特性傳輸中相鄰數(shù)據(jù)包間的時間間連續(xù)媒體的數(shù)據(jù)流特性(cont.)傳輸中相鄰數(shù)據(jù)包數(shù)量的變化在數(shù)據(jù)流的生命周期中，數(shù)據(jù)包的大小沒有改變，則稱該數(shù)據(jù)流是強規(guī)則的。未壓縮數(shù)據(jù)的傳的具有這種典型特征，例如以未壓縮形式傳輸?shù)囊曨l數(shù)據(jù)流以及CD中的音頻數(shù)據(jù)流。如果包的數(shù)據(jù)量隨時間作周期性的變化，就稱這種數(shù)據(jù)流為弱規(guī)則的。按以下壓縮方法進行壓縮的視頻數(shù)據(jù)的數(shù)據(jù)流是弱規(guī)則的：對視頻序列中的某些圖像單獨壓縮編碼，使之成為數(shù)據(jù)流中相對較大的包（不考慮網(wǎng)絡對包長度的限制），并使這些包以一定的時間間隔(如2秒)在數(shù)據(jù)流中周期性地出現(xiàn)，而在這些時間間隔內(nèi)傳送的是圖像的附加包，它包含兩幅相鄰壓縮的圖像間的差別。如果數(shù)據(jù)包的數(shù)據(jù)量既不恒定也不依某個周期函數(shù)變化，那么就稱這個數(shù)據(jù)流為不規(guī)則的，這種情況下的數(shù)據(jù)傳輸與處理就更為復雜。在對數(shù)據(jù)流進行壓縮時，數(shù)據(jù)流有一個可變的位率，從單幅圖像得來的單個包的大小取決于前一幅變化圖像的內(nèi)容。這樣產(chǎn)生的信息單元的大小就與視頻序列的內(nèi)容有關，從而使得數(shù)據(jù)流變成不規(guī)則。2003.9Multimedia:Computing,Communications&Applications連續(xù)媒體的數(shù)據(jù)流特性(cont.)傳輸中相鄰數(shù)據(jù)包數(shù)量的變化連續(xù)媒體的數(shù)據(jù)流特性(cont.)包的連續(xù)性連續(xù)傳輸：所有的包都緊跟在前一個包后面?zhèn)鬏?，中間沒有空隙，必要的附加倍息(如誤差控制代碼)也在其中，這樣就100%地利用了系統(tǒng)資源。以這種連接方式傳輸?shù)臄?shù)據(jù)流可以獲得最大的數(shù)據(jù)吞吐量并最大限度地利用系統(tǒng)資源。ISDN中傳送音頻信息的64kb/s的B通道采用的就是這種傳輸力式。首尾相接的數(shù)據(jù)包在傳輸時如果通道的容納能力大于數(shù)據(jù)的輸入速率，包與包之間就會出現(xiàn)空隙，如圖2.8所示。這種在信息單元間有空隙的數(shù)據(jù)流稱為非連續(xù)數(shù)據(jù)流，但空隙是否存在于所有的包之間以及空隙的長度是否變化并不重要。例如，經(jīng)JPEG編碼平均數(shù)據(jù)傳輸速率為1.2Mb/s的數(shù)據(jù)流，在FDDI網(wǎng)上傳輸時包之間會產(chǎn)生空隙。2003.9Multimedia:Computing,Communications&Applications連續(xù)媒體的數(shù)據(jù)流特性(cont.)包的連續(xù)性連續(xù)傳輸：所有的1.1.6信息單元連續(xù)媒體是由與時間有關的獨立信息單元的序列構成的，我們稱這樣的信息單元為邏輯數(shù)據(jù)單元(LDU，LogicalDataUnit)例如：（1） 舉JosephHoydn的交響樂“TheBear”為例，它分為4個樂句：vivaceassai，a11egretto和finatevivace。每一樂句都是整首交響樂中獨立的一個部分、由各種樂器的演奏音符組成。在數(shù)字系統(tǒng)中，音符是用一系列的采樣值來表示的(這里不考慮壓縮)。CD-DA質(zhì)量的聲音每秒有44l00次采樣，每個采樣值用16位編碼。在CD上，這些采樣值被組織成許多1/75秒的小單元，所以既可以把LDU看做整首交響曲，也可以把它看做獨立的樂句、1/75秒的采樣單元或者就是采樣值，這取決于不同的應用需要。例如對于播放整首交響樂的應用，LDU就是整首交響曲。有些應用會把有意義的最小單元作為LDU(在這里是音符)，數(shù)字系統(tǒng)則把采樣點看成LDU。（2） 再舉視頻圖像為例。未經(jīng)壓縮的視頻序列由表示場景的視頻片斷組成．如圖2.9所示。一個場景是由一系列國像組成的，一幅圖像又可以被劃分為16×l6像素的小塊，而每個像素的信息又是由亮度值和色度值來表示的。因此，視頻序列的LDU并不局限于是單幅圖像，它可以是場景也可以是像素。使用DVI或MPEG編碼方法可以用幀間壓縮的方法消除視頻序列的冗余，在這個應用中，能自我包含的有意義的最小單元是圖像序列本身。

粒度這個概念用來描述音頻和視頻數(shù)據(jù)流層次劃分的細密程度。在上述例子中，最常見的名字也是最顯而易見的信息單元是交響樂和影片，但也可根據(jù)時間長度做出其他類型的LDU劃分。預先確定時間長度的LDU稱為閉合LDU。計算機中的音頻采樣數(shù)據(jù)流就是閉合LDU數(shù)據(jù)流。不能預先確定時間長度的IDU稱為開放LDU，由攝像機或麥克風傳向計算機的數(shù)據(jù)流就是開放LDU數(shù)據(jù)流。2003.9Multimedia:Computing,Communications&Applications1.1.6信息單元連續(xù)媒體是由與時間有關的獨立信息單元的第二部分多媒體計算機技術概述概述多媒體計算機的定義、分類、現(xiàn)狀及發(fā)展趨勢。要點：

1.

多媒體計算機的定義、分類和關鍵技術2.從多媒體計算機的分類看家電制造廠商研制的電視計算機，“靈巧”電視—SmartTV3.從多媒體計算機的分類看計算機制造廠商研制的計算機電視，TV-Killer第二部分多媒體計算機技術概述概述多媒體計算機45主要講述內(nèi)容1.2.1多媒體計算機的定義和關鍵技術1.2.2多媒體技術促進了通訊、娛樂和計算機的融合1.2.3多媒體計算機技術的發(fā)展和應用2003.9Multimedia:Computing,Communications&Applications主要講述內(nèi)容1.2.1多媒體計算機的定義和關鍵技術21.2.1多媒體計算機的定義和關鍵技術多媒體計算機技術定義多媒體計算機的分類多媒體計算機的關鍵技術1.2.1多媒體計算機的定義和關鍵技術多媒體計算47多媒體計算機技術定義多媒體計算機技術(MultimediaComputing)定義：計算機綜合處理多種媒體信息(文本、圖形、圖像、音頻和視頻)，使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。計算機綜合處理聲、文、圖信息具有集成性和交互性2003.9Multimedia:Computing,Communications&Applications多媒體計算機技術定義多媒體計算機技術定義：計算機綜合處理多種多媒體計算機的分類從開發(fā)和生產(chǎn)廠商以及應用的角度出發(fā)可以分成兩大類：電視計算機（Teleputer）家電制造廠商研制的電視計算機，是把CPU放到家電中，通過編程控制管理電視機、音響，有人稱它為“靈巧/智能”電視——SmartTV；計算機電視（Compuvision）計算機制造廠商研制的計算機電視，采用微處理器（80×86、68×××）作為CPU，其它設備還有VGA卡、CD-ROM、音響設備以及擴展的多窗口系統(tǒng)，有人說它的發(fā)展方向是TV-Killer。2003.9Multimedia:Computing,Communications&Applications多媒體計算機的分類從開發(fā)和生產(chǎn)廠商以及應用的角度出發(fā)節(jié)目流通過網(wǎng)絡接口模塊（NIM）進入核心處理芯片STB01X0；在STB01X0中，解復用、解壓縮、再NTSC/PAL編碼；得到的視頻送到電視，得到的音頻流經(jīng)過D/A轉(zhuǎn)換輸出；控制各存儲器SDRAM(用于視音頻緩存)，F(xiàn)lash/DRAM(用于系統(tǒng)處理)；接收遙控器信號等的處理由Peripherals外設部分接收，STB01X0協(xié)調(diào)處理。RedWoodIII機頂盒平臺2003.9Multimedia:Computing,Communications&Applications節(jié)目流通過網(wǎng)絡接口模塊（NIM）進入核心處理芯片STB

多媒體計算機的關鍵技術要把一臺普通的計算機變成多媒體計算機要解決的關鍵技術是：

視頻音頻信號獲取技術；多媒體數(shù)據(jù)壓縮編碼和解碼技術；視頻音頻數(shù)據(jù)的實時處理技術；視頻音頻數(shù)據(jù)的輸出技術。2003.9Multimedia:Computing,Communications&Applications多媒體計算機的關鍵技術要把一臺普通的計算1.2.2多媒體技術促進了通訊、娛樂和

計算機的融合現(xiàn)代化社會人的工作方式和特點是：群體性、交互性分布性、協(xié)作性1.2.2