3.1多媒體基礎知識

1、 主教材多媒體技術應用清華大學出版社多媒體技術應用第一章：多媒體技術基礎1.1 多媒體的基本概念1.2 多媒體技術的應用與發(fā)展1.3 多媒體的關鍵技術1.4 多媒體信息的計算機表示1.5 多媒體數(shù)據(jù)壓縮技術目錄1.1 多媒體的基本概念1.1.1 多媒體的定義1.1.2 多媒體技術及其特性1.1.3 多媒體中的媒體元素及其特征1.1.1 多媒體的定義“多媒體”一詞譯自英文“Multimedia”即“Multiple”和”Media”的合成其核心詞是媒體何謂多媒體呢？媒質：存儲信息的實體，如磁盤、光盤、磁帶、半導體存儲器等。媒介：傳遞信息的載體，如數(shù)字、文字、聲音、圖形和圖像等。媒體（medium

2、）在計算機領域有兩種含義：即媒質和媒介。通常概念的“媒體” ，可分為以下五種類型：感覺媒體表示媒體顯示媒體存儲媒體傳輸媒體感覺媒體：能直接作用于人們的感覺器官，從而能使人產(chǎn)生直接感覺的媒體。如語音、音樂、各種圖像、動畫、文本等。表示媒體：為了傳送感覺媒體而人為研究出來的媒體。借助于此種媒體，便能更有效的存儲或傳送感覺媒體。如語言編碼、電報碼等。顯示媒體：用于通信中使電信號和感覺媒體之間產(chǎn)生轉換用的媒體。如輸入、輸出設施，鍵盤鼠標器、顯示器、打印機等。存儲媒體：用于存放某種媒體的媒體如紙張、磁帶、磁盤、光盤等。傳輸媒體：用于傳輸某些媒體的媒體，如電話線、電纜光纖等。多媒體計算機技術的定義：計算機

3、綜合處理多種媒體信息，文本圖形、圖像、音頻和視頻，使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。1.1.2 計算機技術及其特性多媒體計算機技術的三個主要特性信息載體的多樣性交互性集成性信息載體的多樣性是相對于計算機而言的，即指信息媒體的多樣性。多媒體就是要把計算機處理的信息多樣化或多維化，從而改變計算機信息處理的單一模式，使人們能交互的處理多種信息。信息載體的多樣性交互性多媒體的交互性是指用戶可以與計算機的多種信息媒體進行交互操作從而為用戶提供了更加有效地控制和使用信息的手段。集成性集成性是指以計算機為中心綜合處理多種信息媒體，它包括信息媒體的集成和處理這些媒體的設備的集成。信息媒體的集

4、成包括信息的多通道統(tǒng)一獲取、多媒體信息的統(tǒng)一組織和存儲、多媒體信息表現(xiàn)合成等方面。多媒體設備的集成包括硬件和軟件兩個方面。多媒體媒體元素是指多媒體應用中可顯示給用戶的媒體組成。1.1.3 多媒體中的媒體元素及特征音頻動畫視頻文本圖形圖像文本文本分為非格式化文本文件和格式化文本文件。非格式化文本文件：只有文本信息沒有其他任何有關格式信息的文件，又稱為純文本文件。如“.TXT ”文件。格式化文本文件：帶有各種文本排版信息等格式信息的文本文件。如“.DOC ”文件。圖形圖形（Graphic）一般指用計算機繪制的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。圖形的格式是一組描述點、線、面等幾何圖形的

5、大小、形狀及其位置、維數(shù)的指令集合。在圖形文件中只記錄生成圖的算法和圖上的某些特征點，因此也稱矢量圖。用于產(chǎn)生和編輯矢量圖形的程序通常稱為“ draw ”程序。微機上常用的矢量圖形文件有：“.3DS”（用于 3D 造型）、“.DXF”（用于CAD）、“.WMF”（用于桌面出版）等等。由于圖形只保存算法和特征點，因此占用的存儲空間很小。但顯示時需經(jīng)過重新計算，因而顯示速度相對慢些。圖像 圖像（Image）是指由輸入設備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面。靜止的圖像是一個矩陣，陣列中的各項數(shù)字用來描述構成圖像的各個點（稱為像素點 pixel ）的強度與顏色等信息。這種圖像也稱為位圖（

6、 bit-mapped picture ）。用于生成和編輯位圖圖像的軟件通常稱為“ paint ” 程序。圖像文件在計算機中的存儲格式有多種，如 BMP、PCX、TIF、TGA、GIF、JPG 等，一般數(shù)據(jù)量都較大。圖像處理時要考慮三個因素：分辨率圖像深度與顯示深度圖像文件大小圖像深度和顯示深度圖像深度（也稱圖像灰度、顏色深度）表示數(shù)字位圖圖像中每個像素上用于表示顏色的二進制數(shù)字位數(shù)。顯示深度：表示顯示器上每個點用于顯示顏色的 2 進制數(shù)字位數(shù)。若顯示器的顯示深度小于數(shù)字圖像的深度，就會使數(shù)字圖像顏色的顯示失真。顏色深度顏色總數(shù)圖像名稱12單色圖像416索引16 色圖像8256索引256 色圖

7、像1665536HIColor 圖像2416672216True Color 圖像顏色深度與顯示的顏色數(shù)目圖像文件大小用字節(jié)表示圖像文件大小時，一幅未經(jīng)壓縮的數(shù)字圖像的數(shù)據(jù)量大小計算如下：圖像數(shù)據(jù)量大小 = 像素總數(shù)圖像深度8例如：一幅 640480 的 256 色圖像為64048088 = 307200 字節(jié)Comparison:寬度：271高度：300顏色：2大?。?.9 KB寬度：271高度：300顏色：4大?。?9.8 KBComparison:寬度：271高度：300顏色：256大小：79.4 KB寬度：271高度：300顏色：真彩色大?。?38.2 KB音頻數(shù)字音頻（Audio）可

8、分為波形聲音語音和音樂。波形聲音實際上已經(jīng)包含了所有的聲音形式，它可以將任何聲音都進行采樣量化，相應的文件格式是WAV 文件或VOC文件。語音也是一種波形，所以和波形聲音的文件格式相同。音樂是符號化了的聲音，樂譜可轉變?yōu)榉柮襟w形式。對應的文件格式是MID 或CMF 文件。計算機音頻技術主要包括聲音的采集、數(shù)字化、壓縮/解壓縮以及聲音的播放。數(shù)字化主要包括采樣和量化這兩個方面。采樣頻率（sampling rate）是將模擬聲音波形轉換為數(shù)字時，每秒鐘所抽取聲波幅度樣本的次數(shù)，單位是Hz（赫茲）。量化數(shù)據(jù)位數(shù)（也稱量化級）是每個采樣點能夠表示的數(shù)據(jù)范圍，經(jīng)常采用的有8 位、12 位和16 位。例

9、如，8 位量化級表示每個采樣點可以表示256 個不同量化值，而16 位量化級則可以表示65536 個不同的量化值記錄聲音時，如果每次生成一個聲道數(shù)據(jù)，稱為單聲道；每次生成兩個聲波數(shù)據(jù)，稱為立體聲（雙聲道）。數(shù)字音頻的存儲量：可用以下公式估算聲音數(shù)字化后每秒所需的存儲量（未經(jīng)壓縮的）存儲量 = 采樣頻率量化位數(shù)8例如，數(shù)字激光唱盤（CD-DA）的標準采樣頻率為44.1 kHz，量化位數(shù)為16 位，立體聲。一分鐘 CD-DA 音樂所需的存儲量為 44.1 K162608 = 10584 KB若使用雙聲道，存儲量再增加一倍Sampling Resolution8 bitSamplingFrequen

10、cy11 KHz+127+64+320-32-64-12801001010Comparison:Sampling Resolution16 bitSamplingFrequency22 KHz+32767+512+1280-128-512-327680010101100011000Comparison:動畫是活動的畫面，實質是一幅幅靜態(tài)圖像的連續(xù)播放。動畫的連續(xù)播放既指時間上的連續(xù)，也指圖像內容上的連續(xù)。計算機設計動畫有兩種：一種是幀動畫，一種是造型動畫。動畫幀動畫是由一幅幅位圖組成的連續(xù)的畫面，就如電影膠片或視頻畫面一樣要分別設計每屏幕顯示的畫面。造型動畫是對每一個運動的物體分別進行設計，賦

11、予每個動元一些特征，然后用這些動元構成完整的幀畫面。動元的表演和行為是由制作表組成的腳本來控制。存儲動畫的文件格式有FLC、MMM等視頻視頻是由一幅幅單獨的畫面序列（幀frame）組成 ，這些畫面以一定的速率（fps）連續(xù)地投射在屏幕上，使觀察者具有圖像連續(xù)運動的感覺。視頻文件的存儲格式有AVI、MPGMOV等。視頻標準主要有NTSC制和PAL制兩種。NTSC 標準為30fps，每幀525行。PAL 標準為25fps，每幀625行。視頻的技術參數(shù)有：幀速數(shù)據(jù)量圖像質量1.2 多媒體技術的應用與發(fā)展1.2.1 多媒體技術的應用1.2.2 多媒體技術的發(fā)展方向1.2.1 多媒體技術的應用就目前而言

12、，多媒體技術已在商業(yè)教育培訓、電視會議、聲像演示等方面得到了充分應用。在教育與培訓方面的應用在通信方面的應用在其他方面的應用在教育與培訓方面的應用多媒體技術使教材不僅有文字、靜態(tài)圖像,還具有動態(tài)圖像和語音等。使教育的表現(xiàn)形式多樣化，可以進行交互式遠程教學。利用多媒體計算機的文本、圖形、視頻、音頻和其交互式的特點,可以編制出計算機輔助教學 CAI( Computer Assisted Instruction )軟件，即課件。在通信方面的應用多媒體技術在通信方面的應用主要有：可視電話視頻會議信息點播（Information Demand）計算機協(xié)同工作 CSCW（Computer Supporte

13、d Cooperative Work）信息點播有桌上多媒體通信系統(tǒng)和交互電視ITV。計算機協(xié)同工作CSCW是指在計算機支持的環(huán)境中，一個群體協(xié)同工作以完成一項共同的任務。計算機的交互性，通信的分布性和多媒體的現(xiàn)實性相結合，將構成繼電報電話、傳真之后的第四代通信手段。在其他方面的應用多媒體技術給出版業(yè)帶來了巨大的影響，其中近年來出現(xiàn)的電子圖書和電子報刊就是應用多媒體技術的產(chǎn)物。利用多媒體技術可為各類咨詢提供服務，如旅游、郵電、交通、商業(yè)、金融、賓館等。多媒體技術還將改變未來的家庭生活，多媒體技術在家庭中的應用將使人們在家中上班成為現(xiàn)實。1.2.2 多媒體技術的發(fā)展方向目前，多媒體主要從以下幾個方

14、向發(fā)展：多媒體通信網(wǎng)絡環(huán)境的研究和建立將使多媒體從單機單點向分布、協(xié)同多媒體環(huán)境發(fā)展，在世界范圍內建立一個可全球自由交互的通信網(wǎng)。對該網(wǎng)絡及其設備的研究和網(wǎng)上分布應用與信息服務研究將是熱點。1利用圖像理解、語音識別、全文檢索等技術，研究多媒體基于內容的處理、開發(fā)能進行基于內容的處理系統(tǒng)是多媒體信息管理的重要方向。多媒體標準仍是研究的重點：各類標準的研究將有利于產(chǎn)品規(guī)范化，應用更方便。它是實現(xiàn)多媒體信息交換和大規(guī)模產(chǎn)業(yè)化的關鍵所在。23多媒體技術與相鄰技術相結合，提供了完善的人機交互環(huán)境。多媒體仿真智能多媒體等新技術層出不窮，擴大了原有技術領域的內涵，并創(chuàng)造新的概念。多媒體技術與外圍技術構造的虛

15、擬現(xiàn)實研究仍在繼續(xù)進展。多媒體虛擬現(xiàn)實與可視化技術需要相互補充，并與語音、圖像識別、智能接口等技術相結合，建立高層次虛擬現(xiàn)實系統(tǒng)。45將來多媒體技術將向著以下六個方向發(fā)展；1).高分辨化，提高顯示質量；2).高速度化，縮短處理時間；3).簡單化，便于操作；4).高維化，三維、四維或更高維；5).智能化，提高信息識別能力；6).標準化，便于信息交換和資源共享。.3 多媒體的關鍵技術1.3.1 視頻音頻數(shù)據(jù)壓縮/解壓縮技術1.3.2 多媒體專用芯片技術1.3.3 大容量信息存儲技術1.3.4 多媒體輸入與輸出技術1.3.5 多媒體軟件技術1.3.6 多媒體通信技術1.3.7 虛擬現(xiàn)實技術1.3.1

16、 視頻音頻數(shù)據(jù)壓縮/解壓縮技術研制MPC需要解決的關鍵問題之一是要使計算機能適時地綜合處理聲、文圖信息。選用合適的數(shù)據(jù)壓縮技術，有可能將字符數(shù)據(jù)量壓縮到原來的1/2左右，語音數(shù)據(jù)量壓縮到原來的1/2-1/10，圖像數(shù)據(jù)量壓縮到原來的1/2-1/60。如今已有壓縮編碼/解壓縮編碼的國際標準JPEG 和MPEG 。1.3.2 多媒體專用芯片技術專用芯片是多媒體計算機硬件體系結構的關鍵。為了實現(xiàn)音頻、視頻信號的快速壓縮、解壓縮和播放處理，需要大量的快速計算，只有采用專用芯片，才能取得滿意的效果。多媒體計算機專用芯片可歸納為兩種類型：一種是固定功能的芯片；另一種是可編程的數(shù)字信號處理器（DSP）芯片。1.3.3 大容量信息存儲技術利用數(shù)據(jù)壓縮技術，在一張CD-ROM光盤上能夠存取70多分鐘全運動的視頻圖像或者十幾個小時的語言信息或數(shù)千幅靜止圖像。在CD-ROM 基礎上，還開發(fā)了 CD-I和CD-V、可錄式光盤CD-R、高畫質、高音質的光盤