第5章 多媒體課件

第5章多媒體第5章多媒體

本章詳細介紹了多媒體的有關(guān)概念、理論及應用。當你對多媒體有充分的認識后，你就能選擇合適的多媒體工具進行娛樂、休閑、工作，它將會給你的生活帶來無窮樂趣。本章概要2第5章多媒體本章概要學完本章，你將能夠：掌握多媒體的基本理論；描述多媒體技術(shù)的特點；描述多媒體中聲音和圖像的處理過程；列出在多媒體應用上所需的計算機設備；學會制作多媒體的技術(shù)。3第5章多媒體概述

多媒體技術(shù)是集文本、聲音、視頻、圖像、動畫等各種信息媒體于一體的信息處理技術(shù)，它通過一定的方式接收外部的各種媒體信息，經(jīng)過計算機加工處理后，以圖片、文字、聲音、動畫等多種方式輸出，實現(xiàn)了輸入輸出方式的多元化。多媒體技術(shù)的出現(xiàn)改變了人類社會的生活方式、生產(chǎn)方式和交互環(huán)境，促進了多個學科的發(fā)展和融合，使計算機在社會生活的各個領(lǐng)域獲得了更為廣泛的應用。4第5章多媒體本章要點5.1多媒體世界5.2多媒體中的基本概念5.3多媒體技術(shù)5.4多媒體計算機系統(tǒng)5.5多媒體應用5第5章多媒體5.1多媒體世界在信息社會，人們迫切希望計算機能以人類習慣的方式提供信息服務，因而多媒體技術(shù)應運而生。它的出現(xiàn)，使得原本只有鍵盤輸入的計算機有了“視覺”和“聽覺”。用戶不僅可以通過文字信息，還可以通過直接看到的影像和聽到的聲音來了解感興趣的對象，并且可以參與或改變信息的演示。多媒體是全面的綜合性的信息資源。事實上人們很難為多媒體繪出一個非常精確的定義，或許，這正使得多媒體有一種無限想象的創(chuàng)作空間。多媒體結(jié)合了文字、資料、圖形、影像、動畫、視訊、聲音、特殊效果，再經(jīng)由電腦表現(xiàn)出來，能達成信息傳播中的任何媒體資源。6第5章多媒體5.1.1多媒體的發(fā)展過程

應用層次廣泛面向商業(yè)、個人需要的第四代計算機，成為了多媒體技術(shù)發(fā)展的動力。毫無疑問，多媒體技術(shù)的萌芽、發(fā)展是伴隨著第四代計算機開始的。

1987年8月，創(chuàng)新音樂系統(tǒng)（C/MS）問世，這是第一塊得到眾多音樂軟件支持的12復音立體聲音樂合成卡。這張聲卡的出現(xiàn)，不僅標志著電腦具備了音頻處理能力，也標志著電腦的發(fā)展終于開始進入了一個嶄新的階段——多媒體技術(shù)發(fā)展階段。1988年MPEG（MovingPictureExpertGroup，運動圖像專家小組，簡稱MPEG）的建立又對多媒體技術(shù)的發(fā)展起到了推波助瀾的作用。進入90年代，隨著硬件技術(shù)的提高，自80486以后，多媒體時代終于到來。多媒體技術(shù)的產(chǎn)生和發(fā)展帶來計算機界的又一次革命，它標志著計算機不僅僅作為辦公室和實驗室的專用品，而將進入家庭、商業(yè)、旅游、娛樂、教育乃至藝術(shù)等幾乎所有的社會與生活領(lǐng)域。

7第5章多媒體5.1.2多媒體的未來

網(wǎng)絡和計算機技術(shù)相交融的交互式多媒體將成為21世紀多媒體發(fā)展方向。所謂交互式多媒體是指不僅可以從網(wǎng)絡上接受信息、選擇信息，還可以發(fā)送信息，其信息是以多媒體的形式傳輸。利用這一技術(shù)，人們能夠在家里購物、點播自己喜歡的電視節(jié)目。21世紀的交互式多媒體技術(shù)的實現(xiàn)將以電視或者以個人計算機為基礎。多媒體正在迅速的、以意想不到的方式進入人們生活的多個方面，大的趨勢是各個方面都將朝著當今新技術(shù)綜合的方向發(fā)展，這其中包括：大容量光碟存儲器、國際互聯(lián)網(wǎng)和交互電視。8第5章多媒體5.2多媒體中的基本概念5.2.1媒體及其五種基本形式5.2.2多媒體及其信息類型5.2.3超文本與超媒體9第5章多媒體5.2.1媒體及其五種基本形式1.感覺媒體（PerceptionMedium）：指直接作用于人的感覺器官，使人產(chǎn)生直接感覺的媒體。如引起聽覺反應的聲音，引起視覺反應的圖像等。2.表示媒體（RepresentationMedium）：指傳輸感覺媒體的中介媒體，即用于數(shù)據(jù)交換的編碼。如圖像編碼、文本編碼和聲音編碼等。這是為了加工、處理和傳輸感覺媒體而人為地研究、構(gòu)造出來的一類媒體。3.表現(xiàn)媒體（PresentationMedium）：指進行信息輸入和輸出的媒體。如鍵盤、鼠標、掃描儀、話筒、攝像機等為輸入媒體；顯示器、打印機、喇叭等為輸出媒體。10第5章多媒體5.2.1媒體及其五種基本形式（續(xù)）4.存儲媒體（StorageMedium）：指用于存儲表示媒體的物理介質(zhì)。如硬盤、軟盤、磁盤、光盤、ROM及RAM等。5.傳輸媒體（TransmissionMedium）：指傳輸表示媒體的物理介質(zhì)。如雙絞線、同軸電纜、光纜等。

11第5章多媒體5.2.2多媒體及其信息類型單從字面就可以看出，多媒體是由單媒體復合而成的，是融合兩種以上媒體的人機交互式信息交流和傳播的媒體。多媒體信息主要包括文本、圖像、動畫、聲音和視頻影像五類信息。12第5章多媒體多媒體信息1.文本文本是以文字和各種專用符號表達的信息形式，它是現(xiàn)實生活中使用得最多的一種信息存儲和傳遞方式。文本主要用于對知識的描述性表示，如闡述概念、定義、原理和問題以及顯示標題、菜單等內(nèi)容。如Word文字處理軟件編輯出的“DOC”文件，記事本和寫字板的“TXT”文件等。2.圖像

圖像是多媒體軟件中最重要的信息表現(xiàn)形式之一，它是決定一個多媒體軟件視覺效果的關(guān)鍵因素。3.動畫動畫是利用人的視覺暫留特性，快速播放一系列連續(xù)運動變化的圖形圖像，也包括畫面的縮放、旋轉(zhuǎn)、變換、淡入淡出等特殊效果。通過動畫可以把抽象的內(nèi)容形象化。存儲動畫的文件格式有FLC、MMM、GIF、SWF等。13第5章多媒體

多媒體信息（續(xù)）4.聲音聲音是人們用來傳遞信息、交流感情最方便、最熟悉的方式之一。在多媒體中聲音基本上分為音樂和音效兩類。5.視頻影像視頻影像具有時序性與豐富的信息內(nèi)涵，常用于交待事物的發(fā)展過程。視頻非常類似于我們熟知的電影和電視，有聲有色，在多媒體中充當重要的角色。視頻文件的存儲格式有AVI、MPG、MOV等。

14第5章多媒體5.2.3超文本與超媒體

超文本與超媒體技術(shù)是一種模仿人腦的聯(lián)想記憶方式，是把一些信息塊按需要用一定的邏輯順序鏈接成非線性網(wǎng)狀結(jié)構(gòu)的信息管理技術(shù)。超文本超媒體15第5章多媒體1.超文本（hypertext）傳統(tǒng)文本是以線性方式組織的，而超文本是一種非線性特殊文本。通常超文本被定義為：由信息節(jié)點和表示信息節(jié)點間相關(guān)性的鏈組成的具有一定邏輯結(jié)構(gòu)和語義的網(wǎng)絡。所謂節(jié)點，就是表達信息的一個單位，每個節(jié)點包含一個特定的主題信息?！版湣笔菍⒐?jié)點鏈接起來，實現(xiàn)跨越式瀏覽、檢索的一種機制。超文本的概念可用下圖來說明。超文本中帶有鏈接關(guān)系的文本通常用下劃線和不同的顏色表示。文本①中的“超文本”與②中的“超文本”建立有鏈接關(guān)系，①中的“超媒體”與③中的“超媒體”建立有鏈接關(guān)系，③中的“超鏈接”與④中的“超鏈接”建立有鏈接關(guān)系……這種文件就稱為超文本文件。16第5章多媒體2.超媒體超媒體與超文本之間的不同之處是，超文本主要是以文字的形式表示信息，建立的鏈接關(guān)系主要是文句之間的鏈接關(guān)系。超媒體除了使用文本外，還使用圖形、圖像、聲音、動畫或影視片斷等多種媒體來表示信息，建立的鏈接關(guān)系是文本、圖形、圖像、聲音、動畫和影視片斷等媒體之間的鏈接關(guān)系。多媒體使用“超文本”、“超媒體”思想與技術(shù)組成了一個全球范圍的超媒體空間，通過網(wǎng)絡、只讀光盤存儲器（CompactDiscRead-OnlyMemory，簡稱CD-ROM）、數(shù)字多能光盤（DigitalVersatileDisc，簡稱DVD）和多媒體計算機，人們表達、獲取和使用信息的方式和方法將產(chǎn)生重大變革，這對人類社會產(chǎn)生長遠和深刻的影響。17第5章多媒體5.3多媒體技術(shù)5.3.1多媒體技術(shù)的特性5.3.2多媒體信息處理技術(shù)的發(fā)展5.3.3音頻信息的處理5.3.4圖像信息的處理5.3.5視頻信息的處理5.3.6媒體綜合技術(shù)5.3.7編碼技術(shù)5.3.8虛擬現(xiàn)實5.3.9其他技術(shù)18第5章多媒體5.3.1多媒體技術(shù)的特性

多媒體技術(shù)具有四方面的顯著特性，即多樣性、交互性、集成性和實時性。多樣性多媒體技術(shù)的多樣性包括信息媒體的多樣性和媒體處理方式的多樣性。信息媒體的多樣性指使用文本、圖形、圖像、聲音、動畫、視頻等多種媒體來表示信息。對信息媒體的處理方式可分為一維、二維和三維等不同方式，例如文本屬于一維媒體，圖形屬于二維或三維媒體。多媒體技術(shù)的多樣性又可稱為多維化。這一特性不僅使計算機所能處理的信息空間范圍擴展和放大，而且使人與計算機的交互具有更廣闊、更自由的空間。此外，多樣性還指把多媒體系統(tǒng)的各種設備與設施合成為一個整體，將所有能夠處理各種媒體信息的高速并行的處理系統(tǒng)、大容量的存儲、適合多媒體通道的輸入設備（鍵盤、攝像機、話筒等）和輸出設備（顯示器、喇叭等）、寬帶的通信網(wǎng)絡接口，以及適合多媒體信息傳輸?shù)亩嗝襟w通信網(wǎng)絡集成為一個整體。

19第5章多媒體2.集成性

多媒體技術(shù)的集成性是指以計算機為中心，綜合處理多種信息媒體的特性，包括信息媒體的集成和處理這些信息媒體的設備與軟件的集成。集成性首先是信息媒體的集成，即把單一的、零散的媒體有效地集成在一起，成為一個完整的統(tǒng)一體，從而使計算機信息空間得到相對的完善，并得到充分利用；其次，集成性還充分表現(xiàn)在存儲信息的實體的集成，即多媒體信息由計算機統(tǒng)一存儲和組織。

20第5章多媒體3.交互性

多媒體技術(shù)的交互性是指通過各種媒體信息，使參與的各方（發(fā)送方和接受方）都可以對有關(guān)信息進行編輯、控制和傳遞。交互性不僅增加用戶對信息的注意力和理解，延長了信息的保留時間，而且交互活動本身也作為一種媒體加入了信息傳遞和轉(zhuǎn)換的過程，從而使用戶獲得更多的信息。另外，借助交互活動，用戶可參與信息的組織過程，甚至可控制信息的傳播過程，從而可使用戶研究、學習感興趣的方面，并獲得新的感受。21第5章多媒體4.實時性

多媒體技術(shù)的實時性是指在多媒體系統(tǒng)中聲音媒體和視頻媒體是與時間因子密切相關(guān)的，從而決定了多媒體技術(shù)具有實時性，意味著多媒體系統(tǒng)在處理信息時有著嚴格的時序要求和很高的速度要求。22第5章多媒體5.3.2多媒體信息處理技術(shù)的發(fā)展支持多媒體技術(shù)發(fā)展的基礎技術(shù)（1）大規(guī)模集成電路的發(fā)展，使計算機的運算速度及內(nèi)存容量大幅度提高，為多媒體信息的實時處理創(chuàng)造了條件。（2）大容量的存儲技術(shù)和各種媒體壓縮技術(shù)的發(fā)展，為多媒體信息的存儲和傳輸提供了保證。（3）網(wǎng)絡與通信技術(shù)的發(fā)展使多媒體通信對網(wǎng)絡總帶寬的要求得到一定程度的滿足。（4）各種媒體技術(shù)標準的制定和完善推動了多媒體技術(shù)的發(fā)展。23第5章多媒體5.3.2多媒體信息處理技術(shù)的發(fā)展2.多媒體信息處理的關(guān)鍵技術(shù)多媒體信息處理的關(guān)鍵技術(shù)主要有6個方面：計算機系統(tǒng)技術(shù)、數(shù)據(jù)壓縮和編碼技術(shù)、數(shù)據(jù)存儲技術(shù)、同步技術(shù)、數(shù)據(jù)管理和檢索技術(shù)、網(wǎng)絡技術(shù)。（1）計算機系統(tǒng)技術(shù)計算機系統(tǒng)技術(shù)是實現(xiàn)多媒體系統(tǒng)的物質(zhì)基礎。鑒于多媒體信息量大、處理方式復雜多樣、實時性強等特點，多媒體計算機系統(tǒng)對運算速度、存儲容量和信息傳輸速率均有很高的要求。多媒體計算機硬件結(jié)構(gòu)的核心是微處理器，VLSI為多媒體技術(shù)的普及創(chuàng)造了必要條件。在硬件配置方面，一般使用高速總線的主機板，配有較大的內(nèi)存和外存（硬盤），并使用高速串行總線USB2.0和IEEEl394連接各種標準配置的外部設備，多媒體操作系統(tǒng)是多媒體應用軟件的支撐環(huán)境，主要解決兩個問題：一是保證實時性，二是滿足多媒體計算機各種功能的要求。24第5章多媒體

多媒體信息處理的關(guān)鍵技術(shù)（3）多媒體數(shù)據(jù)存儲技術(shù)數(shù)字化的多媒體信息雖然經(jīng)過了壓縮處理，但仍然包含大量的數(shù)據(jù)。例如視頻圖像在未經(jīng)壓縮處理時的每秒數(shù)據(jù)量約為25MB，經(jīng)某種算法壓縮處理后，每分鐘的數(shù)據(jù)量約為10MB，每小時的數(shù)據(jù)量為600MB。對于這樣的數(shù)據(jù)量，顯然不可能存于一張軟盤上，而必須存于光盤或硬盤上。數(shù)字化數(shù)據(jù)存儲可采用的介質(zhì)有光盤、硬盤和磁帶。

（4）多媒體同步技術(shù)在多媒體技術(shù)的應用中，各種媒體信息都與時間和空間存在著或多或少的依從關(guān)系，例如，視頻、音頻都明顯地帶有時間的依從特性。而在有多種媒體集成的信息中，媒體間也會存在空間上的位置特性。因此，多媒體的集成、轉(zhuǎn)換和傳遞會受到時空同步的制約。25第5章多媒體

多媒體信息處理的關(guān)鍵技術(shù)（5）多媒體信息檢索技術(shù)目前，比較先進的多媒體信息檢索技術(shù)是基于內(nèi)容的多媒體檢索技術(shù)，它具有如下特點：①根據(jù)媒體對象的語義和上下文聯(lián)系進行檢索。②人機交互。③基于內(nèi)容的檢索是一種近似的匹配。（6）多媒體網(wǎng)絡技術(shù)多媒體網(wǎng)絡技術(shù)是多媒體技術(shù)和網(wǎng)絡技術(shù)相結(jié)合的綜合技術(shù)。通過寬帶高速網(wǎng)絡系統(tǒng)將多個獨立的多媒體計算機連接成為局域網(wǎng)，或者是跨地域的廣域網(wǎng)，實現(xiàn)多媒體通信和多媒體信息資源的共享。多媒體網(wǎng)絡技術(shù)主要解決網(wǎng)絡吞吐量、傳輸可靠性、傳輸實時性和服務質(zhì)量等問題。目前，多媒體網(wǎng)絡通信技術(shù)已經(jīng)取得了許多新的進展，能夠超越時空限制，實時快速地進行多媒體通信，例如可視電話、多媒體會議系統(tǒng)、多媒體交互電視系統(tǒng)、遠程教育與遠程醫(yī)療、公共信息檢索系統(tǒng)等。26第5章多媒體3.多媒體的研究與發(fā)展技術(shù)（1）多媒體數(shù)據(jù)的表示技術(shù)包括文字、聲音、圖形、圖像、動畫、影視等媒體在計算機中的表示方法。人—機接口技術(shù)，如語音識別和文本—語音轉(zhuǎn)換（TextToSpeech，簡稱TTS）也是多媒體研究中的重要課題；虛擬現(xiàn)實（VirtualReality，簡稱VR）是當今多媒體技術(shù)研究中的熱點技術(shù)之一。（2）多媒體數(shù)據(jù)的存儲技術(shù)多媒體數(shù)據(jù)的存儲的目標是實現(xiàn)大容量信息的存儲和管理。在發(fā)展集中式的海量存儲技術(shù)的同時，也在向分布存儲、并行訪問的方向發(fā)展。分布數(shù)據(jù)存儲技術(shù)與多媒體存儲技術(shù)將在計算機通信網(wǎng)絡中融合起來。

27第5章多媒體

多媒體的研究與發(fā)展技術(shù)（3）多媒體的應用開發(fā)包括多媒體CD-ROM節(jié)目（title）制作、多媒體數(shù)據(jù)庫、環(huán)球超媒體信息系統(tǒng)（Web）、多目標廣播技術(shù)（Multicasting）、影視點播（VideoOnDemand，簡稱VOD）、電視會議（VideoConferencing）、遠程教育系統(tǒng)、多媒體信息的檢索等。

（4）多媒體創(chuàng)作和編輯工具的研究開發(fā)基本目標是功能強大、適應性強、使用方便等，為將來人人都會使用多媒體創(chuàng)作和編輯工具提供條件。28第5章多媒體5.3.3音頻信息的處理多媒體技術(shù)的特點是交互式地綜合處理聲音、文字和圖像等多種信息。在多媒體系統(tǒng)中，語音和音樂是必不可少的。沒有音頻的視頻是不可接受的。音頻和視頻同步，使視頻圖像更具真實性。娓娓動聽的音樂和解說，使靜態(tài)圖像變得更加豐富多彩。可視電話、電視會議中的聲音更為重要。隨著多媒體信息處理技術(shù)的發(fā)展、計算機數(shù)據(jù)處理能力的增強，音頻處理技術(shù)備受重視，并得到了廣泛的應用。如：視頻圖像的配音、配樂；靜態(tài)圖像的解說、背景音樂；可視電話、電視會議中的話音；游戲中的音響效果；虛擬現(xiàn)實中的聲音模擬；用聲音控制Web；電子讀物的有聲輸出等。29第5章多媒體1.音頻處理方式處理聲音的方式有兩種：模擬方式和數(shù)字方式。1）模擬方式就像錄音機，把聲音信號的波形原樣保存下來，下圖所示為模擬信號的波形示意圖。2）數(shù)字信號根據(jù)抽樣定理，人們對模擬信號經(jīng)過采樣和量化，把模擬信號以數(shù)字形式保存起來，下圖所示為采樣量化的示意圖30第5章多媒體

多媒體系統(tǒng)中處理的一般都是數(shù)字音頻，為了保真，就要有更高的采樣頻率和更高的量化精度，量化精度越高，聲音樣本的位數(shù)越多；采樣頻率越高，單位時間內(nèi)產(chǎn)生的數(shù)據(jù)個數(shù)就越多。決定一個數(shù)字波形質(zhì)量和容量的因素有以下三個：（1）采樣頻率由于人耳能分辨的聲音的最高頻率為20kHz左右，根據(jù)采樣定理，40kHz的采樣頻率就可以獲得滿意的質(zhì)量。所以，在多媒體標準中，標準的聲音采樣頻率有11.025kHz、22.050kHz和44.100kHz等。（2）采樣量化位數(shù)采樣量化位數(shù)反映了對采樣點數(shù)據(jù)進行數(shù)字化時的精度。若對采樣值量化時采用n位（即nbit）采樣，則其量化的精度就有2n個等級。聲音的量化一般是8位、16位或32位，相應的聲卡也常被稱為8位聲卡、16位聲卡、32位聲卡等。

音頻處理方式（續(xù)）31第5章多媒體（3）聲道數(shù)聲道數(shù)表明記錄聲音的波形個數(shù)，只記錄一個聲音波形稱為單聲道；記錄兩個波形稱為雙聲道，即立體聲。立體聲的聲音效果比單聲道要好得多，但需占用更多的存儲空間。記錄聲音所需的存儲空間由下面的公式?jīng)Q定：記錄每秒聲音所需的字節(jié)數(shù)=（采樣頻率×采樣量化位數(shù)×聲道數(shù)）/8

根據(jù)公式可以計算出，對于雙聲道的聲音，若用16bit量化、44.100kHz采樣，每分鐘的聲音大約需要10MB的存儲空間。

音頻處理方式（續(xù)）32第5章多媒體2.音樂合成與MIDI用樂器演奏的音樂，因為樂器種類不多，又沒有其它聲音，可以用音樂合成技術(shù)來實現(xiàn)保存和播放。理論上，用多種頻率的正弦波可以合成任何波形，調(diào)頻（FM）音樂合成技術(shù)就基于這個理論?，F(xiàn)在的音樂合成器（電子琴）和計算機上的聲卡都配備有FM設備。FM設備內(nèi)事先就已經(jīng)保存了各種樂器的合成方式，播放時只要有樂器類型、音高、音量、播放時間等數(shù)據(jù)的代碼，就可以播放出聲音來。高級一點的FM設備使用的是波表技術(shù)，即保存的是WAVE格式的真實樂器的錄音（不是合成的），播放效果更加逼真?，F(xiàn)在流行的MIDI就是通過音樂合成技術(shù)工作的。MIDI（MusicalInstrumentDigitalInterface，簡稱MIDI）是音樂與計算機結(jié)合的產(chǎn)物，是電子樂器與計算機之間的連接界面和信息交流方式。MIDI格式的文件擴展名為“.mid”，通常把MIDI格式的文件簡稱為“MIDI文件”。33第5章多媒體

音樂合成與MIDI（續(xù)）MIDI是數(shù)字音樂國際標準。數(shù)字式電子樂器的出現(xiàn)，為計算機處理音樂創(chuàng)造了極為有利的條件。MIDI聲音與數(shù)字化波形聲音完全不同，它不是對聲波進行采樣、量化和編碼，而是將數(shù)字式電子樂器的彈奏過程記錄下來，如按了哪一個鍵、力度多大、時間多長等等。它實際上是一串時序命令，用于記錄電子樂器鍵盤彈奏的信息，包括鍵、通道號、持續(xù)時間、音量和力度等。這些信息稱之為MIDI消息，是樂譜的一種數(shù)字式描述。當需要播放時，只需從相應的MIDI文件中讀出MIDI消息，生成所需要的樂器聲音波形，經(jīng)放大后由揚聲器輸出。MIDI文件的存儲容量較數(shù)字音頻文件小得多。如3分鐘的MIDI音樂僅僅需要10KB的存儲空間，而3分鐘的數(shù)字音頻信號音樂需要15MB的存儲容量。34第5章多媒體3.其他音頻技術(shù)（1）語音合成技術(shù)（2）語音識別技術(shù)35第5章多媒體（1）語音合成技術(shù)一般來講，實現(xiàn)計算機語音輸出有兩種方法：一是播放事先錄制好的聲音，二是文語轉(zhuǎn)換。若采用第一種方法，首先要把錄制好的模擬語音信號轉(zhuǎn)換成數(shù)字形式，編碼后存于存儲設備中，播放時，再經(jīng)解碼，重建聲音信號（重放）。這種方式可獲得高音質(zhì)聲音，并能保留特定人或樂器的音色，但所需的存儲容量隨錄音時間線性增長，可能非常巨大。第二種方法是基于聲音合成技術(shù)的一種聲音產(chǎn)生技術(shù)，它可用于語音合成和音樂合成。文語轉(zhuǎn)換是語音合成技術(shù)的延伸，它能把計算機內(nèi)的文本轉(zhuǎn)換成連續(xù)自然的語音流。若采用這種方法輸出語音，應預先建立語音參數(shù)數(shù)據(jù)庫、發(fā)音規(guī)則庫等。需要輸出語音時，系統(tǒng)按需求先合成語音單元，再按語音學規(guī)則或語言學規(guī)則，連接成自然的語流。文語轉(zhuǎn)換的參數(shù)庫不隨發(fā)音時間增長而加大，但規(guī)則庫卻隨語音質(zhì)量的要求而增大。36第5章多媒體

（1）語音合成技術(shù)（續(xù)）計算機語音輸出按其實現(xiàn)的功能來分，可以分為兩個檔次：（a）有限詞匯的計算機語音輸出。這是最簡單的計算機語音輸出，適合于特定場合的需求。它可以采用錄音／重放技術(shù)，或針對有限詞匯采用某種合成技術(shù)，對語言理解沒有要求?？捎糜谡Z音報時、汽車報站等。（b）基于語音合成技術(shù)的文字語音轉(zhuǎn)換（TTS），實現(xiàn)由書面語言到語音的轉(zhuǎn)換。它對書面語言進行處理，將其轉(zhuǎn)換為流利的可理解的語音信號。這是目前計算機語音輸出的主要研究階段。它并不只是由正文到語音信號的簡單映射，它還包括了對書面語言的理解，以及對語音的韻律處理。37第5章多媒體（2）語音識別技術(shù)口語是最自然最有效的交際方式，用對計算機講話的方式來控制計算機或輸入文字要比用鍵盤和鼠標好得多。這種技術(shù)的基礎是語音識別和理解。語音識別是將人發(fā)出的聲音、字或短語轉(zhuǎn)換成文字、符號，或給出響應，如執(zhí)行控制、做出回答。語音識別的研究已有幾十年的歷史，帶有語音功能的計算機將很快成為大眾化產(chǎn)品。語音識別將可能取代鍵盤和鼠標成為計算機的主要輸入手段，使用戶界面產(chǎn)生一次飛躍，所以語音識別所具有的商業(yè)前景是不可估量的。語音識別的目的是抽取語音信號攜帶的信息。語音信號是時間依賴信號，具有時變性、瞬變性的特點，其隨機性和非平穩(wěn)性給識別帶來很多困難。眾多專家從事語音識別相關(guān)技術(shù)的研究。基于語言學知識，建立語音識別的高層模型，識別并理解語言是我們的最終目的。目前比較成熟的應用有特定人語音識別系統(tǒng)、非特定人語音識別系統(tǒng)、說話人識別系統(tǒng)、話語系統(tǒng)等。38第5章多媒體4.常用的音頻文件現(xiàn)在計算機上使用的音頻文件多種多樣，不同的文件使用不同的編碼或壓縮方法，文件的大小與播放效果也不一樣，下表列舉了一些常見的音頻文件。

文件的擴展名說明aif（AudioInterchange）aucmf（CreativeMusicFormat）mff（MIDIFilesFormat）mid（MIDI）mp2mp3mod（Module）rm（RealMedia）ra（RealAudio）rolApple計算機上的聲音文件存儲格式Sun和NEXT公司的聲音文件格式8位u律編碼或16位線性編碼聲霸（SB）卡帶的MIDI文件存儲格式MIDI文件存儲格式Windows的MIDI文件存儲格式MPEGLayerI，ⅡMPEGLayerIIIMIDI文件存儲格式RealNetworks公司的流放式聲音文件格式RealNetworks公司的流放式聲音文件格式Adlib聲音卡文件存儲格式39第5章多媒體

續(xù)表snd（sound）seqsngvoc（CreativeVoice）wav（Waveform）WMAApple計算機上的聲音文件存儲格式MIDI文件存儲格式MIDI文件存儲格式聲霸卡存儲的聲音文件存儲格式Windows采用的波形聲音文件存儲格式WindowsMediaAudio，微軟音頻壓縮格式，比mp3壓縮率更高40第5章多媒體5.3.4圖像信息的處理圖像是多媒體中攜帶信息的極其重要的媒體，有人發(fā)表過統(tǒng)計資料，認為人們獲取的信息的70%來自視覺系統(tǒng)，實際就是文字、圖像和視頻。人們最易接受的是圖像和視頻，而視頻也是由圖像組成的，可見圖像在多媒體中的重要。多媒體中處理圖像要經(jīng)過采集、編碼、壓縮、存儲、分析處理、顯示等多個過程，下圖所示為處理過程示意圖。41第5章多媒體圖像處理過程42第5章多媒體1.采集圖像的采集也要經(jīng)過采樣和量化，把圖像在水平和垂直方向分解成許多的點，記錄下每個點的顏色值，分解成紅、綠、藍三種基色的組合存儲起來。采集圖像的設備有許多，掃描儀、數(shù)碼相機都是常用的設備，攝像機（或數(shù)字攝像機）采集的視頻圖像也是重要的圖像來源。黑白圖像量化時保存的是像素點的灰度（亮度）值，如量化成256個灰度級，保存時就要占8位空間（1個字節(jié)）；彩色圖像量化時保存的是像素點中三種基色的亮度值，如每個基色亮度值量化成256個灰度級，三種顏色就要占用24位，即3個字節(jié)。43第5章多媒體采集（續(xù)）矢量圖是用一系列計算機指令來表示一幅圖，如畫點、畫線，畫曲線、畫圓、畫矩形等等。這種方法實際上是用數(shù)學方法來描述一幅圖，然后變成許許多多的數(shù)學表達式，再編程，用語言來表達。矢量圖有許多優(yōu)點。例如，當需要管理每一小塊圖像時，矢量圖法非常有效；目標圖像的移動、縮小放大、旋轉(zhuǎn)、復制、屬性的改變（如線條變寬變細、顏色的改變）也很容易做到；相同的或類似的圖可以把它們當作圖的構(gòu)造塊，并把它們存到圖庫中，這樣不僅可以加速畫的生成，而且可以減小矢量圖文件的大小。有些圖像是人工制作的，這要借助于繪圖工具，在計算機上繪制，完成后再以點陣或矢量形式保存起來。44第5章多媒體2.編碼和壓縮圖像數(shù)字化之后的數(shù)據(jù)量非常大，要占用非常多的存儲空間，傳輸時也要占用非常多的時間，因此，對圖像進行編碼和壓縮就顯得很重要。圖像數(shù)據(jù)壓縮主要是根據(jù)下面兩個基本事實來實現(xiàn)的：一個是圖像數(shù)據(jù)中有許多重復的數(shù)據(jù)，使用數(shù)學方法來表示這些重復數(shù)據(jù)就可以減少數(shù)據(jù)量；另一個是人的眼睛對圖像細節(jié)和顏色的辨認有一個極限，把超過極限的部分去掉，這也就達到了壓縮數(shù)據(jù)的目的。利用前一個事實的壓縮技術(shù)是無損壓縮技術(shù)，利用后一個事實的壓縮技術(shù)是有損壓縮技術(shù)。實際的圖像壓縮是綜合使用各種有損和無損壓縮技術(shù)來實現(xiàn)的。45第5章多媒體3.圖像壓縮標準（1）二值圖像壓縮（JBIG）二值圖像壓縮標準有G3、G4和JBIG。以非自適應、一維游程編碼為基礎，JBIG采用無損壓縮技術(shù)，但它的壓縮率比目前的CCITTG3、G4標準高1.1～30倍（根據(jù)內(nèi)容的不同）。雖然JBIG是二值圖像的編碼標準，但也可以對含灰度值的圖像或彩色圖像進行無失真壓縮。46第5章多媒體

圖像壓縮標準（續(xù)）（2）靜止圖像壓縮標準（JPEG/JPEG2000）

為了壓縮連續(xù)色調(diào)（即灰度級或彩色）的靜止圖像，“聯(lián)合圖片專家組”（JointPhotographicExpertGroup，簡稱JPEG，1986年成立）于1991年3月提出了ISO/IECl0918號建議草案“連續(xù)色調(diào)靜止圖像的數(shù)字壓縮編碼”（DigitalCompressionandCodingofContinuous-toneStillImages），1992年正式通過。JPEG標準采用混合編碼方法，可以支持很高的圖像分辨率和量化精度。JPEG算法的平均壓縮比為15:1，當壓縮比大于50時將可能出現(xiàn)方塊效應。這一標準適用于黑白及彩色照片、傳真和印刷圖片。

JPEG2000是一個新標準，不僅提高了對圖像的壓縮質(zhì)量，還可根據(jù)圖像質(zhì)量、視覺感受和分辨率進行漸進傳輸。47第5章多媒體（3）動態(tài)圖像壓縮標準（H.261）

CCITT在1990年12月通過了H.261即p×64Kb/s視聽業(yè)務用的視頻編解碼器（VideoCoder/DecoderforAudiovisualServicesatp×64Kb/s）。這個建議是針對運動實時動態(tài)圖像的壓縮編碼和解碼，應用目標是可視電話和電視會議。算法采用混合編碼方法，壓縮比可達48:1。它的原理框架奠定了以后MPEG標準的基礎。（4）動態(tài)圖像壓縮標準（MPEG-1）“動態(tài)圖片專家組”（MovingPictureExpertGroup，簡稱MPEG）提出的“用于數(shù)字存儲媒體運動圖像及其伴音率為1.5Mb/s的壓縮編碼”，簡稱為MPEG-1。它包括三個部分：MPEG視頻、MPEG音頻和MPEG系統(tǒng)。MPEG-1標準的平均壓縮比為50:1，其處理能力可達到360×240像素。

圖像壓縮標準（續(xù)）48第5章多媒體（5）動態(tài)圖像壓縮標準（MPEG-2/H.262）

1996年底正式公布的MPEG-2標準引用了MPEG-1標準的基本結(jié)構(gòu)，并作了擴展。它可以直接對隔行掃描視頻信號進行處理；空間分辨率、時間分辨率和信噪比可分級，以適應不同用途的解碼要求；輸出碼流速率可以是恒定的也可以是變化的，以適應同步和異步傳輸。

MPEG-2標準的處理能力可達廣播級水平，即720×480像素。MPEG-2標準兼容MPEG-1標準，適應1.5～80Mb/s編碼范圍。MPEG-2標準也是高清晰度電視（HDTV）全數(shù)字方案、DVD方案所采用的數(shù)據(jù)壓縮標準。圖像壓縮標準（續(xù)）49第5章多媒體

圖像壓縮標準（續(xù)）（6）動態(tài)圖像壓縮標準（MPEG-4/H.263）

MPEG-4是ISO為傳輸碼率低于64Kb/s的實時圖像設計的。與JPEG、MPEG-1、MPEG-2等其他標準所采用的基本壓縮算法不同，該標準采用基于模型的編碼、分形編碼等方法，以獲得極低碼率的壓縮效果。所涉及的應用范圍覆蓋了有線、無線、移動通信、Internet以及數(shù)字存儲回放等各個領(lǐng)域，它在信息描述中首次采用了“對象”（Object）概念，是以內(nèi)容為中心的描述方法，對信息元的描述更符合人的心理，不僅獲得比原有標準更優(yōu)越的壓縮性能，也提供了各種新功能的應用。50第5章多媒體4.處理分析圖像處理的完整過程包括圖像的采集、量化、存儲、變換、編碼、分割、特征提取、圖像數(shù)據(jù)庫的建立、圖像的分類和表示、圖像識別、模型匹配、內(nèi)容解釋和理解等等。根據(jù)抽象程度和方法的不同，圖像處理技術(shù)可分為圖像處理、圖像分析（包括圖像分割）和圖像理解三個層次。圖像處理是較低層的操作，主要在圖像的像素級上進行大數(shù)據(jù)量的處理。圖像處理著重圖像之間的變換，對圖像進行各種加工以改善圖像的視覺效果。51第5章多媒體處理分析（續(xù)）圖像分割屬于中層次的操作。圖像分割和特征提取把原來以像素描述的圖像轉(zhuǎn)變成較簡單的非圖形式的符號描述，被提取的圖像特征有邊緣和區(qū)域，邊緣檢測和區(qū)域分割具有互補的特征。人們能方便地從一幅圖像中找出感興趣的區(qū)域，而要計算機做到這一點卻需給它以客觀測度，使之按灰度、顏色、紋理或幾何特性等把一些物體或區(qū)域加以分離，稱為分割。圖像分割是進一步進行圖像分析、模式識別、計算機視覺等高層處理的基礎。圖像理解是高層次操作，基本上是符號運算。圖像理解主要指在圖像分析的基礎上，進一步研究圖像中的目標和它們之間的聯(lián)系，并做出對圖像的理解以及對原來客觀場景的解釋，從而指導和規(guī)劃行動。圖像理解的處理過程和方法與人類的思維推理有許多類似之處。52第5章多媒體5.動畫技術(shù)動畫就是運動的畫。在屏幕上依次播放一系列有細微差別的靜態(tài)圖片，各幅圖片之間的細微差別就在人的視覺誤差中形成了連續(xù)的動畫。例如圖中的10幅圖表示的是小人走1步的動作，當把10幅畫連續(xù)播放時，看到的就是小人在走。53第5章多媒體5.動畫技術(shù)（續(xù)）用計算機實現(xiàn)的動畫有兩種，一種為幀動畫，另一種為造型動畫。幀動畫是由一幅幅連續(xù)的畫面組成的畫像或圖形序列，這是產(chǎn)生各種動畫的基本方法；造型動畫是把整個畫面分解成多個活動的對象分別進行設計，構(gòu)造每一對象的特征（如形狀、大小、顏色等），在動畫過程中每個對象可以移動和變換，播放時根據(jù)每個對象的位置和特征，實時生成畫面，形成連續(xù)的動畫過程。用計算機制作動畫時，一般是先做好關(guān)鍵的畫面（也稱為關(guān)鍵幀），中間畫面由計算機內(nèi)插來完成。54第5章多媒體6.圖像圖形文件

自計算機出現(xiàn)以來，產(chǎn)生了許許多多的圖像文件，因為互不兼容，有許多已經(jīng)被淘汰。計算機圖形或圖像文件分兩種類型：位映像圖和矢量圖，我們只介紹現(xiàn)在常用到的幾種。（1）BMP文件格式位圖文件（bitmap-file，簡稱BMP）格式是Windows采用的圖像文件存儲格式，在Windows環(huán)境下運行的所有圖像處理軟件都支持這種格式。它是將一幅圖像分割成柵格，柵格的每一點的亮度值都單獨記錄下來。Windows3.0以前的BMP格式與顯示設備有關(guān)，因此把它稱為設備相關(guān)位圖（Device-DependentBitmap，簡稱DDB）文件格式。Windows3.0以后的BMP格式與顯示設備無關(guān)，因此稱為設備無關(guān)位圖（Device-IndependentBitmap，簡稱DIB）格式，目的是讓Windows能夠在任何類型的顯示設備上顯示BMP。55第5章多媒體6.圖像圖形文件（續(xù)）（2）GIF文件格式

GIF（GraphicsInterchangeFormat，簡稱GIF）是CompuServe公司開發(fā)的圖像文件存儲格式，目前廣泛用于互聯(lián)網(wǎng)的網(wǎng)頁中。1987年開發(fā)的GIF文件格式的版本號是GIF87a，1989年對其進行了擴充，擴充后的版本號定義為GIF89a。GIF圖像文件以數(shù)據(jù)塊（block）為單位來存儲圖像的相關(guān)信息。一個GIF文件由表示圖形/圖像的數(shù)據(jù)塊、數(shù)據(jù)子塊以及顯示圖形/圖像的控制信息塊組成，稱為GIF數(shù)據(jù)流（datastream）。GIF文件格式采用了LZW壓縮算法來存儲圖像數(shù)據(jù)，定義了允許用戶為圖像設置背景的透明屬性。此外，GIF文件格式可在一個文件中存放多幅彩色圖形/圖像。如果在GIF文件中存放有多幅圖，它們可以像幻燈片或者像動畫那樣演示。56第5章多媒體6.圖像圖形文件（續(xù)）（3）TIFF圖像文件格式標記圖像文件格式（TagImage，簡稱TIFF）是圖像文件格式中最復雜的一種，代碼很長。它是一種多變的圖像文件格式，圖像信息的存放靈活多變，獨立于操作系統(tǒng)和文件系統(tǒng)。該格式支持的色彩數(shù)最高可達16M種，其特點是：存儲的圖像質(zhì)量高，但占用的存儲空間也非常大，其大小是相應GIF圖像的3倍，JPEG圖像的10倍；細微層次的信息較多，有利于原稿階調(diào)與色彩的復制。（4）PNG格式流式網(wǎng)絡圖形格式（PortableNetworkGraphicFormat，簡稱PNG），PNG是一種能存儲32位信息的位圖文件格式，其圖像質(zhì)量遠勝過GIF。同GIF一樣，PNG也使用無損壓縮方式來減少文件的大小。在壓縮位圖數(shù)據(jù)時，它采用了頗受好評的lz77算法的一個變種。目前，越來越多的軟件開始支持這一格式，在不久的將來，它可能會在整個Web上廣泛流行。與GIF不同的是，PNG圖像格式不支持動畫。57第5章多媒體6.圖像圖形文件（續(xù)）（5）PostScript文件

PostScript是專門為打印圖形和文字而設計的一種編程語言，很好地描述了矢量圖和位圖，現(xiàn)在也用于圖像的存儲和交換。PostScript文件的顯示效果與打印的介質(zhì)無關(guān)，不管你是在紙上、膠片上打印，還是在屏幕上顯示都適合。它的使用平臺主要是Macintosh機、PC機、Unix工作站等。幾乎所有的Macintosh應用程序、PC機文字處理和單面排版程序及一些高性能的PC機圖形和CAD應用程序，均支持PostScript圖文格式。

（6）JPEG格式現(xiàn)在的JPEG文件基本上都是采用的JPEG文件交換格式（JPEGFormat，簡稱JFIF），使用的是JPEG壓縮標準。58第5章多媒體5.3.5視頻信息的處理在多媒體技術(shù)中，最復雜的是運動視頻的處理技術(shù)?，F(xiàn)在我們將從基本概念入手，簡單介紹視頻圖像的采集、壓縮、存儲、回放（解壓縮）、傳輸?shù)扔嘘P(guān)處理技術(shù)。視頻信號處理的一般過程如下圖所示。59第5章多媒體1.視頻數(shù)據(jù)的編碼和壓縮視頻數(shù)據(jù)的編碼和壓縮是以聲音與圖像編碼和壓縮為基礎的，主要采用的是MPEG系列標準，我們在前面已經(jīng)介紹，這里不再重復。2.視頻圖像的編輯處理對視頻圖像的編輯處理，主要包括視頻內(nèi)容和視頻效果的編輯處理（包括拼接、裁剪、縮放、移動、凍結(jié)、翻轉(zhuǎn)、鏡像、背景、疊加、透視、旋轉(zhuǎn)、淡入淡出等）與視頻內(nèi)容的分析（比如計算機圖像識別、文字識別等）兩個方面的工作。這些處理基本上都要在計算機上完成，其處理的實質(zhì)是對圖像點陣數(shù)據(jù)的運算。視頻信息的處理60第5章多媒體視頻信息的處理3.視頻文件類型如今隨因特網(wǎng)的普及，各種新的視頻文件類型層出不窮，早期有MPEG、DAT、MOV、AVI等，近幾年又出現(xiàn)了RM、RA、RAM、ASF、VOB等。這些文件類型基本上使用的都是前面介紹過的壓縮或編碼標準。61第5章多媒體5.3.6媒體綜合技術(shù)

前面介紹的都只是獨立的媒體，伴隨網(wǎng)絡的發(fā)展，越來越多的綜合性技術(shù)以及當今的超文本、XML、FLASH等技術(shù)，把我們帶進了一個五彩繽紛的多媒體世界。1.超文本標記語言（HTML）HTML（HypertextMarkupLanguage,簡稱HTML）是組織多媒體文檔的重要語言，它不僅用來編寫Web網(wǎng)頁，而且也越來越多地用來制作光盤上的多媒體節(jié)目。另外，HTML還可以用來編排文檔、創(chuàng)建列表、建立鏈接、插入聲音和影視片斷。2.XML現(xiàn)在正在標準化的一種語言是可擴張標記語言（ExtensibleMarkupLanguage，簡稱XML）。它是比超文本標記語言更加靈活的一種Web文檔格式。HTML使用預先定義的標簽（tag）來描述網(wǎng)頁中的元素（elements），而XML語言則允許網(wǎng)頁開發(fā)人員定義標簽。XML是通用標記語言（StandardforGeneralMarkupLanguage，簡稱SGML）文檔格式的一個子集，而HTML是SGML的一種文檔類型。62第5章多媒體3.FLASHFlash動畫使用矢量圖形和流（Stream）技術(shù)解決了傳統(tǒng)動畫傳輸慢的問題?；谑噶繄D形的動畫可以隨意縮放而不影響文件的大小和圖像質(zhì)量。流技術(shù)允許動畫在未全部下載之前就可播放已經(jīng)下載的部分，從而大大提高了動畫在網(wǎng)絡上的傳輸速度，因此Flash動畫最適合網(wǎng)頁點綴。用它產(chǎn)生的html格式的動畫文件可直接插入到網(wǎng)頁上流暢運行。Flash采用了先進的透明技術(shù)、物體變形技術(shù)，能用來創(chuàng)作復雜的動畫。Flash支持聲音及交互功能，能實現(xiàn)在作品播放過程中給操作者提供選擇播放轉(zhuǎn)向的功能，能使用戶輕而易舉地控制動畫轉(zhuǎn)到運行程序、網(wǎng)頁上。

媒體綜合技術(shù)（續(xù)）63第5章多媒體Flash采用特殊的動畫文件格式，用它制作的動畫文件很小。它保存文件時僅僅記錄關(guān)鍵幀和控制動作語句，使文件大小減少到極限。因此Flash生成的編輯文件（*.fla），尤其是播放文件（*.swf）十分小巧。比如制作五分鐘情節(jié)相同、畫面相同的動畫，F(xiàn)lash保存的文件為36KB，那么用其他動畫軟件制作的這個動畫文件至少在120KB以上。因此，F(xiàn)lash動畫文件最適合于網(wǎng)頁。它既可用于制作幾秒鐘的簡易動畫，又能制作復雜的、能播放半小時以上的大型動畫。Flash能將動畫直接生成html文檔，使用腳本控制動畫播放。64第5章多媒體5.3.7編碼技術(shù)1.統(tǒng)計編碼數(shù)據(jù)壓縮技術(shù)的理論基礎是信息論。根據(jù)信息論的原理，可以找到最佳數(shù)據(jù)壓縮編碼方法。數(shù)據(jù)壓縮的理論極限是信息熵。要求在編碼過程中不丟失信息量的信息保持編碼，叫做熵保存編碼，或者叫熵編碼。熵編碼是無失真數(shù)據(jù)壓縮，用這種編碼結(jié)果經(jīng)解碼后可無失真地恢復出原圖像。當考慮到人眼對失真不易覺察的生理特征時，有些圖像編碼不嚴格要求熵保存，可允許信息部分損失以換取高的數(shù)據(jù)壓縮比，這種編碼是有失真數(shù)據(jù)壓縮。通常運動圖像的數(shù)據(jù)壓縮是有失真編碼。這就是著名的香農(nóng)率失真理論，即信息編碼率與允許的失真之間關(guān)系的理論。熵編碼是建立在隨機過程的統(tǒng)計特性基礎上的。常用的統(tǒng)計編碼有霍夫曼編碼、算術(shù)編碼和行程編碼。65第5章多媒體1.統(tǒng)計編碼（1）霍夫曼編碼霍夫曼（Huffman）編碼方法于1952年問世，迄今仍經(jīng)久不衰，廣泛應用于各種數(shù)據(jù)壓縮技術(shù)中，且仍不失為熵編碼中的最佳編碼方法。霍夫曼編碼的理論依據(jù)是變字長編碼理論。在變字長編碼中，編碼器的編碼輸出碼字是字長不等的碼字，按編碼輸入信息符號出現(xiàn)的統(tǒng)計概率，給輸出碼字分配以不同的字長。對于編碼輸入中出現(xiàn)概率大的信息符號，賦以短字長的輸出碼字；對于編碼輸入中出現(xiàn)概率小的信息符號，賦以長字長的輸出碼字?？梢宰C明，按照概率出現(xiàn)大小的順序，對輸出碼字分配不同碼字長度的變字長編碼方法，其輸出碼字的平均碼長最短，與信源熵值最接近，編碼方法最佳。66第5章多媒體（2）行程編碼（RLC）行程編碼（RunLengthCode,簡稱RLC），也稱行程長度編碼，是無失真壓縮編碼方法。計算機許多媒體靜止圖像數(shù)據(jù)壓縮標準算法中就采用了行程編碼方法。行程編碼的基本原理是建立在圖像的統(tǒng)計特性基礎上的。比如在傳真通信中，所傳的文件多數(shù)為二值（黑、白）圖像，每個像素的灰度為黑（1）、白（0）表示的二級灰度。如果每個像素用一位二進制碼0或1直接傳送，那么一幀圖像編碼輸入碼元數(shù)等于該幀圖像的像素總數(shù)，當分辨率提高時，像素點數(shù)猛增，碼元數(shù)隨之激增，傳送時間加長，所需存儲空間也愈大。所以通常采用壓縮編碼傳送，在接收端解碼，還原原始文件。統(tǒng)計編碼（續(xù)）67第5章多媒體行程編碼（續(xù)）

對于黑、白二值圖像，由于圖像的相關(guān)性，每一行掃描線總是由若干段連續(xù)的黑像素點和連續(xù)出現(xiàn)的白像素點構(gòu)成。黑（白）像素點連續(xù)出現(xiàn)的像素點數(shù)稱為行程長度，簡稱長度。黑像素點的長度和白像素點的長度總是在交替發(fā)生，交替發(fā)生變化的頻度與圖的復雜度有關(guān)?，F(xiàn)在我們把灰度1（黑）和1的行程長度，或0（白）和0的行程長度組合，構(gòu)成編碼輸入碼元而進行編碼，并按其出現(xiàn)的概率分配以不同碼長的碼字，大概率分配短碼，小概率分配長碼。同樣道理，對于灰度圖像或彩色圖像，也可以將灰度值（或彩色值）與其行程長度組合一起作為編碼輸入的碼元進行編碼。68第5章多媒體（3）算術(shù)編碼

JPEG建議了兩種熵編碼方法：霍夫曼編碼和算術(shù)編碼。JPEG成員測試過，對于許多圖像，算術(shù)編碼的壓縮效果比霍夫曼編碼的壓縮效果要好5%～10%。算術(shù)編碼方法比霍夫曼編碼、行程長度等熵編碼方法都復雜，但是它不需要傳送像霍夫曼編碼的霍夫曼碼表，同時算術(shù)編碼還有自適應能力的優(yōu)點，所以算術(shù)編碼是能夠?qū)崿F(xiàn)高效壓縮數(shù)據(jù)的很有前途的編碼方法。統(tǒng)計編碼（續(xù)）69第5章多媒體2.預測編碼預測編碼方法的原理，是從相鄰像素之間有強的相關(guān)性特點考慮的。比如當前像素的灰度或顏色信號，數(shù)值上與其相鄰像素總是比較接近，除非處于邊界狀態(tài)。那么，當前像素的灰度或顏色信號的數(shù)值，可用前面已出現(xiàn)的像素的值進行預測（估計），得到一個預測值（估計值），將實際值與預測值求差，對這個差值信號進行編碼、傳送，這種編碼方法稱為預測編碼方法。預測編碼方法分線性預測和非線性預測編碼兩種。線性預測編碼方法也稱差值脈沖編碼調(diào)制法（DifferentionPulseCodeModulation,簡稱DPCM）。預測編碼方法在圖像和語音信號的數(shù)據(jù)壓縮中都得到廣泛的應用和研究。電視圖像的幀內(nèi)和幀間，都是采用的DPCM編碼方法。70第5章多媒體5.3.8虛擬現(xiàn)實虛擬現(xiàn)實（VirtualReality，簡稱VR）是一種由計算機和電子技術(shù)創(chuàng)造的新世界，是一個看似真實的模擬環(huán)境。通過多種傳感設備，用戶可根據(jù)自身的感覺，使用人的自然技能對虛擬世界中的物體進行考察或操作，參與其中的事件；同時提供視、聽、摸等直觀而又自然的實時感知，并使參與者“沉浸”于模擬環(huán)境中。盡管該環(huán)境并不環(huán)繞我們，但它作為一個“逼真”的三維環(huán)境，仿佛就在我們周圍。虛擬現(xiàn)實最早應用于電腦游戲中，現(xiàn)在也有許多其他方面的用途，如美軍利用虛擬現(xiàn)實培養(yǎng)軍人的作戰(zhàn)能力。這種方式既省錢又安全。虛擬建模語言VARML對虛擬現(xiàn)實技術(shù)的普及起了很大作用。71第5章多媒體1.虛擬現(xiàn)實系統(tǒng)組成虛擬現(xiàn)實系統(tǒng)一般可分為桌面虛擬現(xiàn)實系統(tǒng)、沉浸式虛擬現(xiàn)實系統(tǒng)、分布式虛擬現(xiàn)實系統(tǒng)和遙現(xiàn)系統(tǒng)。桌面VR系統(tǒng)使用個人計算機和低級工作站實現(xiàn)仿真，計算機的屏幕作為參與者觀察虛擬環(huán)境的一個窗口，各種外部設備一般用來駕馭該虛擬環(huán)境，并用于操縱在虛擬場景中的各種物體。這些外部設備包括鼠標、跟蹤球、力矩球等。下圖所示為桌面VR系統(tǒng)的基本組成。72第5章多媒體1.虛擬現(xiàn)實系統(tǒng)組成（續(xù)）

桌面VR系統(tǒng)雖然缺乏頭盔顯示的那種完全沉浸功能，但它仍然比較普及，這是因為它的成本相對來說比較低。沉浸式VR系統(tǒng)利用頭盔顯示器和數(shù)據(jù)手套等交互設備把用戶的視覺、聽覺和其他感覺封閉起來，使參與者暫時與實時環(huán)境隔離，而真正成為VR系統(tǒng)內(nèi)部的一個參與者，他可利用各類交互設備操作和駕馭虛擬環(huán)境，其系統(tǒng)基本組成如下圖所示。73第5章多媒體2.虛擬現(xiàn)實使用的技術(shù)VR是一項綜合性的技術(shù)，其應用的技術(shù)主要有：三維交互技術(shù)：包括超聲波、電磁等三維傳感器，跟蹤探測設備、手持數(shù)字化設備、立體視覺等設備中使用的關(guān)鍵技術(shù)。自然交互技術(shù)：包括手勢識別、碰撞檢測、自動抓取等技術(shù)。另外還有實時顯示處理、三維虛擬聲音、三維視覺建模和視覺成像等技術(shù)。74第5章多媒體3.虛擬現(xiàn)實的應用領(lǐng)域

雖然虛擬現(xiàn)實技術(shù)還不夠成熟，但它確實已經(jīng)被使用在許許多多的領(lǐng)域。作為一門新興的科學，無論是在航空、航天、船舶、醫(yī)學等高技術(shù)領(lǐng)域，還是在教育、娛樂、商業(yè)等方面都顯示出了誘人的應用前景。隨著相關(guān)硬件、軟件成本逐漸降低以及技術(shù)方面不斷取得新的突破，虛擬現(xiàn)實技術(shù)的應用領(lǐng)域還將迅速擴大。75第5章多媒體5.3.9其他技術(shù)觸摸屏技術(shù)文字識別

硬件處理技術(shù)

76第5章多媒體1.觸摸屏技術(shù)隨著計算機技術(shù)的普及，在20世紀90年代初，出現(xiàn)了一種新的人機交互作用技術(shù)-——觸摸屏技術(shù)。利用這種技術(shù)使用者只要用手指輕輕地碰計算機顯示屏上的圖符或文字就能實現(xiàn)對主機操作，這樣擺脫了鍵盤和鼠標操作，使人機交互更為直截了當。因此，觸摸屏已成為當前最簡便的人機交流的輸入設備。它賦予多媒體以嶄新的面貌，是極富吸引力的全新的多媒體交互設備。觸摸屏的應用范圍非常廣闊，主要是公共信息的查詢：如電信局、稅務局、銀行、電力等部門的業(yè)務查詢；城市街頭的信息查詢；博物館、美術(shù)館的資料查詢；機場車站的航班、車次查詢；此外應用于領(lǐng)導辦公、工業(yè)控制、軍事指揮、電子游戲、點歌點菜、多媒體教學、房地產(chǎn)預售、機票/火車票預售等。77第5章多媒體

觸摸屏技術(shù)（續(xù)）

觸摸屏分為接觸式和非接觸式兩種：前者是玻璃板式的透明屏，用手指等物體接觸其表面。其優(yōu)點是分辨率高，但價格也很高，且實質(zhì)性的接觸導致屏幕壽命大為降低；后者是使用紅外光學技術(shù)，用戶手指阻斷交叉的紅外光束得到位置信息，這種方法費用低，非實質(zhì)性的接觸使壽命可達幾十萬小時，雖然分辨率不高，但也足以適合用戶手指觸摸使用。78第5章多媒體2.文字識別文字識別分為手寫識別和書面掃描識別兩種。手寫識別是通過記錄文字圖像抬筆、落筆、筆跡上各像素的空間位置，以及各筆段之間的時間關(guān)系等信息，對這些信息進行處理，在處理過程中，系統(tǒng)以一定的規(guī)則提取信息特征，再由識別模塊將信息特征與識別庫的特征進行比較，加以識別，最后轉(zhuǎn)化為計算機所使用的文字代碼。而筆輸入的識別特征庫是基于多人以習慣筆順書寫的統(tǒng)計特征而建立的。文字識別技術(shù)發(fā)展比較快，現(xiàn)在的印刷體識別已經(jīng)能達到95%以上，但手寫體識別還有待進步。79第5章多媒體3.硬件處理技術(shù)

隨著多媒體技術(shù)的發(fā)展，硬件要求也有相應提高，JPEG、MPEG等標準都有專門的編碼和解碼芯片，各種數(shù)字信號處理芯片（DSP）層出不窮。Intel為其CPU專門設計了多媒體指令MMX和SSI，AMD也為其CPU設計了多媒體指令“3DNow！”。很多廠家生產(chǎn)了多媒體處理器，更加速了多媒體的發(fā)展。80第5章多媒體5.4多媒體計算機系統(tǒng)多媒體計算機系統(tǒng)是指能夠?qū)ξ淖帧D像、視頻等多種媒體進行處理的計算機系統(tǒng)，即具有多媒體功能的計算機系統(tǒng)。到目前為止，大部分的多媒體應用是在PC機上進行的。平時常見的多媒體計算機都是多媒體個人計算機（MultimediaPersonalComputer，簡稱MPC）。MPC機并不是一種全新的個人計算機，它是在普通PC機的基礎上增加一些硬件及相應的軟件，從而具有綜合處理文字、聲音、圖像、視頻等多媒體信息的功能。與通用的PC機相比，多媒體計算機的主要硬件除了常規(guī)的硬件如主機、內(nèi)存儲器、軟盤驅(qū)動器、硬盤驅(qū)動器、顯示器、網(wǎng)卡之外，還要有光盤驅(qū)動器、音頻信息處理硬件和視頻信息處理硬件等部分。81第5章多媒體主要內(nèi)容5.4.1MPC機的特點與組成5.4.2多媒體計算機的硬件系統(tǒng)5.4.3多媒體計算機的軟件系統(tǒng)82第5章多媒體5.4.1MPC機的特點與組成1.MPC機的特點在MPC機處理的多媒體信息中，必須包括音頻和視頻信息。與普通計算機處理的單一字符信息相比，音頻和視頻信息具有實時性強、復合性高和信息量大等特點。首先，播放聲音或圖像時要求音響或畫面能連續(xù)、平滑地變化；其次，相關(guān)的聲音、圖像與文字必須按需要復合在一起，保持同步與協(xié)調(diào)。尤需指出，與文字信息相比，音頻與視頻的信息量要大得多。如果不采用壓縮技術(shù)處理播放1分鐘的聲音信息，其信息量可達到2.6MB~5.3MB，相當于2~4張1.44MB的軟盤容量；而持續(xù)1秒鐘的電視圖像所需的存儲容量更高達9.22MB，若使用早期的10MB硬盤，全部容量僅夠存儲1秒鐘的圖像信息。上述的這些特點，決定了MPC的主機應比普通PC機具有更大的存儲空間、更高的CPU速度和更快的內(nèi)部通信和網(wǎng)絡通信能力。83第5章多媒體2.MPC機的組成MPC機還應配置支持音頻信息和視頻信息的輸入、輸出與存儲所需要的外部設備和相應的接口板，其中包括：①高質(zhì)量的聲卡和音箱、話筒等音頻設備，為MPC提供優(yōu)質(zhì)的數(shù)字音響。聲卡能把聲音變成相應的數(shù)字信號和將數(shù)字信號轉(zhuǎn)換成相應的聲音，并把數(shù)字信號記錄到硬盤上和從硬盤上讀出重放。多數(shù)聲卡還帶有音樂合成器與MIDI樂器接口，允許外接電子樂器。②配有視頻顯示卡的高分辨率彩色顯示器，支持MPC在同一畫面上顯示來自光盤的圖形、圖像與文字，并能使畫面、字幕與伴音實現(xiàn)同步。帶有視頻圖像采集功能的顯示卡，還能支持MPC在顯示器上觀看從錄像機或視頻光盤（VCD）等送來的電視節(jié)目，并把所采集的信息存儲在磁盤上。③大容量的光盤存儲設備是MPC必不可少的基本配置。一張CD-ROM光盤可以存儲650MB的多媒體信息，而近幾年面世的第二代DVD-ROM光盤，每片容量可達到4.7GB。配上數(shù)據(jù)壓縮技術(shù)和高倍速的光盤驅(qū)動器，在MPC上一次就能欣賞長達數(shù)小時的錄像或影碟。84第5章多媒體5.4.2多媒體計算機的硬件系統(tǒng)通常認為聲頻卡、視頻卡和CD-ROM是多媒體計算機的基本硬件，多媒體硬件系統(tǒng)的基本組成如圖5-9所示。85第5章多媒體1.聲卡在MPC中，常見的聲音輸出／輸入設備包括：①音箱：單聲道使用1只，立體聲使用2只；②麥克風：可在“錄音機”（SoundRecorder）等軟件的支持下錄制語音或音樂；③CD-ROM：可在“媒體播放器”（MediaPlayer）或XINGMPEGPlayer等軟件的支持下播放CD唱盤或VCD影碟；④電子鍵盤或其他MIDI設備：創(chuàng)制MIDI音樂。在上述設備中，音箱和CD-ROM是必不可少的，因而也是MPC機的基本配置。所有的音響設備都要通過音頻接口板（通常簡稱聲卡）與主機連接。聲卡是最基本的多媒體設備，有沒有聲卡，已成為區(qū)分MPC與普通PC機的主要標志之一。86第5章多媒體（1）聲卡的組成

聲卡的類型眾多，結(jié)構(gòu)也不盡相同。一般地說，一塊聲卡至少應具有下列部件：①實現(xiàn)錄音和放音的部件包括在聲音輸入過程中把模擬信號轉(zhuǎn)換為數(shù)字信號的模數(shù)轉(zhuǎn)換電路，以及在聲音輸出過程中把數(shù)字信號轉(zhuǎn)換為模擬信號的數(shù)模轉(zhuǎn)換電路。每種聲卡都具有固定的采樣參數(shù)。如果錄音電路使用的參數(shù)是22.05kHz和16位，放音電路也將使用同樣的參數(shù)。早期的聲卡均采用8位位寬。目前多數(shù)為32位及以上了。16位卡的采樣精度可達到64K分之一，對多數(shù)應用均已足夠了。87第5章多媒體

聲卡的組成（2）②支持樂器合成的MIDI合成器這是決定聲卡音質(zhì)的關(guān)鍵部件。由于MIDI音樂對質(zhì)量的要求較高，許多聲卡制造商致力于提高合成器的質(zhì)量，使音樂合成技術(shù)不斷獲得改進。早期的合成器采用FM（頻率調(diào)制）合成技術(shù)，通過用一個正弦波修正另一個正弦波的方法來模擬各種樂器的聲音，帶有較深的人工合成痕跡?，F(xiàn)在流行的聲卡普遍采用“波表”（WaveTable）合成技術(shù)，其中又有“硬波表”與“軟波表”兩種不同的作法。近幾年隨著PCI總線的流行而推出的PCI聲卡，把硬波表和軟波表的優(yōu)點結(jié)合起來，提出了一種新的MIDI合成方案。其具體作法是：波表存儲在硬盤上，使用時調(diào)入內(nèi)存；但并非交給CPU處理，而是經(jīng)PCI總線傳回聲卡，由聲卡上的專用合成芯片處理。這一被稱為“可下載樣本”（DownLoadableSample，簡稱DLS）的合成技術(shù)（簡稱DLS技術(shù)），現(xiàn)已成為新一代PCI聲卡的標準。硬盤上的樣本庫可選擇2MB、4MB乃至8MB等不同的大小，音源與音質(zhì)也可由用戶選擇，而且其內(nèi)容可經(jīng)常更新，使聲卡的音頻真正作到生動、靈活和多樣。88第5章多媒體（2）聲卡的功能

多媒體計算機中所安裝的聲卡的功能直接影響到多媒體系統(tǒng)的音頻效果。一般聲卡應具有以下功能：①錄制和編輯音頻文件能以一定頻率和精度采樣聲源的模擬波，并通過對其數(shù)字化，以*.voc、*.wav或*.au等聲音文件格式存儲?？梢愿鶕?jù)要求對音頻文件做修改、編輯、文件類型轉(zhuǎn)換等，如將*.voc文件轉(zhuǎn)換成*.wav文件。還可以根據(jù)需要，將音頻文件插入到其他應用程序中去。②合成和播放音頻文件利用聲卡上的合成器將存儲在計算機內(nèi)存中的音頻信息合成為音樂樂曲或語音。通過混合器混合和處理多個不同音頻源的聲音，控制和調(diào)節(jié)音量大小，最后送至音箱或耳機播放。89第5章多媒體

聲卡的功能（續(xù)）③壓縮和解壓縮音頻文件通過對*.wav音頻文件的存儲量計算可知，一分鐘的聲音波形文件（44.1kHz采樣頻率、16位精度和雙聲道立體聲）的存儲量高達10.6MB，因而必須對音頻進行編碼壓縮。大多數(shù)聲卡上都固化了不同標準的音頻壓縮和解壓縮軟件，常用的壓縮編碼方法有ADPCM（自適應差分脈沖編碼調(diào)制）和ACM（微軟音頻壓縮管理器）等，壓縮比大約為2:1～5:1。④具有與MIDI設備和CD驅(qū)動器的連接功能通過聲卡上的MIDI接口，計算機可以同外界的MIDI設備相連接，如連接電子琴、電吉他等，使MPC具有創(chuàng)作電腦樂曲和播放MIDI文件的功能。游戲桿也可通過MIDI接口與計算機相連接，使游戲玩起來得心應手。通過聲卡上提供的CD-ROM音頻接口，CD-ROM驅(qū)動器可連接到計算機上。90第5章多媒體2.視頻卡

多媒體技術(shù)中的一大支柱是視頻技術(shù)，它使得動態(tài)圖像能在計算機中輸入、編輯和播放。視頻技術(shù)通過軟、硬件都能實現(xiàn)，但目前用得較多的是視頻卡。視頻卡的種類大體可分為視頻疊加卡、視頻捕捉卡、電視編碼卡、MPEG卡和TV卡。（1）視頻疊加卡視頻疊加卡的功能是通過視頻輸入口輸入標準的視頻信號，經(jīng)A/D轉(zhuǎn)換后形成混合信號，再與計算機顯示卡中的VGA信號相疊加，疊加后的信號顯示在顯示屏上。視頻信號與VGA信號疊加的方式有窗口方式和色鍵兩種。窗口方式是用軟件命令在顯示屏幕的任意位置上開設一個大小可指定的窗口，圖像在該窗口內(nèi)播放；色鍵方式是用戶可利用軟件命令自定義一種顏色為色鍵（透明色），同時定義該顏色是對VGA信號透明還是對視頻信號透明。91第5章多媒體視頻卡（續(xù)）（2）視頻捕捉卡視頻捕捉卡又稱視頻采集卡，用于圖像捕捉尤其適用于捕捉視頻圖像（如來自錄像機的視頻圖像），經(jīng)數(shù)字化后，將圖像以AVI格式文件保存在磁盤上，供以后編輯使用。視頻捕捉卡的檔次拉得很大，較貴的視頻捕捉卡往往帶有視頻壓縮功能。這類卡主要供專業(yè)編輯人員使用，用量較少。（3）電視編碼卡其功能是將計算機送往VGA顯示器的VGA顯示信號轉(zhuǎn)換成標準的NTSC、PAL或SECAM電視信號，因而可以將計算機上的影像轉(zhuǎn)到電視機上觀看。如果將轉(zhuǎn)換后的標準電視信號加到錄像機上，則可以記錄計算機的顯示畫面，用于廣告電視片的后期處理。電視編碼卡轉(zhuǎn)換的效果與其所支持的分辨率有關(guān)，分辨率越高，轉(zhuǎn)換效果越好。92第5章多媒體視頻卡（續(xù)）（4）MPEG卡

MPEG卡又稱視頻播放卡或電影卡，是多媒體視頻卡中應用最多的一種。MPEG卡的作用是將壓縮存儲在VCD影碟中的電影解壓縮后回放，使用戶可利用CD-ROM及顯示器觀看電影。MPEG卡的功能包括MPEG音頻解壓、MPEG視頻解壓、音頻和視頻同步解壓。MPEG卡使用方便，用戶界面良好，若與CD-ROM配合使用，可在計算機上欣賞VCD片或光盤中的MPEG電影。目前有兩類MPEG卡，一類不帶屏幕縮放功能，只能全屏幕播放MPEG電影；另一類帶有屏幕縮放功能，不僅可以全屏幕播放，而且可以縮小電影播放的窗口，便于用交互方式進行操作控制，播放的質(zhì)量也可滿足一般用戶的要求。（5）TV卡

TV卡由TV調(diào)諧卡和視頻疊加卡合并構(gòu)成，前者能通過高頻頭選擇接收電視臺的信號，把它們轉(zhuǎn)換為視頻信號；后者可將電視的視頻信號與顯示器的VGA信號疊加在一起，在計算機顯示器上顯示。有些TV卡上還設有視頻輸入口，可直接接受來自錄像機或攝像機的視頻信號。因此，利用TV卡除觀看電視外，還可觀看錄像帶或攝像機的畫面。93第5章多媒體3.CD-ROM

隨著多媒體技術(shù)的迅速發(fā)展，光盤已成為MPC機中不可缺少的外部存儲器之一。因為它與其它外存儲器相比，有其獨特的優(yōu)點：存儲容量大，制作成本低，不怕磁和熱，工作穩(wěn)定，密度高，壽命長，便于攜帶等。CD-ROM驅(qū)動器簡稱光驅(qū)，其作用是通過伺服機構(gòu)控制光盤的轉(zhuǎn)速，控制光束的定位、焦距，以檢測并讀出光盤上所攜帶的信息。（1）CD-ROM光盤

CD-ROM光盤簡稱光盤，利用光存儲技術(shù)實現(xiàn)數(shù)據(jù)的讀／寫操作。早在1980年，荷蘭的飛利浦公司和日本索尼公司就發(fā)明了CD唱盤（或唱碟），可利用光反射原理重放記錄在盤面上記錄的音頻信息。1983年出現(xiàn)了記錄只讀信息的“緊湊光盤”，稱為CD-ROM（CompactDisc—ReadOnlyMemory，簡稱CD-ROM）。但只是到1985年以后，隨著多媒體技術(shù)的迅速發(fā)展，CD-ROM才應用到PC機中，成為MPC機中不可缺少的外部存儲器之一。94第5章多媒體3.CD-ROM（續(xù)）

現(xiàn)在常用的CD-ROM光盤物理上共有三層結(jié)構(gòu)，基體層是聚碳酸酯硬塑料，約1.2mm厚；在基體上覆蓋了極薄的一層鋁箔，稱為反射層，它是光盤的信息載體，所有數(shù)據(jù)均刻在這一層上；再上面覆蓋了一層保護膜，以保護反射層免受損傷。在光盤的生產(chǎn)過程中，壓盤機通過激光在空盤的表面以環(huán)繞方式刻出螺旋形的光道。光盤上存儲信息是通過在光道上沿著盤面以凹坑的形式存儲的，一張CD-ROM盤片約有30億個凹坑，分布在螺旋形光道上，螺旋光道繞盤達2萬周。相鄰光道只相隔1.6pm，相當于每英寸160000道，比軟磁盤和硬盤的道密度高