多媒體技術(shù)與應(yīng)用第一章

多媒體技術(shù)與應(yīng)用第一章問題1、什么是多媒體？2、關(guān)鍵特性有哪些？3、日常中我們是如何利用多媒體的？4、多媒體可應(yīng)用于？5、掌握課后的思考題！…日常中我們是如何利用多媒體的？多媒體可應(yīng)用于？美國(guó)MITMediaLab（麻省理工學(xué)院媒體實(shí)驗(yàn)室）的學(xué)生普拉納夫研究的驚人的技術(shù):

/v_show/id_XMTQxNzY2MDUy.html新技術(shù)讓日常物體變成視覺麥克風(fēng)/sites/ccf/nry.jsp?contentId=2815401641444百度李彥宏：未來(lái)五年語(yǔ)音圖片搜索將超過(guò)文字:/2014-09/04/c_1112359704.htm中科院開發(fā)人臉識(shí)別系統(tǒng)在線支付刷臉/internet/87/38958587.shtml2011.12—2012.12中國(guó)網(wǎng)民對(duì)各類與多媒體技術(shù)相關(guān)的網(wǎng)絡(luò)應(yīng)用使用率(CNNIC)

多媒體概述多媒體元素多媒體信息的數(shù)據(jù)壓縮多媒體系統(tǒng)多媒體技術(shù)第一章多媒體基本概念媒體與多媒體

媒體分類多媒體的關(guān)鍵特性1.1多媒體概述媒體：是指?jìng)鞑バ畔⒌慕橘|(zhì)。準(zhǔn)確的說(shuō)，媒體又稱媒質(zhì)或媒介，是信息表示、信息傳遞和信息存儲(chǔ)的載體。傳統(tǒng)的媒體：報(bào)紙、雜志、廣播、電樞、電影等；新媒體：網(wǎng)絡(luò)媒體、IPTV、電子雜志、移動(dòng)媒體等；計(jì)算機(jī)領(lǐng)域，媒體包含兩重含義：存儲(chǔ)信息的實(shí)體（媒質(zhì)）傳遞信息的載體（媒介）——多媒體計(jì)算機(jī)技術(shù)中媒體的含義。1.1.1媒體與多媒體多媒體20世紀(jì)80年代創(chuàng)造的英文詞MM:Multimedia=multiple+media是指將多個(gè)不同但相互關(guān)聯(lián)的媒體綜合集成在一起而產(chǎn)生的一種傳播、存儲(chǔ)和表現(xiàn)信息的全新載體。多媒體信息多媒體技術(shù)多媒體經(jīng)常作為多媒體技術(shù)的同義詞。多媒體信息處理技術(shù)——音頻信息處理、圖像信息處理等。1、多媒體是信息交流和傳播的媒體，從這個(gè)意義上與電視、報(bào)紙…等功能一樣。2、多媒體信息都是以數(shù)字形式而不是模擬信號(hào)的形式存儲(chǔ)和傳播的。3、多媒體是人-機(jī)交互式媒體。補(bǔ)充：流媒體：指視頻、聲音和數(shù)據(jù)從源端同時(shí)向目的地傳輸，它可以作為連續(xù)實(shí)時(shí)流在目的地被接收。是一種新的媒體傳送方式，而非一種新的媒體。超媒體：超媒體除了使用文本外，還使用圖形、圖像、聲音、動(dòng)畫或影視片斷等多種媒體來(lái)表示信息，這些媒體之間也是用超級(jí)鏈接組織的，它們直接的鏈接也是錯(cuò)綜復(fù)雜的。多媒體定義中需要明確的按承載信息的方式來(lái)劃分感覺媒體：能直接作用于人的感官，使人產(chǎn)生感覺的媒體。如聲音、圖像、氣味、味道等表示媒體：用于數(shù)據(jù)交換的編碼，是感覺媒體數(shù)字化后的表現(xiàn)形式。如條形碼、文本編碼、圖像編碼、聲音編碼等顯示媒體：感覺媒體與電信號(hào)之間轉(zhuǎn)換用的媒體，分為輸入顯示媒體（鍵盤、鼠標(biāo)、話筒、攝像機(jī)、掃描儀等）和輸出顯示媒體（顯示器、音箱、打印機(jī)、投影儀）1.1.2媒體分類存儲(chǔ)媒體：又稱存儲(chǔ)介質(zhì)，用來(lái)存放表示媒體的媒體，如磁盤、磁帶、光盤、內(nèi)存等傳輸媒體：將表示媒體由一處傳送到另一處的物理載體，如雙絞線、光纖和無(wú)線傳輸介質(zhì)等核心：感覺媒體和表示媒體信息存在和表示的形式存儲(chǔ)器輸出設(shè)備CPU輸入設(shè)備表示媒體存儲(chǔ)媒體顯示媒體顯示媒體感覺媒體感覺媒體傳輸媒體表示媒體計(jì)算機(jī)中五種媒體的關(guān)系按計(jì)算機(jī)處理數(shù)據(jù)的形式來(lái)劃分文本、聲音、圖形、圖像、動(dòng)畫和視頻從人機(jī)交互的角度來(lái)劃分視覺、聽覺、觸覺、嗅覺和味覺信息載體的多樣化信息載體的集成性信息載體的交互性1.1.3多媒體的關(guān)鍵特性單選：流媒體技術(shù)的主要特點(diǎn)是：____

A：下載視頻后再播放

B：邊下載視頻邊播放

C：實(shí)時(shí)視頻通訊

D：實(shí)時(shí)視頻壓縮填空：媒體信息都是以____形式式存儲(chǔ)和傳播的.多選：按照承載信息的方式分類，媒體分為____(A)感覺媒體(B)表示媒體(C)聽覺媒體(D)視覺媒體(E)顯示媒體(F)存儲(chǔ)媒體(G)觸覺媒體(H)傳輸媒體判斷：多媒體技術(shù)，即是計(jì)算機(jī)交互式綜合處理多媒體信息--文本、圖形、圖像和聲音，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互性。練習(xí):B數(shù)字a,b,e,f,h對(duì)文本圖形圖像聲音動(dòng)畫視頻1.2多媒體元素文本文件非格式化文本文件，如“.txt”文件；格式化文本文件，如“.doc”文件。微機(jī)中ASCII編碼GB-2312編碼計(jì)算機(jī)獲取文字的方法鍵盤、手寫、語(yǔ)音、OCR1.2.1文本圖形一般指由計(jì)算機(jī)繪制的畫面如直線、矩形、圓、圓弧、任意曲線和圖表等，機(jī)械結(jié)構(gòu)圖、建筑結(jié)構(gòu)圖都是典型的組合圖形。圖形文件只記錄生成圖的算法和圖上的某些特征點(diǎn)，因此又稱為矢量圖。計(jì)算機(jī)中常用的圖形文件

SWF、DXF、SVG…1.2.2圖形圖像是指由輸入設(shè)備捕捉的實(shí)際場(chǎng)景畫面，或以數(shù)字化形式存儲(chǔ)的任意畫面，它用數(shù)字來(lái)描述像素點(diǎn)、強(qiáng)度和顏色。 靜止的圖像就象一個(gè)矩陣，由一些排成行列的點(diǎn)組成，這些點(diǎn)稱之為像素點(diǎn)，這類圖像又稱為位圖。計(jì)算機(jī)中常用的圖像文件

BMP、GIF、JPG…1.2.3圖像位圖由像素組成、而矢量圖由矢量線組成。矢量圖可以無(wú)限放大，而且不會(huì)失真。而位圖則不能。位圖可以表現(xiàn)的色彩比較多.而矢量圖則相對(duì)較少。矢量圖更多的用于工程作圖中，比如說(shuō)ACD。而位圖更多的應(yīng)用在作圖中，比如PS。矢量圖和位圖的區(qū)別聲音是一種物體震動(dòng)產(chǎn)生的波 按照其頻率的不同，可分為次聲波（頻率低于20Hz）、超聲波（頻率高于20kHz）和可聽聲波（頻率在20Hz與20kHz之間），可聽聲波也稱為音頻波。常用的聲音文件

WAV、MID、MP31.2.4聲音動(dòng)畫是動(dòng)態(tài)圖畫。實(shí)質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放，一幅靜態(tài)圖像稱為一幀。計(jì)算機(jī)設(shè)計(jì)動(dòng)畫方法有兩種造型動(dòng)畫、幀動(dòng)畫。常用的動(dòng)畫文件

GIF、FLI/FLC、SWF1.2.5動(dòng)畫將若干幅有聯(lián)系的圖像畫面（幀）連續(xù)播放便形成了視頻 視頻的每一幀，實(shí)際上就是一幅靜態(tài)圖像，多幅圖像連續(xù)播放（電影的播放速度是24幀／秒），對(duì)于人眼就會(huì)產(chǎn)生圖像“動(dòng)”的效果。計(jì)算機(jī)中主要的視頻文件

AVI、MPG、ASF1.2.6視頻多媒體數(shù)據(jù)壓縮概述數(shù)據(jù)壓縮技術(shù)基礎(chǔ)數(shù)據(jù)壓縮方法多媒體數(shù)據(jù)壓縮標(biāo)準(zhǔn)1.3多媒體信息的數(shù)據(jù)壓縮多媒體信息的數(shù)據(jù)量冗余的基本概念數(shù)據(jù)冗余的種類1.3.1多媒體數(shù)據(jù)壓縮概述聲音數(shù)據(jù)量=（采樣頻率×量化位數(shù)×聲道數(shù)×聲音持續(xù)時(shí)間）／8采樣頻率滿足采樣定理。電話話音（1小時(shí)）(8k×8×1×3600)/8=28125(KB)≈27.47(MB)CD音樂(44.1k×16×2×3600)/8=635040(KB)≈620(MB)5.1聲道（44.1k×16×5.1×3600）/8=1581398(KB)≈1544(MB) ≈1.5(GB)多媒體信息的數(shù)據(jù)量1K是千M是兆G是吉咖T是太拉

8bit(位)=1Byte(字節(jié))

1024Byte(字節(jié))=1KB

1024KB=1MB

1024MB=1GB

1024GB=1TB

靜態(tài)圖像數(shù)據(jù)量=（垂直方向分辨率×水平方向分辨率×顏色深度）／8真彩色位圖圖像分辨率為640×480，顏色數(shù)為16777216（24bit)：

(640×480×24)／8=900(KB)相機(jī)(如NikonD200)拍攝的照片圖像分辨率為3882×2592，顏色深度為24位：

(3882×2592×24)／8≈29479(KB)≈28.8(MB)多媒體信息的數(shù)據(jù)量2動(dòng)態(tài)視頻數(shù)據(jù)量=（分辨率×顏色深度）×幀頻×播放時(shí)間／8 彩電PAL制式幀頻為25，每幀畫面為625行，寬高比為4:3，每秒數(shù)據(jù)量：((625×4/3)×625×24)×25／8≈38147(KB)≈37.25(MB)需要的傳輸帶寬為312.5Mbps；每小時(shí)的數(shù)據(jù)量約為131GB；在650MB的光盤中只能存放不到18秒的視頻。高清晰度電視（HDTV）分辨率為1920×1080，幀頻為30，每秒數(shù)據(jù)量為：(1920×1080×24)×30／8=182250(KB)≈177.98(MB)需要的傳輸帶寬為1423.8Mbps；每小時(shí)的數(shù)據(jù)量約為626GB。多媒體信息的數(shù)據(jù)量3多媒體信息的數(shù)據(jù)量=信息量＋冗余數(shù)據(jù)量多媒體信息的數(shù)據(jù)冗余主要體現(xiàn)在兩個(gè)方面冗余的具體表現(xiàn)是相同或相似信息的重復(fù)無(wú)法傳遞或播出的信號(hào)，這部分信號(hào)的數(shù)據(jù)可以被壓縮剔除（1、精度和帶寬的限制；2、人們感知的限制等。）冗余的基本概念空間冗余：是態(tài)靜圖象存在的最主要的一種冗余。時(shí)間冗余：是運(yùn)動(dòng)圖像中經(jīng)常包含的冗余?？臻g冗余和時(shí)間冗余被稱為統(tǒng)計(jì)冗余。結(jié)構(gòu)冗余：知識(shí)冗余視覺冗余：Mpeg聽覺冗余：mp3編碼冗余數(shù)據(jù)冗余的種類熵的概念量化數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)1.3.2數(shù)據(jù)壓縮技術(shù)基礎(chǔ)信息熵 用來(lái)表示一條信息中真正需要編碼的信息量，即該信息數(shù)據(jù)壓縮的理論極限。信源S的熵定義為：

H(s)=∑pilog2(1/pi) pi是符號(hào)Si在S中出現(xiàn)的概率；

log2(1/pi)表示包含在Si中的信息量，也就是編碼Si所需要的位數(shù)。 例如一幅灰度圖像采用256級(jí)灰度，如果一個(gè)像素點(diǎn)取值每一個(gè)灰度級(jí)的概率均為pi=1／256，則每一個(gè)灰度級(jí)的編碼需要8個(gè)二進(jìn)制位，即每一個(gè)像素點(diǎn)就需要8位編碼表示。熵的概念熵計(jì)算實(shí)例有一幅100個(gè)像素組成的灰度圖像，灰度共有5級(jí)，分別用符號(hào)A、B、C、D和E表示，100個(gè)像素中各級(jí)灰度的像素?cái)?shù)如下：灰度級(jí)灰度A灰度B灰度C灰度D灰度E像素個(gè)數(shù)

502510105如果用3個(gè)二進(jìn)制位表示5個(gè)等級(jí)的灰度值，也就是每個(gè)像素用3位表示，編碼這幅圖像總共需要300位；按照香農(nóng)理論，這幅圖像的熵為：

H(s)=(50/100)log2(100/50)+(25/100)log2(100/25)+(10/100)log2(100/10)+(10/100)log2(100/10)+(5/100)log2(100/5) ≈1.88(bit)

這就是說(shuō)每個(gè)符號(hào)用1.88位表示，100個(gè)像素需用188位。量化模擬信號(hào)到數(shù)字信號(hào)的轉(zhuǎn)化（A/D轉(zhuǎn)換）包含采樣和量化兩個(gè)步驟采樣：用有限個(gè)離散量來(lái)代替無(wú)限的連續(xù)模擬量聲音：時(shí)間軸上的離散化圖像：空間區(qū)域的離散化量化：對(duì)模擬量確定一組量化級(jí)并確定其代表值，每個(gè)量化級(jí)覆蓋一定的取值空間，所有量化級(jí)覆蓋整個(gè)有效取值區(qū)間。將模擬量的采樣值與這些量化級(jí)比較，落在某個(gè)量化級(jí)空間上，就用這個(gè)量化級(jí)的代表值作為采樣點(diǎn)的量化結(jié)果。聲音：幅度值的量化表示圖像：灰度值的量化表示音頻采樣頻率圖像分辨率音頻量化位數(shù)/量化級(jí)顏色深度/像素深度采樣率（Hz）：每秒鐘的采樣次數(shù)，如16kHZ幀率（framespersecond,fps）：每秒鐘視頻幀的個(gè)數(shù)電影：24fpsPAL制式：25fpsNTSC制式：30fps比特率（bitspersecond,bps）:每秒鐘媒體數(shù)據(jù)所使用的比特位數(shù)音頻：采樣率×量化位數(shù)視頻：幀率×每幅圖像的比特?cái)?shù)圖像分辨率對(duì)圖像質(zhì)量的影響265x180133x9066x4533x22采樣定理：在進(jìn)行模擬/數(shù)字信號(hào)的轉(zhuǎn)換過(guò)程中，當(dāng)采樣頻率fs.max大于信號(hào)中，最高頻率fmax的2倍時(shí)，即：fs.max>=2fmax,則采樣之后的數(shù)字信號(hào)完整地保留了原始信號(hào)中的信息；采樣定理又稱奈奎斯特定理。

量化采樣率與比特率比特率=采樣率*采樣精度（量化位數(shù)）量化處理：實(shí)際是數(shù)據(jù)壓縮編碼的過(guò)程。頻帶(Hz)帶寬(kHz)采樣頻率(kHz)量化位數(shù)聲道數(shù)比特率(kbps)電話200~32003.081遠(yuǎn)程會(huì)議50~70007.0161數(shù)字音頻光盤20~2000020.0162數(shù)字音頻帶20~2000020.016281644.148.0642561411.21536顏色深度對(duì)圖像質(zhì)量的影響256灰度級(jí)16灰度級(jí)8灰度級(jí)4灰度級(jí)量化處理標(biāo)量量化：一維量化，一個(gè)采樣點(diǎn)對(duì)應(yīng)一個(gè)量化結(jié)果典型PCM:均勻量化.矢量量化：多維量化將若干個(gè)標(biāo)量數(shù)據(jù)組構(gòu)成一個(gè)矢量，然后在矢量空間給以整體量化，從而壓縮了數(shù)據(jù)而不損失多少信息信息壓縮比（大?。嚎s后多媒體信息的質(zhì)量（質(zhì)量）壓縮和解壓縮的速度（速度）數(shù)據(jù)壓縮處理的硬件和軟件開銷（成本）數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)根據(jù)解碼后數(shù)據(jù)是否能夠完全無(wú)損地恢復(fù)原始數(shù)據(jù)來(lái)進(jìn)行劃分無(wú)損壓縮：行程編碼、哈夫曼（Huffman）編碼、算術(shù)編碼和LZW編碼等。壓縮比：2-5倍之