多媒體技術(shù)與應(yīng)用.ppt

第3章 多媒體數(shù)據(jù)壓縮技術(shù),3.1 數(shù)據(jù)壓縮技術(shù)概述,3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),媒體信息的表示:,3.1.1 多媒體信息數(shù)字化,用聲音錄制軟件記錄的英文單詞“Hello”的示波器顯示波形,聲音=f (頻率、幅度、時(shí)間),媒體信息的表示:,3.1.1 多媒體信息數(shù)字化,圖像=f (位置、顏色),模擬信號(hào)數(shù)字化:,3.1.1 多媒體信息數(shù)字化,時(shí)間軸上離散化,幅度軸上離散化,編碼,3.1.1 多媒體信息數(shù)字化,采樣是在時(shí)間軸上對(duì)模擬信號(hào)進(jìn)行離散化。采樣所得的一系列離散的抽樣數(shù)值，把時(shí)間上連續(xù)的模擬信號(hào)變成離散的有限個(gè)樣值的信號(hào)。,采樣,3.1.1 多媒體信息數(shù)字化,奈奎斯特定理 對(duì)于一個(gè)包含最高頻率f0的模擬信號(hào)，選擇的采樣頻率f 滿足 f= 2f0時(shí)，經(jīng)過(guò)取樣后的離散信號(hào)能夠包含原模擬信號(hào)的全部信息，并且，經(jīng)過(guò)反變換和低通濾波，可以不失真地恢復(fù)出原始信號(hào)。,采樣定理,采樣定理應(yīng)用,3.1.1 多媒體信息數(shù)字化,例：CD音響的采樣頻率選用44.1kHz。,含義： CD音響的最高頻率為： 44.1kHz 2 = 22.05kHz,人耳聽(tīng)覺(jué)頻率范圍：20Hz 20kHz,3.1.1 多媒體信息數(shù)字化,量化是在幅度軸上把連續(xù)值的模擬信號(hào)變成為離散值的數(shù)字信號(hào) 。,量化,量化步驟:,3.1.1 多媒體信息數(shù)字化,設(shè)信號(hào)電壓的整個(gè)動(dòng)態(tài)變化范圍為A，共分為M個(gè)量化等級(jí)；每個(gè)量化等級(jí)為 A，則有： A =A/M,量化等級(jí)通常用二進(jìn)制的位數(shù)n表示, 它與十進(jìn)制數(shù)M之間的關(guān)系為 ：M = 2n 或 n =log2M ，通常稱(chēng)為量化位數(shù)。,量化等級(jí)的計(jì)算示例:,3.1.1 多媒體信息數(shù)字化,如圖案例中，信號(hào)最高幅值為A=10。,若采用 8 位 (bit) 量化，相應(yīng)的十進(jìn)制量化等級(jí)M為： M=256（即2的8次方） A= A/M=10/256=0.04,若采用4位 (bit) 量化，相應(yīng)的十進(jìn)制量化等級(jí)M為：M=16 （即2的4次方） A= A/M=10/16=0.63,3.1.1 多媒體信息數(shù)字化,量化的作用是在圖像質(zhì)量或聲音質(zhì)量達(dá)到一定保真度的前提下，舍棄那些對(duì)視覺(jué)或聽(tīng)覺(jué)影響不大的信息。 量化的過(guò)程是模擬信號(hào)到數(shù)字信號(hào)的映射。模擬量是連續(xù)量，而數(shù)字量是離散量，因此量化操作實(shí)質(zhì)上是用有限的離散量代替無(wú)限的連續(xù)模擬量的多對(duì)一的映射操作。,量化,3.1.1 多媒體信息數(shù)字化,編碼是對(duì)代表特定量化等級(jí)的比較器的輸出狀態(tài)組合，變換成一個(gè)n位表示的二進(jìn)制數(shù)碼，即每一組二進(jìn)制碼代表一個(gè)取樣值的量化等級(jí)。,編碼,練習(xí)題,例：CD音響的采樣頻率選用44.1kHz，16位二進(jìn)制數(shù)量化等級(jí)，2聲道立體聲，計(jì)算數(shù)字化后所占的存儲(chǔ)容量。如果一首歌曲長(zhǎng)度為4分鐘，一張CD容量為600MB，那么一張CD能夠存放幾首這樣的歌曲。,解：每秒鐘的量化量： 44.1KHz1628176.4KB 4分鐘的容量： 176.4KB60442336KB=42.336MB 一張CD存放的歌曲： 600MB 42.336MB 14,3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),戰(zhàn)國(guó)時(shí)，魏將龐涓率軍圍攻趙國(guó)都城邯鄲。趙求救于齊，齊王命田忌、孫臏率軍往救。魏軍主力在趙國(guó)，內(nèi)部空虛，孫臏就帶兵攻打魏國(guó)都城大梁，因而，魏軍不得不從邯鄲撤軍，回救本國(guó)，路經(jīng)桂陵要隘，又遭齊兵截?fù)簦瑤缀跞姼矝](méi)。這個(gè)典故是指采用包抄敵人的后方來(lái)迫使它撤兵的戰(zhàn)術(shù)。,圍魏救趙,使用發(fā)布者和接收者皆認(rèn)可的規(guī)則描述信息,目的,最少的符號(hào)描述盡可能多的信息,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,數(shù)據(jù)壓縮就是以最少量的數(shù)碼符號(hào)表示信源所發(fā)出的信號(hào)，減少容納給定信息或數(shù)據(jù)采樣集合的信號(hào)空間。通俗來(lái)說(shuō)，數(shù)據(jù)壓縮就是用最少的符號(hào)表達(dá)最豐富的信息內(nèi)容。實(shí)際上，這種數(shù)據(jù)壓縮思想在我們?nèi)粘Ｉ钪蟹浅３Ｒ?jiàn)。,什么是數(shù)據(jù)壓縮？,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,在多媒體計(jì)算系統(tǒng)中，傳輸和處理的數(shù)字化聲音、圖片、影像視頻等信息，數(shù)據(jù)量非常巨大。,數(shù)據(jù)壓縮必要性,數(shù)據(jù)壓縮的必要性，體現(xiàn)在如下幾個(gè)方面： 1. 量化后的多媒體信息數(shù)據(jù)量巨大 2. 有效利用存儲(chǔ)器存儲(chǔ)容量 3. 提高通信線路的傳輸效率,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,數(shù)據(jù)壓縮的可能性,主要表現(xiàn)在以下二個(gè)方面： 數(shù)據(jù)冗余度：音頻信號(hào)和視頻信號(hào)等原始數(shù)據(jù)通常存在很多用處不大的空間，空間越多，數(shù)據(jù)的“冗余度”也越大。通過(guò)數(shù)據(jù)的壓縮，將把這些不用的空間去掉。 人類(lèi)不敏感因素：一般而言，人類(lèi)對(duì)某些頻率的音頻信號(hào)不敏感，有無(wú)這些頻率的音頻，在聽(tīng)覺(jué)上影響不大，因此就可去掉這些不敏感的成分，以使數(shù)據(jù)量減少。根據(jù)人眼對(duì)彩色細(xì)節(jié)分辨能力低的特點(diǎn)，通過(guò)減少某些人眼不敏感色彩也可以實(shí)現(xiàn)圖像存儲(chǔ)數(shù)據(jù)量的減少。,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,數(shù)據(jù)壓縮的可能性,信息量與數(shù)據(jù)量的關(guān)系： 信息論中，編碼數(shù)據(jù)量與所表示的信息量以及冗余信息之間的關(guān)系為： 數(shù)據(jù)量信息量冗余量,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,數(shù)據(jù)壓縮的可能性,熵,如果有一個(gè)系統(tǒng)S內(nèi)存在多個(gè)事件S = E1,.,En, 每個(gè)事件的機(jī)率分布 P = p1, ., pn， 則每個(gè)事件本身的信息量為：,Ie = log2pi （對(duì)數(shù)以2為底，單位是位元(bit)）,整個(gè)系統(tǒng)的平均信息量（熵）為：,例1：英語(yǔ)有26個(gè)字母，假如每個(gè)字母在文章中出現(xiàn)次數(shù)平均的話，每個(gè)字母的信息量為：,例2：漢字常用的有2500個(gè)，假如每個(gè)漢字在文章中出現(xiàn)次數(shù)平均的話，每個(gè)漢字的信息量為：,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,數(shù)據(jù)壓縮的可能性,數(shù)據(jù)冗余的類(lèi)別,空間冗余 時(shí)間冗余 信息熵冗余 視覺(jué)冗余 聽(tīng)覺(jué)冗余 結(jié)構(gòu)冗余 知識(shí)冗余,空間冗余,在同一幅圖像中，規(guī)則物體和規(guī)則背景的表面物理特性具有相關(guān)性，這些相關(guān)性的光成像結(jié)果在數(shù)字化圖像中就表現(xiàn)為數(shù)據(jù)冗余。,時(shí)間冗余,這是序列圖像（電視圖像、動(dòng)畫(huà)）和言語(yǔ)數(shù)據(jù)中所經(jīng)常包含的冗余。圖像序列中的兩幅相鄰的圖像，后一幅圖像與前一幅圖像之間有較大的相關(guān)性，這反映為時(shí)間冗余。同理，在言語(yǔ)中，由于人在說(shuō)話時(shí)發(fā)音的音頻是一連續(xù)的漸變過(guò)程，而不是一個(gè)完全在時(shí)間上獨(dú)立的過(guò)程，因而存在時(shí)間冗余。,例如大家常見(jiàn)的室內(nèi)情景電視劇，故事主要發(fā)生在特定的房間，故事的發(fā)展過(guò)程中，背景（房間和家具）一直是相同的，只有故事中的人物的動(dòng)作和位置在不斷發(fā)生變化。,熵冗余,同樣長(zhǎng)度的編碼可以表示不同的信息。 例如對(duì)信源進(jìn)行編碼時(shí)，分配給第i個(gè)碼元類(lèi)的比特?cái)?shù)b(yi)=-logpi，才能使編碼后單位數(shù)據(jù)量等于其信源熵，即達(dá)到其壓縮極限。但實(shí)際中各碼元類(lèi)的先驗(yàn)概率很難預(yù)知，比特分配不能達(dá)到最佳。實(shí)際單位數(shù)據(jù)量要大于信息量，即存在信息冗余熵。,視覺(jué)冗余 人類(lèi)的視覺(jué)系統(tǒng)由于受生理特性的限制，對(duì)于圖像的注意是非均勻的，人對(duì)細(xì)微的顏色差異感覺(jué)不明顯。 例如，人類(lèi)視覺(jué)的一般分辨能力為26灰度等級(jí)，而一般的圖像的量化采用的是28灰度等級(jí)，即存在視覺(jué)冗余。 人眼對(duì)亮度變化敏感，而對(duì)色度的變化相對(duì)不敏感 在高亮度區(qū)，人眼對(duì)亮度變化敏感度下降 對(duì)物體邊緣敏感，內(nèi)部區(qū)域相對(duì)不敏感 對(duì)整體結(jié)構(gòu)敏感，而對(duì)內(nèi)部細(xì)節(jié)相對(duì)不敏感,聽(tīng)覺(jué)冗余 人耳對(duì)不同頻率的聲音的敏感性是不同的，并不能察覺(jué)所有頻率的變化，對(duì)某些頻率不必特別關(guān)注，因此存在聽(tīng)覺(jué)冗余。,人耳聽(tīng)覺(jué)頻率范圍：20Hz 20kHz,結(jié)構(gòu)冗余 在某些場(chǎng)景中，存在著明顯的圖像分布模式，這種分布模式稱(chēng)作結(jié)構(gòu)。圖像中重復(fù)出現(xiàn)或相近的紋理結(jié)構(gòu)， 例如：方格狀的地板，蜂窩，磚墻等。,知識(shí)冗余 有些圖像的理解與某些知識(shí)有相當(dāng)大的相關(guān)性， 這類(lèi)規(guī)律性的結(jié)構(gòu)可以由先驗(yàn)知識(shí)和背景知識(shí)得到。,例如，下圖中是一些明星的漫畫(huà)形象。這些畫(huà)像盡管明星們的五官都被夸大和扭曲了，但是熟悉他們的人仍然能夠識(shí)別出來(lái)。這說(shuō)明人類(lèi)根據(jù)先驗(yàn)知識(shí)，只使用少量的圖像特征就能對(duì)其內(nèi)容進(jìn)行識(shí)別。,3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),3.1.3 數(shù)據(jù)壓縮分類(lèi),多媒體數(shù)據(jù)壓縮通常是指對(duì)模擬信號(hào)（聲音、圖像和視頻）數(shù)字化后獲得的數(shù)據(jù)的壓縮，而對(duì)于與文字和字符類(lèi)媒體數(shù)據(jù)的壓縮稱(chēng)為文本數(shù)據(jù)壓縮。普通文本數(shù)據(jù)的壓縮，必須是無(wú)損失的。 多媒體模擬信號(hào)在數(shù)字化的過(guò)程中引入了誤差，在壓縮階段應(yīng)該也允許有誤差，只要誤差的級(jí)別不超過(guò)數(shù)字化的階段就可以。 因此，多媒體數(shù)據(jù)的壓縮必須在追求壓縮比率提高的同時(shí)充分考慮到視覺(jué)和聽(tīng)覺(jué)的感受，而普通數(shù)據(jù)的壓縮則無(wú)此顧慮。,按照壓縮效果分類(lèi)： 有損壓縮和無(wú)損壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),按照壓縮原理分類(lèi)： 統(tǒng)計(jì)編碼、預(yù)測(cè)編碼、變換編碼、 混合編碼以及其他編碼等五種。,指原數(shù)據(jù)經(jīng)過(guò)壓縮后，還能完全恢復(fù)到壓縮前的原樣，信息不受損失。無(wú)損壓縮要求解壓以后的數(shù)據(jù)和原始數(shù)據(jù)完全一致，是一種可逆壓縮。通常無(wú)損壓縮的壓縮比小于有損數(shù)據(jù)壓縮的壓縮比。目前，無(wú)損壓縮算法一般可以把普通文件的數(shù)據(jù)壓縮到原來(lái)的1/21/4。,無(wú)損數(shù)據(jù)壓縮（Lossless Compression）,無(wú)損壓縮算法： (1) 進(jìn)程長(zhǎng)度編碼 (2) 霍夫曼編碼 (3) 算術(shù)編碼 (4) 詞典編碼,3.1.3 數(shù)據(jù)壓縮分類(lèi),指原數(shù)據(jù)經(jīng)過(guò)壓縮后，不能完全恢復(fù)到壓縮前的原樣，信息受到損失。解壓以后的數(shù)據(jù)和原始數(shù)據(jù)不完全一致，所以有損壓縮是不可逆壓縮方式，但是有損壓縮方法能夠獲得較大的壓縮比。,有損數(shù)據(jù)壓縮（Loss Compression）,有損壓縮算法： (1) 離散余弦變換 (2) 分形壓縮 (3) 小波壓縮 (4) 向量量化 (5)線性預(yù)測(cè)編碼,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.3 數(shù)據(jù)壓縮分類(lèi),壓縮舉例 該圖片采用不同壓縮方法得到的文件大小分別為 ：,bmp格式：545KB jpg格式：38KB gif格式：57KB,結(jié)論：盡管gif圖像的顏色層次損失最大，但是生成的文件大小并非最小；而jpg圖像文件的最小，但顏色層次損失并非最大，如果不仔細(xì)比較很難發(fā)現(xiàn)圖像的細(xì)節(jié)損失.這說(shuō)明jpg圖像的壓縮算法比gif的好。,3.1.3 數(shù)據(jù)壓縮分類(lèi),按照壓縮原理分類(lèi)：,3.1.3 數(shù)據(jù)壓縮分類(lèi),按照壓縮原理分類(lèi)：,統(tǒng)計(jì)編碼：根據(jù)信息出現(xiàn)概率的分布特性而進(jìn)行的編碼。 預(yù)測(cè)編碼：根據(jù)離散信號(hào)之間存在一定相關(guān)性的特點(diǎn)，利用前面的一個(gè)或多個(gè)信號(hào)對(duì)下一個(gè)信號(hào)進(jìn)行預(yù)測(cè)，然后對(duì)實(shí)際值和預(yù)測(cè)值的差（預(yù)測(cè)誤差）進(jìn)行編碼。 變換編碼：是將圖像的光強(qiáng)矩陣變換到系數(shù)空間上，然后對(duì)系數(shù)進(jìn)行編碼。 混合編碼：混合編碼是利用了各種單一壓縮算法的長(zhǎng)處，以求在壓縮比、壓縮效率及保真度之間取得最佳折衷。 其他編碼：使用其他不同數(shù)學(xué)變換的編碼方法,3.1 多媒體數(shù)據(jù)壓縮技術(shù)概述,3.1.1 多媒體信息數(shù)字化,3.1.2 為什么進(jìn)行數(shù)據(jù)壓縮,3.1.3 數(shù)據(jù)壓縮分類(lèi),3.1.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),3.1