多媒體技術(shù)與通信第二章多媒體信息處理的必要性和可行性

1、第二章 多媒體信息處理的必要性和可行性2.1 多媒體信息的特點(diǎn)2.2 信息壓縮的必要性2.3 信息壓縮的可行性2.4 信息壓縮技術(shù)的性能指標(biāo)2.1 多媒體信息的特點(diǎn)數(shù)據(jù)量龐大碼率可變、突發(fā)性強(qiáng)復(fù)合性信息多，同步性、實(shí)時(shí)性要求高2.2 信息壓縮的必要性 以一般彩色電視信號(hào)為例，設(shè)代表光強(qiáng)、色彩和色飽和度的YIQ空間中各分量的帶寬分別為4MHz、1.3MHz和0.5MHz。2.2 信息壓縮的必要性 根據(jù)采樣定理，僅當(dāng)采樣頻率大于或等于2倍的原始信號(hào)的頻率時(shí)，才能保證采樣后的信號(hào)可能被無(wú)失真地恢復(fù)為原始信號(hào)。 再設(shè)各樣點(diǎn)均被數(shù)字化8bit，從而1秒鐘的電視信號(hào)的數(shù)據(jù)量為(4+1.3+0.5)28bi

2、t = 92.8Mbit。各種信號(hào)的特性和未壓縮速率2.3 信息壓縮的可行性 前提條件： I = D - r其中， I、 D、 r 分別為信息量、 數(shù)據(jù)量與冗余量。2.3 信息壓縮的可行性 在圖像數(shù)據(jù)中，一般存在以下一些數(shù)據(jù)冗余類(lèi)型。 空間冗余：在任何一幅圖像中，均有許多灰度和顏色都相同的鄰近像素組成的局部區(qū)域，它們形成了一個(gè)性質(zhì)相同的集合塊，在圖像中就表現(xiàn)為空間冗余。 2.3 信息壓縮的可行性 2.3 信息壓縮的可行性 對(duì)空間冗余的壓縮方法就是把這種集合塊當(dāng)做一個(gè)整體，用極少的數(shù)據(jù)量來(lái)表示它，從而節(jié)省了存儲(chǔ)空間。這種壓縮方法叫空間壓縮或幀內(nèi)壓縮，它的基本點(diǎn)在于減少鄰近像素之間的空間相關(guān)性。2

3、.3 信息壓縮的可行性 時(shí)間冗余：活動(dòng)圖像中的兩幅相鄰的圖像有較大的相關(guān)性，這反映為時(shí)間冗余。時(shí)間壓縮/幀間壓縮 2.3 信息壓縮的可行性 信息熵冗余（編碼冗余） 所謂信息熵，是指數(shù)據(jù)所帶的信息量。信息熵的數(shù)學(xué)表達(dá)式為： 式中，Pi為任意一個(gè)碼元i出現(xiàn)的概率，k為數(shù)據(jù)碼元的總個(gè)數(shù)。2.3 信息壓縮的可行性 H的單位是bit/碼元。 如果對(duì)碼元采用二進(jìn)制編碼，并且第i個(gè)碼元yi所分配的比特?cái)?shù)為b(yi)，那么碼元的平均長(zhǎng)度（即包含的平均比特?cái)?shù)或平均信息量）為： 為了使編碼后的信息不損失，應(yīng)當(dāng)使d接近H，理論上應(yīng)取b(yi)=-lbPi。實(shí)際上，很難估計(jì)P0，Pk-1，因此，一般總是取b(y0)=

4、b(y1)=b(yk-1)，而等概情況下的平均數(shù)據(jù)量d是最大的，這樣d必定大于H，由此帶來(lái)的冗余稱(chēng)為信息熵冗余或編碼冗余。 2.3 信息壓縮的可行性結(jié)構(gòu)冗余：有些圖像從整體上看存在著非常強(qiáng)的紋理結(jié)構(gòu)，稱(chēng)它在結(jié)構(gòu)上存在冗余。2.3 信息壓縮的可行性知識(shí)冗余：人們通過(guò)認(rèn)識(shí)世界而得到某些圖像所具有的先驗(yàn)知識(shí)和背景知識(shí)，由此帶來(lái)的冗余稱(chēng)為知識(shí)冗余。 視覺(jué)冗余：人的眼睛是圖像信息的接收端，而人類(lèi)的視覺(jué)系統(tǒng)并不能對(duì)圖像畫(huà)面的任何變化都能感覺(jué)到，這稱(chēng)為視覺(jué)冗余。 2.3 信息壓縮的可行性 空間冗余和時(shí)間冗余是將圖像信號(hào)看作隨機(jī)信號(hào)時(shí)反映出來(lái)的統(tǒng)計(jì)特征，因此有時(shí)把這兩種冗余稱(chēng)為統(tǒng)計(jì)冗余。它們也是圖像數(shù)據(jù)處理中

5、兩種最主要的數(shù)據(jù)冗余。 2.3 信息壓縮的可行性2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)1 壓縮比 壓縮性能常常用壓縮比來(lái)定義，也就是壓縮過(guò)程中輸入數(shù)據(jù)量和輸出數(shù)據(jù)量之比。 壓縮比越大，說(shuō)明數(shù)據(jù)壓縮的程度越高。 在實(shí)際應(yīng)用中，壓縮比可以定義為比特流中每個(gè)樣點(diǎn)所需要的比特?cái)?shù)。 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)2 重現(xiàn)質(zhì)量 重現(xiàn)質(zhì)量是指比較重現(xiàn)時(shí)的圖像、聲音信號(hào)與原始圖像、聲音之間有多少失真，這與壓縮的類(lèi)型有關(guān)。 圖像和聲音質(zhì)量的評(píng)估常采用客觀評(píng)估和主觀評(píng)估兩種方法。圖像質(zhì)量的評(píng)價(jià)方法：方法一：主觀評(píng)價(jià) 觀察者依據(jù)自己的感覺(jué)對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)。 常用基于5級(jí)質(zhì)量制或5級(jí)損傷制的平均意見(jiàn)分（MOS分），它由IT

6、U-R BT.500標(biāo)準(zhǔn)規(guī)定。2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)質(zhì)量評(píng)估標(biāo)準(zhǔn)質(zhì)量尺度妨礙尺度5分：非常好絲毫看不出圖像質(zhì)量變化4分：好能看出圖像質(zhì)量的變化，但并不妨礙觀看3分：一般清楚地看出圖像質(zhì)量變壞，對(duì)觀看稍有妨礙2分：差對(duì)觀看有妨礙1分：非常差非常嚴(yán)重地妨礙觀看2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo) 主觀評(píng)價(jià)的方法是將待評(píng)價(jià)的圖像序列播放給評(píng)論者觀看，并記錄他們的打分，然后對(duì)所有評(píng)論者的打分進(jìn)行統(tǒng)計(jì)，得出平均分作為評(píng)價(jià)結(jié)果。 ITU-R BT500-7定義了兩種標(biāo)準(zhǔn)的主觀評(píng)價(jià)方法。 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)（1）雙刺激連續(xù)質(zhì)量分級(jí)法（DSCQS：Double Stimulus Continuo

7、us Quality Scale） 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)雙刺激連續(xù)質(zhì)量分級(jí)法的評(píng)分公式： 平均分?jǐn)?shù)=其中：j為分值，取15；nj為某分值的人數(shù)。2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)（2）單刺激連續(xù)質(zhì)量評(píng)價(jià)方法（SSCQE：Single Stimulus Continuous Quality Evaluation） 這種方法只把被評(píng)價(jià)的圖像序列播放給評(píng)估者看，評(píng)價(jià)時(shí)間長(zhǎng)達(dá)30s，評(píng)估者在觀看的同時(shí)給出評(píng)價(jià)分值。2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)主觀評(píng)價(jià)的不足之處： 觀察者一般需要是一個(gè)群體，其中既包含未受過(guò)專(zhuān)業(yè)訓(xùn)練的“外行”，也包含訓(xùn)練有素的“內(nèi)行”。 圖像內(nèi)容與情節(jié)千變?nèi)f化，觀察者個(gè)體差異大，

8、容易發(fā)生主觀上的偏差。 僅僅只有平均分，如果評(píng)測(cè)分?jǐn)?shù)低，也無(wú)法確切定位問(wèn)題出在哪里。 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)方法二：客觀評(píng)價(jià) 又稱(chēng)為圖像逼真度計(jì)量法。 在此方法中，首先給出一系列標(biāo)準(zhǔn)的或理想的圖像作為參考圖像，然后定義一個(gè)數(shù)學(xué)公式，利用該公式計(jì)算待評(píng)價(jià)的圖像與參考圖像的接近程度，所得到的計(jì)算結(jié)果就是測(cè)量結(jié)果。 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo) 常采用兩種計(jì)算方法：一種是均方差，一種是峰值信噪比。 客觀評(píng)價(jià)的好處：不僅減少了對(duì)人力、物力的需求，而且測(cè)量時(shí)間大大縮短，甚至可以做到實(shí)時(shí)監(jiān)測(cè)。 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)均方誤差： 峰值信噪比： 信噪比： 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)3 壓縮和解壓縮的速度 壓縮與解壓縮的速度是兩項(xiàng)單獨(dú)的性能度量。 有些應(yīng)用中，壓縮與解壓縮都需要實(shí)時(shí)進(jìn)行，這稱(chēng)為對(duì)稱(chēng)壓縮，如電視會(huì)議的圖像傳輸； 在有些應(yīng)用中，壓縮可以用非實(shí)時(shí)壓縮， 而只要解壓縮是實(shí)時(shí)的，這種壓縮稱(chēng)為非對(duì)稱(chēng)壓縮， 如多媒體CD-ROM的節(jié)目制作。2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)1、多媒體數(shù)據(jù)存在哪些類(lèi)型的