多媒體數(shù)據(jù)壓縮編碼技術(shù)

1、第四章 多媒體數(shù)據(jù)壓縮編碼技術(shù)考核目的:考核學(xué)生對多媒體數(shù)據(jù)壓縮編碼的基本原理和算法、數(shù)據(jù)壓縮編碼的分類和方法、多媒體 數(shù)據(jù)壓縮編碼的國際標(biāo)準(zhǔn)等內(nèi)容的理解和掌握?？己说闹R點:什么是多媒體數(shù)據(jù)壓縮、為什么信息能被壓縮、常用的壓縮編碼和算法(統(tǒng)計編碼、預(yù)測 編碼、變換編碼 、多媒體數(shù)據(jù)壓縮編碼的國際標(biāo)準(zhǔn) JPEG 、 MPEG-1等內(nèi)容?？己艘?掌握:數(shù)據(jù)壓縮編碼的方法、常用的壓縮編碼和算法、 JPEG 的原理和實現(xiàn)技術(shù)。理解:量化的原理和量化器的設(shè)計、 MPEG-1的原理和實現(xiàn)技術(shù)。了解:其它的國際標(biāo)準(zhǔn)等。4.1 多媒體數(shù)據(jù)壓縮編碼的重要性和分類一.多媒體數(shù)據(jù)壓縮編碼的重要性多媒體信息傳送面

2、臨的最大難題是海量數(shù)據(jù)存儲與傳送電視信號數(shù)字化后的數(shù)據(jù)量問題, 數(shù)據(jù)壓縮是解決問題的重要途徑。二.多媒體數(shù)據(jù)壓縮的可能性1. 空間冗余2. 時間冗余3. 信息熵冗余信息量:指從 N 個相等的可能事件中選出一個事件所需要的信息度量和含量。信息熵:指一團(tuán)數(shù)據(jù)所帶的信息量,平均信息量就是信息熵(entropy 。4. 結(jié)構(gòu)冗余圖象有非常強(qiáng)的紋理結(jié)構(gòu)。5. 知識冗余圖像的理解與某些基礎(chǔ)知識有關(guān)。6. 視覺冗余視覺冗余是非均勻、非線性的。三. 多媒體數(shù)據(jù)壓縮方法的分類1.按壓縮方法分 :(1. 有失真壓縮(2. 無失真壓縮2. 編碼算法原理分 :(1預(yù)測編碼:PCM 、 DPCM 、 ADPCM 等(2

3、變換編碼:傅里葉(DFT 、離散余弦(DCT 、離散正弦(DST 等(3統(tǒng)計編碼:哈夫曼、算術(shù)等(4靜圖像編碼:方塊、逐漸浮現(xiàn)等(5 電視編碼:幀內(nèi)預(yù)測、幀間編碼等(6 其他編碼:矢量量化、子帶編碼等4.2量化一.量化原理量化處理是使數(shù)據(jù)比特率下降的一個強(qiáng)有力的措施。數(shù)據(jù)壓縮編碼中的量化處理,不是指 A/D變換后的量化,而是指以 PCM 碼作為輸入,經(jīng)正 交變換、差分、或預(yù)測處理后,熵編碼之前,對正交變換系數(shù)、差值或預(yù)測誤差的量化處理。 量化輸入值的動態(tài)范圍很大,需要以多的比特數(shù)表示一個數(shù)值,量化輸出只能取有限個整 數(shù),稱作量化級,希望量化后的數(shù)值用較少的比特數(shù)便可表示。每個量化輸入被強(qiáng)行歸一

4、到與 其接近的某個輸出,即量化到某個級。量化處理總是把一批輸入, 量化到一個輸出級上, 所以量化處理是一個多對一的處理過程, 是個不可逆過程,量化處理中有信息丟失,或者說,會引起量化誤差(量化噪聲 。二.標(biāo)量量化器的設(shè)計1.量化器的設(shè)計要求給定量化分層級數(shù),滿足量化誤差最小。限定量化誤差,確定分層級數(shù),滿足以盡量小的平均比特數(shù),表示量化輸出。三.量化方法:標(biāo)量量化:對于 PCM 數(shù)據(jù),一個數(shù)一個數(shù)地進(jìn)行量化叫標(biāo)量量化。分為:均勻量化、非均勻量化和自適應(yīng)量化。四.矢量量化1.矢量量化概念:對 PCM 數(shù)據(jù)分組,每組 K 個數(shù)構(gòu)成一個 K 維矢量,然后以矢量為單元,逐個矢量進(jìn)行量化, 稱矢量量化。

5、矢量量化編碼方法是有失真編碼方法。4.3 統(tǒng)計編碼一.統(tǒng)計編碼原理信息量和信息熵1. 概念 :(1信息 :是用不確定性的量度定義的。(2信息量 :從 N 個相等可能事件中選出一個事件所需要的信息度量或含量。(3熵 :如果將信源所有可能事件信息量進(jìn)行平均就得到信息的熵 (熵就是平均信息量 。(4信源均含有的平均信息量 (熵 , 就是進(jìn)行無失真編碼的理論極限。(5信源中或多或少的含有自然冗余。(6信息源 X 的熵為 H (X :式(4. 2二.哈夫曼編碼1.變字長編碼定理 :最佳編碼定理在變字長編碼中,對于出現(xiàn)概率大的信息符號,編以短字長的碼 , 對于出現(xiàn)概率小的信息符號編以長字長的碼,如果碼字長

6、度嚴(yán)格按照符號概率的大小的相反順序排列,則平均碼字長一定小于按任何其他符號順序排列方式得到的碼字長度。證明 :(P1082. Huffman 編碼方法用變字長最佳編碼定理(1. 把信源符號按概率大小順序排列,設(shè)法按逆次序分配碼字的長度。(2. 在分配碼字長度時,將出現(xiàn)概率最小的兩個符號的概率相加合成一個概率。(3.把這個合成概率看成是一個新組合符號地概率,重復(fù)上述做法直到最后只剩下兩個符號概率為止。(4. 完成以上概率順序排列后,再反過來逐步向前進(jìn)行編碼,每一次有三個分支各賦予 一個二進(jìn)制碼,對概率大的賦為零,概率小的賦為 1。3. Huffman 編碼步驟(1信源符號按概率大小順序排列,按逆

7、次序分配碼字的長度。(2 出現(xiàn)概率最小的兩個符號概率相加合成一個新概率。(3 將合成概率看成一個新組合符號概率,重復(fù)上述做法,直到最后只剩下兩個符號概率為止。(4 反過來逐步向前編碼,每層有兩個分支,分別賦予 0和 1,構(gòu)成 Huffman 碼字?？偨Y(jié):Huffman 編碼構(gòu)造出的碼不唯一Huffman 編碼字長參差不齊Huffman 編碼在信源編碼概率分布不均勻時效率高,效率比較均勻時,效率低,不用 Huffman 編碼。對出現(xiàn)頻率較高的碼分配短碼字;對出現(xiàn)頻率較低的碼分配長碼字。三.算術(shù)編碼1.原理:算術(shù)編碼方法是將被編碼的信息表示成實數(shù) 0和 1之間的一個間隔。信息越長編碼表示它的間隙就

8、越小,表示這一間隙所須二進(jìn)位就越多,大概率符號出現(xiàn)的概率越大對應(yīng)于區(qū)間愈寬,可用長度較短的碼字表示;小概率符號出現(xiàn)的概率越小對應(yīng)于層間愈窄,需要長度較長的碼字表示。信息源中連續(xù)的符號根據(jù)某一模式生成概率的大小來減少間隔?？赡艹霈F(xiàn)的符號要比不太可能 出現(xiàn)的符號減少范圍少,因此只增加了較少的比特位2. 自適應(yīng)二進(jìn)制算術(shù)編碼(1編碼算法舉例設(shè)編碼初始化子區(qū)間為 0, 1 設(shè) 大概率 MPS , Pe 小概率 LPS QePe=1-Qe編碼時,設(shè)置兩個專用寄存器(C , A 初始時:令C 寄存器的值為子區(qū)域的起始位置A 寄存器的值為子區(qū)域的寬度(該寬度恰好是已輸入符號串的概率 初始化時:C=0 A=1

9、隨著被編碼數(shù)據(jù)源輸入, C 和 A 的內(nèi)容按以下規(guī)律修正:當(dāng)?shù)透怕史?LPS 到來時:C=CA=AQe當(dāng)高概率符號 MPS 到來時:C=C+AQeA=APe=A(1-Qe (2解碼算法舉例解碼:按 Qe Pe 分成兩個子區(qū)間,判斷被解碼的碼字落在哪個區(qū)間,并賦予對應(yīng)符號:設(shè) c=(0.0101 b 是被解碼的值初始值:A=1 Qe=0.001當(dāng) c落在 0-QeA 之間,解碼符號為 D=0;C=CA=QeA ;當(dāng) c落在 Qe A -A之間,解碼符號為 D=1;C=C -QeA ;A=A(1-Qe 算術(shù)解碼原理圖 P114算術(shù)編碼的特點:(1. 不需要碼表;(2. 當(dāng)信源概率比較接近時,建議

10、使用算術(shù)編碼。(3. JPEG成員對多幅圖進(jìn)行算術(shù)編碼效率可以提高 5%。JPEG 擴(kuò)展系統(tǒng)用算術(shù)編碼代替 Huffman 。4.4 預(yù)測編碼一.預(yù)測編碼的基本概念預(yù)測編碼是統(tǒng)計冗余數(shù)據(jù)壓縮理論的三個重要分支之一,用預(yù)測編碼減少數(shù)據(jù)時間和空間的相關(guān)性。預(yù)測編碼基本原理預(yù)測編碼方法分類線性預(yù)測編碼:DPCM 非線性預(yù)測編碼1. DPCM 差分脈沖編碼調(diào)制DPCM 編 /解碼原理圖 P1162. ADPCM自適應(yīng)預(yù)測編碼這種編碼方法中,量化器的步長和預(yù)測器的參數(shù)均能根據(jù)圖象的局部特征作自適應(yīng)的調(diào)整。ADPCM 分成兩類1 . 線性自適應(yīng)預(yù)測器2 非線性自適應(yīng)預(yù)測器引進(jìn)幾個和臨近象素有關(guān)的值,入 i

11、 和 di 非線性改變預(yù)測的數(shù)。所以,叫非線性的自 適應(yīng)預(yù)測。采用四點預(yù)測三.幀間預(yù)測編碼對于序列圖象,把幾幀的圖象存起來 (大規(guī)模集成電路技術(shù)的發(fā)展 使用幀間相關(guān)性進(jìn)一步消除圖象信號的冗余度,提高壓縮比。幀間壓縮方法:條件補(bǔ)充法條件次取樣法。運動補(bǔ)償幀間預(yù)測1. 條件補(bǔ)充法條件象素補(bǔ)充法規(guī)定:6若幀間各對應(yīng)象素的亮度差超過閾值,則把這些象素存到緩存區(qū)中,并以恒定傳輸速度傳輸,而閾值以下的象素則不傳送,在接收端中用上一幀相應(yīng)的象素代替。 在可視電話中用條件補(bǔ)充法傳送的象素只占全部象素的 6%左右。2. 條件次取樣法條件補(bǔ)充法和內(nèi)插法相結(jié)合叫條件次取樣法。具體做法:在時間軸采用次取樣 (兩個取一

12、 個就是次取樣 對于未取樣的當(dāng)前場的某點可以采用隔場的四鄰點亮度的均值,作為該點亮度的預(yù)測值。條件補(bǔ)充:S0=1/4(SA+SB+SC+SD內(nèi)插預(yù)測值與實際值之差小于閾值后就不傳。3. 運動補(bǔ)償(1運動估計有下述三種方法:塊匹配法 : 以象素塊為準(zhǔn)進(jìn)行運動估計。象素遞歸法 :以象素為準(zhǔn)進(jìn)行遞歸的運動估計。傅立葉變換法1 塊匹配法將圖象分成 M*N個矩形塊。在(M+2Wx *(N+2Wy范圍內(nèi)進(jìn)行搜索以求得最優(yōu)匹配,從而求得運動矢量估值(dx , dy A. 匹配算法歸一化相關(guān)函數(shù) NCCF均方誤差 MSE幀間絕對差 MADB. 搜索方法:窮盡搜索法二維對數(shù)法 (TDL三步搜索法 (TTS交叉搜

13、索法(CSA 4. 幀間預(yù)測,采用 DPCM7(YmnN和 (YmnN-1 變化很小。統(tǒng)計結(jié)果表明:廣播電視節(jié)目只有 10%以內(nèi)的象素有變化。Y有 2%的變化; UV有千分之十以內(nèi)的變化。Xmn-Xmn=emn 只傳差值4.5 變換編碼一 . 變換編碼的特點利用預(yù)測編碼可以去除圖象數(shù)據(jù)的時間和空間的冗余。它的優(yōu)點是直觀、簡捷、易于實現(xiàn),特別是用于硬件實現(xiàn)。但壓縮能力有限, DPCM 一般只能壓縮到 24bit/像素。 變換編碼是進(jìn)行一種函數(shù)變換,映射變換從信號域變換到另一個信號域。例:有兩個相鄰采樣值 X1和 X2,每一采樣值用 3bit 編碼,因此有 8個幅度等級,兩個為: 8*8=64種。

14、見 P122(b 變換編碼的系統(tǒng)構(gòu)成:二.變換種類 K-L 變換 離散傅立葉變換 離余弦變換 WALSH 變換 Har 它是以統(tǒng)計特性為基礎(chǔ)的,也稱為特征向量變換。 最優(yōu)的正交變換:特征向量矩陣向量指向數(shù)據(jù)變化最大的方向。 缺點:計算過程復(fù)雜,變換速度慢。一 . 協(xié)方差矩陣(4.18(4.22(4.238二 . 離散 K-L 變換表達(dá)式特征值和特征向量定義:設(shè) A 是 n 階方矩,如果有數(shù)入和 n 維非零向量 x ,使得:AX=入 x則稱:入為 A 的特征值;x為 A 對應(yīng)于特征值入的特征向量。(4.29(4.32(4.38結(jié)論:Y 向量的平均向量為 0,直流分量為 0。Y 的協(xié)方差矩陣:協(xié)方

15、差等于 0方差對角線按減序排列一 . 二維離散傅立葉變換 正變換(4.56逆變換(4.574、 6 視頻圖像壓縮編碼的國際標(biāo)準(zhǔn):JPEG 標(biāo)準(zhǔn)H.261標(biāo)準(zhǔn)MPEG 標(biāo)準(zhǔn)1. 1986年成立了聯(lián)合圖片專家組。JPEG Joint Photographic Experts Group主要制定靜態(tài)圖像幀內(nèi)壓縮編碼2. CCITT 第 XV 研究所1984年成立了可視電話編碼專家組。1988年,提出了 H.261標(biāo)準(zhǔn)視頻編碼器的建議。9滿足 ISDN 日益增長的需要可適用于可視電視和視頻電話會議。3. 1988年成立了 MPEG-MOVING PICTURE EXPERT GROUP 。JPEG 標(biāo)

16、準(zhǔn)定義了兩種基本壓縮算法:(1. 基于 DCT 變換有失真的壓縮算法。(2. 基于空間預(yù)測編碼 DPCM 的無失真壓縮算法。一 . 無失真的預(yù)測編碼無失真編碼器(1. 預(yù)測器(2. 熵編碼器二 . 基于 DCT 的有失真壓縮編碼兩種不同性能的層次基本系統(tǒng)增強(qiáng)系統(tǒng)自適應(yīng)算法編碼框圖 :P136-4.25P136-4.261. 離散余弦變換 (DCTJPEG 采用 8*8二維離散余弦變換。DCT 分成 8*8小塊。8*8 FDCT 和 IDCT表達(dá)式如下 :P136-(4.58、(4.592.量化:均衡量化器 其量化間隔是等長的非均衡量化器 其量化間隔是不等長的自適應(yīng)量化器 其量化間隔是隨傳送數(shù)據(jù)

17、而變?yōu)榱诉_(dá)到壓縮的目的,對 DCT 系數(shù)進(jìn)行量化處理, JPEG 利用線性均勻量化器 , 多到10一的映射產(chǎn)生誤差。FQ (u,v = Integer Round ( F(u,v/Q(u,vQ(u,v是量化器步長,隨位量和彩色分量不同。FQ (u,v= FQ (u,v*Q(u,v量化特性 P137-4.27量度量化表色度量化表3.熵編碼對于 DC 和 AC 行程碼,再作基于統(tǒng)計特性的熵編碼。分兩步進(jìn)行:1把 DC 碼和 AC 行程碼轉(zhuǎn)換成中間符號序列。2對這些符號序列賦以變長的碼字。(1中間格式由兩個符號組成:符號 1,行程,尺寸 (分組 符號 2,幅值(2可變長熵變碼63個 AC 系數(shù)表示符

18、號 1符號 2零行程長度超過 15,有多個符號 1塊結(jié)束 EOB 只有符號 1 (00P140-表 4.5例題 :設(shè)某亮度子塊的序列如下 zz(kK 0 1 2 3 4 5-7 8 9-30 31 32-63 系數(shù) 12 5 -2 0 2 0 1 0 -1 0按 JPEG 基本系統(tǒng)編碼給出該子塊的編碼。符號 2的編碼規(guī)則 :正數(shù)負(fù)數(shù)結(jié)論 :1. 零不需編碼。2. 正數(shù)編碼為原碼 , 且高位為“1”(碼長為最高位為 1 。3. 負(fù)數(shù)為該數(shù)絕對值的反碼 , 且高位為“0” (碼長同其絕對值碼長一致 。在由程序?qū)崿F(xiàn)時 , 負(fù)數(shù)的編碼只須“負(fù)數(shù) =負(fù)數(shù) -1”,然后直接取低位。一 . 引言1988-1

19、992 提出標(biāo)準(zhǔn)化方案。 1991年 11月提出草案, 1992年通過 ISO/SEC 11172 JPEG 和 MPEG 同屬于一個工作組。1993年 11月通過 ISO/IEC 13818 1995年 5月 15日正式通過。1. MPEG-1和 MPEG-2特點:1 MPEG-1:三百多線 *´三百多線,適合家庭或終端用,標(biāo)準(zhǔn)不太高,演播級。傳輸率 1.5M bit/sMPEG-2:最高兩千多線 *兩千多線,可適合 HDTV ,共有 15個標(biāo)準(zhǔn),我國采用了四個。 傳輸率 1.5 M bit/s -100 M bit/s2. MPEG 標(biāo)準(zhǔn)包括四個部分:MPEG系統(tǒng)MPEG視頻MP

20、EG音頻MPEG測試(檢測二 .MPEG 數(shù)據(jù)流結(jié)構(gòu)數(shù)據(jù)流視頻流(運動序列有:序列頭、一組或多組圖像序列、 序列尾。1. 序列頭序列頭碼 32bit水平大小 12bit垂直大小 12bit像素的長寬比 4bit圖像速率(傳輸率 4bit位碼率 4bit結(jié)束碼 32bit2. 一組或多組圖像序列圖像組:由一系列圖像組成 , 這些圖像可以從運動序列中隨機(jī)抽取。圖像:一個圖像 (靜止 圖像 由三個部分組成一個亮度信號 Y兩個色差信號 UV圖像切片:一個或多個宏塊組成。切片中宏塊的 順序由左到右,由上到下,如果有誤差跳 到下一個切片位置,使用越多的切片,誤差的隱蔽性就越好。宏塊:一個宏塊由四個亮度塊,

21、 兩個色度塊組成 ( U一個, V 一個 。一個 16*16亮度信息, 8*8色度信息。塊:8*8亮度, 8*8色度MPEG 視頻位流分層圖結(jié)構(gòu) P157圖 4.37三 . 幀間編碼技術(shù)MPEG 將圖像分成三種類型 :1. I 圖像(Intra PictureI 圖像( I幀就是靜態(tài)圖像,用 JPEG 幀內(nèi)壓縮的方法得到,壓縮比適度。2. P 圖像 (Predicted Picture 預(yù)測圖P 圖像( P幀由最近的 I 幀或 P 幀經(jīng)過預(yù)測編碼得到。稱為前向預(yù)測,可以作為下一個 B 或 P 參照圖像。3. B 圖像 (Bidirectional Picture 雙向預(yù)測圖B 圖像(B 幀可以

22、使用前一個和后一個圖像作參考圖像,也可以使用前后兩個參考圖像。 (雙向預(yù)測幀間編碼前向編碼后向編碼雙向預(yù)測幀 . 運動視頻流的組成四 . 運動補(bǔ)償技術(shù)主要用于消除 P.B 圖像在時間上的冗余,提高壓縮效率是在宏塊一級。 1.四種類型的宏塊I 塊 幀內(nèi)宏塊F 塊 前向預(yù)測宏塊B 塊 后向預(yù)測宏塊 A 塊 平均宏塊 (內(nèi)插宏塊、雙向預(yù)測宏塊2.三種類型的圖像:I 圖像B 圖像P 圖像3. 求運動矢量要解決兩個問題1 匹配算法:歸一化函數(shù)(4.15均方誤差(4.16幀間絕對差(4.172 搜索方法窮盡搜索法 MAD二維對數(shù)法 TDL 采用 MSE 均方誤差三步搜索法 9個點 /步 MSE均方誤差采用

23、繞參考點逐漸向外生長的方式 :五 . 幀內(nèi)編碼技術(shù)幀內(nèi)編碼技術(shù)與 JPEG 相同。4. 6. 3 MPEG-2國際標(biāo)準(zhǔn)1. MPEG-2與 MPEG-1的區(qū)別:可支持多種采樣格式 : 逐行 , 隔行。支持恒速率和變速率兩種格式。支持對比特流的編輯。MPEG -2是 MPEG -1的擴(kuò)展 , 豐富 , 完善。MPEG-2從 1.5M 100M 分成了很多的 Profile, 具有可擴(kuò)充性(Scalable .2.MPEG II 視頻數(shù)據(jù)流采用分層編碼技術(shù) :每個視頻節(jié)目接不同的空間分辨率和幀速率; MPEG 采用可擴(kuò)展性編碼的辦法逐步嵌入若干層結(jié)構(gòu),解碼時可以得到不同時間、空間分辨率的視頻信號。

24、3.MPEG2提供四種工具 :1 空間可擴(kuò)展性金字塔編碼技術(shù)低通濾波器 基本層比特流 STV預(yù)測層 HDTV2 時間可擴(kuò)充性可以跨過某些幀,形成基本圖象與 MPEG-1兼容。隔行 15幀 /秒逐行 60幀 /秒3 信噪比可擴(kuò)展性量化第一次量化第二次量化4:2:0 4:2:24 數(shù)據(jù)劃分優(yōu)先級不同的比特流(1. 頭信息 , 運動矢量,量化參數(shù),低頻 DCT 系數(shù)放到高優(yōu)先級(2. 將高頻 DCT 級數(shù)轉(zhuǎn)到低優(yōu)先級1. MPEG-4主要特點:(1 MPEG-4的編碼是基于對象的,這樣就便于操作和控制對象;可以實現(xiàn)許多基于內(nèi)容的交互性功能,主要用于基于內(nèi)容的多媒體數(shù)據(jù)存取、游戲或多媒體 家庭編輯、網(wǎng)上購物和電子商店、遠(yuǎn)程監(jiān)控、醫(yī)療和教學(xué)等。(2 MPEG-4 在擴(kuò)展性上具有很好的靈活性, 可進(jìn)行時域和空域的擴(kuò)展 (兼容 MP