信息傳輸基礎(chǔ)12課件

1、5.5 活動(dòng)圖像的預(yù)測編碼 電視畫面(包括廣播電視、會(huì)議電視、可視電話、 電視監(jiān)控)和各種動(dòng)態(tài)醫(yī)學(xué)影像等。視頻編碼：對活動(dòng)圖像的數(shù)據(jù)壓縮。常見的活動(dòng)圖像(序列圖像): 電視圖像的數(shù)字化格式我國的電視信號概述 (PAL制式主要掃描特性): 25幀/s , 625行/幀; 采用隔行掃描分為兩場, 每場有效信號是287.5行(由于 有25行用于場消隱),前一場傳奇數(shù)行,后一場傳偶數(shù)行; 顯示屏幕寬度與高度之比為4:3, 每行有(4/3)625=832 像素, 整屏有P=625 832=52000個(gè)像素; 最高信號頻率為25 520000/2=6500000Hz，我國規(guī)定 視頻帶寬為6MHz, 建議傳

2、輸帶寬也為6MHz。我國的彩色電視制式采用PAL-D(Phase Alternation Line,逐行倒相),為了能與黑白電視兼容, 把R、G、B信號變成Y(亮度)、U、V信號(U、V為色差信號, 即指基色信號中的R、G、B與亮度信號之差)；1982年2月，CCIR ( International Radio Consultative Committee, 現(xiàn)為ITU-R)的601建議(“演播室數(shù)字電視的編碼參數(shù)”),將R、G、B信號變成Y(亮度)、CB、CR信號(CB、CR為色差信號)。(5.5-1b)(5.5-1a)R、G、B信號變成Y、CB、CR信號的變換規(guī)則:Y、CB、CR 信號變成

3、R、G、B信號的變換規(guī)則:彩色電視信號的數(shù)字化格式CCIR 601規(guī)定對彩色電視信號的亮度和色差分別進(jìn)行編碼,稱為分量編碼或分離編碼(圖5.10)。低通濾波低通濾波低通濾波亮度編碼A/DA/DA/D復(fù)接色差編碼矩陣轉(zhuǎn)換編碼輸出RGBYCBCR圖5.10 分量編碼原理框圖選擇13.5MHz作為亮度信號的取樣頻率： 為了便于數(shù)字處理, 取樣結(jié)構(gòu)正好正交, 取樣頻 率必須為行頻的整數(shù)倍; 為與現(xiàn)有的3種國際電視制式統(tǒng)一,取樣頻率必 須是525和625行制式行頻的整數(shù)倍,即為兩種 制式行頻的最小公倍數(shù)2.25MHz的整數(shù)倍; 必須滿足Nyqust定理, 即取樣頻率必須大于亮 度信號帶寬(6MHz)的兩

4、倍。 4:2:2格式：為數(shù)字編碼的主標(biāo)準(zhǔn);4:4:4格式：可用于圖像信號源及特殊的高質(zhì)量視頻信號;2:1:1格式：可用于電子新聞采訪設(shè)備和窄帶傳輸?shù)妮^低 級、可兼容的標(biāo)準(zhǔn)格式彩色電視圖像的取樣格式：幀間編碼的基本依據(jù)：著重利用的是電視圖像信號中典型景物(Scene)的時(shí)間冗余度，最特殊的例子是電視中演講人片段的幀間差值(FD: Frame difference)統(tǒng)計(jì)特性,根據(jù)統(tǒng)計(jì),幀間差值一般不大: 對于變化緩慢的圖像序列（256級灰度圖像序列）:幀間差值超過3的像素?cái)?shù)不超過4%; 對于變化較為劇烈的圖像序列（彩色電視圖像序列）:對于亮度信號,幀間差值超過6的像素?cái)?shù)平均 只有7.5%;而對于色

5、度信號平均只有7.5 。 人的視覺感知特性彩色電視信號數(shù)碼率寫為電視幀頻fZ與每幀的總像素?cái)?shù)P的乘積)：r =(Y) fZ R+(Cr) fZ R+(Cb) fZ R = (Y) +(Cr) +(Cb) fZ R(5.5-4) P(): 可理解為圖像的細(xì)節(jié)或空間(Spatial)分辨率; R: 可以理解為圖像的灰度(Gray-level)或色彩層次分辨率; fZ :可理解為圖像的運(yùn)動(dòng)或時(shí)間(Temporal)分辨率。研究表明: 細(xì)節(jié)、運(yùn)動(dòng)及灰度等三個(gè)分辨參數(shù)實(shí)質(zhì)上是互相依賴的。 亮度掩蔽特性在背景較亮或較暗時(shí), 人眼對亮度不敏感的特性; 空間掩蔽特性指隨著空間變化頻率的提高, 人眼對細(xì)節(jié)分辨能

6、力下降的特性; 時(shí)間掩蔽特性指隨著時(shí)間變化頻率的提高, 人眼對細(xì)節(jié)分辨能力 的下降的特性。 人的視覺系統(tǒng)(HVS: Human Visual System)特性:非相關(guān)壓縮的幾個(gè)措施： PR轉(zhuǎn)換(空間-灰度分辨率轉(zhuǎn)換): P fZ 轉(zhuǎn)換(空間-時(shí)間分辨率轉(zhuǎn)換): R fZ 轉(zhuǎn)換(灰度-時(shí)間分辨率轉(zhuǎn)換): 利用視覺特性降低對色信號的帶寬及取樣率: 一個(gè)優(yōu)秀的電視圖像編碼器,應(yīng)能夠充分利用上述主觀視覺約束,自適應(yīng)地按圖像的局部特性最佳地調(diào)整這3個(gè)分辨參數(shù)到“夠用，但不浪費(fèi)”的程度。實(shí)現(xiàn)過程舉例：運(yùn)動(dòng)檢測運(yùn)動(dòng)時(shí) 幀頻增加 靜止時(shí) 重發(fā)前一幀邊緣檢測輪廓部分 增加采樣率，降低量化位數(shù)平坦部分 降低采樣

7、率，增加量化位數(shù)1970年代初, Haskell重點(diǎn)考慮了采用CFR法的幀內(nèi)/幀間復(fù)合預(yù)測模式; 1980年代初, 開始對運(yùn)動(dòng)補(bǔ)償(MC)預(yù)測所用的運(yùn)動(dòng)估值技術(shù)進(jìn)行研究; 1988年形成草案,1990年通過的ITU-T H.261建議, 標(biāo)志著“簡單幀間預(yù)測+MC(或有條件地切換為幀內(nèi)編碼)+DCT”的幀間編碼主體技術(shù)框架迅速走向?qū)嵱?1990年代初相繼提出的MPEG-1、MPEG-2和H.263等視頻標(biāo)準(zhǔn),都是在H.261的幀間編碼主體技術(shù)框架的基礎(chǔ)上發(fā)展和改進(jìn)的。電視圖像的典型景物特點(diǎn)運(yùn)動(dòng)補(bǔ)償預(yù)測建立在對電視圖像運(yùn)動(dòng)景物分析的基礎(chǔ)上?？梢曤娫拡D像序列： 背景區(qū) 運(yùn)動(dòng)物體區(qū) 暴露區(qū) 第 幀第

8、-1幀背景區(qū)暴露區(qū)運(yùn)動(dòng)物體位移dx圖5.12 可視電話的典型景物示意這3類區(qū)域都存在幀間相關(guān)性，都可以作為壓縮編碼的依據(jù)。會(huì)議電視圖像序列可類比可視電話的3類區(qū)域劃分；廣播電視圖像則靈活多變，可以看成上述幾類各有特點(diǎn)的序列圖像的復(fù)雜組合，總有一定程度的幀間相關(guān)性可利用。運(yùn)動(dòng)補(bǔ)償預(yù)測運(yùn)動(dòng)補(bǔ)償幀間預(yù)測編碼是目前廣為應(yīng)用的H.261、H.263和MPEG-1、MPEG-2等視頻壓縮國際標(biāo)準(zhǔn)的主體框架，是當(dāng)前最實(shí)用的高效混合編碼方法，編碼器框圖如圖5.13所是示。DCTVLCQQ-1DCT-1MCME幀存運(yùn)動(dòng)矢量MV碼流輸出圖像輸入-圖5.13 運(yùn)動(dòng)補(bǔ)償幀間預(yù)測編碼器框圖運(yùn)動(dòng)補(bǔ)償幀間預(yù)測的技術(shù)組成主要

9、有: 圖像分割:把圖像劃分為靜止和運(yùn)動(dòng)的兩個(gè)部分; 運(yùn)動(dòng)估值: 估計(jì)物體的位移值, 得到運(yùn)動(dòng)矢量;運(yùn)動(dòng)補(bǔ)償:用運(yùn)動(dòng)矢量補(bǔ)償(或抵消)物體的運(yùn)動(dòng)效果, 再進(jìn)行預(yù)測; 預(yù)測信息編碼:包括幀間預(yù)測誤差和運(yùn)動(dòng)矢量。 活動(dòng)圖像的運(yùn)動(dòng)估值活動(dòng)圖像編碼所關(guān)心的：被攝物體與攝象機(jī)之間相對運(yùn)動(dòng)所造成的物體的像的二維運(yùn)動(dòng)，和估計(jì)該二維運(yùn)動(dòng)的有效方法。本書只介紹空間域進(jìn)行的運(yùn)動(dòng)估值。兩種常用方法： 像素遞歸法 塊匹配法像素遞歸法PRA(Pixel Recursive Algorithm)基本思想:對當(dāng)前幀運(yùn)動(dòng)區(qū)域中某一像素S(x, y), 在前一幀某一位移處找到一個(gè)同灰度值的像素S-1(x-dx, y-dy), 位

10、移d= (dx, dy)T代表S(x, y)真實(shí)的運(yùn)動(dòng)矢量。傳輸時(shí)，讓接收端在與發(fā)送端同樣的條件下，用與發(fā)送端相同的方法進(jìn)行運(yùn)動(dòng)估值。代價(jià)是接收端較復(fù)雜，不利于一發(fā)多收(SDTV/HDTV、VCD/DVD等)的應(yīng)用，但這種方法估計(jì)精度高，能滿足運(yùn)動(dòng)補(bǔ)償幀內(nèi)插的要求。塊匹配法BMA(Block Matching Algorithm)目前最常用的一類運(yùn)動(dòng)估值方法，有關(guān)活動(dòng)圖像的國際標(biāo)準(zhǔn)H.261/H.263和MPEG-1/2等都采用了該方法。幀NM像素塊NMdxmaxdymaxN+2dxmaxM+2dymax-1幀的搜索區(qū)圖5.14 待匹配塊與搜索區(qū)的幾何關(guān)系 歸一化互相關(guān)函數(shù)(NCCF) 均方誤

11、差(MSE) 最小絕對差(MAD)衡量匹配效果的常用準(zhǔn)則：其中MAD準(zhǔn)則無需乘法, 便于計(jì)算和硬件實(shí)現(xiàn),用得最多, MAD定義為：(5.5-9)式中(i, j)T即為運(yùn)動(dòng)矢量, 若在某一(i, j)T處MAD(i, j)最小,則該點(diǎn)就是最優(yōu)匹配點(diǎn)。最優(yōu)匹配的搜索算法：最簡單可靠的是全搜索法 (FSM:Full Search Method)簡單劃一,有利于專用硬件實(shí)現(xiàn),而且最大優(yōu)點(diǎn)還在于找到的匹配點(diǎn)必為全局最優(yōu)點(diǎn)。FSM算法計(jì)算代價(jià)太大形形色色的塊匹配快速搜索算法只在搜索區(qū)的部分稀疏點(diǎn)針上進(jìn)行匹配，但可能會(huì)漏掉某些全局最優(yōu)點(diǎn)，導(dǎo)致匹配精度降低。但只要精心設(shè)計(jì)，就能夠在性能降低很小的代價(jià)下大大減小

12、MAD計(jì)算的點(diǎn)數(shù)。運(yùn)動(dòng)估值的實(shí)時(shí)性和估計(jì)精度是一對矛盾目前技術(shù)條件下，塊匹配法已能夠滿足實(shí)時(shí)性和精度的要求，因而是一種實(shí)用的運(yùn)動(dòng)估值方法。在實(shí)用中還必須選擇合適塊尺寸、提高估計(jì)精度、改進(jìn)運(yùn)動(dòng)矢量場的一致性以及解決塊內(nèi)運(yùn)動(dòng)的不一致性。預(yù)測編碼在總體框架上已經(jīng)相當(dāng)成熟并且廣為應(yīng)用，適用與對相關(guān)信源的各種編碼要求（無論是信息保持型還是限失真壓縮），但由于高效實(shí)時(shí)視頻壓縮的巨大計(jì)算量，還是希望以運(yùn)動(dòng)估值為代表的運(yùn)動(dòng)補(bǔ)償預(yù)測技術(shù)能夠繼續(xù)挖掘自身的潛力，不斷開拓。小結(jié)：6 變換編碼利用條件概率編碼在前面的課程中，我們討論了壓縮數(shù)據(jù)在空間和時(shí)間區(qū)域上的冗余量的預(yù)測編碼方法。該方法的最大特點(diǎn)是直觀、簡潔、易于

13、實(shí)現(xiàn)，特別是容易設(shè)計(jì)處具有實(shí)時(shí)性的硬件結(jié)構(gòu)，因而在對傳輸速度要求很高的應(yīng)用照哦給你，大多選用DPCM方法，但是預(yù)測編碼的最大不足在于壓縮能力有限具有更高壓縮能力的方法和目前最為成熟的方法是變換編碼，特別是正交變換編碼和小波變換編碼都是具有很強(qiáng)的數(shù)據(jù)壓縮能力第6章變換編碼預(yù)測編碼原始數(shù)據(jù)精確地預(yù)測源數(shù)據(jù)對信源建模變換編碼原始數(shù)據(jù)更為“緊湊”的表示空間變換變換編碼可以獲得比預(yù)測編碼更高效的數(shù)據(jù)壓縮性能主要內(nèi)容1基本原理2離散正交變換3靜止圖像變換編碼6.1 基本原理原始數(shù)據(jù)映射變換量化編碼信道解碼反量化反映射變換恢復(fù)數(shù)據(jù)能夠產(chǎn)生一系列更加有效的系數(shù)，對這些系數(shù)進(jìn)行編碼所需要的總比特?cái)?shù)，要比原始數(shù)據(jù)

14、所需的總比特?cái)?shù)少得多，使得數(shù)據(jù)率得以降低映射變換函數(shù)變換正交變換傅里葉變換：利用復(fù)數(shù)域正交變換（酉變換）將一個(gè)函數(shù)從時(shí)域描述變?yōu)轭l域的頻譜展開。適合周期性的信號表達(dá)：語音信號的濁音、生物醫(yī)學(xué)的心電圖、腦電圖以及具有周期性的遙感信號等。例.1 對一個(gè)緩變信號的取樣值采用位編碼，則兩個(gè)相鄰樣本樣本能量相對向軸相對地集中，但樣本方差總和并未因坐標(biāo)旋轉(zhuǎn)而變變換后各坐標(biāo)軸上方差的不均勻分布，為數(shù)據(jù)壓縮編碼創(chuàng)造了條件正交變換實(shí)現(xiàn)數(shù)據(jù)壓縮的物理本質(zhì)經(jīng)過多維坐標(biāo)系中適當(dāng)?shù)男D(zhuǎn)和變換，能夠把散布在各個(gè)坐標(biāo)軸上的原始數(shù)據(jù)，在新的、適當(dāng)?shù)淖鴺?biāo)系中集中到少數(shù)坐標(biāo)軸上，因此可能用較少的編碼位數(shù)來表示一組信號樣本，實(shí)現(xiàn)高效率的壓縮編碼廣義變換編碼數(shù)據(jù)樣本單位區(qū)間內(nèi)的實(shí)數(shù)預(yù)測誤差變換系數(shù)游程編碼算術(shù)編碼預(yù)測編碼變換編碼6.2離散正交變換基本概念線性變換定義設(shè)為維列向量，定義的一個(gè)線性變換為：其中稱為此變換的核矩陣（x維），為變換結(jié)果，稱為的像正交變換定義如果線性變換保持維矢量的模不變，稱為正交變換。此時(shí)，為正交矩陣，正交矩陣的個(gè)行向量相互正交。且一定為實(shí)方陣，并滿是充要條件。構(gòu)成正交矩陣的充分必要條件為單位矩陣，因此有變換后可以得到構(gòu)造正交變換矩陣對反映相關(guān)性的統(tǒng)計(jì)特性的協(xié)方差矩陣進(jìn)行分析：（.2-4）其元素：為實(shí)對稱矩