第六章 圖像編碼

第六章圖像編碼 6 1概述6 2基本理論6 3霍夫曼編碼6 4無(wú)損預(yù)測(cè)編碼6 5有損預(yù)測(cè)編碼6 6變換編碼6 7圖像壓縮標(biāo)準(zhǔn) 6 1概述 一 圖像壓縮編碼必要性容量很大 存儲(chǔ) 處理和傳輸困難 二 圖像壓縮編碼的可能性1 相鄰象素 幀對(duì)應(yīng)象素 間相關(guān)性大 冗余大 2 利用人的視覺特性 人眼分辨率有限等 如電視 中隔行掃描 3 從信息論角度 消除 減少 圖像信息中的冗余 無(wú)用和重復(fù) 數(shù)據(jù) 6 1概述 三 圖像壓縮編碼1 數(shù)據(jù)壓縮 對(duì)給定量信息 設(shè)法減少表達(dá)這些信息的數(shù)據(jù)量 2 方法 壓縮掉冗余數(shù)據(jù) 統(tǒng)計(jì)角度 將原圖轉(zhuǎn)化為盡可能不相關(guān)數(shù)據(jù)集 3 圖像編碼 對(duì)圖像信息進(jìn)行壓縮編碼 在存儲(chǔ) 處理和傳輸前進(jìn)行 4 圖像解碼 對(duì)壓縮圖像進(jìn)行解壓以重建原圖或其近似圖像稱為圖像解碼 6 1概述 四 圖像壓縮方法分類不同目的 不同應(yīng)用等有不同分類方法 常按壓縮前及解壓后的保真程度分類 1 信息保持 存 型減少或去除冗余數(shù)據(jù) 同時(shí)保持信息不變 即壓縮 解壓中無(wú)信息損失 也稱無(wú)失真 無(wú)損 可逆型 多用于圖像存檔 目前壓縮率CR 2 10 6 1概述 2 信息損失型以犧牲部分信息為代價(jià) 來(lái)獲取高壓縮率 也稱有損壓縮 解壓后得到原圖像之近似 3 特征抽取法在圖像分析 分類與識(shí)別中 僅對(duì)于實(shí)際需要的 提取 特征信息進(jìn)行編碼 可大大壓縮數(shù)據(jù)量 實(shí)際屬于信息損失型 6 1概述 根據(jù)壓縮編碼基于的理論可分為 第一代壓縮編碼八十年代以前 主要是根據(jù)傳統(tǒng)的信源編碼方法 第二代壓縮編碼八十年代以后 突破信源編碼理論 結(jié)合分形 模型基 神經(jīng)網(wǎng)絡(luò) 小波變換等數(shù)學(xué)工具 充分利用視覺系統(tǒng)生理心理特性和圖像信源的各種特性 6 1概述 6 1概述 6 2基本理論 一 數(shù)據(jù)冗余 一 概念1 數(shù)據(jù)是信息的載體 2 數(shù)據(jù)冗余 代表無(wú)用信息或重復(fù)表示了其他數(shù)據(jù)已表示的信息的數(shù)據(jù) 3 數(shù)學(xué)表示 1 壓縮率 比 CR n1 n2 6 2基本理論 2 相對(duì)數(shù)據(jù)冗余 RD 1 1 CR例 CR 20 RD 19 20 二 圖像壓縮中的3種冗余編碼冗余像素冗余視覺心理冗余 6 2基本理論 編碼冗余 如果一個(gè)圖像的灰度級(jí)編碼 使用了多于實(shí)際需要的編碼符號(hào) 就稱該圖像包含了編碼冗余 例 如果用8位表示該圖像的像素 我們就說(shuō)該圖像存在著編碼冗余 因?yàn)樵搱D像的像素只有兩個(gè)灰度 用一位即可表示 6 2基本理論 像素冗余 由于任何給定的像素值 原理上都可以通過(guò)它的鄰居預(yù)測(cè)到 單個(gè)像素?cái)y帶的信息相對(duì)是小的 對(duì)于一個(gè)圖像 很多單個(gè)像素對(duì)視覺的貢獻(xiàn)是冗余的 這是建立在對(duì)鄰居值預(yù)測(cè)的基礎(chǔ)上 例 原圖像數(shù)據(jù) 234223231238235壓縮后數(shù)據(jù) 234 1 27 3 6 2基本理論 視覺心理冗余 一些信息在一般視覺處理中比其它信息相對(duì)重要程度要小 這種信息就被稱為視覺心理冗余 6 2基本理論 去掉視覺冗余的過(guò)程稱為量化 它是信息損失型 第二代編碼方法就是基于心理視覺冗余 電視廣播中的隔行掃描就是常見的例子 三 結(jié)論1 因?yàn)榇嬖跀?shù)據(jù)冗余 改變信息描述方法 可壓縮掉這些冗余 2 因?yàn)橐曈X冗余 忽略一些視覺不太明顯的微小差異 可進(jìn)行所謂的 有損壓縮 6 2基本理論 二 圖像保真度保真度標(biāo)準(zhǔn) 評(píng)價(jià)壓縮算法的標(biāo)準(zhǔn)客觀保真度標(biāo)準(zhǔn)主觀保真度標(biāo)準(zhǔn) 6 2基本理論 客觀保真度標(biāo)準(zhǔn)如果信息丟失的級(jí)別 可以表示為原始或輸入圖像與壓縮后又解壓縮輸出的圖像的函數(shù) 這個(gè)函數(shù)就被稱為客觀保真度標(biāo)準(zhǔn) 一般表示為 e x y f x y f x y f x y 是輸入圖像 f x y 是壓縮后解壓縮的圖像 e x y 是誤差函數(shù) 6 2基本理論 兩個(gè)圖像之間的總誤差 M 1N 1 f x y f x y x 0y 0均方根誤差 rms M 1N 1 erms 1 MN f x y f x y 2 1 2x 0y 0 6 2基本理論 輸出圖的均方信噪比SNRms為 如果令fmax max f x y x 0 1 M 1 y 0 1 N 1 即圖像中的灰度最大值 則可得到另一個(gè)常用的準(zhǔn)則峰值信噪比PSNR 6 2基本理論 主觀保真度標(biāo)準(zhǔn)通過(guò)視覺比較兩個(gè)圖像 給出一個(gè)定性的評(píng)價(jià) 如很粗 粗 稍粗 相同 稍好 較好 很好 這種評(píng)價(jià)被稱為主觀保真度標(biāo)準(zhǔn) 6 2基本理論 三 圖像編解碼過(guò)程 圖像編解碼過(guò)程 6 2基本理論 四 無(wú)失真信源編碼定理信源中符號(hào)的編碼長(zhǎng)度的平均碼長(zhǎng)下限是信源的熵 這一結(jié)論對(duì)于圖像信源同樣實(shí)用 6 3霍夫曼編碼 霍夫曼編碼 1 基本思想通過(guò)減少編碼冗余來(lái)達(dá)到壓縮的目的 基本思想是統(tǒng)計(jì)一下符號(hào)的出現(xiàn)概率 建立一個(gè)概率統(tǒng)計(jì)表 將最常出現(xiàn) 概率大的 的符號(hào)用最短的編碼 最少出現(xiàn)的符號(hào)用最長(zhǎng)的編碼 6 3霍夫曼編碼 霍夫曼編碼 2 算法實(shí)現(xiàn)首先求出圖像中灰度分布的灰度直方圖 根據(jù)該直方圖 對(duì)其按照分布概率從小到大的順序進(jìn)行排列 每一次從中選擇出兩個(gè)概率為最小的節(jié)點(diǎn)相加 形成一個(gè)新的節(jié)點(diǎn) 構(gòu)造一個(gè)稱為 Huffman樹 的二叉樹 對(duì)這個(gè)二叉樹進(jìn)行編碼 就獲得了Huffman編碼碼字 6 3霍夫曼編碼 例如 aaaabbbccdeeeeefffffff分布為 a 4 22b 3 22c 2 22d 1 22e 5 22f 7 22排序?yàn)?d c b a e f1 222 223 224 225 227 22 f 7 22 5 22 4 22 2 22 1 0 f 11e 01a 00b 101c 1001d 1000 1 22 3 22 6 22 22 22 13 22 9 22 3 22 1 0 1 0 1 0 1 0 6 3霍夫曼編碼 6 3霍夫曼編碼 霍夫曼編碼靜態(tài)編碼在壓縮之前就建立好一個(gè)概率統(tǒng)計(jì)表和編碼樹 算法速度快 但壓縮效果不是最好動(dòng)態(tài)編碼對(duì)每一個(gè)圖像 臨時(shí)建立概率統(tǒng)計(jì)表和編碼樹 算法速度慢 但壓縮效果最好 6 4無(wú)損預(yù)測(cè)編碼 無(wú)損預(yù)測(cè)編碼 1 編碼思想a 去除像素冗余 b 認(rèn)為相鄰像素的信息有冗余 當(dāng)前像素值可以用以前的像素值來(lái)獲得 c 用當(dāng)前像素值fn 通過(guò)預(yù)測(cè)器得到一個(gè)預(yù)測(cè)值 fn 對(duì)當(dāng)前值和預(yù)測(cè)值求差 對(duì)差編碼 作為壓縮數(shù)據(jù)流中的下一個(gè)元素 由于差比原數(shù)據(jù)要小 因而編碼要小 可用變長(zhǎng)編碼 大多數(shù)情況下 fn的預(yù)測(cè)是通過(guò)m個(gè)以前像素的線性組合來(lái)生成的 6 4無(wú)損預(yù)測(cè)編碼 即 mfn round ifn i i 1在一維線性 行預(yù)測(cè) 預(yù)測(cè)編碼中 預(yù)測(cè)器為 mfn x y round if x y i i 1round為取最近整數(shù) i為預(yù)測(cè)系數(shù) 可為1 m y是行變量 d 前m個(gè)像素不能用此法編碼 可用哈夫曼編碼 6 4無(wú)損預(yù)測(cè)編碼 6 4無(wú)損預(yù)測(cè)編碼 舉例 mfn round ifn i i 1F 154 159 151 149 139 121 112 109 129 m 2 1 2預(yù)測(cè)值f2 1 2 154 159 156e2 151 156 5f3 1 2 159 151 155e3 149 155 6f4 1 2 151 149 150e4 139 150 11f5 1 2 149 139 144e5 121 144 23f6 1 2 139 121 130e6 112 130 18f7 1 2 121 112 116e6 109 116 7f8 1 2 112 109 110e6 129 110 19 6 4無(wú)損預(yù)測(cè)編碼 無(wú)損預(yù)測(cè)編碼2 編碼第一步 壓縮頭處理第二步 對(duì)每一個(gè)符號(hào) f x y 由前面的值 通過(guò)預(yù)測(cè)器 求出預(yù)測(cè)值 f x y 第三步 求出預(yù)測(cè)誤差e x y f x y f x y 第四步 對(duì)誤差e x y 編碼 作為壓縮值 重復(fù)二 三 四步 6 4無(wú)損預(yù)測(cè)編碼 無(wú)損預(yù)測(cè)編碼編碼 符號(hào)編碼 預(yù)測(cè)器 最接近的整數(shù) 壓縮圖像 輸入圖像 en fn fn 6 4無(wú)損預(yù)測(cè)編碼 無(wú)損預(yù)測(cè)編碼3 解碼第一步 對(duì)頭解壓縮第二步 對(duì)每一個(gè)預(yù)測(cè)誤差的編碼解碼 得到預(yù)測(cè)誤差e x y 第三步 由前面的值 得到預(yù)測(cè)值 f x y 第四步 誤差e x y 與預(yù)測(cè)值 f x y 相加 得到解碼f x y 重復(fù)二 三 四步 6 4無(wú)損預(yù)測(cè)編碼 無(wú)損預(yù)測(cè)編碼解碼 符號(hào)解碼 預(yù)測(cè)器 解壓縮圖像 壓縮圖像 en fn fn 6 5有損預(yù)測(cè)編碼 有損壓縮引言有損壓縮是通過(guò)犧牲圖像的準(zhǔn)確率來(lái)達(dá)到加大壓縮率的目的 如果我們?nèi)萑探鈮嚎s后的結(jié)果中有一定的誤差 那么壓縮率可以顯著提高 有損壓縮方法在圖像壓縮比大于30 1時(shí)仍然能夠重構(gòu)圖像 而如果壓縮比為10 1到20 1 則重構(gòu)的圖像與原圖幾乎沒(méi)有差別無(wú)損壓縮的壓縮比很少有能超過(guò)3 1的 這兩種壓縮方法的根本差別在于有沒(méi)有量化模塊 6 5有損預(yù)測(cè)編碼 源數(shù)據(jù)編碼與解碼的模型 復(fù)習(xí) 源數(shù)據(jù)編碼的模型源數(shù)據(jù)解碼的模型 符號(hào)解碼器 反向映射器 映射器 量化器 符號(hào)編碼器 6 5有損預(yù)測(cè)編碼 量化器基本思想 減少數(shù)據(jù)量的最簡(jiǎn)單的辦法是將圖像量化成較少的灰度級(jí) 通過(guò)減少圖像的灰度級(jí)來(lái)實(shí)現(xiàn)這種量化是不可逆的 因而解碼時(shí)圖像有損失 s t s1 s2 s3 t1 t2 t3 如果輸入是256個(gè)灰度級(jí) 對(duì)灰度級(jí)量化后輸出 只剩下4個(gè)層次 數(shù)據(jù)量被大大減少 6 5有損預(yù)測(cè)編碼 有損預(yù)測(cè)的基本思想對(duì)無(wú)損預(yù)測(cè)壓縮的誤差進(jìn)行量化 通過(guò)消除視覺心理冗余 達(dá)到對(duì)圖像進(jìn)一步壓縮的目的 算法的演變a 無(wú)損預(yù)測(cè)壓縮的基礎(chǔ)是 原圖像值fn與預(yù)測(cè)值 fn之間的誤差en 有公式 en fn fn解碼與編碼使用相同的預(yù)測(cè)器 6 5有損預(yù)測(cè)編碼 編碼en fn fn 符號(hào)編碼 預(yù)測(cè)器 最接近的整數(shù) 壓縮圖像 輸入圖像 en fn fn m fn x y round if x y i i 1 mi 1 6 5有損預(yù)測(cè)編碼 解碼fn en fn 符號(hào)解碼 預(yù)測(cè)器 解壓縮圖像 壓縮圖像 en fn fn 6 5有損預(yù)測(cè)編碼 算法的演變b 有損預(yù)測(cè)的演變 將en量化 n Q en 用 fn n fn近似fn編碼 n Q fn fn 解碼 fn n fn 6 5有損預(yù)測(cè)編碼 有損預(yù)測(cè)編碼 n Q fn fn 符號(hào)編碼 預(yù)測(cè)器 壓縮圖像 輸入圖像 en fn fn 量化器 n 6 5有損預(yù)測(cè)編碼 有損預(yù)測(cè)解碼 fn n fn 符號(hào)解碼 預(yù)測(cè)器 解壓縮圖像 壓縮圖像 fn fn n 6 5有損預(yù)測(cè)編碼 有損預(yù)測(cè)編碼上述方案的壓縮編碼中 預(yù)測(cè)器的輸入是fn 而解壓縮中的預(yù)測(cè)器的輸入是 fn 要使用相同的預(yù)測(cè)器 編碼方案要進(jìn)行修改 6 5有損預(yù)測(cè)編碼 修改后的有損預(yù)測(cè)編碼 n Q fn fn 符號(hào)編碼 預(yù)測(cè)器 壓縮圖像 輸入圖像 en fn fn 量化器 n fn fn n fn 6 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼量化器和預(yù)測(cè)器的定義 量化器 en 0 是一個(gè)正常數(shù) 其它 en用1位編碼預(yù)測(cè)器 fn fn 1 一般是一個(gè)小于1的預(yù)測(cè)系數(shù) en 5 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼量化器 6 5 6 5 e e 6 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼舉例 1 6 5輸入編碼解碼誤差nf fe e f f ff f014 14 0 14 00 011514 01 06 520 514 020 5 5 521420 5 6 5 6 514 020 514 00 031514 01 06 520 514 020 5 5 5 142920 58 56 527 020 527 02 0153727 010 06 533 527 033 53 5164733 513 56 540 033 540 07 0176240 022 06 546 540 046 515 5 6 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼舉例 1 6 5計(jì)算 n 0 f0 f0 14 n 1 f1 1 14 14 e1 15 14 1 e1 6 5 因?yàn)閑1 0 f1 6 5 14 20 5 重構(gòu)結(jié)果 f1 f1 15 20 5 5 5 重構(gòu)誤差 6 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼算法分析 粒狀噪音 溢出過(guò)載 6 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼算法分析在n 14到19變化快的區(qū)域 太小以至不能表示輸入的最大的變化 發(fā)生一個(gè)被稱為溢出過(guò)載的失真 在n 0到7相對(duì)平滑的區(qū)域 太大以至不能表示輸入的最小變化 出現(xiàn)了粒狀噪音 在大多數(shù)圖像中 這兩種現(xiàn)象導(dǎo)致對(duì)象邊緣的鈍化和平滑區(qū)域表面粒狀的失真 6 5有損預(yù)測(cè)編碼 DM Deltamodulation 有損預(yù)測(cè)編碼算法分析在所有有損預(yù)測(cè)壓縮中都會(huì)出現(xiàn)誤差 誤差的嚴(yán)重程度取決于使用的量化方法和預(yù)測(cè)方法之間的相互作用 盡管存在這種相互作用 定義預(yù)測(cè)函數(shù)時(shí)仍然假定沒(méi)有量化誤差 而定義量化函數(shù)時(shí)僅是盡可能地降低它自身的誤差 即量化函數(shù)和預(yù)測(cè)函數(shù)是分別定義的 6 6變換編碼 變換編碼的基本思想 1 用一個(gè)可逆的 線性的變換 如傅立葉變換 把圖像映射到變換系數(shù)集合 2 然后對(duì)該系數(shù)集合進(jìn)行量化和編碼 3 對(duì)于大多數(shù)自然圖像 重要系數(shù)的數(shù)量是比較少的 因而可以用量化 或完全拋棄 且僅以較小的圖像失真為代價(jià) 6 6變換編碼 變換編碼的基本思想 舉例原始圖像相應(yīng)的DCT系數(shù) 52556166706164736359669010985697262596811314410466736358711221541067069676168104126886870796560707768587585716459556165838779696865767894 415 29 622555 20 137 21 62911 7 66 46877 25 30107 5 501335 15 960311 8 13 2 11 41 1013 3 102 1 4 12 12 31 2 1 1 1 2 1 10 1 6 6變換編碼 變換編碼的基本思想編碼 解碼流程 符號(hào)解碼器 逆向變換 正向變換 量化器 符號(hào)編碼器 構(gòu)造nxn的子圖 合成nxn的子圖 輸入圖像NxN 壓縮圖像 壓縮的圖像 解壓圖像 6 6變換編碼 變換編碼的基本思想構(gòu)造nxn的子圖 NxN nxn nxn nxn nxn nxn nxn 6 6變換編碼 變換編碼的基本理論變換編碼的基本原理將傅立葉逆變換表達(dá)式進(jìn)行改寫 F u v 改為 T u v exp j2 ux vy n 改為 h x y u v n 1n 1有 f x y T u v h x y u v u 0v 0變換壓縮的基本思想 就是要用等式的右部近似原圖像 6 6變換編碼 變換編碼的基本理論變換編碼的基本原理進(jìn)一步改寫n 1n 1F T u v Huvu 0v 0其中 1 F是一個(gè)包含了f x y 的象素的nxn的矩陣 2 Huv的值只依賴坐標(biāo)變量x y u v與T u v 和f x y 的值無(wú)關(guān) 被稱為基圖像 可以在變換前一次生成 對(duì)每一個(gè)nxn的子圖變換都可以使用 6 6變換編碼 變換編碼的基本理論基圖像Hh 0 0 u v h 0 1 u v h 0 n 1 u v h 1 0 u v h 1 1 u v h 1 n 1 u v Huv h n 1 0 u v h n 1 1 u v h n 1 n 1 u v 6 6變換編碼 變換編碼的基本理論變換系數(shù)截取模板函數(shù)通過(guò)定義變換系數(shù)截取模板函數(shù) 消去冗余0如果T u v 滿足一個(gè)特定的截?cái)鄻?biāo)準(zhǔn)m u v 1否則n 1n 1對(duì)于 F T u v Huvu 0v 0 11110000 11110000 11100000 11000000 10000000 00000000 00000000 00000000 6 6變換編碼 變換編碼的基本理論變換系數(shù)截取模板函數(shù)對(duì)于u v 0 1 n 1 F的一個(gè)近似 可以從截?cái)啾磉_(dá)式獲得 n 1n 1 F T u v m u v Huvu 0v 0其中m u v 被構(gòu)造 用來(lái)消去對(duì)等式的總合貢獻(xiàn)最小的基本圖像 6 6變換編碼 實(shí)現(xiàn)變換壓縮算法的主要問(wèn)題變換的選擇子圖尺寸的選擇壓縮的位分配 編碼 正向變換 量化器 符號(hào)編碼器 構(gòu)造nxn的子圖 輸入圖像NxN 壓縮圖像 6 6變換編碼 變換壓縮方法主要研究的問(wèn)題變換的選擇 1 可以選擇的變換1 Karhunen Loeve變換 KLT 2 離散傅立葉變換 DFT F u v 1 N f x y exp j2 ux vy N u v 0 1 2 N 1 并且f x y F u v exp j2 ux vy N x y 0 1 2 N 1 6 6變換編碼 變換的選擇3 離散余弦變換 DCT C u v u v f x y cos 2x 1 u 2N cos 2y 1 v 2N f x y u v C u v cos 2x 1 u 2N cos 2y 1 v 2N 4 Walsh Hadamard變換 WHT 5 小波變換 6 6變換編碼 變換的選擇 2 對(duì)變換的評(píng)價(jià)按信息封裝能力排序 KLT DCT DFT WHT HaarT但KLT的基圖像是數(shù)據(jù)依賴的 每次都要重新計(jì)算Huv 因而很少使用 DFT的塊效應(yīng)嚴(yán)重 常用的是DCT 已被國(guó)際標(biāo)準(zhǔn)采納 作成芯片 其優(yōu)點(diǎn)有 1 基本沒(méi)有塊效應(yīng)2 信息封裝能力強(qiáng) 把最多的信息封裝在最少的系數(shù)中 6 6變換編碼 變換壓縮方法主要研究的問(wèn)題子圖尺寸的選擇子圖尺寸的選擇有兩個(gè)原則 1 如果n是子圖的維數(shù) n應(yīng)該是2的整數(shù)次方 為便于降低計(jì)算復(fù)雜度 2 n一般選為8x8或16x16 由實(shí)踐得到 3 隨著n的增加 塊效應(yīng)相應(yīng)減少 6 6變換編碼 變換壓縮方法主要研究的問(wèn)題壓縮位的分配定義 截取 量化 系數(shù)編碼統(tǒng)稱為位分配解決m u v 的設(shè)計(jì) 編碼問(wèn)題截取和量化一般有兩種方法 1 子帶編碼 2 閾值編碼 適應(yīng)性編碼 6 6變換編碼 壓縮位的分配 1 子帶編碼基本思想 所有子圖像使用相同的編碼模板因?yàn)?大部分的信息應(yīng)該包含在最大方差的變換系數(shù)中 每一個(gè)DCT變換系數(shù)被認(rèn)為是一個(gè)隨機(jī)變量 該變量的分布可以在所有變換子圖像的集合上進(jìn)行計(jì)算 找出取最大方差的m個(gè)系數(shù)的位置 并同時(shí)確定系數(shù)的坐標(biāo)u和v 對(duì)所有子圖像 這m個(gè)系數(shù)的T u v 值是保留的 其他的T值被拋棄 其中m是一個(gè)可選常數(shù) 6 6變換編碼 1 方差本身可以直接由 N n 2個(gè)變換子圖像數(shù)組的集合計(jì)算得到 2 或者基于一個(gè)假想的圖像模型得到 3 根據(jù)最大方差的分布情況得到系數(shù)截取模板4 方差最大的地方置1 其它地方置0 11111000 11110000 11100000 11000000 10000000 00000000 00000000 00000000 消去87 5 的系數(shù)的模板為 6 6變換編碼 算法實(shí)現(xiàn) 1 計(jì)算模板 方差最大的地方置1 其它地方置02 量化系數(shù) 例如最優(yōu)Lloyd Max量化器3 結(jié)果編碼 有兩種分配二進(jìn)制位的編碼方法 1 系數(shù)被賦予相同數(shù)量的二進(jìn)制位 2 系數(shù)之間固定地分配一定的二進(jìn)制位 6 6變換編碼 壓縮位的分配系數(shù)之間固定地分配一定的二進(jìn)制位的用位模板 87643210 76543210 65433110 44332100 33321100 22111000 11100000 00000000 6 6變換編碼 壓縮位的分配 2 閾值編碼 適應(yīng)性編碼 基本思想 沒(méi)有一個(gè)消取系數(shù)的固定模板 不同的子圖保留不同的系數(shù) 通過(guò)一個(gè)閾值T 來(lái)決定一個(gè)系數(shù)的去留 Ifa 系數(shù) T 閾值 m u v 1Elsem u v 0由于其簡(jiǎn)單性 閾值編碼是實(shí)際應(yīng)用中更常使用的編碼方法 6 6變換編碼 壓縮位的分配 2 閾值編碼 適應(yīng)性編碼 理論根據(jù) 1 取值最大的變換系數(shù) 在重構(gòu)子圖的質(zhì)量中起的作用也最重要 2 最大系數(shù)的分布隨子圖的不同而不同 11010000 11110000 11000000 10000000 00000000 00000000 00000000 00000000 6 6變換編碼 壓縮位的分配 2 閾值編碼 適應(yīng)性編碼 算法實(shí)現(xiàn)思想 a 閾值的選取 常有三種取法 1 所有子圖使用同一個(gè)全局閾值 壓縮率的大小隨圖像的不同而不同 由超過(guò)全局閾值的系數(shù)的個(gè)數(shù)所決定 6 6變換編碼 壓縮位的分配 2 閾值編碼 適應(yīng)性編碼 算法實(shí)現(xiàn)思想 a 閾值的選取 常有三種取法 2 對(duì)每個(gè)子圖使用不同的閾值 每個(gè)子圖保留的系數(shù)的個(gè)數(shù)事先確定 即總保留N個(gè)最大的 稱為N 最大化編碼 對(duì)于每個(gè)子圖同樣多的系數(shù)被丟棄 因此 每個(gè)子圖的壓縮率是相同的 并且是預(yù)先知道的 6 6變換編碼 2 閾值編碼 適應(yīng)性編碼 算法實(shí)現(xiàn)思想 a 閾值的選取 常有三種取法 3 閾值作為子圖系數(shù)位置的函數(shù) 所有子圖使用同一個(gè)全局閾值模板 但閾值的取值 與系數(shù)的位置相關(guān) 閾值模板給出了 不同位置上系數(shù)的相應(yīng)閾值 6 6變換編碼 2 閾值編碼 適應(yīng)性編碼 算法實(shí)現(xiàn)思想 b 對(duì)系數(shù)的編碼a 將系數(shù)按45度對(duì)角順序展開成序列 得到有一個(gè)有長(zhǎng)串為零的序列 例 19 205216000000000b 用RLE編碼對(duì)上述序列編碼 6 6變換編碼 壓縮位的分配 2 閾值編碼 適應(yīng)性編碼 對(duì)系數(shù)編碼的展開順序 015614152728 2471316262942 38121725304143 911182431404453 1019233239455254 2022333846515560 2134374750565961 3536484957586263 6 7圖像壓縮標(biāo)準(zhǔn) 圖像標(biāo)準(zhǔn)的制定 是在ISO 國(guó)際標(biāo)準(zhǔn)化組織 和CCITT 國(guó)際電報(bào)電話咨詢委員會(huì) 聯(lián)合組織下進(jìn)行制定的標(biāo)準(zhǔn)的類型 三類 二值圖像壓縮標(biāo)準(zhǔn) 1 面向傳真而設(shè)計(jì)連續(xù)調(diào)圖像壓縮標(biāo)準(zhǔn) 靜止幀黑白 彩色壓縮 2 面向靜止的單幅圖像連續(xù)幀黑白 彩色壓縮 3 面向連續(xù)的視頻影像 6 7圖像壓縮標(biāo)準(zhǔn) 連續(xù)調(diào)圖像壓縮標(biāo)準(zhǔn)靜止幀黑白 彩色壓縮 JPEG 連續(xù)幀單色 彩色壓縮 MPEG 6 7圖像壓縮標(biāo)準(zhǔn) JPEG標(biāo)準(zhǔn)簡(jiǎn)述有三種壓縮系統(tǒng) 1 基線編碼系統(tǒng) 面向大多數(shù)有損壓縮的應(yīng)用 采用DCT變換壓縮 2 擴(kuò)展編碼系統(tǒng) 面向遞進(jìn)式應(yīng)用 從低分辨率到高分辨率逐步遞進(jìn)傳遞的應(yīng)用 3 獨(dú)立編碼系統(tǒng) 面向無(wú)損壓縮的應(yīng)用 采用無(wú)損預(yù)測(cè)壓縮 符號(hào)編碼采用哈夫曼或算術(shù)編碼一個(gè)產(chǎn)品或系統(tǒng)必須包括對(duì)基線系統(tǒng)的支持 6 7圖像壓縮標(biāo)準(zhǔn) JPEG壓縮流程 符號(hào)解碼器 DCT逆向變換 DCT正向變換 量化器 符號(hào)編碼器 構(gòu)造8x8的子圖 合成8x8的子圖 輸入圖像NxN 壓縮圖像 壓縮的圖像 解壓圖像 顏色空間轉(zhuǎn)換 零偏置轉(zhuǎn)換 顏色空間轉(zhuǎn)換 零偏置轉(zhuǎn)換 6 7圖像壓縮標(biāo)準(zhǔn) 構(gòu)造子圖像子圖像尺寸 8x8顏色空間轉(zhuǎn)換人眼對(duì)亮度更敏感 提取亮度特征 將RGB轉(zhuǎn)換為YCbCr模型 編碼時(shí)對(duì)亮度采用特殊編碼 Y 0 299R 0 5870G 0 1140BCb 0 1787R 0 3313G 0 5000B 128Cr 0 5000R 0 4187G 0 0813B 128顏色解碼 R Y 1 40200 Cr 128 G Y 0 34414 Cb 128 0 71414 Cr 128 B Y 1 77200 Cb 128 6 7圖像壓縮標(biāo)準(zhǔn) 零偏置轉(zhuǎn)換對(duì)于灰度級(jí)是2n的像素 通過(guò)減去2n 1 替換像素本身對(duì)于n 8 即將0 255的值域 通過(guò)減去128 轉(zhuǎn)換為值域在 128 127之間的值目的 使像素的絕對(duì)值出現(xiàn)3位10進(jìn)制的概率大大減少 6 7圖像壓縮標(biāo)準(zhǔn) 用8x8的JEPG基線標(biāo)準(zhǔn) 壓縮并重構(gòu)下列子圖52556166706164736359669010985697262596811314410466736358711221541067069676168104126886870796560707768587585716459556165838779696865767894 6 7圖像壓縮標(biāo)準(zhǔn) 0偏置轉(zhuǎn)換后 76 73 67 62 58 67 64 55 65 69 62 38 19 43 59 56 66 69 60 1516 24 62 55 65 70 57 626 22 58 59 61 67 60 24 2 40 60 58 49 63 68 58 51 65 70 53 43 57 64 69 73 67 63 45 41 49 59 60 63 52 50 34 6 7圖像壓縮標(biāo)準(zhǔn) 頻域變換頻域變換產(chǎn)生64個(gè)系數(shù) 第一個(gè)系數(shù)稱為直流系數(shù) DC系數(shù) 其余的63個(gè)系數(shù)稱為交流系數(shù) AC系數(shù) 6 7圖像壓縮標(biāo)準(zhǔn) 正向DCT變換 N 8 后變成 415 29 622555 20 137 21 62911 7 66 46877 25 30107 5 501335 15 960311 8 13 2 11 41 1013 3 102 1 4 12 12 31 2 1 1 1 2 1 10 1 6 7圖像壓縮標(biāo)準(zhǔn) 系數(shù)量化采用閾值作為子圖系數(shù)位置函數(shù)的量化方式所有子圖使用同一個(gè)全局閾值模板 但閾值的取值 與系數(shù)的位置相關(guān) 閾值模板給出了 不同位置上系數(shù)的相應(yīng)閾值 對(duì)于亮度和顏色使用不同的量化閾值模板 并取整 6 7圖像壓縮標(biāo)準(zhǔn) 系數(shù)量化1 正向量化 Squv round Suv Quv 其中 Suv是DCT系數(shù) Quv量化模板系數(shù)2 逆向量化 Ruv SquvQuv例 Sq 0 0 round 415 16 round 25 9 26Ruv 0 0 26 16 416 6 7圖像壓縮標(biāo)準(zhǔn) 亮度的量化模板系數(shù)1611101624405161121214192658605514131624405769561417222951878062182237566810910377243555648110411392496478871031211201017292959811210010399 6 7圖像壓縮標(biāo)準(zhǔn) 顏色的量化模板系數(shù)17182447999999991821266699999999242656999999999947669999999999999999999999999999999999999999999999999999999999999999999999999999 6 7圖像壓縮標(biāo)準(zhǔn) 量化變換后的數(shù)組 比例化并消去系數(shù) 26 3 6220001 2 400000 315 1 1000 412 1000010000000000000000000000000000000 6 7圖像壓縮標(biāo)準(zhǔn) 符號(hào)編碼將量化后的系數(shù) 按之字形重新排序成矢量 全零結(jié)尾用特殊符號(hào)EOB 26 31 3 2 62 41 41150200 1200000 1 1EOB DC和AC用不同的方式分別編碼DC的編碼方式 預(yù)測(cè) 統(tǒng)計(jì) 編碼由兩部分組成 區(qū)間號(hào)編碼 SSSS 系數(shù)預(yù)測(cè)誤差本身編碼 VVVV 6 7圖像壓縮標(biāo)準(zhǔn) 連續(xù)幀單色 彩色壓縮連續(xù)幀圖像的定義連續(xù)幀圖像壓縮的基本思想幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)H 261標(biāo)準(zhǔn)MPEG1 2 4 7標(biāo)準(zhǔn) 6 7圖像壓縮標(biāo)準(zhǔn) 連續(xù)幀圖像的定義由多幅尺寸相同的靜止圖像組成的圖像序列 被稱為連續(xù)幀圖像 與靜止幀圖像相比 連續(xù)幀圖像多了一個(gè)時(shí)間軸 成為三維信號(hào) 因此連續(xù)幀圖像也被稱為三維圖像 6 7圖像壓縮標(biāo)準(zhǔn) 連續(xù)幀圖像壓縮的基本思想基于如下基本假設(shè) 在各連續(xù)幀之間存在簡(jiǎn)單的相關(guān)性平移運(yùn)動(dòng) 一個(gè)特定畫面上的像素量值 1 可以根據(jù)同幀附近像素來(lái)加以預(yù)測(cè) 被稱為 幀內(nèi)編碼技術(shù)2 可以根據(jù)附近幀中的像素來(lái)加以預(yù)測(cè) 被稱為 幀間編碼技術(shù) 6 7圖像壓縮標(biāo)準(zhǔn) 連續(xù)幀圖像壓縮的基本思想通過(guò)減少幀間圖像數(shù)據(jù)冗余 來(lái)達(dá)到減少數(shù)據(jù)量 壓縮連續(xù)幀圖像體積的目的 將連續(xù)幀圖像序列 分為參考幀和預(yù)測(cè)幀 參考幀用靜止圖像壓縮方法進(jìn)行壓縮 預(yù)測(cè)幀對(duì)幀差圖像進(jìn)行壓縮 由于幀差圖像的數(shù)據(jù)量大大小于參考幀的數(shù)據(jù)量 從而可以達(dá)到很高的壓縮比 6 7圖像壓縮標(biāo)準(zhǔn) 幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)幀間預(yù)測(cè)編碼 熵編碼 幀間預(yù)測(cè)器 運(yùn)動(dòng)補(bǔ)償 壓縮圖像塊 輸入圖像塊 en fn fn 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀間誤差圖像 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像 6 7圖像壓縮標(biāo)準(zhǔn) 幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)幀間預(yù)測(cè)編碼向前預(yù)測(cè)雙向預(yù)測(cè) 前一幀 當(dāng)前幀 前一幀 當(dāng)前幀 下一幀 6 7圖像壓縮標(biāo)準(zhǔn) 幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)幀間預(yù)測(cè)編碼I幀不進(jìn)行預(yù)測(cè) 進(jìn)行幀內(nèi)編碼的編碼幀 參考幀 P幀通過(guò)向前預(yù)測(cè)得到的誤差編碼幀B幀通過(guò)雙向預(yù)測(cè)得到的誤差編碼幀因圖像序列存放在存儲(chǔ)器中 可以使用下一幀 6 7圖像壓縮標(biāo)準(zhǔn) 幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)編碼中的運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)補(bǔ)償概念是以對(duì)幀間運(yùn)動(dòng)的估算為基礎(chǔ)的 若物體均在空間上有一位移 那么用有限的運(yùn)動(dòng)參數(shù)來(lái)對(duì)幀間的運(yùn)動(dòng)加以描述 如對(duì)于像素的平移運(yùn)動(dòng) 可用運(yùn)動(dòng)矢量來(lái)描述 一個(gè)來(lái)自前一編碼幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)像素 就能給出一個(gè)當(dāng)前像素的最佳預(yù)測(cè) 預(yù)測(cè)誤差和運(yùn)動(dòng)矢量一同參與編碼 6 7圖像壓縮標(biāo)準(zhǔn) 幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)編碼中的運(yùn)動(dòng)補(bǔ)償由于一些運(yùn)動(dòng)矢量之間的空間相關(guān)性通常較高 因此 一個(gè)像素的運(yùn)動(dòng)矢量 可以代表一個(gè)相鄰像素塊的運(yùn)動(dòng) 實(shí)現(xiàn)中 畫面一般劃分成一些不連接的像素塊 在MPEGl和MPEG2標(biāo)準(zhǔn)中一個(gè)像素塊為16 16像素 對(duì)于每一個(gè)這樣的像素塊 只估算一個(gè)運(yùn)動(dòng)矢量 6 7圖像壓縮標(biāo)準(zhǔn) 幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼技術(shù)編碼中的運(yùn)動(dòng)補(bǔ)償舉例 常用的基于塊的運(yùn)動(dòng)估算和補(bǔ)償 塊匹配法 K幀 K l幀 塊 查找窗口 6 7圖像壓縮標(biāo)準(zhǔn) H 261 263標(biāo)準(zhǔn)H 261 263標(biāo)準(zhǔn)是由CCITT制定的ccitt國(guó)際電話與電報(bào)咨詢委員會(huì) 它現(xiàn)在被稱為itu t 國(guó)際標(biāo)準(zhǔn)化組織電訊標(biāo)準(zhǔn)化分部 是世界上主要的制定和推廣電訊設(shè)備和系統(tǒng)標(biāo)準(zhǔn)的國(guó)際組織 它位于瑞士的geneva 6 7圖像壓縮標(biāo)準(zhǔn) H 261標(biāo)準(zhǔn)應(yīng)用范圍 ISDN的視頻會(huì)議主要編碼技術(shù) DCT變換向前運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)Zig zag排序霍夫曼編碼 6 7圖像壓縮標(biāo)準(zhǔn) H 263標(biāo)準(zhǔn)應(yīng)用范圍 可視電話主要編碼技術(shù) DCT變換雙向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)Zi