第七章：限失真編碼2

§7.4:限失真信源編碼定理－1限失真信源編碼定理限失真信源編碼定理的證明限失真信源編碼定理的實用意義§7.4:限失真信源編碼定理－2限失真信源編碼定理設R(D)為一離散無記憶平穩(wěn)信源的信息率失真函數(shù)，并且有有限的失真測度。對于任意D≥0，ε＞0，δ＞0以及任意足夠長的碼長n，則一定存在一種信源編碼C，其碼字個數(shù)為:M=exp{n［R(D)+ε］}而編碼后碼的平均失真度:

d(C)≤D+δ如果用二元編碼，R(D)取比特為單位，則上式M可寫成:

M=2{n［R(D)+ε］}§7.4:限失真信源編碼定理－3定理解釋：對于任何失真度D≥0，只要碼長n足夠長，總可以找到一種編碼C，使編碼后每個信源符號的信息傳輸率:

R′=logM/n=R(D)+ε即:

R′≥R(D)

而碼的平均失真度d(C)≤D。在允許失真D的條件下，信源最小的、可達的信息傳輸率是信源的R(D)。§7.4:限失真信源編碼定理－4限失真信源編碼定理的證明問題：設有達到R(D)的試驗信道p(v|u),要證明對于任意的R‘>R(D)時，存在一種信息傳輸率為R’的信源編碼，其平均失真度≤D+δ思路：產(chǎn)生碼書選取編譯碼方法計算失真度方法：產(chǎn)生碼書：在Vn空間隨機抽取M=2nR’個隨機序列v編碼方法：若存在與信源序列u構(gòu)成失真典型序列對的序列v(ω),則編碼uv(ω),否則編碼uv(1)譯碼：再現(xiàn)v(ω)失真度計算：在所有隨機碼書和Un空間統(tǒng)計平均的基礎上計算平均失真度§7.4:限失真信源編碼定理－5限失真信源編碼定理的幾點說明只是一個存在性定理，沒有構(gòu)造方法存在問題：符合實際信源的R(D)函數(shù)計算相當困難信源統(tǒng)計特性的確切數(shù)學描述難得符合主客觀實際的失真測度難得R(D)計算本身困難即使求得了R(D)，還需研究最佳編碼方法才能達到極限值R(D)?！?.4:限失真信源編碼定理－6限失真信源編碼定理的實用意義如何進行限失真信源編碼？舉例：R（D）的實用意義在允許一定失真的情況下，信源的R(D)函數(shù)可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種尺度。舉例：二進制無記憶對稱信源編譯碼：無噪無損信道傳輸舉例：結(jié)論

R’=1/3（比特/信源符號）該壓縮編碼方法下的信息傳輸率d(C)=1/4該壓縮編碼方法下的平均失真R(1/4)=1-H(1/4)=0.189(比特/信源符號）失真1/4下，最小的信息傳輸率R是0.189(比特/信源符號）R(1/4)<R’在1/4失真度下，該壓縮編碼方法不是最佳的，或該信源還可以壓縮§7.5:香農(nóng)三大定理的關系和比較－1

無失真信源編碼定理限失真信源編碼定理信源冗余度壓縮編碼信源的熵壓縮編碼無失真、保熵有失真、熵壓縮信源壓縮的極限值：信源熵H(S)信源壓縮的極限值：率失真函數(shù)R(D)存在性、構(gòu)造性存在性定理§7.4:香農(nóng)三大定理的關系和比較－2

信道編碼定理限失真信源編碼定理給定信道特性p=p(y|x)給定信源p=p(u)及失真測度d(u,v)對于假設的信源p=p(x)對于假設的試驗信道p=p(v|u)尋求最優(yōu)的信道編碼C2尋求最優(yōu)的限失真編碼C3產(chǎn)生的誤碼率pe產(chǎn)生的最大失真D信道編碼存在的條件R<C限失真信源編碼存在的條件R>R(D)信道容量公式率失真函數(shù)公式存在符合條件的C2,使pe0存在符合條件的C3，使D’<D熵壓縮編碼重點介紹三種有代表性的方法1）量化標量量化矢量量化2）變換編碼3）預測編碼習慣上對把矢量量化和變換編碼稱為熵壓縮分組編碼，預測編碼稱為熵壓縮樹碼前面提到就是允許一定D，把熵率壓縮最小，即，使率失真函數(shù)最小。Dmin123RD1為直接矢量量化；2為先作變換，再L-M算法；３對其各分量直接用L-M算法結(jié)論：矢量量化是熵壓縮分組編碼的最有效方法如圖①>②>③量化它包括標量和矢量兩種，這是重點講標量量化1

標量量化適用范圍：連續(xù)無記憶信源2

標量量化的概念：連續(xù)信號量化K個若干可能離散值舉例：A/D采集版量化量化概念A/D中的量化量化過程示意圖一個量化實例量化處理是使數(shù)據(jù)比特率下降的一個強有力的措施。量化輸入值動態(tài)范圍很大，需要以多比特數(shù)表示一個數(shù)值，量化輸出只能取有限個整數(shù)，稱量化級。每個量化輸入被強迫歸一到與其接近的某個輸出，即量化到某個級。量化處理總是把一批輸入量化到一個輸出級上，所以量化是個多對一的處理過程，量化中由信息丟失，或者說，會引起量化誤差（量化噪聲）。模擬量經(jīng)過A/D轉(zhuǎn)換，得到二進制碼的過程，就是脈沖編碼調(diào)制（PCM）編碼過程，也稱PCM編碼。

A/D轉(zhuǎn)換中的采樣和量化分別是對時間和模擬量進行數(shù)字化的過程。量化量化概念A/D中的量化量化過程示意圖一個量化實例輸入輸出閾值代表級量化曲線量化量化概念A/D中的量化量化過程示意圖一個量化實例24位標準圖像8位（256色）標準圖像量化量化概念A/D中的量化量化過程示意圖一個量化實例預測編碼方法基本原理從相鄰數(shù)據(jù)之間有很強的相關性特點考慮，可以利用前面已經(jīng)出現(xiàn)的數(shù)值，進行預測（估計），得到一個預測值，將實際值與預測值求差，對這個差值信號進行編碼、傳送，這種編碼方法即成為預測編碼方法。預測編碼最佳的預測編碼：en=yn-un最小有三種不同的標準：最小均方誤差；最小平均絕對誤差；最大零誤差概率；DPCM基本原理轉(zhuǎn)入f(i,j)e(i,j)量化器預測器預測器編碼器解碼器信道傳輸e’(i,j)f’(i,j)輸出f(i,j)f’(i,j)f’(i,j)f(i,j)DPCM編、解碼原理圖預測編碼不帶量化器的DPCM線性預測編碼，屬于無失真編碼系統(tǒng)；帶有量化器的DPCM線性預測編碼，屬于有失真編碼系統(tǒng)。

DPCM線性預測系統(tǒng)是一個負反饋系統(tǒng)，對誤差有收斂性。發(fā)送端與接收端之間的誤差等于量化誤差。最佳量化器的設計，可利用人眼的視覺可見度閾值和視覺掩蔽效應等生理特征，來確定量化器的級數(shù)和步距，使量化誤差總處于人眼難以覺察的范圍內(nèi)，達到主觀評定準則的要求。

最佳量化預測編碼自適應預測編碼ADPCM自適應技術(shù)的概念是：預測器的預測系數(shù)和量化器的量化參數(shù)，能夠根據(jù)圖像的局部區(qū)域分布特點自動調(diào)整。實踐證明，ADPCM編、解碼系統(tǒng)與DPCM編、解碼系統(tǒng)相比，不僅能改善恢復圖像的評測質(zhì)量和視覺效果，同時還能進一步壓縮數(shù)據(jù)。

ADPCM系統(tǒng)包括自適應預測，即預測系數(shù)的自適應調(diào)整和自適應量化，即量化器參數(shù)的自適應調(diào)整兩部分內(nèi)容。預測編碼變換編碼原理定義：將空域圖像信號映射變換到另一個正交矢量空間（變換域或頻域），產(chǎn)生一批變換系數(shù)，對系數(shù)進行編碼處理原理：信號在時域描述時信息冗余度大，變換后，參數(shù)獨立，去掉相關性，減少冗余，數(shù)據(jù)量大大減少。利用人的視覺特性，對高頻細節(jié)不敏感，可以濾除高頻系數(shù)，保留低頻系數(shù)。

變換原理在數(shù)學上的解釋信號在時域描述時信息冗余度大，變換后，參數(shù)獨立，數(shù)據(jù)量減少。空間內(nèi)的變換就是尋找一組新的規(guī)范正交基，求去原向量在新的正交基上的系數(shù)。利用人的視覺特性，對高頻細節(jié)不敏感，可以濾除高頻系數(shù)，保留低頻系數(shù)。用有限維線性組合去逼近原向量，投影定理。最佳正交變換K-L變換X1X2Y1Y2對相關向量求協(xié)方差矩陣，按照特征值的大小排列特征向量。變換域中能量集中到少數(shù)幾個變換系數(shù)上（特征值大的特征向量上的系數(shù)），編碼效率最高，誤差最小。K-L變換圖示3）

標量量化涉及幾個性解指標P243信息速率RK平均失真DK量化器輸出最大速率Mk=log2k顯然：取不同的{TK}和{qk},量化將有不同的RK，DK，MKTK:門限電平（k+1個）qk:電平值（k個）4）

均勻量化概念：量化間隔相等最優(yōu)均勻量化：使DK達到最小均勻量化例：對高斯信源即:Rk=1/4+1/2log(Pu/Dk)問題：均勻量化不是DK最小的一個、提出一種Uoyd-Max算法5）Lioyd-Max算法思想：反復對{TK}、{qk}在使DK最小的兩個必要條件進行迭代（必要條件為：P235）Tk-1=1/2(qk-1+qk)∫(u-qk)p(u)du=0

則求出{Tk}{qk}.6)實例：（高斯信源）表6-2（P236）舉例說明

輸出電平數(shù)K148162432最優(yōu)均勻量化10.1