信息理論編碼課程PPT第6章限失真信源編碼

第6章限失真信源編碼1無失真編碼與有失真編碼對比無損確定信道無失真編碼的中心任務(wù)對冗余度進(jìn)行壓縮編碼后熵不變，屬保熵編碼。有噪信道有失真編碼的中心任務(wù)對信息率進(jìn)行壓縮編碼后的信息率得到壓縮，屬熵壓縮編碼。有失真編碼的失真范圍受限，所以又稱為限失真編碼。無失真編碼有失真編碼信源編碼的實質(zhì)：對信源進(jìn)行信息處理。信源信道（信源編碼器）將編碼器看作信道：2引入有失真的熵壓縮編碼的原因保熵編碼并非總是必需的例：人眼無須接受信源發(fā)出的全部視覺信息保熵編碼并非總是可能例：對連續(xù)信號進(jìn)行數(shù)字處理時不可能根除量化誤差降低信息率（熵壓縮編碼）有利于傳輸和處理連續(xù)信源的實際熵為無窮大

對連續(xù)信源進(jìn)行熵壓縮編碼是絕對必需的保熵編碼時需用無窮長的碼元串傳輸無窮長的碼元串勢必造成無限延時3說明有失真的熵壓縮編碼主要針對連續(xù)信源，但其理論同樣適用于離散信源。由于離散信源處理起來比連續(xù)信源簡單得多，以下將從離散信源開始有失真編碼的討論。4主要內(nèi)容6.1失真測度6.2信息率失真函數(shù)及其性質(zhì)6.3限失真信源編碼定理總結(jié)56.1失真測度將r×s個失真度排成矩陣形式:

衡量編碼器輸入符號與輸出符號之間的誤差或失真?！д娑龋ɑ蚴д婧瘮?shù)）、非負(fù)實值函數(shù)失真矩陣

一般失真函數(shù)定義為

信源信道（信源編碼器）6r×s個失真度——平均失真度或平均失真

取統(tǒng)計平均平均失真度信源信道（信源編碼器）7例設(shè)信源取值于{0，1}，編碼器輸出取值于{0，1，2}，編碼器相當(dāng)于一個2元刪除信道（BEC）。規(guī)定失真度或失真函數(shù)為求失真矩陣d。解：失真矩陣為8失真度的函數(shù)形式

失真度函數(shù)的選取原則：使用非負(fù)函數(shù)，其形式可根據(jù)實際需要而定。

誤碼失真：絕對失真：均方失真：相對失真：

9失真矩陣為：例：這種失真稱為漢明失真例：對稱信源r=s，定義失真度為：當(dāng)r=s=3時，失真矩陣為：10符號序列的失真度

符號的失真度N長輸入序列N長輸出序列N長序列的失真度：N長序列的平均失真度：符號平均失真度當(dāng)信源和信道（信源編碼器）均無記憶時：

式中是符號平均失真度信源信道（信源編碼器）11連續(xù)信源的平均失真度連續(xù)隨機變量的平均失真度離散隨機變量的平均失真度126.2信息率失真函數(shù)限失真編碼：對平均失真度加以限制（保真度準(zhǔn)則）??！這意味著對編碼器（信道orPV|U）施加了相應(yīng)的限制。限失真編碼問題，就是對于給定的信源，在滿足保真度準(zhǔn)則的前提下，使信息率壓縮到盡可能小。（1）保真度準(zhǔn)則

（2）D允許(試驗)信道：滿足保真度準(zhǔn)則的所有信道所有D允許信道的轉(zhuǎn)移概率組成一個集合

注：BD中任一轉(zhuǎn)移概率PV|U都與一個D允許信道（編碼器）對應(yīng)。1.D允許(試驗)信道信源信道（信源編碼器）132.信息率失真函數(shù)的定義保真度準(zhǔn)則

所有D允許信道的轉(zhuǎn)移概率組成一個集合

在BD中尋求一個PV|U（即尋求一個特定的編碼器）使I(U;V)最小，這個最小的平均互信息量定義為信息率失真函數(shù)，簡稱為率失真函數(shù)，記為R(D)，即:信源信道（信源編碼器）141、R(D)的定義域是(1)和允許失真度D的最小值為0，即不允許有失真，這時編碼器相當(dāng)于無噪信道。

R(0)的最大值為H(U)，即R(0)≤H(U)。3.信息率失真函數(shù)的性質(zhì)

因為D越大，R(D)越小，最小為0，當(dāng)D再大時，R(D)也只能為0。而就是在R(D)=0的情況下，的最小值。R(D)的值域是(2)和15信息率失真函數(shù)的性質(zhì)

1、的定義域是

2、是D的下凸函數(shù)

3、是定義域上的非增函數(shù)

R(D)DH(U)Dmax016例設(shè)信源X，符號集為，等概分布給定失真測度為設(shè)計一種單符號壓縮算法使得平均失真D=1/2，并求壓縮后的信息傳輸率R.176.3限失真信源編碼定理說明：

設(shè)離散無記憶平穩(wěn)信源的信息率失真函數(shù)為，只要滿足，當(dāng)信源序列足夠長時，一定存在一種編碼方法，其譯碼失真小于或等于，其中是任意小的正數(shù)；反過來，若，則無論采用什么樣的編碼方法，其譯碼失真必大于D。香農(nóng)第三定理是一個存在定理，至于如何尋找這種最佳編碼方法并沒有給出，在實際應(yīng)用中，存在以下兩方面的問題：1、符合實際信源的R(D)函數(shù)的計算相當(dāng)困難。1）需要對實際信源的統(tǒng)計特性有確切的描述2）需要對符合主客觀實際的失真給予正確的描述3）即使?jié)M足了前兩條，R(D)的計算也比較困難2、即使求得很好的R(D)函數(shù)，還需要研究采取何種編碼方法才能達(dá)到極限值R(D)。18總結(jié)限失真信源編碼的中心任務(wù)，是在允許的失真范圍內(nèi)（即失真范圍受限），把編碼后的信息率壓縮到最小的編碼方式。失真矩陣:

失真度（失真函數(shù)）：非負(fù)實值函數(shù)平均失真度：19這意味著對編碼器（信道、PV|U）施加了相應(yīng)的限制。D允許信道：滿足保真度準(zhǔn)則的信道。所有D允許信道的轉(zhuǎn)移概率組成一個集合

保真度準(zhǔn)則：如果要求平均失真度D小于某個給定的值D，即要求信息率失真函數(shù)：BD中任一轉(zhuǎn)移概率都與一個D允許信道（編碼器）對應(yīng)，在BD中尋求一個PV|U（即尋求一個特定的編碼器）使I(U;V)最小，這個最小的平均互信息量稱為信息率失真函數(shù)，簡稱為率失真函數(shù)，記為R(D)，即20香農(nóng)第三定理

設(shè)離散無記憶平穩(wěn)信源的信息率失真函數(shù)為