信息率失真函數(shù)

1、普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著1第第4章信息率失真函數(shù)章信息率失真函數(shù)n 本章主要討論在信源允許本章主要討論在信源允許一定失真一定失真情況情況下所需的下所需的最少最少信息率，從分析失真函數(shù)、信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率失真函數(shù)平均失真出發(fā)，求出信息率失真函數(shù)R(D) n主要內(nèi)容主要內(nèi)容 4.1 平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù) 4.2 離散信源和連續(xù)信源的離散信源和連續(xù)信源的R(D)的計算的計算普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著24.1 平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù)n4.1.1 失真

2、函數(shù)失真函數(shù)n4.1.2 平均失真平均失真n4.1.3 信息率失真函數(shù)信息率失真函數(shù)R(D)n4.1.4 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著34.1.1 失真函數(shù)失真函數(shù)n 假如某一信源假如某一信源X，輸出樣值為，輸出樣值為xi，xi a1,an，經(jīng)過有失真的信源編碼器，輸出經(jīng)過有失真的信源編碼器，輸出Y，樣值為，樣值為yj，yj b1,bm。如果。如果xiyj，則認為沒有失真；如果，則認為沒有失真；如果xi yj，那么就產(chǎn)生了失真。失真的大小，用一，那么就產(chǎn)生了失真。失真的大小，用一個量來表示，即失真函數(shù)個量來表示，即失真函數(shù)

3、d(xi，yj)，以衡量用，以衡量用yj代代替替xi所引起的失真程度。一般失真函數(shù)定義為所引起的失真程度。一般失真函數(shù)定義為 jijijiyxyx),yd(x00普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著4失真矩陣失真矩陣 單個符號的失真度的全體構(gòu)成的矩單個符號的失真度的全體構(gòu)成的矩陣陣 ，稱為失真矩陣，稱為失真矩陣),(jiyxd),(),(),(),(),(),(),(),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadd普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著5Examplen設信源符號序列為X=0,

4、1，接收端受到符號序列為Y=0,1,2，如前面介紹的二元刪除信道，規(guī)定失真函數(shù)為： n其失真矩陣為5 . 0) 2 , 1 () 2 , 0(, 1) 0 , 1 () 1 , 0(, 0) 1 , 1 () 0 , 0(dddddd5 . 0015 . 010) 1 , 1 () 1 , 1 ()0 , 1 ()2 , 0() 1 , 0()0 , 0(),(),(),(),(),(),(322212312111ddddddyxdyxdyxdyxdyxdyxdd普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著6均方失真：均方失真： ijijixyxyxd/),(2),(jijiy

5、xyxdjijiyxyxd),(其它，1, 0),(),(jijijiyxyxyxd相對失真：相對失真：誤碼失真：誤碼失真：絕對失真：絕對失真：前三種失真函數(shù)適用于連續(xù)信源，后一種適前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。用于離散信源。 最常用的失真函數(shù)最常用的失真函數(shù)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著7n 推廣到推廣到序列序列編碼編碼n如果假定離散信源輸出符號序列如果假定離散信源輸出符號序列X=(X1X2XlXL)，其，其中中L長符號序列樣值長符號序列樣值xi(xi1xi2xilxiL)，經(jīng)信源編碼后，經(jīng)信源編碼后，輸出符號序列輸出符號序列Y=(Y 1Y

6、 2Y lY L)，其中，其中L長符號序列樣長符號序列樣值值yj(yj1yj2yjlyjL)，則失真函數(shù)定義為：，則失真函數(shù)定義為： 其中其中d(xil，yjl)是信源輸出是信源輸出L長符號樣值長符號樣值xi中的第中的第l個符號個符號xil時，時，編碼輸出編碼輸出L長符號樣值長符號樣值yj中的第中的第l個符號個符號yjl的失真函數(shù)。的失真函數(shù)。 LljliljiLyxdLd1),(1),(yx序列失真函數(shù)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著8平均失真平均失真 nxi和和yj都是隨機變量，失真函數(shù)都是隨機變量，失真函數(shù)d(xi，yj)也是隨也是隨機變量機變量n限失真時的失

7、真值，只能用它的數(shù)學期望或統(tǒng)限失真時的失真值，只能用它的數(shù)學期望或統(tǒng)計平均值，因此將失真函數(shù)的數(shù)學期望稱為計平均值，因此將失真函數(shù)的數(shù)學期望稱為平平均失真均失真，記為，記為 nimjjiijinimjjijibadabpapbadbapD1111),()/()(),()(普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著9 平均失真n對于連續(xù)隨機變量同樣可以定義平均失對于連續(xù)隨機變量同樣可以定義平均失真真n對于對于L長序列編碼情況，平均失真為長序列編碼情況，平均失真為 dxdyyxdyxpDxy),(),(LllLljlilLDLyxdELD111),(1普通高等教育“十五”國家級規(guī)

8、劃教材信息論與編碼 曹雪虹等編著104.1.3 信息率失真函數(shù)信息率失真函數(shù)R(D)naaax,21信源編碼器信源編碼器nbbby,21XY假想信道假想信道將信源編碼器看作信道將信源編碼器看作信道普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著114.1.3 信息率失真函數(shù)信息率失真函數(shù)R(D)n信源編碼器的目的信源編碼器的目的使編碼后所需的信息傳輸率使編碼后所需的信息傳輸率R盡量小盡量小 R越小，引起的平均失真就越大越小，引起的平均失真就越大給出一個失真的限制值給出一個失真的限制值D，在滿足平均失真，在滿足平均失真 D的條件下，選的條件下，選擇一種編碼方法使信息率擇一種編碼方法使

9、信息率R盡可能小。盡可能小。信息率信息率R就是所需輸出的有關(guān)信源就是所需輸出的有關(guān)信源X的信息量。的信息量。n將此問題對應到信道，將此問題對應到信道，接收端接收端Y需要獲得的有關(guān)需要獲得的有關(guān)X的信息量，也就是互信息的信息量，也就是互信息I(X;Y)。這樣，選擇信源編碼方法的問題就變成了選擇假想信道的問這樣，選擇信源編碼方法的問題就變成了選擇假想信道的問題，符號轉(zhuǎn)移概率題，符號轉(zhuǎn)移概率p(yj/xi)就對應信道轉(zhuǎn)移概率。就對應信道轉(zhuǎn)移概率。 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著121、D允許試驗信道允許試驗信道 平均失真由信源分布平均失真由信源分布p(xi)、假想信道的

10、轉(zhuǎn)移概、假想信道的轉(zhuǎn)移概率率p(yj/xi)和失真函數(shù)和失真函數(shù)d(xi，yj)決定，若決定，若p(xi)和和d(xi，yj)已定，則可給出滿足已定，則可給出滿足x下式條件的所有轉(zhuǎn)移概下式條件的所有轉(zhuǎn)移概率分布率分布pij，它們構(gòu)成了一個信道集合，它們構(gòu)成了一個信道集合PD稱為稱為D允許試驗信道允許試驗信道。 mjniDDabpPijD, 2 , 1;, 2 , 1: )/(普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著132、信息率失真函數(shù)信息率失真函數(shù)R(D) n互信息取決于信源分布和信道轉(zhuǎn)移概率分布互信息取決于信源分布和信道轉(zhuǎn)移概率分布n當當p(xi)一定時，互信息一定時，

11、互信息I是關(guān)于是關(guān)于p(yj/xi) 的的U型凸函數(shù)，存型凸函數(shù)，存在極小值。在極小值。n在上述允許信道在上述允許信道PD中，可以尋找一種信道中，可以尋找一種信道pij，使給定的，使給定的信源信源p(xi)經(jīng)過此信道傳輸后，互信息經(jīng)過此信道傳輸后，互信息I(X；Y)達到最小。達到最小。n該最小的互信息就稱為信息率失真函數(shù)該最小的互信息就稱為信息率失真函數(shù)R(D)，即，即 );(min)(YXIDRDP普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著14對于離散無記憶信源，對于離散無記憶信源，R(D)函數(shù)可寫成函數(shù)可寫成 p(ai)，i1，2，n 是信源符號概率分布；是信源符號概率分

12、布； p(bj/ai)，i1，2，n，j1，2，m 是轉(zhuǎn)移概率分布；是轉(zhuǎn)移概率分布； p(bj)，j1，2，m 是接收端收到符號概率分布。是接收端收到符號概率分布。 nimjjijijiPPbpabpabpapDRDij11)()/(log)/()(min)( 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著15 例例4-1-3 設信源的符號表為設信源的符號表為Aa1，a2，a2n，概率分布為，概率分布為p(ai)1/2n，i1，2，2n，失真函數(shù)規(guī)定為，失真函數(shù)規(guī)定為 即符號不發(fā)生差錯時失真為即符號不發(fā)生差錯時失真為0，一旦出錯，失真為，一旦出錯，失真為1，試，試研究在一定編碼條

13、件下信息壓縮的程度。研究在一定編碼條件下信息壓縮的程度。jijiaadji01),(普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著164.1.4 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)1.R(D)函數(shù)的定義域函數(shù)的定義域 Dmin和和R(Dmin) Dmin0 對于連續(xù)信源對于連續(xù)信源 )() 0 ()(minXHRDR )()0()(minxHRDRc普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著17 (2) Dmax和和R(Dmax)niijimjdpD1, 2, 1maxmin選擇所有滿足選擇所有滿足R(D)0中中D的最小值，定義為的最小值，定義為R(D)定

14、義定義域的上限域的上限D(zhuǎn)max，即，即DDDR0)(maxmin因此可以得到因此可以得到R(D)的定義域為的定義域為max,0 DD 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著18Dmax是這樣來計算的。是這樣來計算的。R(D)0就是就是I(X;Y)0，這時試驗信道這時試驗信道輸入與輸出是互相獨立輸入與輸出是互相獨立的，所以條的，所以條件概率件概率p(yj/xi)與與xi無關(guān)。即無關(guān)。即jjijijpypxypp)()/(普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著19求出滿足條件求出滿足條件 的的D中的最小值中的最小值 ，即 mjniijijdppD11ma

15、xmin11mjjp nimjijjidppD11此時平均失真為此時平均失真為普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著20從上式觀察可得：在從上式觀察可得：在j=1，m中，可找中，可找到到 值最小的值最小的j，當該，當該j對應的對應的pj1，而其余而其余pj為零時，上式右邊達到最小，這為零時，上式右邊達到最小，這時上式可簡化成時上式可簡化成niijidp1niijimjdpD1, 2 , 1maxmin普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著21例例4-1-4 設輸入輸出符號表為設輸入輸出符號表為XY 0，1，輸入概率，輸入概率分布分布p(x)=1/3，

16、2/3，失真矩陣為，失真矩陣為0110),(),(),(),(22122111badbadbadbadd普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著22解：解：當當Dmin0時，時，R(Dmin)H(X)H(1/3，2/3)0.91比特比特/符號，這時信源編碼器無失真，符號，這時信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為所以該編碼器的轉(zhuǎn)移概率為 1001P普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著233131,32min032131, 132031min,minmin2, 12, 12221212121112, 1212, 1maxjjjiijijdpdpdp

17、dpdpD當當R(Dmax)0時時 此時輸出符號概率此時輸出符號概率p(b1)0，p(b2)1， 所以這時的編碼器的轉(zhuǎn)移概率為所以這時的編碼器的轉(zhuǎn)移概率為 2221,baba1010P普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著242、R(D)函數(shù)的下凸性和連續(xù)性函數(shù)的下凸性和連續(xù)性 3、R(D)函數(shù)的單調(diào)遞減性函數(shù)的單調(diào)遞減性 容許的失真度越大，所要求的信息率越小。容許的失真度越大，所要求的信息率越小。反之亦然。反之亦然。 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著25結(jié)論：結(jié)論：R(D)是非負的實數(shù)，即是非負的實數(shù)，即R(D) 0。定義域為定義域為0Dma

18、x，其值為，其值為0H(X)。當當DDmax時，時，R(D) 0。R(D)是關(guān)于是關(guān)于D的下凸函數(shù)，因而也是關(guān)于的下凸函數(shù)，因而也是關(guān)于D的的連續(xù)函數(shù)。連續(xù)函數(shù)。R(D)是關(guān)于是關(guān)于D的嚴格遞減函數(shù)。的嚴格遞減函數(shù)。普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著26對一般對一般R(D)曲線的形態(tài)可以畫出來：曲線的形態(tài)可以畫出來： R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 信息率失真曲線信息率失真曲線普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著274.2 離散信源和連續(xù)信源的離散信源和連續(xù)信源的R(D)計算計算 某些特殊情況下某些特殊情況下R（D）的表示式為：）的表示式為： （1）當）當d(x,y)=(x-y)2， 時時，22221)(xexpDDRlog)(普通