第4章信息率失真函數(shù)

1、普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著1第第4章信息率失真函數(shù)章信息率失真函數(shù)n問題問題 信源熵信源熵H(X)的物理含義是什么？的物理含義是什么？ 為什么要研究信源熵？為什么要研究信源熵？n信源無失真?zhèn)鬏斔璧淖钚⌒畔⒙市旁礋o失真?zhèn)鬏斔璧淖钚⌒畔⒙蕁R H(X)n在信源允許一定失真情況下所需的最在信源允許一定失真情況下所需的最小信息率小信息率nDR(D)普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著24.1 平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù)n4.1.1 失真函數(shù)失真函數(shù)n4.1.2 平均失真平均失真n4.1.3 信息率失真函數(shù)信息率失真函數(shù)R(

2、D)n4.1.4 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著34.1 平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù) 在實際問題中，信號有一定的失真是可以在實際問題中，信號有一定的失真是可以容忍的。但是當(dāng)失真大于某一限度后，信息質(zhì)容忍的。但是當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，甚至喪失其實用價值。要規(guī)量將被嚴(yán)重?fù)p傷，甚至喪失其實用價值。要規(guī)定失真限度，必須先有一個定量的失真測度。定失真限度，必須先有一個定量的失真測度。為此可引入失真函數(shù)。為此可引入失真函數(shù)。普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著44.1.1

3、失真函數(shù)失真函數(shù)X=xi，xi a1,anjijijiyxyx),yd(x00 信源編碼器 Y=yj，yj b1,bm失真函數(shù)失真函數(shù)d(xi，yj)普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著5失真矩陣失真矩陣 單個符號的失真度的全體構(gòu)成的矩單個符號的失真度的全體構(gòu)成的矩陣陣 ，稱為失真矩陣，稱為失真矩陣),(jiyxd),(),(),(),(),(),(),(),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadd普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著6均方失真：均方失真：ijijixyxyxd/),(2),

4、(jijiyxyxdjijiyxyxd),(其它，1, 0),(),(jijijiyxyxyxd相對失真：相對失真：誤碼失真：誤碼失真：絕對失真：絕對失真：前三種失真函數(shù)適用于連續(xù)信源，后一種適前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。用于離散信源。 最常用的失真函數(shù)最常用的失真函數(shù) 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著7序列編碼情況失真函數(shù)定義為：序列編碼情況失真函數(shù)定義為： 其中其中d(xil，yjl)是信源輸出是信源輸出L長符號樣值長符號樣值xi中的第中的第l個符號個符號xil時，編碼輸出時，編碼輸出L長符號樣值長符號樣值yj中的第中的第l個符號個符號yj

5、l的失真函數(shù)。的失真函數(shù)。 LljliljiLyxdLd1),(1),(yx普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著84.1.2 平均失真平均失真 失真函數(shù)的數(shù)學(xué)期望稱為失真函數(shù)的數(shù)學(xué)期望稱為平均失真平均失真，記為，記為,(,) (,)()/(,)ijijijiiji ji jDp xyd xyp xp yx d xy 已知p(xi)和d(xi，yj)，平均失真只是符號轉(zhuǎn)移概率p(yj/xi)的函數(shù)。 p(yj/xi )在此實質(zhì)上代表編碼方式。ix信源編碼器信源編碼器jy)(ijxyp 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著91001P1010P如：x1y

6、1x2 y2x1y1x2 y1普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著10 對于連續(xù)隨機變量同樣可以定義平均失真對于連續(xù)隨機變量同樣可以定義平均失真 dxdyyxdyxpDxy),(),(LllLljlilLDLyxdELD111),(1對于對于L長序列編碼情況，平均失真為長序列編碼情況，平均失真為 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著114.1.3 信息率失真函數(shù)信息率失真函數(shù)R(D) 信源編碼器的目的是使編碼后所需的信信源編碼器的目的是使編碼后所需的信息傳輸率息傳輸率R盡量小盡量小，DDR 給定失真的限制值給定失真的限制值D，使，使 D，找最小，找最

7、小R， R(D)，定義為信息率失真函數(shù)。，定義為信息率失真函數(shù)。普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著124.1.3 信息率失真函數(shù)信息率失真函數(shù)R(D)naaax,21信源編碼器信源編碼器mbbby,21XY假想信道假想信道 將信源編碼器看作信道，將信源編碼器看作信道，信源編碼器輸出的信息率信源編碼器輸出的信息率R對應(yīng)到信道，即為接收端對應(yīng)到信道，即為接收端Y需要獲得的有關(guān)需要獲得的有關(guān)X的信息的信息量，也就是互信息量，也就是互信息I(X;Y)。p(yj/xi) 信源符號編碼概率信源符號編碼概率 信道轉(zhuǎn)移概率信道轉(zhuǎn)移概率普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪

8、虹編著13D允許試驗信道允許試驗信道 若若p(xi)和和d(xi，yj)已定，則可給出滿足已定，則可給出滿足條件的所有轉(zhuǎn)移概率分布條件的所有轉(zhuǎn)移概率分布pij，它們構(gòu)成了一個，它們構(gòu)成了一個信道集合信道集合PD稱為稱為D允許試驗信道允許試驗信道。 ,()/( ,)ijiiji jDp x p yx d x y (/):DjiPp yxDDDD普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著14信息率失真函數(shù)信息率失真函數(shù)R(D) n當(dāng)當(dāng)p(xi)一定時，互信息一定時，互信息I是關(guān)于是關(guān)于p(yj/xi) 的的U型凸函數(shù)，存在極小值型凸函數(shù)，存在極小值(2.2(2.2節(jié)）。節(jié)）。n在上

9、述允許信道在上述允許信道PD中，可以尋找一種信道中，可以尋找一種信道pij，使給定的信源，使給定的信源p(xi)經(jīng)過此信道傳輸后，經(jīng)過此信道傳輸后，互信息互信息I(X；Y)達(dá)到最小。達(dá)到最小。nD=? p(yj/xi)=pij? R(D)=?);(min)(YXIDRDPI p(xi)， p(yj/xi)普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著15對于離散無記憶信源，對于離散無記憶信源，R(D)函數(shù)可寫成函數(shù)可寫成 p(ai)，i1，2，n 是信源符號概率分布；是信源符號概率分布； p(bj/ai)，i1，2，n，j1，2，m 是轉(zhuǎn)移概率分布；是轉(zhuǎn)移概率分布； p(bj)，j

10、1，2，m 是接收端收到符號概率分布。是接收端收到符號概率分布。 nimjjijijiPPbpabpabpapDRDij11)()/(log)/()(min)( 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著16R(D)的物理意義n無失真時：R=H(X)n有失真時：R=R(D)=H(X)H(X/Y)H(X)nH(X/Y)：由于壓縮編碼損失的信息n對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值R(D) 信源編碼器信源編碼器H(X)R普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著17 例例 設(shè)信源的符號表為設(shè)信源的符號表為Aa1，a2，a2n，概率

11、分布為，概率分布為p(ai)1/2n，i1，2，2n，失真函數(shù)規(guī)定為，失真函數(shù)規(guī)定為 即符號不發(fā)生差錯時失真為即符號不發(fā)生差錯時失真為0，一旦出錯，失真為，一旦出錯，失真為1，試，試研究在一定編碼條件下信息壓縮的程度。研究在一定編碼條件下信息壓縮的程度。jijiaadji01),(111 11(1/2)( )(,)log2log(1)2222nnnRH YHnnnnnn H(X)H(X/Y)可壓縮的信息量普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著184.1.4 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)1.R(D)函數(shù)的定義域函數(shù)的定義域 Dmin和和R(Dmin) Dmin0

12、對于連續(xù)信源對于連續(xù)信源 )() 0 ()(minXHRDR )()0()(minxHRDRc普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著19討論n何時Dmin=0? 只有當(dāng)失真矩陣中每行至少有一個零元素。n何時R(0)=H(X)? 只有當(dāng)失真矩陣中每行至少有一個零，并每一列最多只有一個零。 否則R(0)可以小于H(X)，表示這時信源符號集中有些符號可以壓縮、合并而不帶來任何失真。普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著20 (2) Dmax和和R(Dmax) R(Dmax)=0 選擇所有滿足選擇所有滿足R(D)0中中D的最小值，定的最小值，定義為義為R(D)定

13、義域的上限定義域的上限D(zhuǎn)max，即，即DDDR0)(maxmin因此可以得到因此可以得到R(D)的定義域為的定義域為max,0 DD 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著21Dmax=?nR(D)0就是就是I(X;Y)0，這時試驗信道，這時試驗信道輸入輸入與輸出是互相獨立與輸出是互相獨立的，所以條件概率的，所以條件概率p(yj/xi)與與xi無關(guān)。即無關(guān)。即jjijijpypxypp)()/(max111111minminminminijijjjnmiijijppijnmmnijijjiijppijjiDDp p dp p dppd需滿足條件需滿足條件11mjjp普通高等

14、教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著22從上式觀察可得：在從上式觀察可得：在j=1，m中，可找中，可找到到 值最小的值最小的j，當(dāng)該，當(dāng)該j對應(yīng)的對應(yīng)的pj1，而，而其余其余pj為零時，上式右邊達(dá)到最小，這時為零時，上式右邊達(dá)到最小，這時上式可簡化成上式可簡化成niijidp1niijimjdpD1, 2 , 1maxmin普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著23例例4-3 設(shè)輸入輸出符號表為設(shè)輸入輸出符號表為XY 0，1，輸入概率，輸入概率分布分布p(x)=1/3，2/3，失真矩陣為，失真矩陣為0110),(),(),(),(22122111badbadb

15、adbadd普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著24解：解：當(dāng)當(dāng)Dmin0時，時，R(Dmin)H(X)H(1/3，2/3)0.91比特比特/符號，這時信源編碼器無失真，符號，這時信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為所以該編碼器的轉(zhuǎn)移概率為 1001P普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著253131,32min032131, 132031min,minmin2, 12, 12221212121112, 1212, 1maxjjjiijijdpdpdpdpdpD當(dāng)當(dāng)R(Dmax)0時時 此時輸出符號概率此時輸出符號概率p(b1)0，p(b2)1，

16、 所以這時的編碼器的轉(zhuǎn)移概率為所以這時的編碼器的轉(zhuǎn)移概率為 2221,baba1010P普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著262、R(D)函數(shù)的下凸性和連續(xù)性函數(shù)的下凸性和連續(xù)性 3、R(D)函數(shù)的單調(diào)遞減性函數(shù)的單調(diào)遞減性 容許的失真度越大，所要求的信息率越小。容許的失真度越大，所要求的信息率越小。反之亦然。反之亦然。 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著27綜上所述，可以得出如下結(jié)論：綜上所述，可以得出如下結(jié)論：nR(D)是非負(fù)的實數(shù)，即R(D) 0。其定義域為0Dmax，其值為0H(X)。當(dāng)DDmax時， R(D) 0。nR(D)是關(guān)于D的下

17、凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。nR(D)是關(guān)于D的嚴(yán)格遞減函數(shù)。容許的D越大，所要求的R越小。反之亦然。普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著28由以上三點結(jié)論，對一般由以上三點結(jié)論，對一般信息率失真信息率失真R(D)曲線的曲線的形態(tài)可以畫出來：形態(tài)可以畫出來： R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 離散系統(tǒng)連續(xù)系統(tǒng)普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著29信道容量信道容量C率失真函數(shù)率失真函數(shù)R(D)R(D)與C的比較 ()max (; )ip xCI X Y(/)( )min( ; )jip yxR DI X

18、Y研究對象研究對象信道信源給定條件給定條件信道轉(zhuǎn)移概率p(yj/xi)信源分布p(xi)選擇參數(shù)選擇參數(shù)信源分布p(xi)信源編碼器編碼方法p(yj/xi)限制條件限制條件()1iip x(/ ):DjiPp y xD D結(jié)論結(jié)論I(X;Y)=H(X)-H(X/Y)噪聲干擾消失的信息量H(X/Y)壓縮損失的信息量H(X/Y)普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著304.2 離散信源和連續(xù)信源的離散信源和連續(xù)信源的R(D)計算計算 某些特殊情況下某些特殊情況下R（D）的表示式為：）的表示式為： （1）當(dāng)）當(dāng)d(x,y)=(x-y)2， 時時，22221)(xexpDDRlog)(普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著31(2)當(dāng)當(dāng)d(x,y)=|x-y|， 時時，xexp2)(DDR1log)(3)當(dāng)當(dāng)d(x,y)= (x,y)，p(x=0)=p，p(x=1)=1-p時，時，R(D)=H(p)H(D) 普通高等教育“十一五”國家級規(guī)劃教材信息論基礎(chǔ) 曹雪虹編著32這些這些R（D）可畫成三條曲線）可畫成三條曲線 0 Dmax D R(D) H(3)(1)(2)圖圖4-5 信息率失真函數(shù)信息率失真函