信息論 第四章 信息率失真函數(shù)(2)

1、第四章信息率失真函數(shù)4.3.1 連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3.2 高斯信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)第四章信息率失真函數(shù)條件信源XR=(,)信源X的概率密度函數(shù)為p(x)信道的傳遞概率密度函數(shù)為p(y /x)信宿YR=(,)信宿Y的概率密度函數(shù)為p(y)X和Y之間的失真度d(x,y)04.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3連續(xù)信源的信息率失真函數(shù)D = p(xy)d(x, y)dxdy=第四章信息率失真函數(shù)平均失真度為 p(x) p( y / x)d(x, y)dxdy平均互信息為4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3連續(xù)信源的信息

2、率失真函數(shù)222-( ; )( ) ( | )log( | )( )log( )( | )( ) ( | )log( )( )=( ) ( | )dx( )dx=1( )dy=1( | )dy=1I X Yp x p y xp y x dxdyp yp y dyp y xp x p y xdxdyp yp yp x p y xp xp yp y x= 其中D(S ) = ( x) p( x) p( y)e d ( x, y)dxdy R(S ) = SD(S ) + p( x) log 2 ( x)dx同樣可以證明S是R( D)的斜率，S =第四章信息率失真函數(shù)困難，用迭代算法計(jì)算機(jī)求解，只在

3、特殊情況下求解比較簡(jiǎn)單。PD為滿足保真度準(zhǔn)則 D D 的所有試驗(yàn)信道集合。信息率失真函數(shù)為R( D) = inf I ( X ; Y ) “inf ”是指下確界p ( y / x )PD相當(dāng)于離散信源中求極小值，嚴(yán)格地說(shuō)，連續(xù)集合未必存在極小值，但是一定存在下確界。4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3連續(xù)信源的信息率失真函數(shù)dRdD一般情況，在失真度積分存在情況下， R(D) 的解存在，直接求解R(D)函數(shù)的參量表達(dá)式： Sd ( x , y )m = xp( x)dx = ( x m)2p( x)dx(1) 高斯信源特性及失真度設(shè)連續(xù)信源的概率密度為正態(tài)分布函數(shù)數(shù)學(xué)期望為方差

4、為失真度為d(x,y)=(xy)2，即把均方誤差作為失真，表明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴(yán)重，嚴(yán)重程度隨誤差增大呈平方增長(zhǎng)。 24.3.2 高斯信源的信息率失真函數(shù)22()221( )2xmp xe=第四章信息率失真函數(shù)4.3.2 高斯信源的信息率失真函數(shù)(2) 曲線圖說(shuō)明曲線如圖4.3.2。當(dāng)信源均值不為0時(shí)，仍有這個(gè)結(jié)果，因?yàn)楦咚剐旁吹撵刂慌c隨機(jī)變量的方差有關(guān)，與均值無(wú)關(guān)。4.3連續(xù)信源的信息率失真函數(shù)22221log( )20DDR DD=第四章信息率失真函數(shù)4.3.2 高斯信源的信息率失真函數(shù)當(dāng)D=2時(shí)，R(D)=0 ：這就是說(shuō)，如果允許失真（均方誤差）等于信源的方差，只需

5、用確知的均值m來(lái)表示信源的輸出，不需要傳送信源的任何實(shí)際輸出；當(dāng)D=0時(shí)，R(D)：這點(diǎn)說(shuō)明在連續(xù)信源情況下，要毫無(wú)失真地傳送信源的輸出是不可能的。即要毫無(wú)失真地傳送信源的輸出必須要求信道具有無(wú)限大的容量；4.3連續(xù)信源的信息率失真函數(shù)第四章信息率失真函數(shù)4.3.2 高斯信源的信息率失真函數(shù)當(dāng)0D0，當(dāng)信息率RR(D) ，只要信源序列長(zhǎng)度L足夠長(zhǎng)，一定存在一種編碼方式C，使譯碼后的平均失真度 D(C ) D + ；反之，若RR(D)，則無(wú)論用什么編碼方式，必有D(C ) D ，即譯碼平均失真必大于允許失真。上述定理也稱為限失真信源編碼定理。該定理可推廣到連續(xù)平穩(wěn)無(wú)記憶信源的情況。信息率失真函數(shù)

6、也是一個(gè)界限。只要信息率大于這個(gè)界限，譯碼失真就可限制在給定的范圍內(nèi)。即通信的過(guò)程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。第四章信息率失真函數(shù)上述定理又稱為限失真信源編碼定理或Shannon第三定理。也可以將該定理作如下的敘述：若R(D)為離散無(wú)記憶信源的信息率失真函數(shù)，D為允許的失真度，則只要實(shí)際的信息率R滿足R R(D)，就存在一種編碼方法，使其譯碼的平均失真度 D D + ， 其中 為任意小的正數(shù)；反之，若R RR(D)的情況下，可以通過(guò)合理運(yùn)用信源編碼和信道編碼充分提高通信系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)通信系統(tǒng)的最優(yōu)化。4.4 保真度準(zhǔn)則下的信源編碼定理RR(D)R0，當(dāng)信息率

7、RR(D) ，只要信源序列長(zhǎng)度 L 足夠長(zhǎng)，一定存在一種編碼方式 C，使譯碼后的；反之，若 RR(D)，則無(wú)論用，即譯碼平均失真必大于允許失真。信息率失真函數(shù)也是一個(gè)界限。只要信息率大于這個(gè)界限，譯碼失真就可限制在給定的范圍內(nèi)。即通信的過(guò)程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。第四章信息率失真函數(shù)什么編碼方式，必有D (C ) D平均失真度D (C ) D + 復(fù)習(xí)第四章信息率失真函數(shù)研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問(wèn)題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問(wèn)題。研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D 的條件下，使信源必須傳送給信宿的信息