應用信息論-第12講-率失真函數(shù)2

1、4.1 基本概念4.2 離散信源的信息率失真函數(shù)4.3 連續(xù)信源的信息率失真函數(shù) 4.4 信息率失真函數(shù)與信息價值4.5 信道容量與信息率失真函數(shù)的比較4.6 保真度準則下的信源編碼定理 4.7 信息論“三大定理”總結第四章 信息率失真函數(shù)10-Aug-221平均失真度離散隨機變量X：N維離散隨機序列：信息率失真函數(shù)離散信息X：概率分布為P(X)，失真度為d(xi,yj)小 結10-Aug-222信息率失真函數(shù)的性質定義域(Dmin,Dmax)： Dmin是最小允許失真度， Dmax是最大允許失真度下凸性單調遞減和連續(xù)性小 結10-Aug-2234.2 離散信源的信息率失真函數(shù)對離散信源，求R

2、(D)與求C類似，是一個在有約束條件下求平均互信息極值問題，只是約束條件不同；C是求平均互信息的條件極大值， R(D)是求平均互信息的條件極小值。4.2.1 離散信源信息率失真函數(shù)的參量表達式4.2.2 二元及等概率離散信源的信息率失真函數(shù)10-Aug-2244.2.1 離散信源率失真函數(shù)的參量表達式(1) 求極小值方法用拉格朗日乘數(shù)法原則上可以求出最小值，但是要得到它的顯式一般是很困難的，通常只能求出信息率失真函數(shù)的參量表達式。已知信源概率分布函數(shù)p(xi)和失真度d(xi , yj)，在滿足保真度準則 的條件下，在試驗信道集合PD當中選擇p(yj /xi)，使平均互信息4.2 離散信源的信

3、息率失真函數(shù)10-Aug-225(2) 離散信源的信息率失真函數(shù) 已知平均互信息在(4.2.5)的(n+1)個條件限制下求I(X;Y)的極值，引入拉格朗日乘數(shù)S和i(i=1,2,n)，構造一個新函數(shù)4.2 離散信源的信息率失真函數(shù)4.2.1 離散信源率失真函數(shù)的參量表達式10-Aug-2264.2.1 離散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-2274.2.1 離散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-2284.2.1 離散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-229第一步：求i4.2.1 離

4、散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-22104.2.1 離散信源率失真函數(shù)的參量表達式第二步：求p(yj)第三步：求p(yj/xi) 將解出的i和求p(yj)代入式(4.2.10)，可求得mn個以S為參量的p(yj/xi)。4.2 離散信源的信息率失真函數(shù)10-Aug-2211第四步：求D(S) 將這mn個p(yj /xi)代入(4.2.5)得到以S為參量的允許平均失真函數(shù)D(S)。4.2.1 離散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-2212第五步：求R(S) 將這mn個p(yj /xi)代入(4.2.4)得到以S為參量

5、的率失真函數(shù)R(S)。4.2.1 離散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-2213第六步：選擇使p(yj)非負的所有S，得到D和R值，可以畫出R(D)曲線，如圖4.2.1。4.2.1 離散信源率失真函數(shù)的參量表達式4.2 離散信源的信息率失真函數(shù)10-Aug-22144.2.1 離散信源率失真函數(shù)的參量表達式(3) 參量S的說明可以證明S就是R(D)函數(shù)的斜率 。斜率S必然負值；S是D的遞增函數(shù)，D從0變到Dmax，S將逐漸增加；當D=0時(R(D)的斜率)：S的最小值趨于負無窮。4.2 離散信源的信息率失真函數(shù)10-Aug-22154.2.1 離散信源率失

6、真函數(shù)的參量表達式當D=Dmax時：S達到最大；這個最大值也是某一個負值，最大是0。當DDmax時：在D=Dmax處，除某些特例外，S將從某一個負值跳到0，S在此點不連續(xù)。在D的定義域0, Dmax內，除某些特例外，S將是D的連續(xù)函數(shù)。4.2 離散信源的信息率失真函數(shù)10-Aug-2216(1) 二元離散信源的率失真函數(shù) 設二元信源 計算率失真函數(shù)R(D)4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2217 先求出Dmax4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2218第一步：求i，由式(4

7、.2.12)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2219第二步：求p(yj)，由式(4.2.11)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2220第三步：求p(yj/xi)，由式(4.2.10)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2221第四步：求D(S)，將上述結果代入式(4.2.14)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2222第五步：求R(S)，將上述結果

8、代入式(4.2.15)有4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2223對于這種簡單信源，可從D(S)解出S與D的顯式表達式。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-22244.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2225第六步：通過以上步驟計算出來的R(D)和S(D)如圖4.2.2 。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2226(2) 信息率失真函數(shù)曲線圖說明若=1，把d(x

9、i , yj)當成了誤碼個數(shù)，即X和Y不一致時，認為誤了一個碼元，所以d(xi , yj)的數(shù)學期望就是平均誤碼率。能容忍的失真等效于能容忍的誤碼率。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2227R(D)不僅與D有關，還與p有關。概率分布不同， R(D)曲線就不一樣。當p=0.25時，如果能容忍的誤碼率也是0.25，不用傳送信息便可達到，即R=0，這就是R(Dmax) =0的含義。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2228當D相同時，信源越趨于等概率分布， R(D)就越大。由最大

10、離散熵定理，信源越趨于等概率分布，其熵越大，即不確定性越大，要去除這不確定性所需的信息傳輸率就越大，而R(D)正是去除信源不確定性所必須的信息傳輸率。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2229關于S(D)它與p無直接關系，S(D)曲線只有一條，p=0.5和p=0.25都可以用，但它們的定義域不同；p=0.25時定義域是D=00.25，即到A點為止，此時 Smax=1.59。D0.25時，S(D)就恒為0了。所以在A點S(D)是不連續(xù)的；當p=0.5時，曲線延伸至D=0.5處，此時Smax=0，故S(D)是連續(xù)曲線，定義域為D=00.5

11、。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2230(3) 二元等概率離散信源的率失真函數(shù)當上述二元信源呈等概率分布時，上面式子分別退化為4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-2231這個結論很容易推廣到n元等概率信源的情況。4.2.2 二元及等概率離散信源的信息率失真函數(shù)4.2 離散信源的信息率失真函數(shù)10-Aug-22324.3.1 連續(xù)信源的信息率失真函數(shù)的參量表達式4.3.2 高斯信源的信息率失真函數(shù)4.3 連續(xù)信源的信息率失真函數(shù)10-Aug-2233條件信源XR=(,) 信源

12、X的概率密度函數(shù)為p(x)信道的傳遞概率密度函數(shù)為p(y /x)信宿YR=(,)信宿Y的概率密度函數(shù)為p(y)X和Y之間的失真度d(x,y)04.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式4.3連續(xù)信源的信息率失真函數(shù)10-Aug-2234平均失真度為平均互信息為4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式4.3連續(xù)信源的信息率失真函數(shù)10-Aug-2235PD為滿足保真度準則 的所有試驗信道集合。信息率失真函數(shù)為相當于離散信源中求極小值，嚴格地說，連續(xù)集合未必存在極小值，但是一定存在下確界。R(D)函數(shù)的參量表達式：一般情況，在失真度積分存在情況下， R(D) 的解存在，直接求解困難，用迭

13、代算法計算機求解，只在特殊情況下求解比較簡單。4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達式4.3連續(xù)信源的信息率失真函數(shù)10-Aug-2236(1) 高斯信源特性及失真度設連續(xù)信源的概率密度為正態(tài)分布函數(shù)數(shù)學期望為方差為失真度為d(x,y)=(xy)2，即把均方誤差作為失真，表明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴重，嚴重程度隨誤差增大呈平方增長。4.3.2 高斯信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)10-Aug-22374.3.2 高斯信源的信息率失真函數(shù)(2) 曲線圖說明 曲線如圖4.3.2。當信源均值不為0時，仍有這個結果，因為高斯信源的熵只與隨機變量的方差有關，與均值

14、無關。4.3連續(xù)信源的信息率失真函數(shù)10-Aug-22384.3.2 高斯信源的信息率失真函數(shù)當D=2時，R(D)=0 ：這就是說，如果允許失真（均方誤差）等于信源的方差，只需用確知的均值m來表示信源的輸出，不需要傳送信源的任何實際輸出；當D=0時，R(D)：這點說明在連續(xù)信源情況下，要毫無失真地傳送信源的輸出是不可能的。即要毫無失真地傳送信源的輸出必須要求信道具有無限大的容量；4.3連續(xù)信源的信息率失真函數(shù)10-Aug-22394.3.2 高斯信源的信息率失真函數(shù)當0D0，當信息率RR(D) ，只要信源序列長度L足夠長，一定存在一種編碼方式C，使譯碼后的平均失真度 ； 反之，若R0，當信息率 RR(D) ，只要信源序列長度 L 足夠長，一定存在一種編碼方式 C，使譯碼后的平均失真度 ；反之，若 RR(D)，則無論用什么編碼方式，必有 ，即譯碼平均失真必大于允許失真。信息率失真函數(shù)也是一個界限。只要信息率大于這個界限，譯碼失真就可限制在給定的范圍內。即通信的過程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。第四章 信息率失真函數(shù)10-Aug-2259研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實際應用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯誤的概率任意小，