信息論基礎與編碼課件第四章-信息率失真函數(shù)

第四章信息率失真函數(shù)§4.1平均失真和信息率失真函數(shù)§4.2信息率失真函數(shù)的性質§4.3離散信源的R(D)函數(shù)及其計算§4.4連續(xù)信源的R(D)函數(shù)及其計算1第四章信息率失真函數(shù)§4.1平均失真和信息率失真函數(shù)14.1平均失真和信息率失真函數(shù)§4.1.1失真函數(shù)§4.1.2平均失真§4.1.3信息率失真函數(shù)24.1平均失真和信息率失真函數(shù)§4.1.1失真函數(shù)2失真函數(shù)

假如信源X輸出隨機序列為X=x1,x2,…,xn，經過信道傳輸后，輸出Y=y1,y2,…,ym。如果xi＝y(tǒng)j，則認為沒有失真；如果xi

yj，那么就產生了失真。失真的大小，用一個量來表示，即失真函數(shù)d(xi，yj)，以衡量用yj代替xi所引起的失真程度。（4-1）

3失真函數(shù)假如信源X輸出隨機序列為X=x1,x2,…,對每一對(xi,yj)，定義一個非負的函數(shù)失真函數(shù)(續(xù))

稱為單個符號的失真度或失真函數(shù)，表示離散信源發(fā)出一個符號xi而在接收端再現(xiàn)成yj所引起的誤差和失真。上述非負的失真函數(shù)共有n

m個，可以整體表示成失真矩陣（4-3）

（4-2）

4對每一對(xi,yj)，定義一個非負的函數(shù)失真函數(shù)失真函數(shù)(續(xù))平方誤差失真函數(shù)絕對誤差失真函數(shù)相對誤差失真函數(shù)誤碼失真函數(shù)適用于連續(xù)信源適用于離散信源5失真函數(shù)(續(xù))平方誤差失真函數(shù)絕對誤差失真函數(shù)相對誤

失真函數(shù)的定義可推廣到序列編碼情況，如果假定離散信源輸出符號序列

，其中L長符號序列樣值

，經信源編碼后，輸出符號序列

，其中L長符號序列樣值

，則失真函數(shù)定義為：

其中d(xil，yjl)是信源輸出L長符號樣值中的第l個符號xil時，編碼輸出L長符號樣值中的第l個符號yjl的失真函數(shù)。

失真函數(shù)(續(xù))6失真函數(shù)的定義可推廣到序列編碼情況，如果假定離平均失真對于連續(xù)隨機變量同樣可以定義平均失真定義平均失真度為失真函數(shù)的數(shù)學期望，即

d

(

xi

,

yj

)

在

X

和

Y的聯(lián)合概率空間P(

XY

)

中的統(tǒng)計平均值平均失真度與信源統(tǒng)計特性、信道統(tǒng)計特性和規(guī)定的失真度有關；如果信源和失真度給定以后， 就只是信道統(tǒng)計特性的函數(shù)。若為矢量傳輸時，平均失真為（4-6）

（4-5）

（4-4）

7平均失真對于連續(xù)隨機變量同樣可以定義平均失真定義平均失真度為信息率失真函數(shù)設信道容量C，用該信道來傳送信息率為R的信源，如果R＞C，就必須進行壓縮，壓縮后傳信率R’小于C。同時，要保證對信息的壓縮所引入的失真不超過預先規(guī)定的失真限度D’。對信源壓縮，就是在平均失真D≤D’時，R盡可能小。滿足平均失真D≤D’的所有轉移概率Pij構成了一個假想的信道，稱為D’允許信道，記為 對于離散無記憶信道，有信源的信息率失真函數(shù)也稱為率失真函數(shù)。（4-7）

8信息率失真函數(shù)設信道容量C，用該信道來傳送信息率為R的信源，信息率失真函數(shù)(續(xù))給定信源和失真度后，在允許信道中，總能找到一個信道P(Y/X)，使得給定的信源經過此信道傳輸后，平均互信息量I(X;Y)達到最小，這個最小的平均互信息稱為信息率失真函數(shù)

R

(

D

)，簡稱率失真函數(shù)：若信源為離散無記憶信源，則R(D)函數(shù)為（4-8）

（4-9）

9信息率失真函數(shù)(續(xù))給定信源和失真度后，在允許信道中，總能找信息率失真函數(shù)(續(xù))例4-2已知某編碼器的輸入符號的概率分布為p(x)={0.5,0.5}，兩個信道的轉移概率分別為:計算平均互信息量。解由，可得輸入符號與輸出符號的聯(lián)合概率：由于，得而，因此得到10信息率失真函數(shù)(續(xù))例4-2已知某編碼器的輸入符號的概率分信息率失真函數(shù)(續(xù))則平均互信息量為同樣，可得Pij時的平均互信息為從此例我們可以看到，若固定P(x)不變時，平均互信息量隨信道的轉移概率的變化而變化。這是因為信道受到干擾的作用不同，傳遞的信息量也不同?？梢宰C明這樣一個結論：P(x)一定時，平均互信息量I(X;Y)是關于信道的轉移概率的下凸函數(shù)，即存在一極小值。信息率失真函數(shù)的物理意義：對于給定信源，在平均失真D不超過失真限度D’的條件下，信息率容許壓縮的最小值。11信息率失真函數(shù)(續(xù))則平均互信息量為從此例我們可以看到，若固4.2信息率失真函數(shù)的性質§4.2.1R(D)函數(shù)的定義域§4.2.2R(D)函數(shù)的下凸性§4.2.3R(D)函數(shù)的連續(xù)性§4.2.4R(D)函數(shù)的單調遞減性124.2信息率失真函數(shù)的性質§4.2.1R(D)函數(shù)的定R(D)函數(shù)的定義域1.R(D)函數(shù)的定義域

⑴Dmin和R(Dmin)

Dmin＝0

對于連續(xù)信源

13R(D)函數(shù)的定義域1.R(D)函數(shù)的定義域13

(2)Dmax和R(Dmax)選擇所有滿足R(D)＝0中D的最小值，定義為R(D)定義域的上限Dmax，即Dmax是這樣來計算的。R(D)＝0就是I(X;Y)＝0，這時試驗信道輸入與輸出是互相獨立的，所以條件概率p(yj/xi)與xi無關。即R(D)函數(shù)的定義域(續(xù))14(2)Dmax和R(Dmax)求出滿足條件的D中的最小值，即此時平均失真為R(D)函數(shù)的定義域(續(xù))（4-10）

15求出滿足條件的D中的從上式觀察可得：在j=1，…，m中，可找到值最小的j，當該j對應的pj＝1，而其余pj為零時，上式右邊達到最小，這時上式可簡化成因此可以得到R(D)的定義域為R(D)函數(shù)的定義域(續(xù))（4-11）

16從上式觀察可得：在j=1，…，m中，因此可以得到例4-4輸入輸出符號表為X＝Y{0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣如下，求Dmax解：由Dmax的計算公式，有

R(D)函數(shù)的定義域(續(xù))17例4-4輸入輸出符號表為X＝Y{0，1}，輸入概率分布R(D)函數(shù)的下凸性和連續(xù)性連續(xù)性由數(shù)學分析理論：“定義在開區(qū)間上的凸函數(shù)必是連續(xù)函數(shù)”知：定義域為(

Dmin,Dmax)且具有下凸性的R

(

D

)是連續(xù)函數(shù)下凸性18R(D)函數(shù)的下凸性和連續(xù)性連續(xù)性由數(shù)學分析理論：“定義在開R(D)函數(shù)的單調遞減性R(D)函數(shù)的單調遞減性可以理解為：容許的失真越大，所要求的信息率越?。环粗?，容許的失真越小，所要求的信息率就越大。只要允許的失真不同，所要求的最低信息率就不同，不會是相等的。19R(D)函數(shù)的單調遞減性R(D)函數(shù)的單調遞減性可以理解為：根據率失真函數(shù)所具有的下凸性、連續(xù)性、嚴格單調下降性可繪出率失真函數(shù)的典型曲線圖R(D)函數(shù)的一般形式當規(guī)定了允許失真D，又確定了適當?shù)氖д鏈y量，就可以找到該失真條件下的最小信息率R(D)，這個最小的信息率是一個極限值。采用不同的方法進行數(shù)據壓縮（即信源編碼）時，其壓縮的程度如何，R(D)函數(shù)就是對數(shù)據進行壓縮的一把尺子。

20根據率失真函數(shù)所具有的下凸性、連續(xù)性、嚴格單調下降性可繪出率4.3離散信源的R(D)函數(shù)及其計算由R

(

D

)的定義可知，求解

R

(

D

)

實質上是在保真度準則下求互信息的極小值問題實際上就是選擇一個條件概率Pij，使I(X;Y)最小，所需約束條件如下：i=1,2,…,m

i=1,2,…,m;j=1,2,…,n

①

②③

（4-12）

214.3離散信源的R(D)函數(shù)及其計算由R(D)的定義離散信源的R(D)函數(shù)及其計算(續(xù))先不考慮約束條件③，由條件①和條件②的（m+1）個約束方程，可用（m+1）個乘子和S（待定參數(shù)）來構造一個輔助方程

為了求出的無條件極值，只要對求導并令其為0，就可得到一組以為未知數(shù)，S和為參數(shù)的方程組，然后再借助于（m+1）個約束方程來確定(m+1)個參數(shù)即可求解。令

，有

得或寫為22離散信源的R(D)函數(shù)及其計算(續(xù))先不考慮約束條件③，由條離散信源的R(D)函數(shù)及其計算(續(xù))設

，有

得可求得將該式代入約束條件②，有

（4-13）

（4-14）

對（4-13）式兩端同乘以，并對i求和，得23離散信源的R(D)函數(shù)及其計算(續(xù))設，有得可求得將該式離散信源的R(D)函數(shù)及其計算(續(xù))得到

。將（4-14）式所得代入上式，有

（4-15）

利用（4-15）式解出的中含有一個待定參數(shù)S，為了保證解均為非負值（），需要對參數(shù)S加以限制。

出的每一個利用（4-15）式求解出這些值，就可由式（4-14）求出對應值。當已知時，由（4-13）式即可求出相應的的值，代入平均失真的公式中，可解出隨S參數(shù)值變的m個，m

×

n個化的D值，即

（4-16）

24離散信源的R(D)函數(shù)及其計算(續(xù))得到。將（4-14）式離散信源的R(D)函數(shù)及其計算(續(xù))（4-17）

信源的信息率失真函數(shù)R(D)為此即用參數(shù)S表示的R(D)函數(shù)的表達式，相應的R(D)用R(S)代表。給出一個具體的S值，就可按照順序求出對應的、、、D(S)、R(S)的值。

參數(shù)S實際上就是R(D)函數(shù)的斜率，即25離散信源的R(D)函數(shù)及其計算(續(xù))（4-17）信源的信息離散信源的R(D)函數(shù)及其計算(續(xù))例4-6設X為二元等概率平穩(wěn)無記憶信源，規(guī)定失真函數(shù)如下

失真矩陣為

試求其信息率失真函數(shù)R(D)。

解計算平均失真D已知，若最大允許失真為D，則條件轉移概率與失真測度構成一一對應關系。

26離散信源的R(D)函數(shù)及其計算(續(xù))例4-6設X為二元等離散信源的R(D)函數(shù)及其計算(續(xù))為對稱型，則也為對稱型。由概率的歸一性，可進一步假設為

則平均失真為所以A=1?D，則條件概率為27離散信源的R(D)函數(shù)及其計算(續(xù))為對稱型，則也為對稱型。離散信源的R(D)函數(shù)及其計算(續(xù))由，求得

；得到信息率失真函數(shù)為28離散信源的R(D)函數(shù)及其計算(續(xù))由，求得；得到信息率離散信源的R(D)函數(shù)及其計算(續(xù))圖4-3R(D)～D曲線任給一個D值，就可求出相應的R(D)值，作出曲線如圖4-3所示?？梢钥吹?，當D=0時，R(D)=H(X)=log2，；D>1時，種特殊情況下，可以求出信源的R(D)～D曲線的顯式表達式。。在這29離散信源的R(D)函數(shù)及其計算(續(xù))圖4-3R(D)～D離散信源的R(D)函數(shù)及其計算(續(xù))例題4-8設輸入、輸出符號表為X=Y={0,1}，輸入符號的概率為p(x)={p,1

?

p}，0＜P≤1/2，失真函數(shù)為

，求R(D)。

解先計算，i=1,2，即、。由（4-11）式，可得

解得，再計算輸出符號的概率分布30離散信源的R(D)函數(shù)及其計算(續(xù))例題4-8設輸入、輸離散信源的R(D)函數(shù)及其計算(續(xù))解得，計算平均失真，即

則信息率失真函數(shù)為

31離散信源的R(D)函數(shù)及其計算(續(xù))解得，計算平均失真，離散信源的R(D)函數(shù)及其計算(續(xù))H[p,1?p]為信源熵，H[D,1?D]為允許一定的失真而可以壓縮的信息率，。對于不同的p值，可以作出一組R(D)曲線，圖4-5所示。對于給定的平均失真D，信源分布越均勻，R(D)越大，可壓縮性越??；反之，信源分布越不均勻，R(D)越小，可壓縮性越大。圖4-5不同p值的R(D)～D曲線32離散信源的R(D)函數(shù)及其計算(續(xù))H[p,1?p]為信源熵離散信源的R(D)函數(shù)及其計算(續(xù))通過以上所舉的幾個例子可以看到，計算實際信源的R(D)函數(shù)的顯式表達式是相當困難的，一般情況下是通過計算機進行迭代運算而得到結果的。根據R(D)函數(shù)的定義，尋求迭代算法的關鍵在于首先尋找一對描述互信息量的、互為因果關系的自變量。通常選Pj與Pij，互信息量I(Pj;Pij)。當信源給定時，Pi已知，那么求互信息的極小值是通過改變Pij來實現(xiàn)的。在含有參數(shù)S的R(D)函數(shù)表達式中，曾經得到33離散信源的R(D)函數(shù)及其計算(續(xù))通過以上所舉的幾個例子可離散信源的R(D)函數(shù)及其計算(續(xù))假設一個S值，逐次計算出Pj與Pij，代入互信息量I(Pj;Pij)的表達式中，就能實現(xiàn)對R(S)的迭代運算。再對不同的S值反復進行迭代，最終求得R(D)函數(shù)的曲線。為了運算方便，將Pj與Pij改寫為

①②34離散信源的R(D)函數(shù)及其計算(續(xù))假設一個S值，逐次計算出離散信源的R(D)函數(shù)及其計算(續(xù))計算R(D)的迭代算法和步驟如下。（1）令n=1，對給定的信源，取一個初始的條件概率分，由①式計算。

布，如取等概率分布為（2）對任何S<0，總在∞～0之間取n個點，先去一個最大的負值，對給定的按照②式計算。（3）將、的數(shù)值代入互信息公式，得

（4）取n=n+1，重復上述運算，可計算出35離散信源的R(D)函數(shù)及其計算(續(xù))計算R(D)的迭代算法和離散信源的R(D)函數(shù)及其計算(續(xù))求得相應的信息率為（5）若，回到（4）重新計算，直到其誤差小于時，停止運算。這里：（6）重新從n=1開始，并取第二個

S21值，重復上述過程，求出

R(S2)。（7）至少取4～5個不同的S值，計算出對應的R(S)。最后將幾個點的R(S)值連接起來，就構成了已知信源的R(D)～D曲線。36離散信源的R(D)函數(shù)及其計算(續(xù))求得相應的信息率為（5）4.4連續(xù)信源的R(D)函數(shù)及其計算§4.4.1幅度連續(xù)無記憶信源的R(D)函數(shù)

§4.4.2差值誤差測量與香農界

§4.4.3帶記憶的信源的R(D)函數(shù)

§4.4.4R(D)函數(shù)的單調遞減性374.4連續(xù)信源的R(D)函數(shù)及其計算§4.4.1幅度連幅度連續(xù)無記憶信源的R(D)函數(shù)1．失真函數(shù)設為時間離散、幅度連續(xù)的信源輸出，對其進行編碼后的輸出為

，1,2,…為時間標志。由源字X到編碼輸出Y所產生的失真為平均值測量。（4-18）將函數(shù)族作為由d產生的單字符保真度測量標準。d(x,y)可以有不同的表達形式。38幅度連續(xù)無記憶信源的R(D)函數(shù)1．失真函數(shù)設為時間離散、幅幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)對于一個幅度連續(xù)的信源，假定條件概率密度函數(shù)為p(y/x)，失真函數(shù)為d(x,y)，則平均失真為平均互信息量為其中，為輸出變量的概率密度函數(shù)。（4-19）（4-20）39幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)對于一個幅度幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)定義平均互信息量的下確界為R(D)函數(shù)，即（4-21）其中，。inf表示下確界，對應于離散信源的極小值。在連續(xù)信源情況下，不一定有極小值，但可以有下確界。

求下確界的問題，仍然是一個極值問題，是求泛函的極值。因此不是求偏導而是求變分了。平均互信息量I[q(y);p(y|x)]是變量p(y|x)的函數(shù)，稱p(y|x)為宗量，I為泛函。因此，求解連續(xù)信源的信息率失真函數(shù)R(D)，是利用變分法求出R(D)函數(shù)的參數(shù)表達式。40幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)定義平均互信幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)拉格朗日乘子法，引入待定參數(shù)S、乘子（函數(shù)），在約束條件，下，采用將條件極值化為無條件極值，然后對p(y|x)取變分，并令其為0，求出的R(D)函數(shù)的參數(shù)表達式為其中的為

（4-22）（4-23）（4-24）而參數(shù)S就是R(D)函數(shù)的斜率，有S<0。41幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)拉格朗日乘子差值誤差測量與香農界

1．差值變量的概率密度函數(shù)

失真函數(shù)為差值變量即d(x,y)=d(x-y)。從的表達式中可以看到，中含有參數(shù)S，并且與輸入隨機變量x的概率密度p(x)成反比。因此，可以假設（4-25）由式得（4-26）尋找合適的K(S)使等式成立，此時（4-27）42差值誤差測量與香農界1．差值變量的概率密度函數(shù)失真函數(shù)差值誤差測量與香農界1．差值變量的概率密度函數(shù)設失真函數(shù)為d(x,y)=d(x?y)，令z=x?y，將y作為參變量，則有dz=dx，可得或將積分變量當作一個以S為參數(shù)的函數(shù)，記為滿足條件：

，①非負性：②歸一性：說明具有概率密度函數(shù)的特性。

因此，定義差值變量z的概率密度函數(shù)為（4-28）43差值誤差測量與香農界1．差值變量的概率密度函數(shù)設失真函數(shù)為d差值誤差測量與香農界1．差值變量的概率密度函數(shù)由（4-25）式可得（4-29）說明：信源的概率密度為輸出變量y的概率密度和差值變量的概，輸出為p(x)。率密度的卷積。相當于q(x)經過了一個信道濾波函數(shù)為44差值誤差測量與香農界1．差值變量的概率密度函數(shù)由（4-25）差值誤差測量與香農界1．差值變量的概率密度函數(shù)隨機變量的概率密度函數(shù)的傅里葉變換為其特征函數(shù)。因此，對兩端進行傅里葉變換，有即求其傅里葉反變換，有由q(y)即可解出、D(S)及R(S)。

45差值誤差測量與香農界1．差值變量的概率密度函數(shù)隨機變量的概率差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)

均方誤差測量時，。差值變量的概率密度函數(shù)為由于斜率S總是取負值，即S<0，可用-|S|表示S。求積分有46差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)均方誤差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)特征函數(shù)為輸出y的特征函數(shù)為求反變換，得：47差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)特征函數(shù)差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)含有參數(shù)S的平均失真為即48差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)含有參數(shù)差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)含有參數(shù)S的信息率失真函數(shù)R(S)為為信源的微分熵，為允許的失真為D時而壓縮掉的信息量。給定p(x)時，即可求得R(D)。49差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)含有參數(shù)差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)在

域內，R(D)保持下凸、單調下降，斜率S<0，D=0時R(0)=∞。即連續(xù)信源的信息量為無限大，要無失真地用數(shù)字信號來傳送模擬信號，則需要無限大的信息速率。50差值誤差測量與香農界2．均方誤差測量下的R(D)函數(shù)在域內差值誤差測量與香農界3．絕對誤差測量下的

R(D)函數(shù)失真函數(shù)為絕對失真時，d(x,y)=d(x-y)=|x-y|=|z|。差值變量的概率密度函數(shù)為平均失真為信息率失真函數(shù)為該R(D)函數(shù)是否有效，還需要檢驗q(y)是不是符合概率密度函數(shù)的定義。稱為香農低界。

51差值誤差測量與香農界3．絕對誤差測量下的R(D)函數(shù)失真函帶記憶的信源的R(D)函數(shù)

當最大的允許失真D給定時，和無記憶信源相比，有記憶信源能夠得到較大的數(shù)據壓縮。對于正態(tài)分布的信源，有如下結論。這一結論往往用R的逆函數(shù)表示而更加直觀。當給定信源的速率R時，在小失真范圍內，表達式為其中，是X序列的譜平坦度。對白色正態(tài)噪聲，有常數(shù)，該式表明，有記憶信源的失真與無記憶信源的失真相比，可以降低倍。52帶記憶的信源的R(D)函數(shù)當最大的允許失真D給定時，和無記帶記憶的信源的R(D)函數(shù)

例4-9討論具有相關系數(shù)為ρ的一階正態(tài)馬爾可夫信源的信息率失真函數(shù)R(D)。假設信源正態(tài)分布的均值為0、方差為，其相關函數(shù)（協(xié)方差矩陣）為功率譜密度為當時，功率譜密度在上有最小值，即53帶記憶的信源的R(D)函數(shù)例4-9討論具有相關系數(shù)為ρ帶記憶的信源的R(D)函數(shù)

在小失真區(qū)域內，可求得且可以看出當增大時，R(D)是減小的，即54帶記憶的信源的R(D)函數(shù)在小失真區(qū)域內，可求得且可以END！55END！55第四章信息率失真函數(shù)§4.1平均失真和信息率失真函數(shù)§4.2信息率失真函數(shù)的性質§4.3離散信源的R(D)函數(shù)及其計算§4.4連續(xù)信源的R(D)函數(shù)及其計算56第四章信息率失真函數(shù)§4.1平均失真和信息率失真函數(shù)14.1平均失真和信息率失真函數(shù)§4.1.1失真函數(shù)§4.1.2平均失真§4.1.3信息率失真函數(shù)574.1平均失真和信息率失真函數(shù)§4.1.1失真函數(shù)2失真函數(shù)

假如信源X輸出隨機序列為X=x1,x2,…,xn，經過信道傳輸后，輸出Y=y1,y2,…,ym。如果xi＝y(tǒng)j，則認為沒有失真；如果xi

yj，那么就產生了失真。失真的大小，用一個量來表示，即失真函數(shù)d(xi，yj)，以衡量用yj代替xi所引起的失真程度。（4-1）

58失真函數(shù)假如信源X輸出隨機序列為X=x1,x2,…,對每一對(xi,yj)，定義一個非負的函數(shù)失真函數(shù)(續(xù))

稱為單個符號的失真度或失真函數(shù)，表示離散信源發(fā)出一個符號xi而在接收端再現(xiàn)成yj所引起的誤差和失真。上述非負的失真函數(shù)共有n

m個，可以整體表示成失真矩陣（4-3）

（4-2）

59對每一對(xi,yj)，定義一個非負的函數(shù)失真函數(shù)失真函數(shù)(續(xù))平方誤差失真函數(shù)絕對誤差失真函數(shù)相對誤差失真函數(shù)誤碼失真函數(shù)適用于連續(xù)信源適用于離散信源60失真函數(shù)(續(xù))平方誤差失真函數(shù)絕對誤差失真函數(shù)相對誤

失真函數(shù)的定義可推廣到序列編碼情況，如果假定離散信源輸出符號序列

，其中L長符號序列樣值

，經信源編碼后，輸出符號序列

，其中L長符號序列樣值

，則失真函數(shù)定義為：

其中d(xil，yjl)是信源輸出L長符號樣值中的第l個符號xil時，編碼輸出L長符號樣值中的第l個符號yjl的失真函數(shù)。

失真函數(shù)(續(xù))61失真函數(shù)的定義可推廣到序列編碼情況，如果假定離平均失真對于連續(xù)隨機變量同樣可以定義平均失真定義平均失真度為失真函數(shù)的數(shù)學期望，即

d

(

xi

,

yj

)

在

X

和

Y的聯(lián)合概率空間P(

XY

)

中的統(tǒng)計平均值平均失真度與信源統(tǒng)計特性、信道統(tǒng)計特性和規(guī)定的失真度有關；如果信源和失真度給定以后， 就只是信道統(tǒng)計特性的函數(shù)。若為矢量傳輸時，平均失真為（4-6）

（4-5）

（4-4）

62平均失真對于連續(xù)隨機變量同樣可以定義平均失真定義平均失真度為信息率失真函數(shù)設信道容量C，用該信道來傳送信息率為R的信源，如果R＞C，就必須進行壓縮，壓縮后傳信率R’小于C。同時，要保證對信息的壓縮所引入的失真不超過預先規(guī)定的失真限度D’。對信源壓縮，就是在平均失真D≤D’時，R盡可能小。滿足平均失真D≤D’的所有轉移概率Pij構成了一個假想的信道，稱為D’允許信道，記為 對于離散無記憶信道，有信源的信息率失真函數(shù)也稱為率失真函數(shù)。（4-7）

63信息率失真函數(shù)設信道容量C，用該信道來傳送信息率為R的信源，信息率失真函數(shù)(續(xù))給定信源和失真度后，在允許信道中，總能找到一個信道P(Y/X)，使得給定的信源經過此信道傳輸后，平均互信息量I(X;Y)達到最小，這個最小的平均互信息稱為信息率失真函數(shù)

R

(

D

)，簡稱率失真函數(shù)：若信源為離散無記憶信源，則R(D)函數(shù)為（4-8）

（4-9）

64信息率失真函數(shù)(續(xù))給定信源和失真度后，在允許信道中，總能找信息率失真函數(shù)(續(xù))例4-2已知某編碼器的輸入符號的概率分布為p(x)={0.5,0.5}，兩個信道的轉移概率分別為:計算平均互信息量。解由，可得輸入符號與輸出符號的聯(lián)合概率：由于，得而，因此得到65信息率失真函數(shù)(續(xù))例4-2已知某編碼器的輸入符號的概率分信息率失真函數(shù)(續(xù))則平均互信息量為同樣，可得Pij時的平均互信息為從此例我們可以看到，若固定P(x)不變時，平均互信息量隨信道的轉移概率的變化而變化。這是因為信道受到干擾的作用不同，傳遞的信息量也不同。可以證明這樣一個結論：P(x)一定時，平均互信息量I(X;Y)是關于信道的轉移概率的下凸函數(shù)，即存在一極小值。信息率失真函數(shù)的物理意義：對于給定信源，在平均失真D不超過失真限度D’的條件下，信息率容許壓縮的最小值。66信息率失真函數(shù)(續(xù))則平均互信息量為從此例我們可以看到，若固4.2信息率失真函數(shù)的性質§4.2.1R(D)函數(shù)的定義域§4.2.2R(D)函數(shù)的下凸性§4.2.3R(D)函數(shù)的連續(xù)性§4.2.4R(D)函數(shù)的單調遞減性674.2信息率失真函數(shù)的性質§4.2.1R(D)函數(shù)的定R(D)函數(shù)的定義域1.R(D)函數(shù)的定義域

⑴Dmin和R(Dmin)

Dmin＝0

對于連續(xù)信源

68R(D)函數(shù)的定義域1.R(D)函數(shù)的定義域13

(2)Dmax和R(Dmax)選擇所有滿足R(D)＝0中D的最小值，定義為R(D)定義域的上限Dmax，即Dmax是這樣來計算的。R(D)＝0就是I(X;Y)＝0，這時試驗信道輸入與輸出是互相獨立的，所以條件概率p(yj/xi)與xi無關。即R(D)函數(shù)的定義域(續(xù))69(2)Dmax和R(Dmax)求出滿足條件的D中的最小值，即此時平均失真為R(D)函數(shù)的定義域(續(xù))（4-10）

70求出滿足條件的D中的從上式觀察可得：在j=1，…，m中，可找到值最小的j，當該j對應的pj＝1，而其余pj為零時，上式右邊達到最小，這時上式可簡化成因此可以得到R(D)的定義域為R(D)函數(shù)的定義域(續(xù))（4-11）

71從上式觀察可得：在j=1，…，m中，因此可以得到例4-4輸入輸出符號表為X＝Y{0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣如下，求Dmax解：由Dmax的計算公式，有

R(D)函數(shù)的定義域(續(xù))72例4-4輸入輸出符號表為X＝Y{0，1}，輸入概率分布R(D)函數(shù)的下凸性和連續(xù)性連續(xù)性由數(shù)學分析理論：“定義在開區(qū)間上的凸函數(shù)必是連續(xù)函數(shù)”知：定義域為(

Dmin,Dmax)且具有下凸性的R

(

D

)是連續(xù)函數(shù)下凸性73R(D)函數(shù)的下凸性和連續(xù)性連續(xù)性由數(shù)學分析理論：“定義在開R(D)函數(shù)的單調遞減性R(D)函數(shù)的單調遞減性可以理解為：容許的失真越大，所要求的信息率越?。环粗?，容許的失真越小，所要求的信息率就越大。只要允許的失真不同，所要求的最低信息率就不同，不會是相等的。74R(D)函數(shù)的單調遞減性R(D)函數(shù)的單調遞減性可以理解為：根據率失真函數(shù)所具有的下凸性、連續(xù)性、嚴格單調下降性可繪出率失真函數(shù)的典型曲線圖R(D)函數(shù)的一般形式當規(guī)定了允許失真D，又確定了適當?shù)氖д鏈y量，就可以找到該失真條件下的最小信息率R(D)，這個最小的信息率是一個極限值。采用不同的方法進行數(shù)據壓縮（即信源編碼）時，其壓縮的程度如何，R(D)函數(shù)就是對數(shù)據進行壓縮的一把尺子。

75根據率失真函數(shù)所具有的下凸性、連續(xù)性、嚴格單調下降性可繪出率4.3離散信源的R(D)函數(shù)及其計算由R

(

D

)的定義可知，求解

R

(

D

)

實質上是在保真度準則下求互信息的極小值問題實際上就是選擇一個條件概率Pij，使I(X;Y)最小，所需約束條件如下：i=1,2,…,m

i=1,2,…,m;j=1,2,…,n

①

②③

（4-12）

764.3離散信源的R(D)函數(shù)及其計算由R(D)的定義離散信源的R(D)函數(shù)及其計算(續(xù))先不考慮約束條件③，由條件①和條件②的（m+1）個約束方程，可用（m+1）個乘子和S（待定參數(shù)）來構造一個輔助方程

為了求出的無條件極值，只要對求導并令其為0，就可得到一組以為未知數(shù)，S和為參數(shù)的方程組，然后再借助于（m+1）個約束方程來確定(m+1)個參數(shù)即可求解。令

，有

得或寫為77離散信源的R(D)函數(shù)及其計算(續(xù))先不考慮約束條件③，由條離散信源的R(D)函數(shù)及其計算(續(xù))設

，有

得可求得將該式代入約束條件②，有

（4-13）

（4-14）

對（4-13）式兩端同乘以，并對i求和，得78離散信源的R(D)函數(shù)及其計算(續(xù))設，有得可求得將該式離散信源的R(D)函數(shù)及其計算(續(xù))得到

。將（4-14）式所得代入上式，有

（4-15）

利用（4-15）式解出的中含有一個待定參數(shù)S，為了保證解均為非負值（），需要對參數(shù)S加以限制。

出的每一個利用（4-15）式求解出這些值，就可由式（4-14）求出對應值。當已知時，由（4-13）式即可求出相應的的值，代入平均失真的公式中，可解出隨S參數(shù)值變的m個，m

×

n個化的D值，即

（4-16）

79離散信源的R(D)函數(shù)及其計算(續(xù))得到。將（4-14）式離散信源的R(D)函數(shù)及其計算(續(xù))（4-17）

信源的信息率失真函數(shù)R(D)為此即用參數(shù)S表示的R(D)函數(shù)的表達式，相應的R(D)用R(S)代表。給出一個具體的S值，就可按照順序求出對應的、、、D(S)、R(S)的值。

參數(shù)S實際上就是R(D)函數(shù)的斜率，即80離散信源的R(D)函數(shù)及其計算(續(xù))（4-17）信源的信息離散信源的R(D)函數(shù)及其計算(續(xù))例4-6設X為二元等概率平穩(wěn)無記憶信源，規(guī)定失真函數(shù)如下

失真矩陣為

試求其信息率失真函數(shù)R(D)。

解計算平均失真D已知，若最大允許失真為D，則條件轉移概率與失真測度構成一一對應關系。

81離散信源的R(D)函數(shù)及其計算(續(xù))例4-6設X為二元等離散信源的R(D)函數(shù)及其計算(續(xù))為對稱型，則也為對稱型。由概率的歸一性，可進一步假設為

則平均失真為所以A=1?D，則條件概率為82離散信源的R(D)函數(shù)及其計算(續(xù))為對稱型，則也為對稱型。離散信源的R(D)函數(shù)及其計算(續(xù))由，求得

；得到信息率失真函數(shù)為83離散信源的R(D)函數(shù)及其計算(續(xù))由，求得；得到信息率離散信源的R(D)函數(shù)及其計算(續(xù))圖4-3R(D)～D曲線任給一個D值，就可求出相應的R(D)值，作出曲線如圖4-3所示?？梢钥吹剑擠=0時，R(D)=H(X)=log2，；D>1時，種特殊情況下，可以求出信源的R(D)～D曲線的顯式表達式。。在這84離散信源的R(D)函數(shù)及其計算(續(xù))圖4-3R(D)～D離散信源的R(D)函數(shù)及其計算(續(xù))例題4-8設輸入、輸出符號表為X=Y={0,1}，輸入符號的概率為p(x)={p,1

?

p}，0＜P≤1/2，失真函數(shù)為

，求R(D)。

解先計算，i=1,2，即、。由（4-11）式，可得

解得，再計算輸出符號的概率分布85離散信源的R(D)函數(shù)及其計算(續(xù))例題4-8設輸入、輸離散信源的R(D)函數(shù)及其計算(續(xù))解得，計算平均失真，即

則信息率失真函數(shù)為

86離散信源的R(D)函數(shù)及其計算(續(xù))解得，計算平均失真，離散信源的R(D)函數(shù)及其計算(續(xù))H[p,1?p]為信源熵，H[D,1?D]為允許一定的失真而可以壓縮的信息率，。對于不同的p值，可以作出一組R(D)曲線，圖4-5所示。對于給定的平均失真D，信源分布越均勻，R(D)越大，可壓縮性越??；反之，信源分布越不均勻，R(D)越小，可壓縮性越大。圖4-5不同p值的R(D)～D曲線87離散信源的R(D)函數(shù)及其計算(續(xù))H[p,1?p]為信源熵離散信源的R(D)函數(shù)及其計算(續(xù))通過以上所舉的幾個例子可以看到，計算實際信源的R(D)函數(shù)的顯式表達式是相當困難的，一般情況下是通過計算機進行迭代運算而得到結果的。根據R(D)函數(shù)的定義，尋求迭代算法的關鍵在于首先尋找一對描述互信息量的、互為因果關系的自變量。通常選Pj與Pij，互信息量I(Pj;Pij)。當信源給定時，Pi已知，那么求互信息的極小值是通過改變Pij來實現(xiàn)的。在含有參數(shù)S的R(D)函數(shù)表達式中，曾經得到88離散信源的R(D)函數(shù)及其計算(續(xù))通過以上所舉的幾個例子可離散信源的R(D)函數(shù)及其計算(續(xù))假設一個S值，逐次計算出Pj與Pij，代入互信息量I(Pj;Pij)的表達式中，就能實現(xiàn)對R(S)的迭代運算。再對不同的S值反復進行迭代，最終求得R(D)函數(shù)的曲線。為了運算方便，將Pj與Pij改寫為

①②89離散信源的R(D)函數(shù)及其計算(續(xù))假設一個S值，逐次計算出離散信源的R(D)函數(shù)及其計算(續(xù))計算R(D)的迭代算法和步驟如下。（1）令n=1，對給定的信源，取一個初始的條件概率分，由①式計算。

布，如取等概率分布為（2）對任何S<0，總在∞～0之間取n個點，先去一個最大的負值，對給定的按照②式計算。（3）將、的數(shù)值代入互信息公式，得

（4）取n=n+1，重復上述運算，可計算出90離散信源的R(D)函數(shù)及其計算(續(xù))計算R(D)的迭代算法和離散信源的R(D)函數(shù)及其計算(續(xù))求得相應的信息率為（5）若，回到（4）重新計算，直到其誤差小于時，停止運算。這里：（6）重新從n=1開始，并取第二個

S21值，重復上述過程，求出

R(S2)。（7）至少取4～5個不同的S值，計算出對應的R(S)。最后將幾個點的R(S)值連接起來，就構成了已知信源的R(D)～D曲線。91離散信源的R(D)函數(shù)及其計算(續(xù))求得相應的信息率為（5）4.4連續(xù)信源的R(D)函數(shù)及其計算§4.4.1幅度連續(xù)無記憶信源的R(D)函數(shù)

§4.4.2差值誤差測量與香農界

§4.4.3帶記憶的信源的R(D)函數(shù)

§4.4.4R(D)函數(shù)的單調遞減性924.4連續(xù)信源的R(D)函數(shù)及其計算§4.4.1幅度連幅度連續(xù)無記憶信源的R(D)函數(shù)1．失真函數(shù)設為時間離散、幅度連續(xù)的信源輸出，對其進行編碼后的輸出為

，1,2,…為時間標志。由源字X到編碼輸出Y所產生的失真為平均值測量。（4-18）將函數(shù)族作為由d產生的單字符保真度測量標準。d(x,y)可以有不同的表達形式。93幅度連續(xù)無記憶信源的R(D)函數(shù)1．失真函數(shù)設為時間離散、幅幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)對于一個幅度連續(xù)的信源，假定條件概率密度函數(shù)為p(y/x)，失真函數(shù)為d(x,y)，則平均失真為平均互信息量為其中，為輸出變量的概率密度函數(shù)。（4-19）（4-20）94幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)對于一個幅度幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)定義平均互信息量的下確界為R(D)函數(shù)，即（4-21）其中，。inf表示下確界，對應于離散信源的極小值。在連續(xù)信源情況下，不一定有極小值，但可以有下確界。

求下確界的問題，仍然是一個極值問題，是求泛函的極值。因此不是求偏導而是求變分了。平均互信息量I[q(y);p(y|x)]是變量p(y|x)的函數(shù)，稱p(y|x)為宗量，I為泛函。因此，求解連續(xù)信源的信息率失真函數(shù)R(D)，是利用變分法求出R(D)函數(shù)的參數(shù)表達式。95幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)定義平均互信幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)拉格朗日乘子法，引入待定參數(shù)S、乘子（函數(shù)），在約束條件，下，采用將條件極值化為無條件極值，然后對p(y|x)取變分，并令其為0，求出的R(D)函數(shù)的參數(shù)表達式為其中的為

（4-22）（4-23）（4-24）而參數(shù)S就是R(D)函數(shù)的斜率，有S<0。96幅度連續(xù)無記憶信源的R(D)函數(shù)2．R(D)函數(shù)拉格朗日乘子差值誤差測量與香農界

1．差值變量的概率密度函數(shù)

失真函數(shù)為差值變量即d(x,y)=d(x-y)。從的表達式中