信息率失真函數(shù)

信息率失真函數(shù)第一頁(yè)，共八十二頁(yè)，2022年，8月28日5.1引言5.3信息率失真函數(shù)的性質(zhì)5.4信息率失真函數(shù)的計(jì)算5.2平均失真和信息率失真函數(shù)第二頁(yè)，共八十二頁(yè)，2022年，8月28日5.1引言冗余度壓縮編碼對(duì)信源輸出的信息進(jìn)行有效的表示。信道編碼增加信息的冗余度，以對(duì)抗信道中的傳輸錯(cuò)誤。以上兩個(gè)方向的努力都是為了保證信息的可靠、無(wú)誤傳輸，是保熵的。問(wèn)題是：

是否所有的信源都要進(jìn)行保熵的編碼呢？第三頁(yè)，共八十二頁(yè)，2022年，8月28日音頻壓縮森林的鳥(niǎo)鳴：原始音頻：352Kps=44KHz×8Bit128kbpsMP3格式壓縮一段著名的話：原始音頻：352Kps=44KHz×8Bit128kbpsMP3格式壓縮第四頁(yè)，共八十二頁(yè)，2022年，8月28日?qǐng)D像壓縮文件大?。?32K第五頁(yè)，共八十二頁(yè)，2022年，8月28日?qǐng)D像壓縮文件大?。?38K第六頁(yè)，共八十二頁(yè)，2022年，8月28日?qǐng)D像壓縮文件大?。?38K第七頁(yè)，共八十二頁(yè)，2022年，8月28日?qǐng)D像壓縮文件大?。?4K第八頁(yè)，共八十二頁(yè)，2022年，8月28日問(wèn)題的提出是否需要完全表示信源的信息？自然界中很多信源是不需要進(jìn)行保熵的壓縮和傳輸?shù)膶?duì)于連續(xù)信源，需要使用無(wú)限大的碼率才能夠進(jìn)行可靠的傳輸因此，不可能也不必要完全表示信源信息

在給定的信息速率條件下，如何可以獲得信息的最優(yōu)表示？什么是最好？失真最小就是最好嗎？定義失真的度量第九頁(yè)，共八十二頁(yè)，2022年，8月28日本章討論主要問(wèn)題：

在允許一定失真存在的條件下，能夠?qū)⑿旁葱畔嚎s到什么程度，即最少需要多少比特信息才能夠描述信源，如何能夠快速的傳輸信息。

信息率失真理論的基本概念：

在允許傳輸消息出現(xiàn)一定的失真條件下，傳輸該消息所需的信息率(最小值)將會(huì)比不允許失真時(shí)小，并且允許的失真度越大，則信息率(最小值)允許減小的程度就越大。第十頁(yè)，共八十二頁(yè)，2022年，8月28日5.2平均失真和信息率失真函數(shù)

實(shí)際問(wèn)題中，信號(hào)有一定的失真可以容忍。當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，喪失其實(shí)用價(jià)值。因此要規(guī)定失真限度，有一個(gè)定量的失真測(cè)度－失真函數(shù)。第十一頁(yè)，共八十二頁(yè)，2022年，8月28日設(shè)信源輸出樣值：xi,xi∈{a1,…,an},經(jīng)過(guò)信源編碼器，輸出樣值yj,yj∈{b1,…,bm}.如果xi=yj，沒(méi)有失真；如果xi≠yj，產(chǎn)生失真。失真函數(shù)（失真測(cè)度）第十二頁(yè)，共八十二頁(yè)，2022年，8月28日失真大小用失真函數(shù)d(xi,yj)表示失真函數(shù)又稱為失真度。為簡(jiǎn)化起見(jiàn)，d(xi,yj)簡(jiǎn)寫(xiě)成dij，d(xi,yj)=0αxi=yjxi≠yji＝j(luò)時(shí)，x和y的消息符號(hào)都是ai，收發(fā)之間沒(méi)有失真，dij

＝0i≠j時(shí)，發(fā)出符號(hào)ai，收到bj，傳輸時(shí)出現(xiàn)失真，dij>0

一般dij值的大小表示失真的程度，表征了接收消息yj與發(fā)送消息xi之間的定量失真度。失真函數(shù)（失真測(cè)度）第十三頁(yè)，共八十二頁(yè)，2022年，8月28日失真函數(shù)類型均方失真d(xi,yj)=(xi-yj)2絕對(duì)失真d(xi,yj)=|xi-yj|相對(duì)失真d(xi,yj)=|xi-yj|/|xi|誤碼失真d(xi,yj)=δ(xi-yj)=01xi=yj其他用于連續(xù)信源失真函數(shù)（失真測(cè)度）第十四頁(yè)，共八十二頁(yè)，2022年，8月28日失真函數(shù)性質(zhì)：第十五頁(yè)，共八十二頁(yè)，2022年，8月28日

若X和Y集合都由N個(gè)不同符號(hào)構(gòu)成的，那么可組成N2個(gè)不同的(i,j)對(duì)，相對(duì)應(yīng)的失真函數(shù)也有N2個(gè)若X和Y集合分別由N個(gè)和M個(gè)不同符號(hào)構(gòu)成的，那么可組成N*M個(gè)不同的(i,j)對(duì)，相對(duì)應(yīng)的失真函數(shù)也有N*M個(gè)

dij表示方法有兩種，一是失真矩陣D，二是消息傳輸圖失真函數(shù)（失真測(cè)度）第十六頁(yè)，共八十二頁(yè)，2022年，8月28日將所有失真函數(shù)排列起來(lái)，得到失真矩陣DD＝d(a1,b1)d(a1,b2)…d(a1,bm)d(a2,b1)d(an,b1)………d(an,b2)d(a2,b2)d(a2,bm)d(an,bm)失真矩陣第十七頁(yè)，共八十二頁(yè)，2022年，8月28日消息傳輸圖XYx1x2xixN…………y1y2yjyMd11d12d1jd1MdN1dNMdNjdN2第十八頁(yè)，共八十二頁(yè)，2022年，8月28日例：已知X＝Y(jié)＝{a1，a2}，且有d11＝d22＝0，d12＝d21＝1，用兩種方法表示失真函數(shù)解：失真矩陣D為：消息傳輸圖為：第十九頁(yè)，共八十二頁(yè)，2022年，8月28日例：已知X={0,1,2,3,4,5}，Y={0,1,2}，X和Y集合符號(hào)之間的失真函數(shù)值分別為d00=d11=d22=0，d30=d31=d41=d42=d50=d52=1，d01=d02=d10=d12=d20=d21=2，d32=d40=d51=3。這些失真函數(shù)值的由來(lái)可形象化地用正六角形表示，其中每條條邊相當(dāng)于失真函數(shù)值為1。013425第二十頁(yè)，共八十二頁(yè)，2022年，8月28日XY020123450001322222211111133第二十一頁(yè)，共八十二頁(yè)，2022年，8月28日漢明失真第二十二頁(yè)，共八十二頁(yè)，2022年，8月28日平方誤差失真函數(shù)第二十三頁(yè)，共八十二頁(yè)，2022年，8月28日

為了估計(jì)全體信源發(fā)出的消息符號(hào)與接收符號(hào)之間的失真程度,需要計(jì)算各個(gè)失真函數(shù)的統(tǒng)計(jì)平均值(數(shù)學(xué)期望)。平均失真函數(shù)定義為：平均失真函數(shù)第二十四頁(yè)，共八十二頁(yè)，2022年，8月28日若X和Y都是n維矢量消息的集合，也可以定義兩個(gè)矢量消息之間的失真函數(shù)為：

其平均失真函數(shù)為：該式中是n維矢量的第r個(gè)分量上的平均失真函數(shù)平均失真函數(shù)第二十五頁(yè)，共八十二頁(yè)，2022年，8月28日

當(dāng)給定信源的各符號(hào)概率分布時(shí)，若要求平均失真函數(shù)不超過(guò)某個(gè)給定的值D(即D為允許失真度)，這就需要對(duì)假想的試驗(yàn)信道的傳輸概率P(yj|xi)施加一定的限制先把{P(yj|xi)}集合的各種可能值代入式

信源概率轉(zhuǎn)移概率失真函數(shù)第二十六頁(yè)，共八十二頁(yè)，2022年，8月28日

求出各個(gè)，再根據(jù)，把{P(yj|xi)}分成兩類:

的一類用PD表示，PD是能使實(shí)際失真在允許失真度范圍內(nèi)的那些假想試驗(yàn)信道的{P(yj|xi)}

的一類稱為禁用集合第二十七頁(yè)，共八十二頁(yè)，2022年，8月28日保真度（失真度）準(zhǔn)則：若平均失真函數(shù)不大于所允許的失真度D，即稱為保真度準(zhǔn)則。第二十八頁(yè)，共八十二頁(yè)，2022年，8月28日第二十九頁(yè)，共八十二頁(yè)，2022年，8月28日信息率失真函數(shù)R(D)把有失真的信源編碼器看作有干擾的假想信道，用分析信道傳輸?shù)姆椒ㄑ芯肯奘д嫘旁淳幋a問(wèn)題第三十頁(yè)，共八十二頁(yè)，2022年，8月28日平均失真由信源分布，轉(zhuǎn)移概率，失真函數(shù)決定，如果信源分布和失真函數(shù)一定，則滿足失真條件的所有轉(zhuǎn)移概率分布構(gòu)成一個(gè)信道集合：PD為假想信道，允許試驗(yàn)信道第三十一頁(yè)，共八十二頁(yè)，2022年，8月28日

信息率失真函數(shù)R(D)定義：在給定信源消息的概率分布{P(xi)}及平均失真函數(shù)允許值D的條件下，傳輸這些信源消息，并使失真程度在允許范圍內(nèi)時(shí)，所需要的信息率的最小值，其定義式為：

R(D)又稱作率失真函數(shù)PD——滿足保真度準(zhǔn)則的試驗(yàn)信道的集合。第三十二頁(yè)，共八十二頁(yè)，2022年，8月28日平均互信息量的凸函數(shù)性

(1)I(X;Y)是信源概率分布P(X)的上凸函數(shù)

（最大值）——信道容量

(2)I(X;Y)是信道轉(zhuǎn)移概率P(Y/X)的下凸函數(shù)

（最小值）——率失真函數(shù)回顧：第三十三頁(yè)，共八十二頁(yè)，2022年，8月28日二進(jìn)制對(duì)稱信道q不變時(shí),I(X;Y)為上凸曲線。p=0.5時(shí)有最大值p不變時(shí),I(X;Y)為下凸曲線。q=0.5時(shí)有最小值00.51qH(p)I(X;Y)1-H(q)00.51pI(X;Y)qq10YX回顧：第三十四頁(yè)，共八十二頁(yè)，2022年，8月28日由于平均互信息量I(X;Y)是p(yj|xi)的下凸函數(shù)，所以在PD集合內(nèi)，極小值存在。該極小值就是在保真度準(zhǔn)則的條件下，信源必須傳輸?shù)淖钚∑骄バ畔⒘?第三十五頁(yè)，共八十二頁(yè)，2022年，8月28日離散無(wú)記憶信源N維信源矢量的信息率失真函數(shù)RN(D)為X——信源的一個(gè)輸出序列；Y——信宿的一個(gè)接收序列；

——N維信源矢量的平均失真度。第三十六頁(yè)，共八十二頁(yè)，2022年，8月28日信息率失真函數(shù)R(D)的等效定義稱D(R)為失真信息率函數(shù)，是R(D)的逆函數(shù)，它是求在允許最大速率情況下的最小失真D給定速率第三十七頁(yè)，共八十二頁(yè)，2022年，8月28日連續(xù)DR(D)H(X)=R(0)0離散下凸函數(shù)由定義，R(D)函數(shù)是在限定失真為最大允許失真D時(shí)信源最小信息傳輸速率，它是通過(guò)改變?cè)囼?yàn)信道特性來(lái)達(dá)到的。所以R(D)是表示不同D值時(shí)對(duì)應(yīng)的理論上最小信息速率值。第三十八頁(yè)，共八十二頁(yè)，2022年，8月28日說(shuō)明：（1）在研究信息率失真函數(shù)R(D)時(shí)，引用的信道傳輸概率p(yj|xi)并沒(méi)有實(shí)際信道的含義，是為了求平均互信息量極小值而引用的假想可變?cè)囼?yàn)信道。即不同的試驗(yàn)信道特性，并求解出不同的信息率失真R’(D)函數(shù)，它與理論上最佳的R(D)之間存在著差異，它反映了不同方式信源編碼性能的優(yōu)劣，這也正是R(D)函數(shù)的理論價(jià)值所在。第三十九頁(yè)，共八十二頁(yè)，2022年，8月28日（2）連續(xù)信源，無(wú)失真是毫無(wú)意義的，這時(shí)R(D)函數(shù)具有更大的價(jià)值。實(shí)際上，這些信道僅僅反映不同的有失真信源編碼或信源壓縮編碼。因此，改變?cè)囼?yàn)信道求平均互信息量的極小值，實(shí)質(zhì)上是選擇一種信源編碼方法使信息傳輸速率最小。第四十頁(yè)，共八十二頁(yè)，2022年，8月28日（3）研究信息率失真函數(shù)是為了解決在已知信源和允許失真度的條件下，如何使信源傳送給信宿的信息量最小的問(wèn)題，也就是說(shuō)在一定失真度D條件下，盡可能用最少的碼符號(hào)來(lái)傳送信源消息，使信源消息盡快地傳送出去，以提高通信的有效性。（4）信息率失真函數(shù)的物理意義：對(duì)于給定信源，在平均失真不超過(guò)失真限度D的條件下，信息率容許壓縮的最小值為R(D)。第四十一頁(yè)，共八十二頁(yè)，2022年，8月28日限失真信源編碼定理(香農(nóng)第三定理)

限失真信源的信息率用R(D)描述，所采用的信道的信道容量為C時(shí)，若C>R(D)時(shí)，則限失真信源的有效性編碼存在；反之，若C<R(D)時(shí)，則限失真信源的有效性編碼就不存在信源編碼器的目的：使編碼后所需的信息傳輸率R盡量小,給出一個(gè)失真的限制值D，在滿足保真度準(zhǔn)則條件下，選擇一種編碼方法，使信息率R盡可能小第四十二頁(yè)，共八十二頁(yè)，2022年，8月28日例：若有一個(gè)離散、等概率單消息（或無(wú)記憶）二元信源：,且采用漢明距離作為失真度量標(biāo)準(zhǔn)：即有一具體信源編碼方案為：N個(gè)碼元中允許錯(cuò)一個(gè)碼元，實(shí)現(xiàn)時(shí)N個(gè)碼元僅送N-1個(gè)，剩下一個(gè)不送，在接收端用隨機(jī)方式?jīng)Q定（為擲硬幣方式）。第四十三頁(yè)，共八十二頁(yè)，2022年，8月28日陰影范圍表示實(shí)際信源編碼方案與理論值間的差距，我們完全可以找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務(wù)。二元信源的理論信息率失真函數(shù)二元信源的實(shí)際信息率失真函數(shù)第四十四頁(yè)，共八十二頁(yè)，2022年，8月28日例：設(shè)信源具有一百個(gè)以等概率出現(xiàn)的符號(hào)a1，a2，…，a99，a100，并以每秒發(fā)出一個(gè)符號(hào)的速率從信源輸出。試求在允許失真度D＝0.1條件下，傳輸這些消息所需要的最小信息率。

信源a1,a2,...,a99,a100試驗(yàn)信道{p(yj|xi)}無(wú)擾離散信道失真信源a1～a100a1～a90(a)第四十五頁(yè)，共八十二頁(yè)，2022年，8月28日解：在不失真?zhèn)鬏敆l件下的信息率R為：因?yàn)樵试S失真度D＝0.1，可設(shè)想信源100個(gè)符號(hào)經(jīng)過(guò)假想的試驗(yàn)信道只輸出a1，a2，…，a89，a90，即輸出90個(gè)符號(hào)，而余下的a91，…，a100都用a90代替

bit/sXYa1a2a90a91a100a90a2a1第四十六頁(yè)，共八十二頁(yè)，2022年，8月28日

除a1，a2，…，a89，a90對(duì)應(yīng)位置上的元素為0外，其余元素為1或∞（假想試驗(yàn)信道傳輸概率P(yj|xi)為零時(shí)，所對(duì)應(yīng)的dij為無(wú)限大）

第四十七頁(yè)，共八十二頁(yè)，2022年，8月28日該失真信源的組合方案的平均失真函數(shù)為：上式中：

X1＝Y(jié)1＝{a1，a2，…，a89，a90}，屬于不失真的符號(hào)集合，對(duì)應(yīng)dij＝0，其中i,j＝1，2，…，90

X2＝{a91，…，a100}，Y2＝{a90}，屬于失真集合，對(duì)應(yīng)dij＝1，其中i＝91，91，…，100，j＝90第四十八頁(yè)，共八十二頁(yè)，2022年，8月28日

據(jù)題意，P(xi)＝1/100（i＝1，2，…，100）所以得平均失真函數(shù)：

可見(jiàn)，這樣設(shè)想的失真信源的組合方案能滿足對(duì)失真度的要求。

第四十九頁(yè)，共八十二頁(yè)，2022年，8月28日

該試驗(yàn)信道為無(wú)噪有損信道，即H(Y|X)=0,所以

R=I(X;Y)=H(Y)-H(Y|X)=H(Y)

在試驗(yàn)信道的輸出端Y，a1，a2，…，a89的出現(xiàn)概率仍為1/100,而a90的出現(xiàn)概率P(a90)＝11/100，可知相應(yīng)的信息傳輸速率為：

第五十頁(yè)，共八十二頁(yè)，2022年，8月28日

比較R’與無(wú)失真?zhèn)鬏敆l件下的信息率R,可知在D＝0.1的條件下，所需信息率減小了6.644－6.264＝0.38bit/s。同理，在D＝0.5的條件下(假定后50個(gè)符號(hào)均產(chǎn)生失真，這后50個(gè)符號(hào)均用a50來(lái)代替)信息率R”為：

與無(wú)失真?zhèn)鬏敆l件下的信息率R想比較減小6.644－3.751＝2.893bit/s。第五十一頁(yè)，共八十二頁(yè)，2022年，8月28日信道容量與信息率失真函數(shù)的比較第五十二頁(yè)，共八十二頁(yè)，2022年，8月28日(1)求極值問(wèn)題平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)或概率密度函數(shù)p(x)的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果I(X;Y)在定義域內(nèi)對(duì)p(xi)或p(x)的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問(wèn)題，即

I(X;Y)又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)或條件概率密度函數(shù)p(y/x)的下凸函數(shù)，因此在滿足保真度準(zhǔn)則條件下，I(X;Y)對(duì)p(yj/xi)或p(y/x)的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問(wèn)題，即信道容量與信息率失真函數(shù)的比較第五十三頁(yè)，共八十二頁(yè)，2022年，8月28日信道容量與信息率失真函數(shù)的比較(2)特性信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)或條件概率密度p(y/x)有關(guān)，反映信道特性，與信源特性無(wú)關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對(duì)信道容量的影響，采用的做法是在所有的信源中以那個(gè)能夠使平均互信息達(dá)到最大的信源為參考，從而使信道容量?jī)H與信道特性有關(guān)，信道不同，C亦不同。信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布p(xi)或概率密度函數(shù)p(x)有關(guān)，反映信源特性，與信道特性無(wú)關(guān)。由于平均互信息與信道的特性有關(guān)，為了排除信道特性對(duì)信息率失真函數(shù)的影響，采用的做法是在所有的信道中以那個(gè)能使平均互信息達(dá)到最小的信道為參考，從而使信息率失真函數(shù)僅僅與信源特性有關(guān)，信源不同，R(D)亦不同。第五十四頁(yè)，共八十二頁(yè)，2022年，8月28日(3)解決的問(wèn)題信道容量是為了解決通信的可靠性問(wèn)題，是信息傳輸?shù)睦碚摶A(chǔ)，通過(guò)信道編碼增加信息的冗余度來(lái)實(shí)現(xiàn)；信息率失真函數(shù)是為了解決通信的有效性問(wèn)題，是信源壓縮的理論基礎(chǔ)，通過(guò)信源編碼減少信息的冗余度來(lái)實(shí)現(xiàn)。第五十五頁(yè)，共八十二頁(yè)，2022年，8月28日5.3信息率失真函數(shù)的性質(zhì)1.R(D)函數(shù)的定義域(1)Dmin和R(Dmin)R(Dmin)＝R(0)=H(X)通常最小允許失真度Dmin為零，在D＝0條件下，因?yàn)椴辉试S失真，所以X和Y集合的各個(gè)消息符號(hào)都一一對(duì)應(yīng)，這相當(dāng)于假想的試驗(yàn)信道是無(wú)擾離散信道的情況。在這種信道上，有：

I(X;Y)＝H(X)＝H(Y)

所以，R(0)=H(X)，且R(0)是R(D)的上限值第五十六頁(yè)，共八十二頁(yè)，2022年，8月28日當(dāng)給定信源，以及失真矩陣D，信源的最小平均失真度由上式可以知道，若選擇試驗(yàn)信道，使對(duì)每一個(gè)的求和式為最小，則總和值達(dá)到最小。當(dāng)固定某個(gè)，那么對(duì)于不同的其不同（即在失真矩陣D中第i行的元素不同），其中必有最小值也可能有若干個(gè)相同的最小值。于是，可以選擇這樣的試驗(yàn)信道，它滿足所有最小值的yj所有最小值的yj第五十七頁(yè)，共八十二頁(yè)，2022年，8月28日可見(jiàn)，允許失真度D是否能為零，這與單個(gè)符號(hào)的失真函數(shù)有關(guān)，只有當(dāng)失真矩陣中每行至少有一個(gè)零元素時(shí)，信源的平均失真度才能達(dá)到零值，否則，最小平均失真度不等于零。如果Dmin≠0，可以適當(dāng)改變單個(gè)符號(hào)的失真度，令使Dmin=0。而對(duì)信息率失真函數(shù)來(lái)說(shuō)，它只是起了坐標(biāo)平移作用。所以可以假設(shè)Dmin=0而不失其普遍性?？梢?jiàn)，只有當(dāng)失真矩陣中每行至少有一個(gè)零，并且每一列最多只有一個(gè)零時(shí)，才等于；否則小于。這時(shí)表示信源符號(hào)集中有些符號(hào)可以壓縮、合并，但是沒(méi)有任何失真。則可以得信源的最小平均失真度為第五十八頁(yè)，共八十二頁(yè)，2022年，8月28日例：刪除信源X取值【0，1】，Y取值【0，1，2】。而失真矩陣為求Dmin。滿足最小失真度的試驗(yàn)信道是個(gè)無(wú)噪無(wú)損信道，轉(zhuǎn)移矩陣為在這個(gè)無(wú)噪無(wú)損信道中，可得第五十九頁(yè)，共八十二頁(yè)，2022年，8月28日例：第六十頁(yè)，共八十二頁(yè)，2022年，8月28日(2)Dmax和R(Dmax)最大允許失真度Dmax的含義是使平均互信息量等于零時(shí)所允許的失真度，即R(Dmax)＝0

在Dmax條件下，R(Dmax)＝I(X;Y)＝0，這意味著X和Y集合之間沒(méi)有任何信息量的關(guān)連，X和Y相互獨(dú)立當(dāng)D>Dmax

也有R(D)＝0第六十一頁(yè)，共八十二頁(yè)，2022年，8月28日

X和Y相互獨(dú)立的條件下，對(duì)各個(gè)xi，有P(yj|xi)＝P(yj)，這時(shí)平均失真函數(shù)可寫(xiě)成：因?yàn)楫?dāng)D≥Dmax時(shí)，有R(D)＝0

所以，Dmax應(yīng)在滿足I(X；Y)＝0的條件下，取Y集合中所有值中的最小值，故定義Dmax為：第六十二頁(yè)，共八十二頁(yè)，2022年，8月28日例：已知信源的消息集合X中包含x0和x1兩個(gè)消息，并設(shè)它們的概率為P(X1)＝p<1/2，P(X2)＝1－p，而信宿符號(hào)集合Y也包含兩個(gè)符號(hào)y0和y1

，失真矩陣為，試求Dmax第六十三頁(yè)，共八十二頁(yè)，2022年，8月28日

解：接收符號(hào)y0的平均失真函數(shù)為：接收符號(hào)y1的平均失真函數(shù)為：因?yàn)閜<1/2

所以滿足這個(gè)失真度的試驗(yàn)信道為：第六十四頁(yè)，共八十二頁(yè)，2022年，8月28日2.R(D)函數(shù)的下凸性和連續(xù)性3.R(D)函數(shù)的單調(diào)遞減性物理意義：容許的失真度越大，所要求的信息率越小。第六十五頁(yè)，共八十二頁(yè)，2022年，8月28日第六十六頁(yè)，共八十二頁(yè)，2022年，8月28日5.4信息率失真函數(shù)的計(jì)算

可見(jiàn)，求解R(D)實(shí)質(zhì)上是求解互信息的條件極值，可采用拉氏乘子法求解。但是，在一般情況下只能求得用參量（R(D)的斜率S）來(lái)描述的參量表達(dá)式，并借助計(jì)算機(jī)進(jìn)行迭代運(yùn)算。由信道容量C與R(D)數(shù)學(xué)上對(duì)偶關(guān)系：其迭代運(yùn)算與求信道容量迭代運(yùn)算相仿的。我們這里只