工學(xué)信息率失真函數(shù)PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1 工學(xué)信息率失真函數(shù)工學(xué)信息率失真函數(shù) 5.1 引言引言 5.3 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì) 5.4 信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算 5.2平均失真和信息率失真函數(shù)平均失真和信息率失真函數(shù) 第1頁(yè)/共74頁(yè) 第2頁(yè)/共74頁(yè) 真度越大，則信息率真度越大，則信息率(最小值最小值)允允 許減小的程度就越大。許減小的程度就越大。 第3頁(yè)/共74頁(yè) 實(shí)際問(wèn)題中，信號(hào)有一定的失真可以容忍。當(dāng)失真實(shí)際問(wèn)題中，信號(hào)有一定的失真可以容忍。當(dāng)失真 大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，喪失其實(shí)用大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，喪失其實(shí)用 價(jià)值。因此要規(guī)定失真限度，有一個(gè)定量

2、的失真測(cè)度價(jià)值。因此要規(guī)定失真限度，有一個(gè)定量的失真測(cè)度 失真函數(shù)失真函數(shù)。 第4頁(yè)/共74頁(yè) 失真函數(shù)失真函數(shù) 設(shè)信源發(fā)出符號(hào)設(shè)信源發(fā)出符號(hào)xi ：xia1,an, 信宿端接收到的的符號(hào)為信宿端接收到的的符號(hào)為yj, yjb1,bm. 如果如果xi=yj，沒(méi)有失真；，沒(méi)有失真； 如果如果xiyj，產(chǎn)生失真。，產(chǎn)生失真。 第5頁(yè)/共74頁(yè) 失真大小用失真大小用失真函數(shù)失真函數(shù)d(xi,yj)表示表示 失真函數(shù)又稱(chēng)為失真度。為簡(jiǎn)化起見(jiàn)，失真函數(shù)又稱(chēng)為失真度。為簡(jiǎn)化起見(jiàn)，d(xi,yj)簡(jiǎn)寫(xiě)成簡(jiǎn)寫(xiě)成dij， d(xi,yj)= 0 xi=yj xiyj 一般一般dij值的大小表示失真的程度，值的大

3、小表示失真的程度， 表征了接收消息表征了接收消息yj與發(fā)送消息與發(fā)送消息xi之間的定量失真度。之間的定量失真度。 第6頁(yè)/共74頁(yè) 失真函數(shù)類(lèi)型失真函數(shù)類(lèi)型 均方失真均方失真 d(xi,yj)=(xi-yj)2 絕對(duì)失真絕對(duì)失真 d(xi,yj)=|xi-yj| 相對(duì)失真相對(duì)失真d(xi,yj)=|xi-yj|/|xi| 誤碼失真誤碼失真 d(xi,yj)= 0 1 xi=yj 其他其他 用于連續(xù)信源用于連續(xù)信源 第7頁(yè)/共74頁(yè) , (,)0; min(,)0 0(,) j jj j X yY j ydy dy dy i ii i x i （1）當(dāng)x時(shí)，x （2）x （3）x 第8頁(yè)/共74

4、頁(yè) 若若X X和和Y Y集合都由集合都由N N個(gè)不同符號(hào)構(gòu)成的，那么可組成個(gè)不同符號(hào)構(gòu)成的，那么可組成N N2 2 個(gè)不同的個(gè)不同的(i,j)(i,j)對(duì)，相對(duì)應(yīng)的失真函數(shù)也有對(duì)，相對(duì)應(yīng)的失真函數(shù)也有N N2 2個(gè)個(gè) 若若X X和和Y Y集合分別由集合分別由N N個(gè)和個(gè)和M M個(gè)不同符號(hào)構(gòu)成的，那么可個(gè)不同符號(hào)構(gòu)成的，那么可 組成組成N N* *M M個(gè)不同的個(gè)不同的(i,j)(i,j)對(duì)，相對(duì)應(yīng)的失真函數(shù)也有對(duì)，相對(duì)應(yīng)的失真函數(shù)也有N N* *M M 個(gè)個(gè) d dij ij有兩種表示方法，有兩種表示方法，一是失真矩陣一是失真矩陣D D，二是消息傳輸圖二是消息傳輸圖 。 第9頁(yè)/共74頁(yè) 將所

5、有失真函數(shù)排列起來(lái)，得到將所有失真函數(shù)排列起來(lái)，得到失真矩陣失真矩陣D D d(a1,b1)d(a1,b2)d(a1,bm) d(a2,b1) d(an,b1) d(an,b2) d(a2,b2)d(a2,bm) d(an,bm) 失真矩陣失真矩陣 第10頁(yè)/共74頁(yè) XY x1 x2 xi xN y1 y2 yj yM d11 d12 d1j d1M dN1 dNM dNj dN2 第11頁(yè)/共74頁(yè) 例：已知例：已知X XY Yaa1 1， a a2 2 ，且有，且有d d1111d d22220 0，d d1212d d21211 1，用兩種方法表示失真函數(shù)，用兩種方法表示失真函數(shù) 解：

6、失真矩陣解：失真矩陣D D為：為： 消息傳輸圖為：消息傳輸圖為： 1112 2122 01 10 dd D dd a1 a2 xy b1=a1 b2=a2 0 0 1 1 第12頁(yè)/共74頁(yè) 0 1 3 4 2 5 131 113 311 022 202 220 525150 424140 323130 222120 121110 020100 ddd ddd ddd ddd ddd ddd D 第13頁(yè)/共74頁(yè) XY 0 2 0 1 2 3 4 5 0 0 0 1 3 2 2 2 2 2 2 11 1 1 1 1 3 3 第14頁(yè)/共74頁(yè) 為了估計(jì)全體信源發(fā)出的消息符號(hào)與接收符號(hào)之間的失

7、真程度為了估計(jì)全體信源發(fā)出的消息符號(hào)與接收符號(hào)之間的失真程度, ,需要計(jì)算各個(gè)失真函數(shù)的統(tǒng)計(jì)平均值需要計(jì)算各個(gè)失真函數(shù)的統(tǒng)計(jì)平均值( (數(shù)學(xué)期望數(shù)學(xué)期望) )。平均失真函數(shù)定義為：。平均失真函數(shù)定義為： 若若X X和和Y Y都是都是n n維矢量消息的集合，也可以定義兩個(gè)矢量消息之維矢量消息的集合，也可以定義兩個(gè)矢量消息之 間的失真函數(shù)為：間的失真函數(shù)為： 其平均失真函數(shù)為：其平均失真函數(shù)為： 該式中該式中 是是n n維矢量的第維矢量的第r r個(gè)分量上的平均失真函數(shù)個(gè)分量上的平均失真函數(shù) (,)()()(|) ijijijijiij XYXY dE d xyP x ydP x P yx d 1

8、1 ( ,)(,) n nrr r dx yd xy n 11 11 ( ,) (,) nn nnrrr rr dE dx yE d xyd nn r d 平均失真函數(shù)平均失真函數(shù) d 第15頁(yè)/共74頁(yè) )()( )( 維矢量信源 單符號(hào)信源 NNDNd Dd 第16頁(yè)/共74頁(yè) 當(dāng)給定信源的各符號(hào)概率分布時(shí)，若要求平均失真函數(shù)不超過(guò)某個(gè)給定的值當(dāng)給定信源的各符號(hào)概率分布時(shí)，若要求平均失真函數(shù)不超過(guò)某個(gè)給定的值D(DD(D為允許失真度為允許失真度) )，需要對(duì)假想的試驗(yàn)信道的傳輸概率，需要對(duì)假想的試驗(yàn)信道的傳輸概率P(P(y yj j|x |xi i) )施加一定的限制。施加一定的限制。 先

9、把先把P(P(y yj j|x |xi i)集合的各種可能值代入式集合的各種可能值代入式 11 11 (,) (,) () (|) (,) nm ijij ij nm ijiij ij dp xyd xy p xp yx d xy 信源概率信源概率 轉(zhuǎn)移概率轉(zhuǎn)移概率失真函數(shù)失真函數(shù) 第17頁(yè)/共74頁(yè) 求出各個(gè)求出各個(gè) ，再根據(jù)，再根據(jù) ，把，把P(P(y yj j|x xi i)分成兩類(lèi)分成兩類(lèi): : 的一類(lèi)用的一類(lèi)用P PD D表示，表示，P PD D是能使實(shí)際失真在允許失真度范圍內(nèi)的那些假想試驗(yàn)信道的集合是能使實(shí)際失真在允許失真度范圍內(nèi)的那些假想試驗(yàn)信道的集合P(P(y yj j|x x

10、i i)。 的一類(lèi)稱(chēng)為禁用集合。的一類(lèi)稱(chēng)為禁用集合。 dDd Dd Dd 第18頁(yè)/共74頁(yè) 信息率失真函數(shù)信息率失真函數(shù)R(D) 把有失真的信源編碼器看作有干擾的假想信道，用分析信道傳輸?shù)姆椒ㄑ芯肯奘д嫘旁淳幋a問(wèn)題。把有失真的信源編碼器看作有干擾的假想信道，用分析信道傳輸?shù)姆椒ㄑ芯肯奘д嫘旁淳幋a問(wèn)題。 第19頁(yè)/共74頁(yè) 11 () (|) ( ,) nm ijiij ij dp x p yx d x y 平均失真由信源分布，轉(zhuǎn)移概率，失真函數(shù)決定，如果信源分布和失真函數(shù)一定，則滿足失真條件的所有轉(zhuǎn)移概率分布構(gòu)成一個(gè)信道集合：平均失真由信源分布，轉(zhuǎn)移概率，失真函數(shù)決定，如果信源分布和失真函數(shù)

11、一定，則滿足失真條件的所有轉(zhuǎn)移概率分布構(gòu)成一個(gè)信道集合： PD為假想信道，允許試驗(yàn)信道為假想信道，允許試驗(yàn)信道 p|: Dji PyxdD 第20頁(yè)/共74頁(yè) 信息率失真函數(shù)信息率失真函數(shù)R(D)R(D)定義：定義： 在給定信源消息的概率分布在給定信源消息的概率分布P(P(x xi i)及平均失真函數(shù)允許值及平均失真函數(shù)允許值D D的條件下，傳輸這些信源消息，并使失真程度在允許范圍內(nèi)時(shí)，所需要的信息率的最小值的條件下，傳輸這些信源消息，并使失真程度在允許范圍內(nèi)時(shí)，所需要的信息率的最小值，其定義式為：，其定義式為： R(D)R(D)又稱(chēng)作率失真函數(shù)又稱(chēng)作率失真函數(shù) );(min);(min)(

12、)|( YXIYXIDR DdPxyP Dij PD滿足保真度準(zhǔn)則的試驗(yàn)信道的集合。滿足保真度準(zhǔn)則的試驗(yàn)信道的集合。 第21頁(yè)/共74頁(yè) 第22頁(yè)/共74頁(yè) 0 0.5 1 q I(X;Y) 1-H(q) 0 0.5 1 p I(X;Y) q q 1 0 q q 1( )p 0( ) p Y X 回顧：回顧： ( /)( )loglogH YXH qqqqq ()( )loglogH XH ppppp ( )()H YH pqpq (; )( )( /) ()( ) I X YH YH YX H pqpqH q 第23頁(yè)/共74頁(yè) 由于平均互信息量由于平均互信息量I(X;Y)是是p(yj|xi

13、)的下凸函數(shù)，所以的下凸函數(shù)，所以 在在PD集合內(nèi)（滿足保真度準(zhǔn)則的集合），極小值存在。集合內(nèi)（滿足保真度準(zhǔn)則的集合），極小值存在。 該極小值就是在保真度準(zhǔn)則條件下，信源必須傳輸?shù)脑摌O小值就是在保真度準(zhǔn)則條件下，信源必須傳輸?shù)?最小平均互信息量。率失真函數(shù)最小平均互信息量。率失真函數(shù)R(D)的單位是的單位是bit/符號(hào)。符號(hào)。 );(min);(min)( )|( YXIYXIDR DdPxyP Dij 第24頁(yè)/共74頁(yè) uN維信源矢量的信息率失真函數(shù)維信源矢量的信息率失真函數(shù)RN(D)為為 X信源的一個(gè)輸出序列；信源的一個(gè)輸出序列； Y信宿的一個(gè)接收序列；信宿的一個(gè)接收序列； N維信源矢量

14、的平均失真度。維信源矢量的平均失真度。 )(Nd );(min);(min)( )(: )/()( YXIYXIDR NDNdxypNDNd N 第25頁(yè)/共74頁(yè) D R(D ) H(U)=R(0) 0 R(D)函數(shù)是在限定失真為最大允許失真函數(shù)是在限定失真為最大允許失真D時(shí)信源的最小信息傳輸速率，它是通過(guò)改變?cè)囼?yàn)信道特性來(lái)達(dá)到的。所以時(shí)信源的最小信息傳輸速率，它是通過(guò)改變?cè)囼?yàn)信道特性來(lái)達(dá)到的。所以R(D)是表示不同失真度是表示不同失真度D條件下對(duì)應(yīng)的理論上最小信息速率值。條件下對(duì)應(yīng)的理論上最小信息速率值。 R(D)曲線的一般形狀曲線的一般形狀 第26頁(yè)/共74頁(yè) 第27頁(yè)/共74頁(yè) 第28

15、頁(yè)/共74頁(yè) （4）信息率失真函數(shù)的物理意義：）信息率失真函數(shù)的物理意義： 對(duì)于給定信源，在平均失真不超過(guò)失真限度對(duì)于給定信源，在平均失真不超過(guò)失真限度D的條件下，信息容許壓縮的最小值為的條件下，信息容許壓縮的最小值為R(D)。 第29頁(yè)/共74頁(yè) 第30頁(yè)/共74頁(yè) 2 1 10 )()(xpxp ji ji ij xx xx d 當(dāng) 當(dāng) , , 1 0 例：若有一個(gè)離散、等概率單消息（或無(wú)記憶）二元信源：例：若有一個(gè)離散、等概率單消息（或無(wú)記憶）二元信源： ,且采用漢明距離作為失真度量標(biāo)準(zhǔn)：即且采用漢明距離作為失真度量標(biāo)準(zhǔn)：即 有一具體信源編碼方案為：有一具體信源編碼方案為：N個(gè)碼元中允許

16、錯(cuò)一個(gè)碼元，實(shí)現(xiàn)時(shí)，個(gè)碼元中允許錯(cuò)一個(gè)碼元，實(shí)現(xiàn)時(shí)，N個(gè)碼元個(gè)碼元 僅送僅送N-1個(gè)，剩下一個(gè)不送，在接收端用隨機(jī)方式?jīng)Q定（為擲硬幣方式）個(gè)，剩下一個(gè)不送，在接收端用隨機(jī)方式?jīng)Q定（為擲硬幣方式） 。求此情況下的信息率失真函數(shù)。求此情況下的信息率失真函數(shù)。 第31頁(yè)/共74頁(yè) 1 ()( )() 2 R DHH D 二元信源的理論信息率失真函數(shù)二元信源的理論信息率失真函數(shù) ()1 2R DD 二元信源的實(shí)際信息率失真函數(shù)二元信源的實(shí)際信息率失真函數(shù) 第32頁(yè)/共74頁(yè) 例：設(shè)信源有一百個(gè)以等概率出現(xiàn)的符號(hào)例：設(shè)信源有一百個(gè)以等概率出現(xiàn)的符號(hào)a a1 1， a a2 2， a a99 99， ，a

17、 a100 100，并以每秒 ，并以每秒 發(fā)出一個(gè)符號(hào)的速率從信源輸出。試求在允許失真度發(fā)出一個(gè)符號(hào)的速率從信源輸出。試求在允許失真度D D0.10.1條件下，傳輸這條件下，傳輸這 些消息所需要的最小信息率。些消息所需要的最小信息率。 信源 a1, a2,., a99, a100 試驗(yàn)信道 p(yj|xi) 無(wú)擾離散 信道 失真信源 a1a100a1a90 (a) XY a1 a2 a9 0 a9 1 a100 a9 0 a2 a1 (b )第33頁(yè)/共74頁(yè) 解：在不失真?zhèn)鬏敆l件下的信息率解：在不失真?zhèn)鬏敆l件下的信息率R R為：為： 因?yàn)樵试S失真度因?yàn)樵试S失真度D D0.10.1，可設(shè)想信源

18、，可設(shè)想信源100100個(gè)符號(hào)經(jīng)過(guò)假想的試驗(yàn)信道只輸出個(gè)符號(hào)經(jīng)過(guò)假想的試驗(yàn)信道只輸出a a1 1， a a2 2， a a8989，a a9090，即輸出，即輸出9090個(gè)符號(hào)，而余下的個(gè)符號(hào)，而余下的a a9191， a a100 100 都用都用a a9090代替代替 sbitXHR/644.6100log)( 第34頁(yè)/共74頁(yè) 除除a a1 1， a a2 2， a a8989，a a9090對(duì)應(yīng)位置上的元素為對(duì)應(yīng)位置上的元素為0 0外，其余元素為外，其余元素為1 1或或（假想試驗(yàn)信道傳輸概率假想試驗(yàn)信道傳輸概率P(P(y yj j|x xi i) )為零時(shí)，所對(duì)應(yīng)的為零時(shí)，所對(duì)應(yīng)的d

19、 dij ij為無(wú)限大為無(wú)限大） 12909192100 1 2 90 91 92 100 0 0 0 1 1 1 aaaaaa a a aD a a a 失真矩陣： 第35頁(yè)/共74頁(yè) 該失真信源的平均失真函數(shù)為：該失真信源的平均失真函數(shù)為： 2211 )|()()|()( )|()( YX ijiji YX ijiji XY ijiji dxyPxPdxyPxP dxyPxPd 上式中：上式中： X1Y1a1， a2， a89，a90，屬于不失真的符號(hào)集合，對(duì)應(yīng)，屬于不失真的符號(hào)集合，對(duì)應(yīng)dij0，其中，其中i,j1，2，90 X2a91， a100，Y2a90，屬于失真集合，對(duì)應(yīng)，屬于失

20、真集合，對(duì)應(yīng)dij1，其中，其中i91，91，100，j90 第36頁(yè)/共74頁(yè) 據(jù)題意，據(jù)題意，P(P(x xi i) )1/1001/100（i i1 1，2 2，100100） 所以得平均失真函數(shù)：所以得平均失真函數(shù)： 可見(jiàn)，這樣設(shè)想的失真信源的組合方案能滿足對(duì)失真度的要求?？梢?jiàn)，這樣設(shè)想的失真信源的組合方案能滿足對(duì)失真度的要求。 22 ()(|) 1 101 10.1 100 ijiij X Y dP xP yx d 第37頁(yè)/共74頁(yè) 該試驗(yàn)信道為無(wú)噪有損信道，即該試驗(yàn)信道為無(wú)噪有損信道，即H(Y|X)=0,H(Y|X)=0,所以所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y

21、)R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在試驗(yàn)信道的輸出端在試驗(yàn)信道的輸出端Y Y，a a1 1， a a2 2， a a8989的出現(xiàn)概率仍為的出現(xiàn)概率仍為1/1001/100, ,而而a a9090的出現(xiàn)概率的出現(xiàn)概率P(aP(a9090) )11/10011/100，可知相應(yīng)的信息傳輸速率為：，可知相應(yīng)的信息傳輸速率為： 89 90 1 90 11 ()log()log ()() 111100 89log100log 10010011 log1000.11log11 6.264 (/ ) i i i RP aP a P aP a bits 第38頁(yè)/共74頁(yè) 比較比較 R與

22、無(wú)失真?zhèn)鬏敆l件下的信息率與無(wú)失真?zhèn)鬏敆l件下的信息率R ,R ,可知在可知在D D0.10.1的條件下，所需信息率減小了的條件下，所需信息率減小了6.6446.6446.2646.2640.38 bit/s0.38 bit/s。 同理，在同理，在D D0.50.5的條件下的條件下( (假定后假定后5050個(gè)符號(hào)均產(chǎn)生失真，這后個(gè)符號(hào)均產(chǎn)生失真，這后5050個(gè)符號(hào)均用個(gè)符號(hào)均用a a5050來(lái)代替來(lái)代替) )信息率信息率R”為：為： 49 50 1 50 11 ()log()log ()() 151100 49log100log 10010051 log1000.51log51 3.751(/ )

23、 i i i RP aP a P aP a bit s 與無(wú)失真?zhèn)鬏敆l件下的信息率與無(wú)失真?zhèn)鬏敆l件下的信息率R R相比較，減小相比較，減小 6.6446.6443.7513.7512.893 bit/s2.893 bit/s。 第39頁(yè)/共74頁(yè) (1) 求極值問(wèn)題求極值問(wèn)題 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率密度函數(shù)或概率密度函數(shù)p(x)的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果I(X;Y)在定義域內(nèi)對(duì)在定義域內(nèi)對(duì)p(xi)或或p(x)的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互

24、信息極大值的問(wèn)題，即的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問(wèn)題，即 I(X;Y)又是信道轉(zhuǎn)移概率分布又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或條件概率密度函數(shù)或條件概率密度函數(shù)p(y/x)的下凸函數(shù)，因此在滿足保真度準(zhǔn)則條件下，的下凸函數(shù)，因此在滿足保真度準(zhǔn)則條件下，I(X;Y)對(duì)對(duì)p(yj/xi)或或p(y/x)的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問(wèn)題，即的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋

25、找平均互信息極小值的問(wèn)題，即 (|) ()min(; ) jiD P y xP R DI X Y () max (; ) i p x CI X Y 信道容量與信息率失真函數(shù)的比較信道容量與信息率失真函數(shù)的比較 第40頁(yè)/共74頁(yè) 信道容量與信息率失真函數(shù)的比較信道容量與信息率失真函數(shù)的比較 (2)特性特性 信道容量信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)或條件概率密度或條件概率密度p(y/x)有關(guān)，反映信道特性，與信源特性無(wú)關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對(duì)信道容量的影響，采用的做法是在所有的信源中以那個(gè)能夠使平均互信息達(dá)到最大

26、的信源為參考，從而使信道容量?jī)H與信道特性有關(guān)，信道不同，有關(guān)，反映信道特性，與信源特性無(wú)關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對(duì)信道容量的影響，采用的做法是在所有的信源中以那個(gè)能夠使平均互信息達(dá)到最大的信源為參考，從而使信道容量?jī)H與信道特性有關(guān)，信道不同，C亦不同。亦不同。 信息率失真函數(shù)信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布一旦求出后，就只與信源概率分布p(xi)或概率密度函數(shù)或概率密度函數(shù)p(x)有關(guān)，反映信源特性，與信道特性無(wú)關(guān)。由于平均互信息與信道的特性有關(guān)，為了排除信道特性對(duì)信息率失真函數(shù)的影響，采用的做法是在所有的信道中以那個(gè)能使平均互信息達(dá)到最小的信道

27、為參考，從而使信息率失真函數(shù)僅僅與信源特性有關(guān)，信源不同，有關(guān)，反映信源特性，與信道特性無(wú)關(guān)。由于平均互信息與信道的特性有關(guān)，為了排除信道特性對(duì)信息率失真函數(shù)的影響，采用的做法是在所有的信道中以那個(gè)能使平均互信息達(dá)到最小的信道為參考，從而使信息率失真函數(shù)僅僅與信源特性有關(guān)，信源不同，R(D)亦不同。亦不同。 第41頁(yè)/共74頁(yè) (3) 解決的問(wèn)題解決的問(wèn)題 信道容量是為了解決通信的可可性問(wèn)題，是信息傳輸?shù)睦碚撜摶?，通過(guò)信道編碼碼加信息的的余度來(lái)實(shí)現(xiàn)；信道容量是為了解決通信的可可性問(wèn)題，是信息傳輸?shù)睦碚撜摶ㄟ^(guò)信道編碼碼加信息的的余度來(lái)實(shí)現(xiàn)； 信息率失真函數(shù)是為了解決通信的有有性問(wèn)題，是信源壓

28、縮的理論論基，通過(guò)信源編碼減減信息的的余度來(lái)實(shí)現(xiàn)。信息率失真函數(shù)是為了解決通信的有有性問(wèn)題，是信源壓縮的理論論基，通過(guò)信源編碼減減信息的的余度來(lái)實(shí)現(xiàn)。 第42頁(yè)/共74頁(yè) 5.3 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì) 1.R(D)函數(shù)的定義域函數(shù)的定義域 (1) Dmin和和R(Dmin) R(Dmin)R(0)=H(X) 通常最小允許失真度通常最小允許失真度Dmin為零，在為零，在D0條件下，因?yàn)椴辉试S失真，所以條件下，因?yàn)椴辉试S失真，所以X和和Y集合的各個(gè)消息符號(hào)都一一對(duì)應(yīng)，這相當(dāng)于假想的試驗(yàn)信道是無(wú)擾離散信道的情況。在這種信道上，有：集合的各個(gè)消息符號(hào)都一一對(duì)應(yīng)，這相當(dāng)于假想的試驗(yàn)信

29、道是無(wú)擾離散信道的情況。在這種信道上，有： I(X;Y) H(X) H(Y) 所以，所以，R(0)=H(X)，且，且R(0)是是R(D)的上限值的上限值. 第43頁(yè)/共74頁(yè) 當(dāng)給定信源，以及失真矩陣當(dāng)給定信源，以及失真矩陣D，信源的最小平均失真度，信源的最小平均失真度 min 11 min( ) (|) ( ,) ( )min(|) ( ,) ijiij ij nm ijiij ij Dp x p yx d x y p xp yx d x y 由上式可以知道，若選擇試驗(yàn)信道由上式可以知道，若選擇試驗(yàn)信道 ，使對(duì)每一個(gè)，使對(duì)每一個(gè) 的求和式的求和式 為最小，則總和值達(dá)到最小。當(dāng)為最小，則總和值

30、達(dá)到最小。當(dāng) 固定某個(gè)固定某個(gè) ，那么對(duì)于不同的，那么對(duì)于不同的 其其 不同（即在不同（即在 失真矩陣失真矩陣D中第中第i行的元素不同），其中必有最小值行的元素不同），其中必有最小值 也可能有若干個(gè)相同的最小值。于是，可以選擇這樣的試驗(yàn)也可能有若干個(gè)相同的最小值。于是，可以選擇這樣的試驗(yàn) 信道，它滿足信道，它滿足 (|) ji p yx( ) i p x (|) ( ,) jiij p yx d x y ( ) i p xj y ( ,) ij d x y (|)1 (|)0 j ji y ji p yx p yx 所有所有 ( ,) ij d x y 最小值的最小值的yj ( ,) ij d

31、 x y 所有所有 最小值的最小值的yj 第44頁(yè)/共74頁(yè) 可見(jiàn)，允許失真度可見(jiàn)，允許失真度D是否能為零，這與單個(gè)符號(hào)的失真函數(shù)有關(guān)，是否能為零，這與單個(gè)符號(hào)的失真函數(shù)有關(guān)， 只有當(dāng)失真矩陣中每行至減有一個(gè)零元素時(shí)，信源的平均失真度只有當(dāng)失真矩陣中每行至減有一個(gè)零元素時(shí)，信源的平均失真度 才能達(dá)到零值，否則，最小平均失真度不等于零。才能達(dá)到零值，否則，最小平均失真度不等于零。 可見(jiàn)，只有當(dāng)失真矩陣中每行至減有一個(gè)零，并且每一列最多只有可見(jiàn)，只有當(dāng)失真矩陣中每行至減有一個(gè)零，并且每一列最多只有 一個(gè)零時(shí)，一個(gè)零時(shí)， 才等于才等于 ；否則小于；否則小于 。這時(shí)表示信源符號(hào)集。這時(shí)表示信源符號(hào)集

32、中有些符號(hào)可以壓縮、合并，但是沒(méi)有任何失真。中有些符號(hào)可以壓縮、合并，但是沒(méi)有任何失真。 則可以得信源的最小平均失真度為則可以得信源的最小平均失真度為 min 1 ( )min ( ,) n iij j i Dp xd x y (0)R()H X()H X 第45頁(yè)/共74頁(yè) 例：刪除信源例：刪除信源X取值取值【0，1】，Y取值取值【0，1，2】。而失真矩陣為。而失真矩陣為 求求Dmin。 min 1 ( )min ( ,)( ) 00 nn iiji j ii Dp xd x yp x 滿足最小失真度的試驗(yàn)信道是個(gè)無(wú)噪無(wú)損信道，轉(zhuǎn)移矩陣為滿足最小失真度的試驗(yàn)信道是個(gè)無(wú)噪無(wú)損信道，轉(zhuǎn)移矩陣為 100 010 Q 在這個(gè)無(wú)噪無(wú)損信道