第10章 率失真函數(shù)

1、第第10章章 率失真函數(shù)率失真函數(shù) 第第10章章 率失真函數(shù)率失真函數(shù) 第第10章章 率失真函數(shù)率失真函數(shù) 10.1 保真度準(zhǔn)則和測(cè)試信道保真度準(zhǔn)則和測(cè)試信道 1、失真度、失真度/失真函數(shù)失真函數(shù) ) x , x(d) x ,x(d x x X xxX/ jij i 或間的非負(fù)函數(shù)或收到的消息源 與等效信或發(fā)出的消息信源失真函數(shù)失真度 ji1 ji0 )x ,x ( d ji 漢明失真度漢明失真度常用于離散信源常用于離散信源 第第10章章 率失真函數(shù)率失真函數(shù) 全部全部NN個(gè)失真度個(gè)失真度失真矩陣失真矩陣 )x ,x ( d.)x ,x ( d)x ,x ( d . )x ,x ( d.)x

2、,x ( d)x ,x ( d )x ,x ( d.)x ,x ( d)x ,x ( d D NN2N1N N22212 N12111 漢明失真矩陣漢明失真矩陣 0.11 . 1.01 1.10 D 第第10章章 率失真函數(shù)率失真函數(shù) 平方誤差失真函數(shù)平方誤差失真函數(shù)常用于連續(xù)信源常用于連續(xù)信源 2 ) x x()x , x(d 第第10章章 率失真函數(shù)率失真函數(shù) 2、平均失真度、平均失真度 平均失真度平均失真度失真度失真度/失真函數(shù)的數(shù)學(xué)期望失真函數(shù)的數(shù)學(xué)期望 N 1i N 1j jijiji )x ,x(d )x ,x(P)x ,x(d ED b a b a x dxd)x , x(d)x

3、 , x(p)x , x(dED 第第10章章 率失真函數(shù)率失真函數(shù) 3、保真度準(zhǔn)則、保真度準(zhǔn)則 保真度準(zhǔn)則保真度準(zhǔn)則平均失真度不大于給定的允許失真平均失真度不大于給定的允許失真 D DD 第第10章章 率失真函數(shù)率失真函數(shù) 4、測(cè)試信道、測(cè)試信道 滿足保真度準(zhǔn)則的所有數(shù)據(jù)處理信道滿足保真度準(zhǔn)則的所有數(shù)據(jù)處理信道 DD: )X/X (P)X/X (PD 離散信源的測(cè)試信道離散信源的測(cè)試信道 )x/x (P.)x/x (P)x/x (P . )x/x (P.)x/x (P)x/x (P )x/x (P.)x/x (P)x/x (P )X/X (P NND2ND1ND N2D22D12D N1D2

4、1D11D D 第第10章章 率失真函數(shù)率失真函數(shù) 連續(xù)信源的測(cè)試信道連續(xù)信源的測(cè)試信道 DD: )x/x (p)x/x (pD 第第10章章 率失真函數(shù)率失真函數(shù) 10.2 離散信源的率失真函數(shù)離散信源的率失真函數(shù) 率失真函數(shù)率失真函數(shù)信源給定時(shí)，測(cè)試信道傳輸?shù)钠骄旁唇o定時(shí)，測(cè)試信道傳輸?shù)钠骄?互信息的最小值，用互信息的最小值，用R(D)表示表示 )X ;X( Imin)D(R )X/X (PD 信源給定時(shí)，信源給定時(shí)， 對(duì)于測(cè)試信道轉(zhuǎn)移概率對(duì)于測(cè)試信道轉(zhuǎn)移概率 嚴(yán)格下凸嚴(yán)格下凸總能找到一種總能找到一種 ，使，使 在在 保真度準(zhǔn)則下達(dá)到最小保真度準(zhǔn)則下達(dá)到最小 )X ;X( I )X ;X

5、( I )X/X (PD )X/X (PD 第第10章章 率失真函數(shù)率失真函數(shù) 測(cè)試信道的測(cè)試信道的N個(gè)約束條件個(gè)約束條件 N, 2 , 1i1)x/x (P N 1j ijD 保真度準(zhǔn)則的約束條件保真度準(zhǔn)則的約束條件 D)x ,x(d)x ,x(PD N 1i N 1j jiji 限制下的條件極值 和在 D )x ,x(d)x ,x(PN, 2 , 1i1)x/x (P)X ;X( I N 1i N 1j jiji N 1j ijD 第第10章章 率失真函數(shù)率失真函數(shù) 1)x/x (PD)x ,x(d)x/x (P)x(P S )X/X (H)X (H )x/x (P 1)x/x (PD)x

6、 ,x(d)x/x (P)x(P S )X ;X( I )x/x (P N 1l klDk N 1k N 1l lkklDk ijD N 1l klDk N 1k N 1l lkklDk ijD 令 第第10章章 率失真函數(shù)率失真函數(shù) )x/x (Plog)x/x (P)x(P )x (Plog)x (P )x/x (P N 1k klD N 1l klDk N 1l ll ijD N, 2 , 1jN, 2 , 1i 01)x/x (PD)x ,x(d )x/x (P)x(P S N 1l klDk N 1k N 1l lkklDk 第第10章章 率失真函數(shù)率失真函數(shù) )x(P )x/x (

7、P)x(P )x/x (P)x/x (P )x (P i N 1k kjDk ijDijD j 注意到 elog)x(P)x (Plog)x(P )x/x (P )x (P )x (Plog)x (P )x (P )x (Plog)x (P )x/x (P iji ijD jD l N 1l l jD l N 1l l ijD 第第10章章 率失真函數(shù)率失真函數(shù) elog)x(P)x/x (Plog)x(P )x/x (Plog)x/x (P)x(P )x/x (P iijDi N 1k klD N 1l klDk ijD )x ,x(d)x(SP D)x ,x(d)x/x (P)x(P S

8、)x/x (P jii N 1k N 1l lkklDk ijD i N 1l klDk ijD 1)x/x (P )x/x (P 第第10章章 率失真函數(shù)率失真函數(shù) N, 2 , 1jN, 2 , 1i 0)x ,x(d )x(SP)x/x (Plog)x(P)x (Plog)x(P ijiiijDiji N, 2 , 1jN, 2 , 1i 0 )x(P )x ,x(Sd )x (P )x/x (P log i i ji j ijD )x(P log i i i 記 第第10章章 率失真函數(shù)率失真函數(shù) N, 2 , 1jN, 2 , 1i 02log )x (P )x/x (P loglo

9、g2log )x (P )x/x (P log )x ,x(Sd i j ijD i )x ,x(Sd j ijD jiji N, 2 , 1jN, 2 , 1i2 )x (P)x/x (P )x ,x(Sd jiijD ji N, 2 , 1jN, 2 , 1i2 )x (P )x/x (P )x ,x(Sd i j ijD ji 第第10章章 率失真函數(shù)率失真函數(shù) 對(duì)對(duì)j求和求和 N, 2 , 1i2)x (P1 N 1j )x ,x(Sd ji ji 乘乘P(xi)對(duì)對(duì)i求和求和 N, 2 , 1j12)x(P N 1i )x ,x(Sd ii ji N, 2 , 1j2 )x (P)x

10、(P)x (P N 1i )x ,x(Sd jiij ji N, 2 , 1i/ 12)x (P i N 1j )x ,x(Sd j ji 第第10章章 率失真函數(shù)率失真函數(shù) 率失真函數(shù)及達(dá)到率失真函數(shù)的測(cè)試信道率失真函數(shù)及達(dá)到率失真函數(shù)的測(cè)試信道 N, 2 , 1jS12)x(P) 1 ( i n 1i )x ,x(Sd ii ji 的求含由 N, 2 , 1i)x (PS/12)x (P)2( ji n 1j )x ,x(Sd j ji 的求含由 N, 2 , 1jN, 2 , 1i 2)x (P)x/x (PS) 3 ( )x ,x(Sd jiijD ji 的含 N 1i j ijD N

11、 1j ijDi )x (P )x/x (P log)x/x (P)x(P)D(RS) 4(的含 第第10章章 率失真函數(shù)率失真函數(shù) N 1i ii N 1i N 1j jiijDi N 1i N 1j iijDi j )x ,x(Sd ji N 1i N 1j ijDi log)x(PSD )x ,x(Sd)x/x (P)x(Plog)x/x (P)x(P )x (P 2)x (P log)x/x (P)x(P ji N 1i N 1j jiijDi S)x ,x(d)x/x (P)x(PDDS) 5 (求的由含 N, 2 , 1jN, 2 , 1i)x/x (P)D(RS)6( ijD 和

12、的不含 第第10章章 率失真函數(shù)率失真函數(shù) 1、二進(jìn)制信源的率失真函數(shù)、二進(jìn)制信源的率失真函數(shù) 2/1ppp)X(P )X(PX 不失一般性，設(shè) 二進(jìn)制信源 01 10 D失真矩陣 2 , 1jS12)x(P) 1 ( i 2 1i )x ,x(Sd ii ji 的求含由 1) p1 (2p 12 ) p1 (p 2 S 1 S 21 )21)(p1 ( 1 )21 (p 1 S 2 S 1 第第10章章 率失真函數(shù)率失真函數(shù) )21)(p1 ()x (P2)x (P )21 ( p2)x (P)x (P SS SS 21 21 S S 2 S S 1 21 2p)p1 ( )x (P 21

13、2)p1 (p )x (P 2 , 1i)x (PS/ 12 )x (P) 2 ( ji 2 1j )x ,x(Sd j ji 的求含由 第第10章章 率失真函數(shù)率失真函數(shù) S S2 S 12D S2 S 11D 2 )21 ( p 2p) p1 ( )x/x (P )21 ( p 2) p1 (p )x/x (P )21)(p1 ( 2p) p1 ( )x/x (P 2 )21)(p1 ( 2 ) p1 (p )x/x (P S2 S 22D S S2 S 21D 2 , 1j2 , 1i2 )x (P)x/x (PS) 3 ( )x ,x(Sd jiijD ji 的含 第第10章章 率失真

14、函數(shù)率失真函數(shù) 2 1i ii log)x(PSD)D(RS)4(的含 S S SS 21 1 logSD)p(H 21 1 logSD)p1log()p1 (plogp )21)(p1 ( 1 log)p1 ( )21 (p 1 logpSD 第第10章章 率失真函數(shù)率失真函數(shù) S)x ,x(d)x/x (P)x(PDDS)5( 2 1i 2 1j jiijDi 求的由含 S S S S2 S S S2 S S S2 S 21 2 2 21 21 2 )21)(p1 ( 2) p1 (p ) p1 (2 )21 ( p 2p) p1 ( pD S 21 1 D1 D1 D logS2 D1

15、D S 第第10章章 率失真函數(shù)率失真函數(shù) )D(H)p(H )D1log()D1 (DlogD)p(H )D1log( D1 D logD)p(H 2 , 1j2 , 1i)x/x (P)D(RS)6( ijD 和的不含 S 21 1 logSD) p (H)D(R 第第10章章 率失真函數(shù)率失真函數(shù) )D21 ( p )Dp1 (D 2 )21 ( p 2p) p1 ( )x/x (P )D21 ( p )Dp)(D1 ( )21 ( p 2 ) p1 (p )x/x (P S S2 S 12D S2 S 11D )D21)(p1 ( )Dp1)(D1 ( )21)(p1 ( 2p) p1

16、 ( )x/x (P )D21)(p1 ( )Dp (D 2 )21)(p1 ( 2 ) p1 (p )x/x (P S2 S 22D S S2 S 21D 第第10章章 率失真函數(shù)率失真函數(shù) 0)D(H)p(H)D(R R(D) D0.50.25 p=0.25 p=0.5 0 1 0.811 0)p(R)D(RpDD )p(H)0(R)D(R0DD maxmax minmin ，當(dāng) ，當(dāng) 第第10章章 率失真函數(shù)率失真函數(shù) 求允許失真求允許失真D=1/8時(shí)的率失真函數(shù)及達(dá)到率失真函時(shí)的率失真函數(shù)及達(dá)到率失真函 數(shù)的測(cè)試信道數(shù)的測(cè)試信道 01 10 D 4/34/1 )X(P1，失真矩陣：二元

17、信源的概率例 )bit(267. 0 8 7 log 8 7 8 1 log 8 1 4 3 log 4 3 4 1 log 4 1 )D(H)p(H)D(R 第第10章章 率失真函數(shù)率失真函數(shù) 12 5 4 3 4 1 8 5 8 1 )D21 ( p )Dp1 (D )x/x (P 12 7 4 3 4 1 8 1 8 7 )D21 ( p )Dp)(D1 ( )x/x (P 12D 11D 36 35 4 3 4 3 8 5 8 7 )D21)(p1 ( )Dp1)(D1 ( )x/x (P 36 1 4 3 4 3 8 1 8 1 )D21)(p1 ( )Dp(D )x/x (P 22

18、D 21D 第第10章章 率失真函數(shù)率失真函數(shù) 2、等概率信源的率失真函數(shù)、等概率信源的率失真函數(shù) 等概率信源等概率信源 011 101 110 D 失真矩陣 第第10章章 率失真函數(shù)率失真函數(shù) 1 N 1 2 N 1 2 N 1 12 N 1 2 N 1 N 1 N S 2 S 1 S N S 21 N, 2 , 1i 2) 1N(1 N S i N, 2 , 1jS12)x(P) 1 ( i N 1i )x ,x(Sd ii ji 的求含由 第第10章章 率失真函數(shù)率失真函數(shù) N, 2 , 1i)x (PS/12)x (P) 2( ji N 1j )x ,x(Sd j ji 的求含由 N

19、2) 1N(1 )x (P2)x (P2)x (P N 2) 1N(1 2)x (P2)x (P)x (P S N S 2 S 1 S S N S 21 N, 2 , 1j N 1 N2) 1N(1 2) 1N(1 )x (P S S j 第第10章章 率失真函數(shù)率失真函數(shù) N, 2 , 1jN, 2 , 1i 2)x (P)x/x (PS) 3 ( )x ,x(Sd jiijD ji 的含 項(xiàng)，共 項(xiàng)，共 ) 1N(Nji 2) 1N(1 2 Nji 2) 1N(1 1 )x/x (P S S S ijD 第第10章章 率失真函數(shù)率失真函數(shù) N 1i ii log)x(PSD)D(RS)4(

20、的含 S 2) 1N(1 N logSD N 1i N 1j jiijDi S)x ,x(d)x/x (P)x(PDDS) 5(求的由含 S S S S 2 ) 1N(1 2 ) 1N( ) 1N(N 2 ) 1N(1 2 N 1 D ) D1 D 1N 1 log(S2 ) 1N( D1 D S S 2 ) 1N(1 1 D1 第第10章章 率失真函數(shù)率失真函數(shù) S 2) 1N(1 N logSD)D(R )D(H) 1Nlog(DNlog )D1log()D1 (DlogD) 1Nlog(DNlog )D1 (Nlog) D1 D 1N 1 log(D N, 2 , 1jN, 2 , 1i

21、)x/x (P)D(RS) 6( ijD 和的不含 第第10章章 率失真函數(shù)率失真函數(shù) 項(xiàng)，共 項(xiàng)，共 ) 1N(Nji 1N D 2) 1N(1 2 NjiD1 2) 1N(1 1 )x/x (P S S S ijD 第第10章章 率失真函數(shù)率失真函數(shù) 0)D(H) 1Nlog(DNlog)D(R 0) N 1N (R)D(R N 1N DD Nlog) 0 (R)D(R0DD maxmax minmin ，當(dāng) ，當(dāng) R(D) D0 Nlog N 1N 第第10章章 率失真函數(shù)率失真函數(shù) 當(dāng)當(dāng)p=0.5，二進(jìn)制信源的率失真函數(shù)及達(dá)到率失真，二進(jìn)制信源的率失真函數(shù)及達(dá)到率失真 函數(shù)的測(cè)試信道函

22、數(shù)的測(cè)試信道 )D(H1)D(H) 5 . 0 (H)D(R D1 )D21 ( 2 1 )D 2 1 )(D1 ( )x/x (P 11D D )D21 ( 2 1 )D 2 1 1 (D )x/x (P 12D D )D21 ( 2 1 )D 2 1 (D )x/x (P 21D D1 )D21 ( 2 1 )D 2 1 1)(D1 ( )x/x (P 22D 第第10章章 率失真函數(shù)率失真函數(shù) 當(dāng)當(dāng)N=2，等概率信源的率失真函數(shù)及達(dá)到率失真，等概率信源的率失真函數(shù)及達(dá)到率失真 函數(shù)的測(cè)試信道函數(shù)的測(cè)試信道 )D(H1)D(H1logD2log)D(R D1)x/x (P)x/x (P 2

23、2D11D D 12 D )x/x (P)x/x (P 21D12D 第第10章章 率失真函數(shù)率失真函數(shù) 三進(jìn)制等概率信源三進(jìn)制等概率信源 011 101 110 D失真矩陣 允許失真允許失真D =1/3時(shí)的率失真函數(shù)及達(dá)到率失真函數(shù)時(shí)的率失真函數(shù)及達(dá)到率失真函數(shù) 的測(cè)試信道的測(cè)試信道 例例2 D=1/3時(shí)時(shí) )D(H) 1Nlog(DNlog)D(R )bit(334. 0 3 2 log 3 2 3 1 log 3 1 2log 3 1 3log 第第10章章 率失真函數(shù)率失真函數(shù) 3 , 2 , 1ji 3 2 D1)x/x (P ijD 3 , 2 , 1j , iji 6 1 1N

24、D )x/x (P ijD ， 第第10章章 率失真函數(shù)率失真函數(shù) 10.3 聯(lián)合率失真函數(shù)與條件率失真函數(shù)聯(lián)合率失真函數(shù)與條件率失真函數(shù) 1、聯(lián)合失真度與條件失真度、聯(lián)合失真度與條件失真度 定義定義 表示函數(shù)，用 間的非負(fù)收到的消息與等效信源 發(fā)出的消息信源聯(lián)合失真度 ) x x x ,xxx(d x x x X X X xxxXXX n21n21 n21 n21 jjjiii jjjn21 iiin21 第第10章章 率失真函數(shù)率失真函數(shù) 定義定義 nLk1 ) x x x/x x ,x(d x x xx/ x X X X xXXX 1 -L11 -k1Lk 1 -L11 -k1L k j

25、jiiji jjiijn21 in21 表示負(fù)函數(shù)，用 間的非收到的消息信源 與等效發(fā)出的消息信源條件失真度 第第10章章 率失真函數(shù)率失真函數(shù) 2、聯(lián)合平均失真度與條件平均失真度、聯(lián)合平均失真度與條件平均失真度 聯(lián)合平均失真度聯(lián)合平均失真度聯(lián)合失真度的數(shù)學(xué)期望聯(lián)合失真度的數(shù)學(xué)期望 定義定義 N 1i N 1i N 1i N 1j N 1j N 1j jjjiiijjjiii jjjiiin12, n12 12n12n n21n21n21n21 n21n21 ) x x x ,xxx( d ) x x x xxx(P ) x x x ,xxx( d ED 第第10章章 率失真函數(shù)率失真函數(shù) 條

26、件平均失真度條件平均失真度條件失真度的數(shù)學(xué)期望條件失真度的數(shù)學(xué)期望 定義定義 nLk1 ) x x xx/x ,x(d ) x x x xxx(P ) x x xx/x ,x(d ED N 1i N 1i N 1i N 1j N 1j N 1j jjiijijjjiii jjiijiL12, k 12k12L 1L11k1LkL21k21 1L11k1Lk 第第10章章 率失真函數(shù)率失真函數(shù) 平均失真度的鏈?zhǔn)椒▌t平均失真度的鏈?zhǔn)椒▌t n12,n n12, 212, 2 n12, 112, 11 , 1 n12,n12 D DD DDD D 第第10章章 率失真函數(shù)率失真函數(shù) 3、保真度準(zhǔn)則、保

27、真度準(zhǔn)則 定義定義 nD 2 1n D n12,n12 聯(lián)合平均失真度不大于給定的允許失真聯(lián)合平均失真度不大于給定的允許失真 nD 2 1n 第第10章章 率失真函數(shù)率失真函數(shù) 保真度準(zhǔn)則的鏈?zhǔn)椒▌t保真度準(zhǔn)則的鏈?zhǔn)椒▌t DD DD,DD DD,DD,DD nD 2 1n D n12,n n12, 212, 2 n12, 112, 11 , 1 n12,n12 第第10章章 率失真函數(shù)率失真函數(shù) 4、測(cè)試信道、測(cè)試信道 定義定義 滿足保真度準(zhǔn)則的所有數(shù)據(jù)處理信道滿足保真度準(zhǔn)則的所有數(shù)據(jù)處理信道 nD 2 1n D: )XXX/X X X (P)XXX/X X X (P n12, n12n21n2

28、1n21n21 nD 2 1n 第第10章章 率失真函數(shù)率失真函數(shù) 測(cè)試信道的鏈?zhǔn)椒▌t測(cè)試信道的鏈?zhǔn)椒▌t )X X XX/X (P )X X XX/X (P,),X XX/X (P )X X X/X (P,),X X/X (P),X/X (P )XXX/X X X (P 1n1n1nD 1n121nD1212D 1n11nD112D11D n21n21 nD 2 1n 第第10章章 率失真函數(shù)率失真函數(shù) 5、聯(lián)合率失真函數(shù)與條件率失真函數(shù)、聯(lián)合率失真函數(shù)與條件率失真函數(shù) 定義定義 )X X X ;XXX( Imin)nD 2 1n (R n21n21 )XXX/X X X (P n12, n1

29、2 n21n21 nD 2 1n 聯(lián)合率失真函數(shù)聯(lián)合率失真函數(shù)信源給定時(shí)，保真度準(zhǔn)則下信源給定時(shí)，保真度準(zhǔn)則下 聯(lián)合平均互信息的最小值，用聯(lián)合平均互信息的最小值，用 表示表示 )nD 2 1n (R n12,n12 第第10章章 率失真函數(shù)率失真函數(shù) 條件率失真函數(shù)條件率失真函數(shù)信源給定時(shí)，保真度準(zhǔn)則下信源給定時(shí)，保真度準(zhǔn)則下 條件平均互信息的最小值，用條件平均互信息的最小值，用Rk,12L(D)表示表示 1kLn 定義定義 )X X XX/X ;X( Imin)D(R 1L11k1Lk )X X XXX/X (P L12,k 1L1k1k1LD 第第10章章 率失真函數(shù)率失真函數(shù) 率失真函數(shù)

30、的鏈?zhǔn)椒▌t率失真函數(shù)的鏈?zhǔn)椒▌t )D(R )D(R)D(R )D(R)D(R)D(R )nD 2 1n (R n12,n n12, 212, 2 n12, 112, 11 , 1 n12,n12 第第10章章 率失真函數(shù)率失真函數(shù) 10.4 連續(xù)信源的率失真函數(shù)連續(xù)信源的率失真函數(shù) 信源固定時(shí)，保真度準(zhǔn)則下平均互信息的最小值，信源固定時(shí)，保真度準(zhǔn)則下平均互信息的最小值， 用用R(D)表示表示 定義定義 )X ;X( Imin)D(R )X/X (pD 信源固定時(shí)，信源固定時(shí)， 對(duì)于測(cè)試信道轉(zhuǎn)移概率密度函對(duì)于測(cè)試信道轉(zhuǎn)移概率密度函 數(shù)數(shù) 嚴(yán)格下凸嚴(yán)格下凸總能找到一種總能找到一種 ， 使使 在保真

31、度準(zhǔn)則下達(dá)到最小在保真度準(zhǔn)則下達(dá)到最小 )X ;X( I )X ;X( I )x/x (pD)x/x (pD 第第10章章 率失真函數(shù)率失真函數(shù) 測(cè)試信道轉(zhuǎn)移概率密度函數(shù)的約束條件測(cè)試信道轉(zhuǎn)移概率密度函數(shù)的約束條件 b, a x1 x d)x/x (p b a D 保真度準(zhǔn)則的約束條件保真度準(zhǔn)則的約束條件 D x dxd)x , x(d) x x(pD b a b a 件極值 限制下的條和在DDb, a x1 x d)x/x (p)X ;X( I b a D 第第10章章 率失真函數(shù)率失真函數(shù) b, a x )x(S1dxe )x(p)x() 1 ( b a )x ,x(Sd 的求含由 b,

32、a x)x (pS)x(/1 x de )x (p)2( b a )x ,x(Sd 的求含由 b, a x b, a x e )x (p)x()x/x (pS) 3( )x ,x(Sd D 的含 b a dx)x(log)x(pSD)D(RS) 4(的含 率失真函數(shù)及達(dá)到率失真函數(shù)的測(cè)試信道率失真函數(shù)及達(dá)到率失真函數(shù)的測(cè)試信道 第第10章章 率失真函數(shù)率失真函數(shù) S x dxd) x , x(d)x/x (p)x(pDDS)5( b a b a D 求的由含 b, a x b, a x)x/x (p)D(RS)6( D 和的不含 第第10章章 率失真函數(shù)率失真函數(shù) 1、高斯信源的率失真函數(shù)、高

33、斯信源的率失真函數(shù) 2 ) x x()x , x(d 失真函數(shù) ),( x )x(S1dxe )x(p)x() 1 ( )x ,x(Sd 的求含由 )x(p )S( f )x(S的設(shè)含 2 2 2 )x( 2 e 2 1 ),(x )X(p X 高斯信源 第第10章章 率失真函數(shù)率失真函數(shù) S )S( f 1 S )S( f dxe)S( f2dxe)S( fdxe )x(p)x( 0 ) x x(S) x x(S)x ,x(Sd 22 )x(p S )x(p )S( f )x( 2 2 2 2 2 x 2 2 x 2 eS2e2 S 第第10章章 率失真函數(shù)率失真函數(shù) ),(x)x (pS)

34、x(/1 x de )x (p) 2( )x ,x(Sd 的求含由 )x(p x de )x (p S x de )x (p)S(f 22 ) x x(S) x x(S 2 ) x x(S e S ) x x(g 記 )x(p x d) x x(g)x (p )(P)(G)(P x x 第第10章章 率失真函數(shù)率失真函數(shù) 2 xj 2 x 2 x 22 2 2 edxee 2 1 )(P S4 xj) x x(S 2 2 edxee S )G( ) S2 1 ( 2S42 x x 2 2222 ee )G( )(P )(P ) S2 1 (2 x 2 2 2 e ) S2 1 (2 1 )x

35、(p 第第10章章 率失真函數(shù)率失真函數(shù) ),( x ),(x e )x (p)x()x/x (pS) 3( )x ,x(Sd D 的含 2 2 2 2 2 ) x x(S ) S2 1 (2 x 2 2 x 2 D ee ) S2 1 (2 1 eS2)x/x (p ) S2 1 (2 ) x x( ) S2 1 (2 x 2 x 2 2 2 2 2 2 2 eee ) S2 1 )( S2 1 (2 第第10章章 率失真函數(shù)率失真函數(shù) ) S2 1 (2 z ) S2 1 (2 ) x x( D D 22 e ) S2 1 (2 1 e ) S2 1 (2 1 )x (p )x(p)x/x

36、 (p ) x /x(p 方差為方差為-1/2S的反向高斯加性信道的反向高斯加性信道 Z ZX XX 第第10章章 率失真函數(shù)率失真函數(shù) dx)x(log)x(pSD)D(RS) 4(的含 )e2log( 2 1S logSD dx)x(plog)x(pdx S log)x(pSD dx )x(p S log)x(pSD 2 第第10章章 率失真函數(shù)率失真函數(shù) S x dxd)x , x(d)x/x (p)x(pDDS)5( D 求的由含 S2 1 x dzdzee ) S2 1 (2) S2 1 (2 1 2 ) S2 1 (2 x ) S2 1 (2 z 2 2 22 x dxd) x x

37、)( x /x(p)x (p x dxd)x , x(d)x/x (p)x(pD 2 D D 第第10章章 率失真函數(shù)率失真函數(shù) D2 1 S ),( x ),(x)x/x (p)D(RS)6( D 和的不含 D P log 2 1 D log 2 1 )e2log( 2 1 )eD2log( 2 1 )e2log( 2 1 D2 1 log 2 1 )e2log( 2 1S logSD)D(R 2 2 2 2 第第10章章 率失真函數(shù)率失真函數(shù) D2 z ) S2 1 (2 z D 2 2 e D2 1 e ) S2 1 (2 1 ) x /x(p 方差為方差為D的反向高斯加性信道的反向高斯

38、加性信道 第第10章章 率失真函數(shù)率失真函數(shù) 0 D P log 2 1 )D(R 0)P(R)D(R0DD ) 0 (R)D(R0DD maxmax minmin ，當(dāng) ，當(dāng) P R(D) D0 第第10章章 率失真函數(shù)率失真函數(shù) 10.5 聯(lián)合率失真函數(shù)與條件率失真函數(shù)聯(lián)合率失真函數(shù)與條件率失真函數(shù) 1、聯(lián)合失真函數(shù)與條件失真函數(shù)、聯(lián)合失真函數(shù)與條件失真函數(shù) 定義定義 表示數(shù)，用 間的非負(fù)函收到的消息與等效信源 發(fā)出的消息信源聯(lián)合失真函數(shù) ) x x x ,xxx(d x x x X X X xxxXXX n21n21 n21n21 n21n21 第第10章章 率失真函數(shù)率失真函數(shù) 定義定

39、義 nLk1 ) x x x/x x ,x(d x x xx/ x X X X xXXX 1 -L11 -k1Lk 1 -L11 -k1Ln21 kn21 表示非負(fù)函數(shù)，用 間的收到的消息效信源 與等發(fā)出的消息信源條件失真函數(shù) 第第10章章 率失真函數(shù)率失真函數(shù) 2、聯(lián)合平均失真度與條件平均失真度、聯(lián)合平均失真度與條件平均失真度 聯(lián)合平均失真度聯(lián)合平均失真度聯(lián)合失真函數(shù)的數(shù)學(xué)期望聯(lián)合失真函數(shù)的數(shù)學(xué)期望 定義定義 b a b a b a b a b a b a n21n21n21n21n21n21 n21n21n12, n12 x d x d x ddxdxdx) x x x ,xxx( d ) x x x xxx( p ) x x x ,xxx( d ED 第第10章章