北京理工大學(xué)信息論第七章

1、1 第七章第七章 保真度準則下的信源編碼保真度準則下的信源編碼 第一節(jié)第一節(jié) 失真度和平均失真度失真度和平均失真度 第二節(jié)第二節(jié) 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì) 第三節(jié)第三節(jié) 離散信源的信息率失真函數(shù)離散信源的信息率失真函數(shù) 第五節(jié)第五節(jié) 保真度準則下的信源編碼定理保真度準則下的信源編碼定理 第六節(jié)第六節(jié) 聯(lián)合有失真信源信道編碼定理聯(lián)合有失真信源信道編碼定理 第七節(jié)第七節(jié) 有失真信源編碼定理的實用意義有失真信源編碼定理的實用意義 第四節(jié)第四節(jié) 連續(xù)信源的信息率失真函數(shù)連續(xù)信源的信息率失真函數(shù) 7.1 7.1 失真度和平均失真度失真度和平均失真度 在實際生活中，人們不一定要求完全無

2、失真的在實際生活中，人們不一定要求完全無失真的 恢復(fù)消息，也就是允許有一定的失真。恢復(fù)消息，也就是允許有一定的失真。 那么在允許一定程度失真的條件下，能夠把那么在允許一定程度失真的條件下，能夠把 信源信息壓縮到什么程度，也就是，允許一定程度信源信息壓縮到什么程度，也就是，允許一定程度 失真的條件下，如何能快速的傳輸信息，這就是本失真的條件下，如何能快速的傳輸信息，這就是本 章所要討論的問題。章所要討論的問題。 (1) (1) “消息完全無失真?zhèn)魉拖⑼耆珶o失真?zhèn)魉汀钡目蓪崿F(xiàn)性的可實現(xiàn)性 o信道編碼定理信道編碼定理：無論何種信道，只要信息率：無論何種信道，只要信息率R R小于信道小于信道 容量容

3、量C C，總能找到一種編碼，使在信道上能以任意小的，總能找到一種編碼，使在信道上能以任意小的 錯誤概率和任意接近于錯誤概率和任意接近于C C 的傳輸率來傳送信息。反之，的傳輸率來傳送信息。反之， 若若R R C C，則傳輸總要失真。，則傳輸總要失真。 o完全無失真?zhèn)魉筒豢蓪崿F(xiàn)：完全無失真?zhèn)魉筒豢蓪崿F(xiàn)： n實際的信源常常是連續(xù)的，信息率無限大，要無失實際的信源常常是連續(xù)的，信息率無限大，要無失 真?zhèn)魉鸵笮畔⒙收鎮(zhèn)魉鸵笮畔⒙蔙 R為無窮大；為無窮大； n實際信道帶寬是有限的，所以信道容量受限制。要實際信道帶寬是有限的，所以信道容量受限制。要 想無失真?zhèn)鬏敚璧男畔⒙蚀蟠蟪^信道容量想無失真?zhèn)?/p>

4、輸，所需的信息率大大超過信道容量 R RC C。 一、引 言 (2) (2) 實際中允許一定程度的失真實際中允許一定程度的失真 o 技術(shù)發(fā)展的需要技術(shù)發(fā)展的需要 n隨著科學(xué)技術(shù)的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，這隨著科學(xué)技術(shù)的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，這 就需要傳送、存儲和處理大量的數(shù)據(jù)。為了提高傳輸和就需要傳送、存儲和處理大量的數(shù)據(jù)。為了提高傳輸和 處理效率，往往需要對數(shù)據(jù)壓縮，這樣也會帶來一定的處理效率，往往需要對數(shù)據(jù)壓縮，這樣也會帶來一定的 信息損失。信息損失。 n人類社會已進入信息時代，信息爆炸的結(jié)果要求人們解人類社會已進入信息時代，信息爆炸的結(jié)果要求人們解 決如何對浩如煙海的數(shù)

5、據(jù)有效的壓縮，減少數(shù)據(jù)的決如何對浩如煙海的數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲存儲 容量容量( (如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂) )、傳輸傳輸 時間時間( (如數(shù)據(jù)通信和遙測如數(shù)據(jù)通信和遙測) )、或、或占有帶寬占有帶寬( (如多媒體通信、如多媒體通信、 數(shù)字音頻廣播、高清晰度電視數(shù)字音頻廣播、高清晰度電視) )，要想方設(shè)法壓縮給定，要想方設(shè)法壓縮給定 消息消息 集合占用的空間域、時間域和頻率域資源。集合占用的空間域、時間域和頻率域資源。 n如海洋地球物理勘探遙測數(shù)據(jù)，用如海洋地球物理勘探遙測數(shù)據(jù)，用6060路傳感器，每路信路傳感器，每路信 號號1 1KH

6、zKHz，1616位位A A/ /D D量化，每航測量化，每航測1 1KmKm就需記錄就需記錄1 1盤盤0.50.5英寸英寸 的磁帶，一條測量船每年就可勘測的磁帶，一條測量船每年就可勘測1500015000KmKm，數(shù)據(jù)流之，數(shù)據(jù)流之 大可見一斑。大可見一斑。 o 實際生活中的需要實際生活中的需要 n 實際生活中，人們一般并不要求獲得完全無實際生活中，人們一般并不要求獲得完全無 失真的消息，通常只要求近似地再現(xiàn)原始消失真的消息，通常只要求近似地再現(xiàn)原始消 息，即允許一定的失真存在。息，即允許一定的失真存在。 n 例如打電話：即使語音信號有一些失真，接例如打電話：即使語音信號有一些失真，接 電話

7、的人也能聽懂。人耳接收信號的帶寬和電話的人也能聽懂。人耳接收信號的帶寬和 分辨率是有限的。分辨率是有限的。 n 放電影：理論上需要無窮多幅靜態(tài)畫面，由放電影：理論上需要無窮多幅靜態(tài)畫面，由 于人眼的于人眼的“視覺暫留性視覺暫留性”，實際上只要每秒，實際上只要每秒 放映放映2424幅靜態(tài)畫面。幅靜態(tài)畫面。 n 有些失真沒有必要完全消除。有些失真沒有必要完全消除。 o 在允許一定程度失真的條件下，能夠把信源在允許一定程度失真的條件下，能夠把信源 信息壓縮到什么程度信息壓縮到什么程度, ,即即: :最少需要多少比特最少需要多少比特 數(shù)才能描述信源數(shù)才能描述信源. .也就是也就是 在允許一定程度失在允

8、許一定程度失 真的條件下真的條件下, ,如何能快速的傳輸信息如何能快速的傳輸信息. .這就是這就是 信息率失真理論信息率失真理論. . (3) (3) 信息率失真理論信息率失真理論 o 信息率失真函數(shù)信息率失真函數(shù) n 香農(nóng)定義了信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R R( (D D) )。 n 定理指出定理指出：在允許一定失真度：在允許一定失真度D D的情況下，的情況下， 信源輸出的信息率可壓縮到信源輸出的信息率可壓縮到R R( (D D) )。 n 信息率失真理論是信息率失真理論是量化量化（模數(shù)轉(zhuǎn)換）、（模數(shù)轉(zhuǎn)換）、數(shù)模數(shù)模 轉(zhuǎn)換轉(zhuǎn)換、頻帶壓縮頻帶壓縮和和數(shù)據(jù)壓縮數(shù)據(jù)壓縮的理論基礎(chǔ)。的理

9、論基礎(chǔ)。 o 我們將信道編碼和譯碼都看成是信道的一部分。我們將信道編碼和譯碼都看成是信道的一部分。 o 又根據(jù)信道編碼定理，我們可以把信道編碼、信道、又根據(jù)信道編碼定理，我們可以把信道編碼、信道、 信道譯碼這三部分看成是一個沒有任何干擾的廣義信道譯碼這三部分看成是一個沒有任何干擾的廣義 信道。這樣收信者收到消息后所產(chǎn)生的失真信道。這樣收信者收到消息后所產(chǎn)生的失真( (或誤差或誤差) ) 只是由信源編碼帶來的。只是由信源編碼帶來的。 o 從直觀感覺可知，從直觀感覺可知，若允許失真越大，信息傳輸率可若允許失真越大，信息傳輸率可 越?。蝗粼试S失真越小，信息傳輸率需越大。越?。蝗粼试S失真越小，信息傳輸

10、率需越大。所以所以 信息傳輸率與信源編碼所引起的失真信息傳輸率與信源編碼所引起的失真( (或誤差或誤差) )是有是有 關(guān)的。關(guān)的。 o 為了定量地描述信息傳輸率和失真的關(guān)系，我們用為了定量地描述信息傳輸率和失真的關(guān)系，我們用 虛擬手法拿信道來表示失真信源編碼的作用，把信虛擬手法拿信道來表示失真信源編碼的作用，把信 源編碼和信源譯碼等價成一個信道，由于是失真編源編碼和信源譯碼等價成一個信道，由于是失真編 碼，所以信道不是一一對應(yīng)的，用信道傳遞概率來碼，所以信道不是一一對應(yīng)的，用信道傳遞概率來 描述編、譯碼前后的關(guān)系。一般此信道稱為描述編、譯碼前后的關(guān)系。一般此信道稱為試驗信試驗信 道。道。 信源

11、信源 編碼編碼 信道信道 編碼編碼 信道 信道信道 譯碼譯碼 信源信源 譯碼譯碼 信源信源信宿信宿 信源信源 編碼編碼 信道* 信源信源 譯碼譯碼 信源信源信宿信宿 信源信源信宿信宿 試驗信道 U Vp(vj/ui) 現(xiàn)在我們要研究在給定允許失真的條件下，是否可現(xiàn)在我們要研究在給定允許失真的條件下，是否可 以設(shè)計一種信源編碼使信息傳輸率為最低。為此，以設(shè)計一種信源編碼使信息傳輸率為最低。為此， 我們首先討論失真的測度。我們首先討論失真的測度。 設(shè)信源變量為設(shè)信源變量為 ， 其概率分布為其概率分布為 12 ,. r Uu uu 1 ( ) ( ). ( ) r P uP uP u 對于每一對對于

12、每一對(u(ui i,v,vj j) )，我們指定一個非負的函數(shù)，我們指定一個非負的函數(shù) ( ,)0 ij d u v 二、失真度（或稱失真函數(shù)）二、失真度（或稱失真函數(shù)） 接收端變量為接收端變量為 12 ,. s Vv vv 稱為單個符號的失真度（或稱失真函數(shù)）稱為單個符號的失真度（或稱失真函數(shù)） 失真函數(shù)用來表征信源發(fā)出一個符號失真函數(shù)用來表征信源發(fā)出一個符號u ui i，而在，而在 接收端再現(xiàn)成符號接收端再現(xiàn)成符號v vj j 所引起的誤差或失真。所引起的誤差或失真。d(ui, vj) 越小表示失真越小，等于越小表示失真越小，等于0 0表示沒有失真。表示沒有失真。 可以將所有的失真函數(shù)排

13、列成矩陣的形式：可以將所有的失真函數(shù)排列成矩陣的形式： 11121 21222 12 ( ,)( ,).( ,) (,)(,).(,) . (,)(,).(,) s s rrrs d u vd u vd u v d u vd u vd u v D d u vd u vd u v 我們稱它為我們稱它為失真矩陣失真矩陣。 常用的失真函數(shù)常用的失真函數(shù) o第一種第一種 n當(dāng)當(dāng)i i= =j j時，時，U U與與V V的取值一樣，用的取值一樣，用V V來代表來代表U U就沒有誤差，所就沒有誤差，所 以定義失真函數(shù)為以定義失真函數(shù)為0 0； n當(dāng)當(dāng)i ij j時，用時，用V V代表代表U U就有誤差。就

14、有誤差。 n這種定義認為對所有不同的這種定義認為對所有不同的i i和和j j引起的誤差都一樣，所引起的誤差都一樣，所 以定義以定義失真函數(shù)為常數(shù)失真函數(shù)為常數(shù)a a。 n失真矩陣的失真矩陣的特點是對角線上的元素均為特點是對角線上的元素均為0 0，對角線以外的，對角線以外的 其它元素都為常數(shù)其它元素都為常數(shù)a a。 0 0 0 0 0 0 0 aaa aaa aaa aaa D jiaa ji vud ji ),( n當(dāng)當(dāng)a a=1=1時的失真函數(shù)稱為時的失真函數(shù)稱為漢明失真函數(shù)漢明失真函數(shù)。 o 第二種：第二種：d d( (u ui i, ,v vj j)=()=(v vj ju ui i)

15、)2 2 n這種函數(shù)稱為這種函數(shù)稱為平方誤差失真函數(shù)平方誤差失真函數(shù)，失真矩陣稱為，失真矩陣稱為平方誤平方誤 差失真矩陣差失真矩陣。 n若信源符號代表輸出信號的幅度值，則較大的幅度失真若信源符號代表輸出信號的幅度值，則較大的幅度失真 比較小的幅度失真引起的錯誤更為嚴重，嚴重程度用平比較小的幅度失真引起的錯誤更為嚴重，嚴重程度用平 方表示。方表示。 失真函數(shù)是根據(jù)人們的實際需要和失真引起的損失、風(fēng)險、失真函數(shù)是根據(jù)人們的實際需要和失真引起的損失、風(fēng)險、 主觀感覺上的差別大小等因素主觀感覺上的差別大小等因素人為規(guī)定的人為規(guī)定的。 0111 0 1011 1101 1110 1 0 ),( D ji

16、 ji yxd ji 三三、平均失真度、平均失真度 ( ,) ij DE d u v 若已知試驗信道的傳遞概率，則平均失真度為：若已知試驗信道的傳遞概率，則平均失真度為： ,11 ( , ) ( , )( ) (/) ( ,) rs ijiij U Vij DP u v d u vP u P vu d u v 若平均失真度若平均失真度 不大于我們所允許的失真限不大于我們所允許的失真限 度度D D，我們稱此為，我們稱此為保真度準則保真度準則。 D DD 凡滿足保真度準則的這些試驗信道稱為凡滿足保真度準則的這些試驗信道稱為D D失真許可的失真許可的 試驗信道試驗信道。把所有。把所有D D失真許可的

17、試驗信道組成一個集失真許可的試驗信道組成一個集 合，用符號合，用符號BD 表示。表示。 sjriDDuvpB ijD ,:)/(2121 o 平均失真度的意義平均失真度的意義 n 是在平均意義上，從總體上對整個系是在平均意義上，從總體上對整個系 統(tǒng)失真情況的描述。它是信源統(tǒng)計特性統(tǒng)失真情況的描述。它是信源統(tǒng)計特性 p p( (u ui i) ) 、信道統(tǒng)計特性、信道統(tǒng)計特性p p( (v vj j/ /u ui i ) )和失真度和失真度 d d( (u ui i, ,v vj j) )的函數(shù)的函數(shù) 。當(dāng)。當(dāng)p p( (u ui i) )，p p( (v vj j/ /u ui i ) )和和

18、 d d( (u ui i, ,v vj j) )給定后，平均失真度就不是一個給定后，平均失真度就不是一個 隨機變量了，而是一個確定的量。隨機變量了，而是一個確定的量。 n 如果信源和失真度一定，如果信源和失真度一定， 就只是信道就只是信道 統(tǒng)計特性的函數(shù)。信道傳遞概率不同，平統(tǒng)計特性的函數(shù)。信道傳遞概率不同，平 均失真度隨之改變。均失真度隨之改變。 D D N N 次擴展信道的平均失真度次擴展信道的平均失真度 oN N次擴展次擴展 n單符號離散無記憶信源單符號離散無記憶信源U U u u1 1, ,u u2 2, , ,u ur r 的的N N次擴展信次擴展信 源源U UN N = =u u

19、1 1u u2 2u uN N ，在信道中的傳遞作用相當(dāng)于單符號，在信道中的傳遞作用相當(dāng)于單符號 離散無記憶信道的離散無記憶信道的N N次擴展信道，輸出也是一個隨機次擴展信道，輸出也是一個隨機 變量序列變量序列V VN N = =V V1 1V V2 2V VN N 。 n此時輸入共有此時輸入共有r rN N個不同的符號個不同的符號 n信道的輸出共有信道的輸出共有s sN N個不同的符號個不同的符號 N N riiiiiii ririii uuuuuuuuu NN , ,)( 2121 21 21 2121 N N sjjjjjjj sjsjjj vvvvvvvvv NN , ,)( 2121

20、 21 21 2121 n定義離散無記憶信道定義離散無記憶信道 U U P P( (V V/ /U U) ) V V 的的N N次次 擴展信道的輸入序列擴展信道的輸入序列i i和輸出序列和輸出序列j j之間的失真函數(shù)為之間的失真函數(shù)為 n上式說明上式說明：離散無記憶信道的：離散無記憶信道的N N次擴展信道輸入輸出之次擴展信道輸入輸出之 間的失真，等于輸入序列間的失真，等于輸入序列i i中中N N個信源符號個信源符號 u ui i1 1, ,u ui i2 2, , ,u uiN iN各自通過信道 各自通過信道 U U P P( (V V/ /U U) ) V V ，分別輸出，分別輸出 對應(yīng)的對

21、應(yīng)的N N個信宿符號個信宿符號v vj j1 1, ,v vj j2 2, , ,v vjN jN后所引起的 后所引起的N N個單符號個單符號 失真失真d d( (u uik ik , ,v vjkjk)( )(k k=1,2, =1,2, , ,N N) )之和。之和。 N k ji jijiji jjjiiiji kk NN NN vud vudvudvud vvvuuudd 1 2211 2121 ),( ),(),(),( ),(),( oN N次擴展的失真度次擴展的失真度 定義定義N N次離散無記憶擴展信源和信道的平均次離散無記憶擴展信源和信道的平均 失真度為失真度為 ，則，則)(N

22、D N k jkikij r i s j i jiij r i s j i vudpp dppND NN NN 111 11 ),()/()( ),()/()()( o “N N次擴展次擴展”與與“單符號單符號”平均失真度的關(guān)系平均失真度的關(guān)系 n 由擴展信源和擴展信道的無記憶性有由擴展信源和擴展信道的無記憶性有 NkvuduvpupDuvpup DDDDvuduvpup vuduvpupvuduvpup vuduvpuvpupup dppND sjriuvppupp kkkk kk k k kk k k NNNN NN N kkNNN NN NN kkk jiij r i s j i k r

23、 j ij r i i N k kN jiij r i s j i jiij r i s j ijiij r i s j i N k jiijiji r i r i s j s j i jiij r i s j i NN N k ijij N k ii ,),()/()()/()( ),()/()( ),()/()(),()/()( ),()/()/()()( ),()/()()( ,)/()/()()( 2111 2121 1111 1 21 11 1111 1111 11 11 2222 22 21111 11 1 11 11 1 其中其中 n 實際上，實際上， ( (k k=1,2, =

24、1,2, , ,N N) )是同一信源是同一信源U U在在 N N個不同時刻通過同一信道個不同時刻通過同一信道 U U P P( (Y Y/ /U U) ) Y Y 所所 造成的平均失真度，因此都等于單符號信源造成的平均失真度，因此都等于單符號信源U U通通 過信道過信道 U U P P( (Y Y/ /U U) ) Y Y 所造成的平均失真度，即所造成的平均失真度，即 n 上式說明上式說明：離散無記憶離散無記憶N N次擴展信源通過次擴展信源通過 離散無記憶離散無記憶N N次擴展信道的平均失真度是次擴展信道的平均失真度是 單符號信源通過單符號信道的平均失真度單符號信源通過單符號信道的平均失真度

25、 的的N N倍倍。 kD DNND vuduvpupDD r i s j jiiji k )( ),()/()( 因此因此 11 N N次擴展的保真度準則次擴展的保真度準則 離散無記憶離散無記憶N N次擴展信源通過離散無記憶次擴展信源通過離散無記憶N N次次 擴展信道的保真度準則為擴展信道的保真度準則為 凡滿足保真度準則的這些試驗信道稱為凡滿足保真度準則的這些試驗信道稱為D D失真失真 許可的試驗信道許可的試驗信道。把所有。把所有D D失真許可的試驗信道組失真許可的試驗信道組 成一個集合，用符號成一個集合，用符號BD 表示。表示。 NDND)( NDNDpB ijD )(:)/( 7.2 7.

26、2 信息率失真函數(shù)及其性質(zhì)信息率失真函數(shù)及其性質(zhì) 1 1、信息率失真函數(shù)、信息率失真函數(shù) 當(dāng)信源和失真函數(shù)給定后，我們總希望在滿足保當(dāng)信源和失真函數(shù)給定后，我們總希望在滿足保 真度準則下尋找平均互信息的最小值。也就是在真度準則下尋找平均互信息的最小值。也就是在B BD D 中找一個信道，使平均互信息最小（求極小值）。這中找一個信道，使平均互信息最小（求極小值）。這 個最小值就是在個最小值就是在 的條件下，信源必須傳輸?shù)牡臈l件下，信源必須傳輸?shù)?最小平均信息量。最小平均信息量。 DD 改變試驗信道求平均互信息的最小值，實質(zhì)上是改變試驗信道求平均互信息的最小值，實質(zhì)上是 選擇一種編碼方式使信息傳輸

27、率為最小。選擇一種編碼方式使信息傳輸率為最小。 );(min)( )/( VUIDR Dij Buvp 單符號信源和單符號信道的信息率失真函數(shù)單符號信源和單符號信道的信息率失真函數(shù) n在信源和失真度給定以后，在信源和失真度給定以后，B BD D是滿足保真是滿足保真 度準則度準則 的試驗信道集合，平均互信息的試驗信道集合，平均互信息 I I( (U U; ;V V) )是信道傳遞概率是信道傳遞概率p p( (v vj j / /u ui i) )的下凸函數(shù)， 的下凸函數(shù)， 所以在所以在B BD D中一定可以找到某個試驗信道，使中一定可以找到某個試驗信道，使 I I( (U U; ;V V) )達

28、到最小，即達到最小，即 這個最小值這個最小值R R( (D D) )稱為信息率失真函數(shù)稱為信息率失真函數(shù). . 物理意義物理意義：對于給定的信源，在：對于給定的信源，在 的條件下，的條件下， 信息率允許壓縮到的最小值。信息率允許壓縮到的最小值。 );(min)( )/( VUIDR Dij Buvp DD DD o “N N次擴展次擴展”的信息率失真函數(shù)的信息率失真函數(shù) 對于離散無記憶信源的對于離散無記憶信源的N N次擴展信源和離散無次擴展信源和離散無 記憶信道的記憶信道的N N次擴展信道，在所有滿足保真度準次擴展信道，在所有滿足保真度準 則則 的的N N維試驗信道集合中，一定可維試驗信道集合

29、中，一定可 以尋找到某個信道使平均互信息取最小值以尋找到某個信道使平均互信息取最小值R RN N( (D D) )， 這個最小值稱為它的信息率失真函數(shù)。這個最小值稱為它的信息率失真函數(shù)。 n 由信源和信道的無記憶性，可以證明由信源和信道的無記憶性，可以證明 R RN N( (D D)=)=NRNR( (D D) )。 );(min)( )( )/( NN Bp N VUIDR NDij NDND)( o 例例: :設(shè)信源有設(shè)信源有2n2n種不同的符號，即，種不同的符號，即， 且該信源為一等概信源，即且該信源為一等概信源，即 若選定失真函數(shù)為漢明失真若選定失真函數(shù)為漢明失真 o 如允許的平均失真

30、為如允許的平均失真為D=0 D=0 即：不允許有失真，則必須即：不允許有失真，則必須 用下圖所示的信道進行傳輸。用下圖所示的信道進行傳輸。 o 此時信道的信息傳輸率此時信道的信息傳輸率 ji ji yxd ji 1 0 ),( nnn aaaaaX 2121 , n apxXp ii 2 1 )()( nXHR2log)( 若若D=1/2D=1/2，為了滿足保真度準則，我們用下列信道進行傳輸。，為了滿足保真度準則，我們用下列信道進行傳輸。 此時這個信道（信源編碼方法）的平均失真為此時這個信道（信源編碼方法）的平均失真為 保真度準則要求保真度準則要求 為了能用盡保為了能用盡保 真度準則所規(guī)定的允

31、許失真范圍，可取真度準則所規(guī)定的允許失真范圍，可取 由于這個信道的傳遞概率等于由于這個信道的傳遞概率等于 1 1或或0 0，所以噪聲熵一定為，所以噪聲熵一定為0 0 2 1 2 1 11 2 1 ),()/()( ),()/()( 2 1 2 1 2 1 2 1 n n n aadaapap aadaapapD n ni niini n ni n i n j jiiji DD 2 1 DD )()/()();(YHXYHYHYXI )log(log);( )log(log )log(log loglog ,)( )()()()( )()()( 1 2 1 2 1 2 1 2 1 2 1 2 2

32、 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 1 121 n n n nYXI n n n n n n n n n n n n n n n n nn n n n nnn HYH n n apapapap n apapap nnYnYnYnY nYYY 即即可可得得： 為為而而信信道道輸輸出出的的概概率率分分布布 o 這表明：如允許平均失真達到規(guī)定值這表明：如允許平均失真達到規(guī)定值 ，那么我，那么我 們就可以只要傳送們就可以只要傳送 這這n n個符號，并以個符號，并以 來代替來代替 這這n n個符號，以致使信息傳輸率個符號，以致使信息傳輸率 降低了

33、降低了 ，即信源輸出信息率可壓縮，即信源輸出信息率可壓縮 o 所求得的所求得的 如能求出如能求出 ，則，則 信源輸出信息率可望進一步壓縮。信源輸出信息率可望進一步壓縮。 o 此例子使我們初步領(lǐng)悟到信息率失真函數(shù)的含義和此例子使我們初步領(lǐng)悟到信息率失真函數(shù)的含義和 作用作用 ) 2 1 ();(DRYXI 2 1 D , 21n aaa , 1nnn aa )1log( 2 1 n n n )1log( 2 1 n n n n a ) 2 1 (DR 2.信息率失真函數(shù)的性質(zhì) (1) (1) 信息率失真函數(shù)的定義域信息率失真函數(shù)的定義域 o什么是率失真函數(shù)的定義域什么是率失真函數(shù)的定義域 n允許

34、平均失真度允許平均失真度：率失真函數(shù)中的自變量：率失真函數(shù)中的自變量D D，也就，也就 是人們規(guī)定的平均失真度是人們規(guī)定的平均失真度 的上限值。的上限值。 n率失真函數(shù)的定義域率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已問題就是在信源和失真函數(shù)已 知的情況下，討論允許失真限度知的情況下，討論允許失真限度D D 的最小和最大值的最小和最大值 問題。問題。 nD D的選取必須根據(jù)固定信源的選取必須根據(jù)固定信源X X的統(tǒng)計特性的統(tǒng)計特性P P( (X X) )和選定和選定 的失真函數(shù)的失真函數(shù)d d( (u ui i , ,v vj j) )，在平均失真度 ，在平均失真度 的可能取的可能取 值范圍內(nèi)

35、。值范圍內(nèi)。 D D o（1 1）失真度限度的最小值）失真度限度的最小值D Dmin min 這就是不允許有任何失真的情況。此時要求這就是不允許有任何失真的情況。此時要求 失真矩陣中每行至少有一個零元素失真矩陣中每行至少有一個零元素，才能達到零。，才能達到零。 直觀的理解就是，若信源要求無失真地傳輸，則直觀的理解就是，若信源要求無失真地傳輸，則 信息傳輸率至少應(yīng)等于信源輸出的信息量信息傳輸率至少應(yīng)等于信源輸出的信息量-信信 源熵源熵 R R(0)=(0)=H H( (U U) ) 0 00 00 );();( ),( min min jij ij i ji vudvupD DDDD Dvud

36、o 一般來說一般來說 ),()/(),()/(),()/(min)( ),()/(),()/(),()/(min)( ),()/(),()/(),()/(min)( ),()/(min)( ),()/()(min min srrsnnnnn ss ss r i s j jiiji r i s j jiiji vuduvpvuduvpvuduvpup vuduvpvuduvpvuduvpup vuduvpvuduvpvuduvpup vuduvpup vuduvpupD 2211 22222212212 11211211111 11 11 欲讓上式的和式最小，每一項均應(yīng)最小，欲讓上式的和式最小，

37、每一項均應(yīng)最小， 應(yīng)選擇合適的試驗信道使和式最小。若令應(yīng)選擇合適的試驗信道使和式最小。若令失失 真矩陣真矩陣 DD中某一行中的最小元素所對應(yīng)的試驗信中某一行中的最小元素所對應(yīng)的試驗信 道的轉(zhuǎn)移概率為道的轉(zhuǎn)移概率為1 1，其余為，其余為0 0，則和式最小，則和式最小，即：，即： 則可得信源的最小平均失真度為：則可得信源的最小平均失真度為： r i ji j i vudupD 1 ),(min)( min j j ),()/( ),()/( vvuduvP vvuduvP jiij jii s j j 最小的最小的 最小的最小的所有所有 0 1 1 o 例例: :設(shè)信源為設(shè)信源為 信宿為信宿為(0

38、,1)(0,1) o 失真矩陣為失真矩陣為 o 計算得計算得 3 1 3 1 3 1 210 )(up U 01 2 1 2 1 10 D )();(min)()( ( ),(min)( min min UHVUIRDR vudupD D B r i ji j i 6 1 1 10 01 P 6 1 0 3 1 2 1 3 1 0 3 1 1 此時此時 可有無窮多個）可有無窮多個） 相應(yīng)的試驗信道矩陣為相應(yīng)的試驗信道矩陣為 n連續(xù)信源有連續(xù)信源有 。這時雖然信源熵是。這時雖然信源熵是 有限的，但信息量是無窮大。實際信道容量總有限的，但信息量是無窮大。實際信道容量總 是有限的，無失真?zhèn)魉瓦@種連續(xù)

39、信息是不可能是有限的，無失真?zhèn)魉瓦@種連續(xù)信息是不可能 的。只有當(dāng)允許失真的。只有當(dāng)允許失真, ,并且并且R R( (D D ) )為有限值時，為有限值時， 傳送才是可能的。傳送才是可能的。 )(lim 0 DR D （2 2）失真限度的）失真限度的 最大值最大值D Dmax max o 根據(jù)根據(jù)R(D)R(D)的定義知，的定義知，R(D)R(D)是在一定的約束條件下是在一定的約束條件下 平均互信息的極小值。已知平均互信息是非負的，平均互信息的極小值。已知平均互信息是非負的， 其下限值為零。其下限值為零。 o 由此可得，由此可得，R(D)R(D)也是非也是非 負的，它的下限值也為負的，它的下限值

40、也為 零。所以當(dāng)零。所以當(dāng)R(D)R(D)等于零等于零 時，所對應(yīng)的時，所對應(yīng)的平均失真平均失真 度的下界就是失真限度度的下界就是失真限度 的的 最大值最大值 D Dmax max。如圖所 如圖所 示。示。 n設(shè)：當(dāng)設(shè)：當(dāng) 時，時，R R( (D D) )已已 達到下限值達到下限值“0 0”。若失真限。若失真限 度更大時，即度更大時，即當(dāng)當(dāng)D D D Dmax max時， 時， 從數(shù)學(xué)意義上講，因為從數(shù)學(xué)意義上講，因為R R( (D D) ) 是非負函數(shù)，所以它仍只能是非負函數(shù)，所以它仍只能 等于等于0 0。這相當(dāng)于輸入。這相當(dāng)于輸入U U和輸和輸 出出V V統(tǒng)計獨立。此時統(tǒng)計獨立。此時 n而

41、而D Dmax max就是在 就是在R R( (D D)=0)=0時時所對應(yīng)的平均失真度的最小值。所對應(yīng)的平均失真度的最小值。 max DD )()/( jij vpuvp max DD r i s j jiji r i s j jiiji vudvpupvuduvpupD 1111 ),()()(),()/()( kj kj vp vudupvvdupD DDvp jvudupDvudup vudupvpvudvpupD j ki r i iji r i i j k kjj ji r i ijjii ji s j r i ij vp s j r i jiji vp jj 0 1 11 1 1

42、111 )( ),()(),()(min )( ),()(),()( ),()()(min),()()(min )()( max 的傳遞概率為的傳遞概率為相應(yīng)地，若取試驗信道相應(yīng)地，若取試驗信道 即即 中有一個最小值中有一個最小值設(shè)設(shè)是任意的。是任意的。而而 而改變而改變它隨它隨已知時，令已知時，令和和當(dāng)當(dāng) 則可得輸入則可得輸入U U和輸出和輸出V V統(tǒng)計獨立條件下的統(tǒng)計獨立條件下的 最小平均失真。最小平均失真。 kj vp ji r i i vp s j j s j r i jiij vp DD vudupvp vudupvpD j j j )( )( )( max min ),()(min

43、)( ),()()(min 11 11 ),()(min maxji r i i j vudupD 1 例例4.1.1 4.1.1 二元信源二元信源 ，相應(yīng)的失真矩陣，相應(yīng)的失真矩陣 為為 ，計算，計算D Dmax max 及相應(yīng)的試驗信道矩陣。 及相應(yīng)的試驗信道矩陣。 o先計算先計算D Dj j ： D D1 10.60.6 D D2 2=0.4=0.4 o所以所以 D Dmax max=min( =min(D D1 1 , , D D2 2)=0.4)=0.4 o相應(yīng)的試驗信道矩陣為相應(yīng)的試驗信道矩陣為 6 . 04 . 0 21 xx 0 0 ),()( ji r i ij vudupD

44、 1 1 1 0 0 P o結(jié)結(jié) 論論 nR(D)R(D)的定義域為的定義域為 (D(Dmin min, D , Dmax max) )； ； n一般情況下一般情況下D Dmin min =0 =0， R(DR(Dmin min)=H(U) )=H(U)； n當(dāng)當(dāng)DDDDmax max時， 時， R(D)=0R(D)=0； n當(dāng)當(dāng)D Dmin minD D D Dmax max時， 時， 0R(D)H(U)0R(D)H(U)。 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì) 2 2、 率失真函數(shù)對允許平均失真度的下凸性率失真函數(shù)對允許平均失真度的下凸性 對任一對任一0101和任意平均失真度和任意平均

45、失真度D D，D DDDmax max， ， 有有 RDRD+(1+(1)D)DR(DR(D)+(1)+(1)R(D)R(D) ) 3 3、 率失真函數(shù)的單調(diào)遞減和連續(xù)性率失真函數(shù)的單調(diào)遞減和連續(xù)性 n 由于函數(shù)由于函數(shù)R R( (D D) )具有凸狀性，保證了它在定義域具有凸狀性，保證了它在定義域 內(nèi)是連續(xù)的。內(nèi)是連續(xù)的。 n 在在D Dmin min D D D Dmax max時：在 時：在D D= =D Dmax max 處，除某些特例外，處，除某些特例外，S S 將從某一個負值跳到將從某一個負值跳到0 0， S S在此點不連續(xù)。在在此點不連續(xù)。在D D 的定義域的定義域0, 0, D

46、 Dmax max 內(nèi)， 內(nèi)， 除某些特例外，除某些特例外，S S將是將是 D D的連續(xù)函數(shù)。的連續(xù)函數(shù)。 1 1、連續(xù)信源的信息率失真函數(shù)的參量表達式、連續(xù)信源的信息率失真函數(shù)的參量表達式 2 2、高斯信源的信息率失真函數(shù)、高斯信源的信息率失真函數(shù) 7.6 7.6 連續(xù)信源的信息率失真函數(shù)連續(xù)信源的信息率失真函數(shù) o條件條件 n信源信源X XR R=(=(,) ,) n信源信源X X的的概率密度函數(shù)概率密度函數(shù)為為p p( (x x) ) n信道的信道的傳遞概率密度函數(shù)傳遞概率密度函數(shù)為為p p( (y y / /x x) ) n信宿信宿Y YR R=(=(,),) n信宿信宿Y Y的的概率

47、密度函數(shù)概率密度函數(shù)為為p p( (y y) ) nX X和和Y Y之間的之間的失真度失真度d d( (x x, ,y y)0)0 1 1、連續(xù)信源的信息率失真函數(shù)的參量表達式、連續(xù)信源的信息率失真函數(shù)的參量表達式 o平均失真度為平均失真度為 o平均互信息為平均互信息為 dxdyyxdxypxpdxdyyxdxypD),()/()(),()( 1)/(1)( 1)()/()()( )( )/( log)/()( )(log)()/(log)/()();( 2 22 dyxypdyyp dxxpdxxypxpyp dxdy yp xyp xypxp dyypypdxdyxypxypxpYXI 其

48、中 oB BD D為滿足保真度準則為滿足保真度準則 的所有試驗信道集合。的所有試驗信道集合。 o 信息率失真函數(shù)為信息率失真函數(shù)為 o 相當(dāng)于離散信源中求極小值，嚴格地說，連續(xù)集合未必相當(dāng)于離散信源中求極小值，嚴格地說，連續(xù)集合未必 存在極小值，但是一定存在下確界。存在極小值，但是一定存在下確界。 oR R( (D D) )函數(shù)的參量表達式：函數(shù)的參量表達式： o 一般情況，在失真度積分存在情況下，一般情況，在失真度積分存在情況下， R R( (D D) ) 的解存在，的解存在， 直接求解困難，用迭代算法計算機求解，只在特殊情況直接求解困難，用迭代算法計算機求解，只在特殊情況 下求解比較簡單。

49、下求解比較簡單。 DD ”是指下確界”是指下確界“inf);(inf)( )/( YXIDR D BUVp dD dR SDRS duuupSSDSR dudvvudevpupuSD vuSd 的的斜斜率率，是是同同樣樣可可以以證證明明)( )(log)()()( ),()()()()( ),( 2 (1) (1) 高斯信源特性及失真度高斯信源特性及失真度 o 設(shè)連續(xù)信源的概率密度為設(shè)連續(xù)信源的概率密度為正態(tài)分布函數(shù)正態(tài)分布函數(shù) o 數(shù)學(xué)期望為數(shù)學(xué)期望為 o 方差為方差為 o 定義其失真函數(shù)為定義其失真函數(shù)為d d( (u u, ,v v)=()=(u uv v) )2 2，即把均方誤差作為失

50、，即把均方誤差作為失 真，表明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴重，真，表明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴重， 嚴重程度隨誤差增大呈平方增長。嚴重程度隨誤差增大呈平方增長。 2 2 2 2 2 1 )( )( mu eup dxupmu duuupm )()( )( 22 2 2、 高斯信源的信息率失真函數(shù)高斯信源的信息率失真函數(shù) dudvvuduvpD),()( duvuvupdvvp dudvvuvupvp 2 2 )(/()( )(/()( ).()()(967vdvDvpD udvuvupvD 2 )(/()( )(log)/( max veDvUh2 2 1 )(lo

51、g)/(veDvUh2 2 1 dvvUhvpVUh )/()()/( dvvDvpe )(log)(log 2 1 2 2 1 根據(jù)根據(jù)詹森不等式詹森不等式： dvvDvpdvvDvp )()(log)(log)( Dlog DeVUh2 2 1 log)/( DD eDVUh2 2 1 log)/( 2 2 2 1 eUhlog)( 2 1 2 2 1 2 2 1 2 2 D eDe VUhUhYUI log loglog )/()();( D DR 2 log 2 1 )( o 下面討論 取不同值時的R（D）函數(shù)值 D 2 D DR 2 log 2 1 )( 1 2 D D 2 0)D(

52、R 2 (2) (2) 曲線圖說明曲線圖說明 曲線如右圖所示。當(dāng)信曲線如右圖所示。當(dāng)信 源均值不為源均值不為0 0時，仍有這個時，仍有這個 結(jié)果，因為結(jié)果，因為高斯信源的熵高斯信源的熵 只與隨機變量的方差有關(guān)，只與隨機變量的方差有關(guān)， 與均值無關(guān)。與均值無關(guān)。 2 2 2 2 0 2 1 D D D DR log )( o 當(dāng)當(dāng)D D= =2 2時，時，R R( (D D)=0)=0 ：這就這就 是說，如果允許失真（均方是說，如果允許失真（均方 誤差）等于信源的方差，只誤差）等于信源的方差，只 需用確知的均值需用確知的均值m m來表示信來表示信 源的輸出，不需要傳送信源源的輸出，不需要傳送信源

53、 的任何實際輸出；的任何實際輸出； o 當(dāng)當(dāng)D D=0=0時，時，R R( (D D)：這點這點 說明在連續(xù)信源情況下，要說明在連續(xù)信源情況下，要 毫無失真地傳送信源的輸出毫無失真地傳送信源的輸出 是不可能的。即要毫無失真是不可能的。即要毫無失真 地傳送信源的輸出必須要求地傳送信源的輸出必須要求 信道具有無限大的容量；信道具有無限大的容量； o 當(dāng)當(dāng)0D0D2 2時時：即允許一定的失：即允許一定的失 真，傳送信源的信息率可以降真，傳送信源的信息率可以降 低，意味著信源的信息率可以低，意味著信源的信息率可以 壓縮，連續(xù)信源的率失真理論壓縮，連續(xù)信源的率失真理論 正是連續(xù)信源量化、壓縮的理正是連續(xù)

54、信源量化、壓縮的理 論基礎(chǔ)。論基礎(chǔ)。 o 當(dāng)當(dāng)D D=0.25=0.252 2時，時，R R( (D D)=1)=1比特比特/ / 符號符號：這就是說在允許均方誤：這就是說在允許均方誤 差小于或等于差小于或等于0.250.252 2時，連續(xù)時，連續(xù) 信號的每個樣本值最少需用一信號的每個樣本值最少需用一 個二進制符號來傳輸。由香農(nóng)個二進制符號來傳輸。由香農(nóng) 第三定理證明了這種壓縮編碼第三定理證明了這種壓縮編碼 是存在的，然而實際上要找到是存在的，然而實際上要找到 這種可實現(xiàn)的最佳編碼方法很這種可實現(xiàn)的最佳編碼方法很 困難的。困難的。 信道容量與信息率失真函數(shù)的比較 從數(shù)學(xué)上說，信道容量和信息率失

55、真從數(shù)學(xué)上說，信道容量和信息率失真 函數(shù)的問題，都是函數(shù)的問題，都是求平均互信息求平均互信息極值問極值問 題題，有相仿之處，故常稱為對偶問題。，有相仿之處，故常稱為對偶問題。 (1) (1) 求極值問題求極值問題 (2) (2) 特性特性 (3) (3) 解決的問題解決的問題 (1) (1) 求極值問題求極值問題 o 平均互信息平均互信息I I( (X X; ;Y Y) )是信源概率分布是信源概率分布p p( (x xi i)()(i i=1,2,=1,2, ,n n) )或概或概 率密度函數(shù)率密度函數(shù)p p( (x x) )的的上凸函數(shù)上凸函數(shù)，根據(jù)上凸函數(shù)定義，如果，根據(jù)上凸函數(shù)定義，如果

56、 I I( (X X; ;Y Y) )在定義域內(nèi)對在定義域內(nèi)對p p( (x xi i) ) 的極值存在，則該極值一定是的極值存在，則該極值一定是 極大值極大值。信道容量就是在固定信道情況下，求平均互信息。信道容量就是在固定信道情況下，求平均互信息 極大值的問題，即極大值的問題，即 oI I( (X X; ;Y Y) )又是信道轉(zhuǎn)移概率分布又是信道轉(zhuǎn)移概率分布p p( (v vj j / /u ui i) )或條件概率密度函或條件概率密度函 數(shù)數(shù)p p( (y y/ /x x) )的的下凸函數(shù)下凸函數(shù)，因此在滿足保真度準則條件下，因此在滿足保真度準則條件下， I I( (X X; ;Y Y)

57、)對對p p( (v vj j / /u ui i) ) 的條件極值若存在，則一定是的條件極值若存在，則一定是極小值極小值。 信息率失真函數(shù)就是在試驗信道（滿足保真度準則的信道）信息率失真函數(shù)就是在試驗信道（滿足保真度準則的信道） 中尋找平均互信息極小值的問題，即中尋找平均互信息極小值的問題，即 );(max);(max )()( YXICYXIC xpxp i 或 );(min)( )/( VUIDR Dii Buvp (2) (2) 特特 性性 o信道容量信道容量C C一旦求出后，就只與信道轉(zhuǎn)移概率一旦求出后，就只與信道轉(zhuǎn)移概率 p p( (y yj j / /x xi i) )有關(guān)，反映

58、有關(guān)，反映信道特性信道特性，與信源特性無關(guān)；，與信源特性無關(guān)； o信息率失真函數(shù)信息率失真函數(shù)R(D)R(D)一旦求出后，就只與信源概一旦求出后，就只與信源概 率分布率分布p p( (x xi i) )有關(guān)，反映有關(guān)，反映信源特性信源特性，與信道特性，與信道特性 無關(guān)。無關(guān)。 (3) (3) 解決的問題解決的問題 o信道容量信道容量是為了解決通信的是為了解決通信的可靠性可靠性問題，是信息問題，是信息 傳輸?shù)睦碚摶A(chǔ)，通過傳輸?shù)睦碚摶A(chǔ)，通過信道編碼信道編碼增加信息的冗余增加信息的冗余 度來實現(xiàn)；度來實現(xiàn)； o信息率失真函數(shù)信息率失真函數(shù)是為了解決通信的是為了解決通信的有效性有效性問題，問題，

59、是信源壓縮的理論基礎(chǔ)，通過是信源壓縮的理論基礎(chǔ)，通過信源編碼信源編碼減少信息減少信息 的冗余度來實現(xiàn)。的冗余度來實現(xiàn)。 C CR(D)R(D) 的上凸函數(shù)的上凸函數(shù) 的下凸函數(shù)的下凸函數(shù) 的極大值的極大值 的條件極小值的條件極小值 的函數(shù)的函數(shù) 的函數(shù)的函數(shù) 僅與信道特性有關(guān)僅與信道特性有關(guān)僅與信源特性有關(guān)僅與信源特性有關(guān) 解決可靠性問題解決可靠性問題解決有效性問題解決有效性問題 信息傳輸?shù)幕A(chǔ)信息傳輸?shù)幕A(chǔ)信源壓縮的基礎(chǔ)信源壓縮的基礎(chǔ) ( ; )I X Y ( ; )I X Y( ; )I X Y ( ; )I X Y () ji p b a () i p a 7.7 7.7 保真度準則下的

60、信源編碼定理保真度準則下的信源編碼定理 定理定理7.17.1 保真度準則下的信源編碼定理保真度準則下的信源編碼定理 設(shè)設(shè)R(D)R(D)為一離散無記憶信源的信息率失真函數(shù)，并且有有為一離散無記憶信源的信息率失真函數(shù)，并且有有 限的失真測度。對于任意的限的失真測度。對于任意的 ，以及任，以及任 意足夠長的碼長意足夠長的碼長n n，則一定存在一種信源編碼，則一定存在一種信源編碼C C，其碼字個數(shù)，其碼字個數(shù) 為為 0,0,0D ()n R D Me 而編碼后的平均失真度而編碼后的平均失真度( )d CD 如果用二元編碼，則：如果用二元編碼，則： () 2 n R D M 該定理稱為該定理稱為香農(nóng)第