保真度準(zhǔn)則下的信源編碼

保真度準(zhǔn)則下的信源編碼第一頁(yè)，共四十頁(yè)，2022年，8月28日1、實(shí)際通信中存在失真。

在實(shí)際通信中，信源輸出的信息傳輸率總是大大超過(guò)信道容量，不可能實(shí)現(xiàn)完全無(wú)失真地傳輸信源的信息。此外，為了提高傳輸和存儲(chǔ)效率，必須進(jìn)行數(shù)據(jù)壓縮，這樣也會(huì)損失一定的信息，帶來(lái)失真。2、實(shí)際生活中允許有一定失真。在實(shí)際生活中，人們不一定要求完全無(wú)失真的恢復(fù)消息，也就是允許有一定的失真。引言第二頁(yè)，共四十頁(yè)，2022年，8月28日3、引出所研究的問(wèn)題：允許一定失真下信源編碼。那么在允許一定程度失真的條件下，能夠把信源信息壓縮到什么程度，也就是，允許一定程度失真的條件下，如何能快速的傳輸信息，這就是本章所要討論的問(wèn)題。本章所討論的內(nèi)容是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。

失真度如何表示？基于失真度定義的信息率失真函數(shù)及其性質(zhì)？什么是保真度準(zhǔn)則？在保真度準(zhǔn)則下如何進(jìn)行信源編碼？引言第三頁(yè)，共四十頁(yè)，2022年，8月28日第一節(jié)失真度和平均失真度第四頁(yè)，共四十頁(yè)，2022年，8月28日

1、失真度根據(jù)信道編碼定理，我們可以把信道編碼、信道和信道解碼等價(jià)成是一個(gè)沒(méi)有任何干擾的廣義信道，這樣收信者收到消息后，所產(chǎn)生的失真只是由信源編碼帶來(lái)的。我們也可以把信源編碼和信源譯碼等價(jià)成一個(gè)信道，稱此信道為試驗(yàn)信道。第一節(jié)失真度和平均失真度第五頁(yè)，共四十頁(yè)，2022年，8月28日現(xiàn)在我們要研究在給定允許失真的條件下，是否可以設(shè)計(jì)一種信源編碼使信息傳輸率為最低。為此，我們首先討論失真的測(cè)度。設(shè)信源變量為，其概率分布為對(duì)于每一對(duì)(u,v)，我們指定一個(gè)非負(fù)的函數(shù)稱為單個(gè)符號(hào)的失真度（或稱失真函數(shù)）。接收端（信宿）變量為。第一節(jié)失真度和平均失真度第六頁(yè)，共四十頁(yè)，2022年，8月28日失真函數(shù)用來(lái)表征信源發(fā)出一個(gè)符號(hào)，而在接收端再現(xiàn)成符號(hào)所引起的誤差或失真。d越小表示失真越小，等于0表示沒(méi)有失真。可以將所有的失真函數(shù)排列成矩陣的形式：我們稱它為失真矩陣。第一節(jié)失真度和平均失真度第七頁(yè)，共四十頁(yè)，2022年，8月28日例1：失真矩陣為：這種失真稱為漢明失真。在二元情況下：第一節(jié)失真度和平均失真度第八頁(yè)，共四十頁(yè)，2022年，8月28日[例2]二元?jiǎng)h除信道X={0,1};Y={0,2,1}[P]=02101-pp010p1-p

01-p0pp

11-p12回憶：二元?jiǎng)h除信道第九頁(yè)，共四十頁(yè)，2022年，8月28日

這種信道實(shí)際是存在的。假如有一個(gè)實(shí)際信道，它的輸入時(shí)代表0和1的兩個(gè)正、負(fù)方波信號(hào)，如圖3.5(a)所示。那么，信道輸出送入譯碼器的將是受干擾后的方波信號(hào)R(t)，如圖3.5(b)所示。我們可以用積分I=來(lái)判別發(fā)送的信號(hào)是“0”，還是“1”。如果I是正的，且大于某一電平，那么判別發(fā)送的是“0”；若I是負(fù)的，且小于某一電平，則判別發(fā)送的是“1”。而若I的絕對(duì)值很小，不能做出確切的判斷，就認(rèn)為接收到的是特殊符號(hào)“2”，假如信道干擾不是很嚴(yán)重的話，那么，10和01的可能性要比02和12的可能性小的多，所以假設(shè)P(y=1|x=0)=P(y=0|x=1)=0是較合理的。

01-p0pp

11-p12第十頁(yè)，共四十頁(yè)，2022年，8月28日例2：刪除信源對(duì)于二元?jiǎng)h除信源r=2，s=3，失真度為第一節(jié)失真度和平均失真度第十一頁(yè)，共四十頁(yè)，2022年，8月28日例3：對(duì)稱信源r=s，定義失真度為：當(dāng)r=s=3時(shí)，失真矩陣為：第一節(jié)失真度和平均失真度平方誤差失真第十二頁(yè)，共四十頁(yè)，2022年，8月28日第一節(jié)失真度和平均失真度2、平均失真度第十三頁(yè)，共四十頁(yè)，2022年，8月28日第一節(jié)失真度和平均失真度若平均失真度不大于我們所允許的失真D，我們稱此為保真度準(zhǔn)則。凡滿足保真度準(zhǔn)則的這些試驗(yàn)信道稱為D失真許可的試驗(yàn)信道。把所有D失真許可的試驗(yàn)信道組成一個(gè)集合，用符號(hào)BD表示。第十四頁(yè)，共四十頁(yè)，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)第十五頁(yè)，共四十頁(yè)，2022年，8月28日回憶：互信息

事件是否發(fā)生具有不確定性，用度量。接收到符號(hào)后，事件是否發(fā)生仍保留有一定的不確定性，用度量。觀察事件前后，這兩者之差就是通信過(guò)程中所獲得的信息量，用表示，稱為事件和事件之間的互信息量。第十六頁(yè)，共四十頁(yè)，2022年，8月28日

I(X;Y)=H(X)-H(X|Y)

因?yàn)镠(X)表示傳輸前信源的不確定性，而H(X|Y)表示收到符號(hào)后，對(duì)信源尚存的不確定性，所以二者之差是信道傳遞的信息量。

P(x)平均互信息定義：互信息I(x:y)在兩個(gè)概率空間X和Y中求統(tǒng)計(jì)平均的結(jié)果；先驗(yàn)熵與信道疑義度之差。回憶：平均互信息第十七頁(yè)，共四十頁(yè)，2022年，8月28日

定理3.1：平均互信息I(X;Y)是輸入信源概率分布P(x)的型凸函數(shù)（又稱上凸函數(shù)）。

這就是說(shuō)，對(duì)于一定的信道轉(zhuǎn)移概率分布，總可以找到某一個(gè)先驗(yàn)概率分布的信源X，使平均互信息量達(dá)到相應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹配信源?？梢哉f(shuō)不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的Imax。因此，當(dāng)固定某信道時(shí)，選擇不同的信源（其概率分布不同）與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。對(duì)于每一個(gè)固定的信道，一定存在一個(gè)某種概率分布的信源，使輸出端獲得的平均信息量為最大?；貞洠浩骄バ畔⒌男再|(zhì)第十八頁(yè)，共四十頁(yè)，2022年，8月28日

定理3.2平均互信息I(X;Y)信道傳遞概率P(y|x)的U型凸函數(shù)（又稱下凸函數(shù)）。這就是說(shuō)，對(duì)于一個(gè)已知先驗(yàn)概率為P(X)的離散信源，總可以找到某一個(gè)轉(zhuǎn)移概率分布的信道，使平均互信息量達(dá)到相應(yīng)的最小值Imin。可以說(shuō)不同的信源先驗(yàn)概率對(duì)應(yīng)不同的Imin?；蛘哒f(shuō)Imin是P(X)的函數(shù)。即平均互信息量的最小值體現(xiàn)了信源本身的特性。因此，當(dāng)信源固定后，選擇不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道的輸出端獲得關(guān)于信源的信息量是不同的。對(duì)每一種信源都存在一種最差的信道，此信道的干擾（噪聲）最大，而輸出端獲得的信息量最小。回憶：平均互信息的性質(zhì)第十九頁(yè)，共四十頁(yè)，2022年，8月28日對(duì)于一個(gè)固定的信道，總存在一種信源（概率分布為P(x)），使傳輸每個(gè)符號(hào)平均獲得的信息量最大，定義這個(gè)最大的信息傳輸率為信道容量C，單位是比特/符號(hào)，即

信道容量是完全描述信道特性的參量，是信道能夠傳輸?shù)淖畲笮畔⒘俊?/p>

回憶：平均互信息與信道容量第二十頁(yè)，共四十頁(yè)，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)1、信息率失真函數(shù)

當(dāng)信源和失真函數(shù)給定后，我們總希望在滿足保真度準(zhǔn)則下尋找平均互信息的最小值。也就是在中找一個(gè)信道，使平均互信息取極小值。這個(gè)最小值就是在的條件下，信源必須傳輸?shù)淖钚∑骄畔⒘俊?/p>

改變?cè)囼?yàn)信道求平均互信息的最小值，實(shí)質(zhì)上是選擇一種編碼方式使信息傳輸率為最小。現(xiàn)在我們要研究在給定允許失真的條件下，設(shè)計(jì)一種信源編碼使信息傳輸率為最低。從接收端來(lái)看，就是在滿足保真度準(zhǔn)則下，尋找再現(xiàn)信源消息所必須獲得的最低平均信息量。第二十一頁(yè)，共四十頁(yè)，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)2、信息率失真函數(shù)的性質(zhì)

1)、R(D)的定義域是

(1)、和允許失真度D的最小值為0，即不允許有失真，R(0)的最小值為H(U)，即信息傳輸率至少為信源的信息熵。例：滿足最小失真度的試驗(yàn)信道是一個(gè)無(wú)噪無(wú)損信道：第二十二頁(yè)，共四十頁(yè)，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)(2)因?yàn)镈越大，R(D)越小，最小為0，當(dāng)D再大時(shí)，R(D)也只能為0，此時(shí)，發(fā)送與接收統(tǒng)計(jì)獨(dú)立，即：失真度函數(shù)變?yōu)椋寒?dāng)時(shí)，而當(dāng)時(shí)，

可以這樣選，當(dāng)最小時(shí)，取等于1，則：

所以，就是在R(D)=0的情況下，求的最小值第二十三頁(yè)，共四十頁(yè)，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)2)、R(D)是D的下凸函數(shù)0DR(D)第二十四頁(yè)，共四十頁(yè)，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)3)、

R(D)函數(shù)的單調(diào)遞減性和連續(xù)性第二十五頁(yè)，共四十頁(yè)，2022年，8月28日第三節(jié)二元信源和離散對(duì)稱信源的R(D)函數(shù)第二十六頁(yè)，共四十頁(yè)，2022年，8月28日第三節(jié)

二元信源和離散對(duì)稱信源的R(D)函數(shù)1、二元對(duì)稱信源的R(D)函數(shù)第二十七頁(yè)，共四十頁(yè)，2022年，8月28日要達(dá)到最大允許失真，唯一確定此時(shí)，可計(jì)算得信息傳輸率一般情況下，當(dāng)時(shí)，第三節(jié)

二元信源和離散對(duì)稱信源的R(D)函數(shù)在漢明失真度下，平均失真度等于平均錯(cuò)誤率。第二十八頁(yè)，共四十頁(yè)，2022年，8月28日可以計(jì)算得：二元信源的信息率失真函數(shù)為在漢明失真條件下，例：第三節(jié)

二元信源和離散對(duì)稱信源的R(D)函數(shù)

對(duì)于離散對(duì)稱信源，在漢明失真條件下：第二十九頁(yè)，共四十頁(yè)，2022年，8月28日第四節(jié)保真度準(zhǔn)則下的信源編碼定理第三十頁(yè)，共四十頁(yè)，2022年，8月28日第四節(jié)保真度準(zhǔn)則下的信源編碼定理使編碼后的每個(gè)信源符號(hào)的信息傳輸率滿足：該定理告訴我們：即，而碼的平均失真度。

第三十一頁(yè)，共四十頁(yè)，2022年，8月28日

該定理告訴我們：如果編碼后平均每個(gè)信源符號(hào)的信息傳輸率小于信息率失真函數(shù)，就不能在保真度準(zhǔn)則下再現(xiàn)信源的消息。第四節(jié)保真度準(zhǔn)則下的信源編碼定理第三十二頁(yè)，共四十頁(yè)，2022年，8月28日第五節(jié)聯(lián)合有失真信源信道編碼定理第三十三頁(yè)，共四十頁(yè)，2022年，8月28日第五節(jié)聯(lián)合有失真信源信道編碼定理第三十四頁(yè)，共四十頁(yè)，2022年，8月28日第六節(jié)限失真信源編碼定理的實(shí)用意義第三十五頁(yè)，共四十頁(yè)，2022年，8月28日第六節(jié)限失真信源編碼定理的實(shí)用意義例：要對(duì)此信源進(jìn)行無(wú)失真編碼，每個(gè)信源符號(hào)必須用一個(gè)二元符號(hào)來(lái)表示，信源的信息輸出率為R=H=1。若允許失真存在，并定義失真函數(shù)為漢明失真，即可以設(shè)想這樣一種信源編碼：無(wú)噪無(wú)損信道傳輸?shù)谌?yè)，共四十頁(yè)，2022年，8月28日第六節(jié)限失真信源編碼定理的實(shí)用意義UVYf(U)失真信源編碼碼字C=(0，1)實(shí)際信道譯碼U000，101，100，110，011，111，001，······V000，111，000，111，111，111，000，······C0，1，0，1，1，1，0，······Y0，1，0，1，1，1，0，······000，111，000，111，111，111，000，······編碼譯碼