信息理論基礎(chǔ) 第七章 限失真信源編碼

信息理論基礎(chǔ)第七章限失真信源編碼第1頁，共31頁，2023年，2月20日，星期日第一節(jié)失真測度一.失真函數(shù)失真函數(shù)----用一個(gè)非負(fù)函數(shù)d(xi,yj)表示當(dāng)信源發(fā)出信息

xi

，而信宿收到信息yj

的失真度的定量描述信道XYX=[x1x2…xn]Y=[y1y2…ym]失真矩陣[d]注意:-----失真函數(shù)的形式是依實(shí)際情況人為決定的.第2頁，共31頁，2023年，2月20日，星期日最常用的失真函數(shù)有：信道XY矢量失真函數(shù)第3頁，共31頁，2023年，2月20日，星期日例7-1假定離散矢量信源N=3，輸出矢量序列為X=X1X2X3，其中Xi,i=1,2,3的取值為{0,1}，經(jīng)信道傳輸后的輸出為Y=Y1Y2Y3

，其中Yj,j=1,2,3的取值為{0,1}.定義失真函數(shù)為

d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩陣[dN]。解：由矢量失真函數(shù)的定義得：第4頁，共31頁，2023年，2月20日，星期日類似可以得到其他失真函數(shù)的值，則矢量失真矩陣為第5頁，共31頁，2023年，2月20日，星期日----用來估計(jì)全體信源發(fā)出的信息與接收信息之間的失真程度。二.平均失真函數(shù)定義：失真函數(shù)的數(shù)學(xué)期望定義為平均失真函數(shù)（平均失真度）矢量平均失真函數(shù)為：：表示第i個(gè)位置上符號(hào)的平均失真函數(shù)。第6頁，共31頁，2023年，2月20日，星期日例7-2在語音線譜頻率參數(shù)的矢量量化中，引入失真函數(shù)d(X,Y)，該失真函數(shù)反映用碼字Y代替線譜頻率參數(shù)X時(shí)付出的代價(jià)。平均失真測度為失真函數(shù)的數(shù)學(xué)期望值。通常我們采用加權(quán)歐氏失真測度：為加權(quán)因子，

為經(jīng)驗(yàn)常數(shù)

為對應(yīng)測試矢量的LPA功率譜

實(shí)驗(yàn)證明該方法比均方誤差失真每幀節(jié)省2個(gè)比特以上

第7頁，共31頁，2023年，2月20日，星期日例7-3：設(shè)信源的符號(hào)表示為，各符號(hào)等概分布，規(guī)定失真函數(shù)為

(1)如要求從平均意義上不允許有失真，即允許平均失真度D=0，此時(shí)信源輸出的信息率是多少？(2)如我們允許平均失真度D=1/2，也就是說，當(dāng)收到100個(gè)符號(hào)，允許其中有50個(gè)符號(hào)以下的錯(cuò)誤，此時(shí)信源輸出的信息率可以是多少？

第8頁，共31頁，2023年，2月20日，星期日第二節(jié)信息率失真函數(shù)在采樣率為8kHz的語音信號(hào)的子帶編碼中，如果采用小波變換把語音信號(hào)分解為4個(gè)子帶，即2~4kHz，1kHz~2kHz，500~1000Hz，0~500Hz。原始全帶重建0~2kHz重建0~1kHz重建0~500Hz重建一.保真度準(zhǔn)則規(guī)定平均失真度為D，則信源壓縮后的平均失真度的準(zhǔn)則為保真度準(zhǔn)則。當(dāng)失真函數(shù)及信源給定后，選擇適當(dāng)信道，使其平均失真度滿足保真度準(zhǔn)則。所有滿足保真度準(zhǔn)則的信道，稱為D失真允許試驗(yàn)信道，記作第9頁，共31頁，2023年，2月20日，星期日

在D允許信道中可以尋找一個(gè)信道，使得給定的信源經(jīng)過此信道傳輸時(shí)，其信道傳輸率達(dá)到最小，這個(gè)最小值定義為信息率失真函數(shù)，記為：二.信息率失真函數(shù)R(D)含義：率失真函數(shù)是在給定信源、規(guī)定失真函數(shù)后，在滿足保真度準(zhǔn)則的前提下，為了再現(xiàn)信源信息，信宿從信源必須獲取的最小平均信息量。也就是信源必須傳輸給信宿的最小信息率。第10頁，共31頁，2023年，2月20日，星期日例7-3：設(shè)信源的符號(hào)表示為即符號(hào)不發(fā)生錯(cuò)誤時(shí)失真為0，一旦出錯(cuò)失真為1。假設(shè)允許的失真限度為試分析在給定的失真限度條件下信息壓縮的程度。，各符號(hào)等概分布，規(guī)定失真函數(shù)為第11頁，共31頁，2023年，2月20日，星期日解：由信源概率分布可求出信源熵為如果對信源進(jìn)行無失真編碼，即平均失真度則平均每個(gè)符號(hào)至少需要個(gè)二進(jìn)制碼元來表示。

此時(shí)信源編碼器的輸出信息率為當(dāng)允許的失真限度為時(shí)，可以計(jì)算得第12頁，共31頁，2023年，2月20日，星期日按照最大的失真度來進(jìn)行編碼，即平均失真度

也就是說，當(dāng)收到100個(gè)符號(hào)，允許其中有50個(gè)符號(hào)發(fā)生錯(cuò)誤。設(shè)想采用下面的編碼方法：用信道表示如下：該信道的平均失真度為：由平均互信息的公式可知：第13頁，共31頁，2023年，2月20日，星期日該編碼方法相當(dāng)于一個(gè)確定信道，則信道輸出概率分布為：則輸出熵為平均互信息：即采用上面的編碼方法后的信息率比較率失真函數(shù)和該信道的信息率有：

當(dāng)時(shí)，該編碼器輸出的信息率等于率失真函數(shù)，而當(dāng)時(shí)，該編碼器輸出的信息率大于率失真函數(shù)

說明該編碼方法不是最好的編碼方法

第14頁，共31頁，2023年，2月20日，星期日。從兩個(gè)方面應(yīng)用這個(gè)率失真函數(shù)：再看具體編碼方法的輸出信息率跟1）在給定失真度D的條件下，求出所能達(dá)到的最小信息率的關(guān)系，然后判斷該編碼方法是否適合。然后看具體編碼方法的失真是否超過最小失真2）在給定信息率R的條件下，求出所能達(dá)到的最小失真在WI語音壓縮編碼中，線譜頻率的量化采用矢量量化，它是從第二個(gè)方面應(yīng)用率失真函數(shù)來指導(dǎo)的。目前，每幀語音的線譜頻率只需要20比特來表示就能達(dá)到透明量化質(zhì)量。原始語音WI語音20bit本人采用的方法15bit第15頁，共31頁，2023年，2月20日，星期日-----連續(xù)信源

三.率失真函數(shù)R(D)的定義域信道傳輸?shù)男畔⒘康扔谛旁吹撵?，即?.-------離散信源2.

的定義域?yàn)椋旱?6頁，共31頁，2023年，2月20日，星期日如何求解出呢？

當(dāng)時(shí)，信道的輸入與輸出相互獨(dú)立，則此時(shí)的平均失真為

如果選取

的最小值對應(yīng)的令其它的

對應(yīng)的，則有

第17頁，共31頁，2023年，2月20日，星期日例7-4：設(shè)輸入輸出符號(hào)表示為，輸入概率分布為，失真矩陣為，求平均失真度為和時(shí)的率失真函數(shù)以及對應(yīng)的編碼器的轉(zhuǎn)移概率。

解：當(dāng)平均失真度為時(shí)，編碼是無失真的，則編碼器的轉(zhuǎn)移概率為當(dāng)平均失真度為時(shí)，編碼具有最大失真，則此時(shí)編碼器的轉(zhuǎn)移概率為此時(shí)第18頁，共31頁，2023年，2月20日，星期日四.率失真函數(shù)的數(shù)學(xué)特性1.下凸性。給定信源及規(guī)定失真函數(shù)后，在的定義域內(nèi)，是關(guān)于D的下凸函數(shù)，即對于任意和，有2.R(D)是關(guān)于D的單調(diào)遞減函數(shù)率失真函數(shù)也是關(guān)于D的連續(xù)函數(shù)

在定義域，若有，則有

第19頁，共31頁，2023年，2月20日，星期日結(jié)論：

率失真函數(shù)是非負(fù)實(shí)數(shù)，即。其定義域?yàn)?，其對?yīng)的值為。當(dāng)時(shí)，是關(guān)于D的單調(diào)遞減函數(shù)。③是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。②H（X）R（D）R（D1）0D1DmaxD第20頁，共31頁，2023年，2月20日，星期日五.R（D）函數(shù)的計(jì)算設(shè)信源的輸入序列為信源編碼器的輸出序列為規(guī)定失真函數(shù)為

的計(jì)算是在約束條件下，求

的極小值問題。

第21頁，共31頁，2023年，2月20日，星期日通常情況下，引入拉格朗日乘法，引入乘子s和將上述條件極值問題轉(zhuǎn)化為無條件極值問題：由上式解出所有，帶入平均互信息的求解公式中得到在約束條件下的平均互信息的極小值，即是率失真函數(shù)。求解偏導(dǎo)得到一系列重要的公式：

第22頁，共31頁，2023年，2月20日，星期日例7-5：設(shè)信源輸入符號(hào)集為(0,1)，其中。失真函數(shù)定義為，，設(shè)輸出符號(hào)集為(0,1)，允許的失真度為D，求率失真函數(shù)R(D)。解：（1）首先由來計(jì)算和則有解出第23頁，共31頁，2023年，2月20日，星期日（2）：由來計(jì)算和則有解出第24頁，共31頁，2023年，2月20日，星期日（3）：將求得的和代入得到平均失真度為則解出參量s為（4）：將參量s代入得可以看出：是本身要傳輸?shù)男畔⒘?，是由允許失真D導(dǎo)致?lián)p失的最大信息量

第25頁，共31頁，2023年，2月20日，星期日第三節(jié)限失真信源編碼定理限失真信源編碼定理：

設(shè)離散無記憶信源X的信息率失真函數(shù)為R(D)，當(dāng)信息率R>R(D)時(shí)，只要信源序列長度L足夠長，一定存在一種編碼方法，其譯碼失真小于或等于D+ε，ε為任意小的正數(shù)；反之，若R<R(D)，則無論采用什么樣的編碼方法，其譯碼失真必定大于D。

定理指出，在失真限度內(nèi)使信息率任意接近R(D)的編碼方法存在。然而，要使信息率小于R(D)，平均失真一定超過失真限度D。

說明:R(D)且允許平均失真度情況下，信源信息壓縮下的限值。第26頁，共31頁，2023年，2月20日，星期日第四節(jié)常用限失真信源編碼方法簡介一.標(biāo)量量化量化器XY輸出為電平多對一映射設(shè)門限為：則：通過量化器傳輸?shù)男畔⒙柿炕瘞淼钠骄д鍰為第27頁，共31頁，2023年，2月20日，星期日設(shè)有信源序列可令預(yù)測值為二.預(yù)測編碼預(yù)測是用過去值預(yù)測未來值,并對它與實(shí)際值之差進(jìn)行編碼，達(dá)到進(jìn)一步壓縮碼率的目的。預(yù)測編碼是利用信源的相關(guān)性來壓縮碼率的，對于獨(dú)立信源，預(yù)測就沒有可能。R階預(yù)測是由來預(yù)測線性預(yù)測是預(yù)測函數(shù)為各已知信源符號(hào)的線性函數(shù)，即并求均方誤差最小時(shí)的各值。第28頁，共31頁，2023年，2月20日，星期日三.變換編碼A變換量化B變換輸入X輸出Ww=BzYy=AxZA:線性變換,為非奇異的去相關(guān)矩陣Y:各個(gè)分量不相關(guān)B:線性變換,是非奇異矩陣。變換編碼與理論上的壓縮編碼的區(qū)別是多了兩個(gè)限制：①

變換為線性變換②

量化是對各分量獨(dú)立進(jìn)行最終輸出處的平均失真跟矩陣A、B以及量化方法等有關(guān)。第29頁，共31頁，2023年，2月20日，星期日例7-6：若有一信源每秒鐘發(fā)出2.66個(gè)信源符號(hào)。將此信源的輸出符號(hào)送入某二元無噪無損信道中進(jìn)行傳輸，而信道每秒鐘只傳送兩個(gè)二元符號(hào)。（1）試問信源能否在此信道中進(jìn)行無失真?zhèn)鬏?。?）

若此信源失真度測量定義為漢明失真，即d(0,1)=d(1,0)=1，d(0,0)=d(1,1)=0，問允許信源平均失真多大時(shí)，此信源就可以在此信道中傳播。第30頁，共31頁，2023年，2月20日，星期日解(1)信源熵為H（S）=1比特/符號(hào)信源輸出的信息傳輸速率Rt=2.66×H（S）=2.66比特/秒無噪無損信道的信道容