信息率失真函數(shù)新

信息率失真函數(shù)新普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著1第一頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著2

第4章信息率失真函數(shù)

本章主要討論在信源允許一定失真情況下所需的最少信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率失真函數(shù)R（D）。

4.1平均失真和信息率失真函數(shù)4.2離散信源和連續(xù)信源的R（D）計(jì)算第二頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著34.1平均失真和信息率失真函數(shù)

4.1.1失真函數(shù)4.1.2平均失真4.1.3信息率失真函數(shù)R(D)4.1.4信息率失真函數(shù)的性質(zhì)第三頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著44.1平均失真和信息率失真函數(shù)

在實(shí)際問題中，信號(hào)有一定的失真是可以容忍的。但是當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，甚至喪失其實(shí)用價(jià)值。要規(guī)定失真限度，必須先有一個(gè)定量的失真測(cè)度。為此可引入失真函數(shù)。第四頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著54.1.1失真函數(shù)

假如某一信源X，輸出樣值為xi，xi{a1,…an}，經(jīng)過有失真的信源編碼器，輸出Y，樣值為yj，yj

{b1,…bm}。如果xi＝y(tǒng)j，則認(rèn)為沒有失真；如果xi

yj，那么就產(chǎn)生了失真。失真的大小，用一個(gè)量來表示，即失真函數(shù)d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函數(shù)定義為

第五頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著6失真矩陣

單個(gè)符號(hào)的失真度的全體構(gòu)成的矩陣，稱為失真矩陣第六頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著7均方失真：

相對(duì)失真：誤碼失真：絕對(duì)失真：前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。最常用的失真函數(shù)

第七頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著8

失真函數(shù)的定義可以推廣到序列編碼情況，如果假定離散信源輸出符號(hào)序列X=(X1X2…Xl…XL)，其中L長(zhǎng)符號(hào)序列樣值xi＝(xi1xi2…xil…xiL)，經(jīng)信源編碼后，輸出符號(hào)序列Y=(Y

1Y

2…Yl…YL)，其中L長(zhǎng)符號(hào)序列樣值yj＝(yj1yj2…yjl…yjL)，則失真函數(shù)定義為：

其中d(xil，yjl)是信源輸出L長(zhǎng)符號(hào)樣值xi中的第l個(gè)符號(hào)xil時(shí)，編碼輸出L長(zhǎng)符號(hào)樣值yj中的第l個(gè)符號(hào)yjl的失真函數(shù)。

第八頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著94.1.2

平均失真由于xi和yj都是隨機(jī)變量，所以失真函數(shù)d(xi，yj)也是隨機(jī)變量，限失真時(shí)的失真值，只能用它的數(shù)學(xué)期望或統(tǒng)計(jì)平均值，因此將失真函數(shù)的數(shù)學(xué)期望稱為平均失真，記為

信源編碼器第九頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著10

對(duì)于連續(xù)隨機(jī)變量同樣可以定義平均失真對(duì)于L長(zhǎng)序列編碼情況，平均失真為

第十頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著114.1.3信息率失真函數(shù)R(D)信源編碼器XY假想信道將信源編碼器看作信道第十一頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著124.1.3信息率失真函數(shù)R(D)信源編碼器的目的是使編碼后所需的信息傳輸率R盡量小，然而R越小，引起的平均失真就越大。給出一個(gè)失真的限制值D，在滿足平均失真

D的條件下，選擇一種編碼方法使信息率R盡可能小。信息率R就是所需輸出的有關(guān)信源X的信息量。將此問題對(duì)應(yīng)到信道，即為接收端Y需要獲得的有關(guān)X的信息量，也就是互信息I(X;Y)。這樣，選擇信源編碼方法的問題就變成了選擇假想信道的問題，符號(hào)轉(zhuǎn)移概率p(yj/xi)就對(duì)應(yīng)信道轉(zhuǎn)移概率。

第十二頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著131、D允許試驗(yàn)信道

平均失真由信源分布p(xi)、假想信道的轉(zhuǎn)移概率p(yj/xi)和失真函數(shù)d(xi，yj)決定，若p(xi)和d(xi，yj)已定，則可給出滿足x下式條件的所有轉(zhuǎn)移概率分布pij，它們構(gòu)成了一個(gè)信道集合PD

稱為D允許試驗(yàn)信道。

第十三頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著142、信息率失真函數(shù)R(D)

由于互信息取決于信源分布和信道轉(zhuǎn)移概率分布，根據(jù)2-2節(jié)所述，當(dāng)p(xi)一定時(shí)，互信息I是關(guān)于p(yj/xi)的U型凸函數(shù)，存在極小值。因而在上述允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經(jīng)過此信道傳輸后，互信息I(X；Y)達(dá)到最小。該最小的互信息就稱為信息率失真函數(shù)R(D)，即

第十四頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著15對(duì)于離散無記憶信源，R(D)函數(shù)可寫成

p(ai)，i＝1，2，…，n

是信源符號(hào)概率分布；

p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m

是轉(zhuǎn)移概率分布；

p(bj)，j＝1，2，…，m是接收端收到符號(hào)概率分布。

第十五頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著16例4-1-3

設(shè)信源的符號(hào)表為A＝{a1，a2，…，a2n}，概率分布為p(ai)＝1/2n，i＝1，2，…，2n，失真函數(shù)規(guī)定為

即符號(hào)不發(fā)生差錯(cuò)時(shí)失真為0，一旦出錯(cuò)，失真為1，試研究在一定編碼條件下信息壓縮的程度。第十六頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著174.1.4信息率失真函數(shù)的性質(zhì)

R(D)函數(shù)的定義域⑴Dmin和R(Dmin)Dmin＝0

對(duì)于連續(xù)信源

第十七頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著18

(2)Dmax和R(Dmax)選擇所有滿足R(D)＝0中D的最小值，定義為R(D)定義域的上限D(zhuǎn)max，即因此可以得到R(D)的定義域?yàn)榈谑隧?，共三十二頁，編輯?023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著19Dmax是這樣來計(jì)算的。R(D)＝0就是I(X;Y)＝0，這時(shí)試驗(yàn)信道輸入與輸出是互相獨(dú)立的，所以條件概率p(yj/xi)與xi無關(guān)。即第十九頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著20求出滿足條件的D中的最小值，即此時(shí)平均失真為第二十頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著21從上式觀察可得：在j=1，…，m中，可找到值最小的j，當(dāng)該j對(duì)應(yīng)的pj＝1，而其余pj為零時(shí)，上式右邊達(dá)到最小，這時(shí)上式可簡(jiǎn)化成第二十一頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著22例4-1-4設(shè)輸入輸出符號(hào)表為X＝Y(jié){0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣為第二十二頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著23解：當(dāng)Dmin＝0時(shí)，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符號(hào)，這時(shí)信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為第二十三頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著24當(dāng)R(Dmax)＝0時(shí)

此時(shí)輸出符號(hào)概率p(b1)＝0，p(b2)＝1，

所以這時(shí)的編碼器的轉(zhuǎn)移概率為

第二十四頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著252、R(D)函數(shù)的下凸性和連續(xù)性

3、R(D)函數(shù)的單調(diào)遞減性

容許的失真度越大，所要求的信息率越小。反之亦然。

第二十五頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著26綜上所述，可以得出如下結(jié)論：R(D)是非負(fù)的實(shí)數(shù)，即R(D)0。其定義域?yàn)?～Dmax，其值為0～H(X)。當(dāng)D>Dmax時(shí)，R(D)0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。R(D)是關(guān)于D的嚴(yán)格遞減函數(shù)。第二十六頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著27由以上三點(diǎn)結(jié)論，對(duì)一般R(D)曲線的形態(tài)可以畫出來：

R(D)H(X)R(D)

0DDmaxDR(D)

0DmaxD信息率失真曲線第二十七頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著284.2離散信源和連續(xù)信源的R（D）計(jì)算某些特殊情況下R（D）的表示式為：

（1）當(dāng)d(x,y)=(x-y)2，時(shí)，第二十八頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著29(2)當(dāng)d(x,y)=|x-y|，時(shí)，(3)當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時(shí)，R(D)=H(p)－H(D)

第二十九頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著30這些R（D）可畫成三條曲線

0DmaxD

R(D)H(3)(1)(2)圖4-5信息率失真函數(shù)R(D)第三十頁，共三十二頁，編輯于2023年，星期六普通高等教育“十五”國家級(jí)規(guī)劃教材《信息論與編碼》曹雪虹等編著31例4-2-1

設(shè)輸入輸出符號(hào)表為X＝Y(jié){0，1}，輸入概率分布p(x)=(p，1-p)，0<p1/2，失真矩陣為

求信息率失真函數(shù)R(D)。第三十一頁，共三十二頁，編