信息率失真函數(shù)

第一頁，共六十三頁，2022年，8月28日本章節(jié)教學(xué)內(nèi)容、基本要求、重點(diǎn)與難點(diǎn)1.教學(xué)內(nèi)容：失真函數(shù)的定義率失真函數(shù)的定義、性質(zhì)率失真函數(shù)的計(jì)算2.教學(xué)基本要求：掌握率失真函數(shù)的定義和意義掌握率失真函數(shù)的性質(zhì)、計(jì)算3.重點(diǎn)與難點(diǎn)：率失真函數(shù)的計(jì)算第二頁，共六十三頁，2022年，8月28日

主要內(nèi)容

第4章信息率失真函數(shù)4.1基本概念4.1.1失真函數(shù)（失真度）4.1.2平均失真度4.1.3信息率失真函數(shù)4.1.4信息率失真函數(shù)的性質(zhì)4.2離散信源R(D)的計(jì)算4.3*連續(xù)信源的計(jì)算第三頁，共六十三頁，2022年，8月28日本次課內(nèi)容4.1基本概念4.1.1失真函數(shù)（失真度）4.1.2平均失真度4.1.3信息率失真函數(shù)4.1.4信息率失真函數(shù)的性質(zhì)第四頁，共六十三頁，2022年，8月28日第4章信息率失真函數(shù)

在實(shí)際信息處理過程中，由于存在信道噪聲的干擾，或信源信息以超過信道容量的速率傳輸時(shí)產(chǎn)生的差錯(cuò)或失真,信宿接收到的信息會(huì)有一定的失真。實(shí)際傳輸允許有一定的失真，關(guān)鍵是如何減小失真，允許失真到什么程度。在允許一定程度的失真條件下，把信源信息壓縮到什么程度。第五頁，共六十三頁，2022年，8月28日本章我們從最少信息率，失真函數(shù)、平均失真出發(fā)，研究信息率失真函數(shù)的定義和性質(zhì)，給出離散信源和連續(xù)信源求解信息率失真函數(shù)的常用簡(jiǎn)單方法。第六頁，共六十三頁，2022年，8月28日4.1基本概念失真函數(shù)（失真度）

為什么引入失真函數(shù)？在實(shí)際問題中，信號(hào)有一定的失真是可以容忍的，但是當(dāng)失真大于某一限度后，將喪失其實(shí)用價(jià)值。要規(guī)定失真限度，必須先有一個(gè)定量的失真測(cè)度。為此可引入失真函數(shù).4..1.1失真函數(shù)第七頁，共六十三頁，2022年，8月28日失真函數(shù)定義:若則認(rèn)為沒有失真；若就產(chǎn)生了失真。失真的大小，用一個(gè)量表示，即失真函數(shù)來衡量用bj代替ai所引起的失真程度。失真函數(shù)第八頁，共六十三頁，2022年，8月28日1.離散信源單個(gè)符號(hào)的失真函數(shù)定義:設(shè)離散無記憶信源輸出變量，概率分布為,經(jīng)過有失真的信源編碼器，輸出的隨機(jī)變量。將所有的排列起來，用矩陣形式表示，稱為失真矩陣，即失真函數(shù)第九頁，共六十三頁，2022年，8月28日

例：設(shè)信源符號(hào)X∈｛0，1｝,編碼器輸出符號(hào)Y∈｛0,1,2｝,規(guī)定失真函數(shù)為d(0,0)＝d(1,1)＝0;d(0,1)＝d(1,0)=1;d(0,2)＝d(1,2)＝0.5,求失真矩陣d.解:失真矩陣

失真函數(shù)第十頁，共六十三頁，2022年，8月28日

若失真矩陣中每一行都是同一集合中諸元素的不同排列，并且每一列也都是同一集合中諸元素的不同排列，則稱具有對(duì)稱性。以這種具有對(duì)稱性的失真矩陣度量失真的信源稱為失真對(duì)稱信源（簡(jiǎn)稱對(duì)稱信源）。將在其它章節(jié)講。失真函數(shù)第十一頁，共六十三頁，2022年，8月28日2.離散信源序列的失真函數(shù)

失真函數(shù)的定義可以推廣到序列編碼情況，如果離散信源輸出N維符號(hào)序列X=｛X1,X2,……XN｝，其中Xi(i=1,2,3,……N)取自于同一符號(hào)集X=｛a1,a2…..ar｝，X共有rN個(gè)不同的符號(hào)序列。而經(jīng)過信源編碼后，輸出的是N維符號(hào)序列，其中取自于同一符號(hào)集,Y共有sN個(gè)不同的符號(hào)序列

失真函數(shù)第十二頁，共六十三頁，2022年，8月28日定義:

信源序列的失真函數(shù)信源序列失真函數(shù)等于信源序列中對(duì)應(yīng)的單符號(hào)失真函數(shù)之和。也可寫成階矩陣形式。信源序列的單個(gè)符號(hào)失真函數(shù)為4.1基本概念第十三頁，共六十三頁，2022年，8月28日平均失真度

定義:

由于ai和bj都是隨機(jī)變量，所以失真函數(shù)d(ai,bj)也是隨機(jī)變量，要分析整個(gè)信源的失真大小，需要用其數(shù)學(xué)期望或統(tǒng)計(jì)平均值表示，將失真函數(shù)的數(shù)學(xué)期望稱為平均失真度，即。平均失真度第十四頁，共六十三頁，2022年，8月28日

1.離散信源平均失真度平均失真度是對(duì)給定信源分布經(jīng)過某一種轉(zhuǎn)移概率分布的有失真信源編碼器后產(chǎn)生失真的總體度量。-------聯(lián)合分布-------信源符號(hào)概率分布-------符號(hào)轉(zhuǎn)移概率分布-------離散隨機(jī)變量的失真函數(shù)其中:平均失真度第十五頁，共六十三頁，2022年，8月28日

2.離散信源序列的平均失真度(1)信源序列的平均失真度：

(2)信源序列的單個(gè)符號(hào)平均失真度，也稱信源的平均失真度：

當(dāng)信源和信道都是無記憶時(shí)，則有：及其中

是第個(gè)分量的平均失真度平均失真度第十六頁，共六十三頁，2022年，8月28日3.連續(xù)信源的失真函數(shù)和平均失真度

定義：設(shè)連續(xù)信源輸出隨機(jī)變量X，取值于實(shí)數(shù)域R，其概率密度分布為P(X)，經(jīng)過有失真的信源編碼器，輸出的隨機(jī)變量Y，取值于實(shí)數(shù)域R。在對(duì)應(yīng)的a和b之間確定非負(fù)二元實(shí)函數(shù)d(a,b)≥0，(a,b∈R),連續(xù)信源的平均失真度為：平均失真度第十七頁，共六十三頁，2022年，8月28日4.常用的失真函數(shù)和平均失真度

(1)漢明失真函數(shù)漢明失真矩陣為：在漢明失真函數(shù)的情況下，信源平均失真度等于信道的平均錯(cuò)誤概率Pe，即：適用于離散信源平均失真度第十八頁，共六十三頁，2022年，8月28日平均失真度

(2)常數(shù)失真函數(shù)失真矩陣為：（通常為r×r階）在常數(shù)失真函數(shù)下適用于離散信源第十九頁，共六十三頁，2022年，8月28日(3)均方失真函數(shù)或在均方失真函數(shù)下，平均失真度就是均方誤差。離散信源的均方誤差連續(xù)信源的均方誤差：適用于連續(xù)信源平均失真度第二十頁，共六十三頁，2022年，8月28日

(4)絕對(duì)失真函數(shù)或在絕對(duì)失真函數(shù)下離散信源平均失真度：

連續(xù)信源平均失真度：dadb適用于連續(xù)信源平均失真度第二十一頁，共六十三頁，2022年，8月28日(5)相對(duì)失真函數(shù)或在絕對(duì)失真函數(shù)下離散信源平均失真度：

連續(xù)信源平均失真度：

dadb適用于連續(xù)信源平均失真度第二十二頁，共六十三頁，2022年，8月28日均方失真和絕對(duì)失真只與a-b有關(guān)，而不是分別與a及b有關(guān)，在數(shù)學(xué)處理上比較方便；相對(duì)失真與主觀特性比較匹配，但在數(shù)學(xué)處理中困難得多。在實(shí)際問題中還可提出許多其它形式的失真函數(shù)。平均失真度第二十三頁，共六十三頁，2022年，8月28日例:等概信源通過信道轉(zhuǎn)移概率矩陣為的信道傳輸,失真函數(shù)為均方失真函數(shù).求:平均失真。信源輸出符號(hào)X=(0.1.2),信道輸出符號(hào)Y=(0.1.2),平均失真度第二十四頁，共六十三頁，2022年，8月28日解：均方失真函數(shù)平均失真度信源輸出符號(hào)X=(0.1.2),信道輸出符號(hào)Y=(0.1.2),第二十五頁，共六十三頁，2022年，8月28日又例:信源輸出符號(hào)X=(0.1.2),

信道輸出符號(hào)Y=(0.1.2),

給出失真函數(shù)dij=(xi-yj)2,dij=︱xi-yj︳(1)求平方誤差失真函數(shù)矩陣;(2)求絕對(duì)值誤差失真函數(shù)矩陣.解(1)(2)平均失真度第二十六頁，共六十三頁，2022年，8月28日4.1.3信息率失真函數(shù)

信源編碼器的目的是使編碼后所需的信息傳輸率盡量小，然而越小，引起的平均失真就越大。通常要將平均失真限制在某一有限值內(nèi)，即，并選擇一種方法使信息率盡可能小。對(duì)失真的限制條件稱為保真度準(zhǔn)則。信息率失真函數(shù)第二十七頁，共六十三頁，2022年，8月28日

單位為比特（奈特，哈特）/信源符號(hào)。

定義:

選定信源和失真函數(shù)后，可以看成條件概率的函數(shù)。設(shè)滿足保真度準(zhǔn)則的所有信道集合，這種信道稱為失真度D允許信道（或試驗(yàn)信道）。BD中任一轉(zhuǎn)移概率都與一個(gè)D允許信道（編碼器）對(duì)應(yīng)，在BD中尋求一個(gè)（尋求一個(gè)特定編碼器）使I(X;Y)最小，這個(gè)最小的平均互信息量稱為信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，記為對(duì)于給定信源，R(D)是保真度準(zhǔn)則下容許壓縮的最小值，也是熵壓縮編碼器輸出可能達(dá)到的最低熵率。信息率失真函數(shù)第二十八頁，共六十三頁，2022年，8月28日信息率失真函數(shù)推廣到序列情況:

若信源和信道均無記憶，則有：N維序列的信息率失真函數(shù)：此時(shí)試驗(yàn)信道為所有滿足保真度準(zhǔn)則的信道的集合，并且有.信息率失真函數(shù)第二十九頁，共六十三頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)

1.函數(shù)的定義域?yàn)?/p>

(1)定義域下界：4.1.4信息率失真函數(shù)的性質(zhì)對(duì)于每一個(gè)ai

找一個(gè)bj與其相對(duì)應(yīng)。使d(aibj)最小，不同的ai對(duì)應(yīng)的最小的d(aibj)不同，這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的的d(aibj)，各行最小的d(aibj)不同，對(duì)于所有這些不同的最小值取數(shù)學(xué)期望，就是所謂的最小平均失真度第三十頁，共六十三頁，2022年，8月28日只有當(dāng)失真矩陣的每一行至少有一個(gè)零元素時(shí)，信源的平均失真度才能達(dá)到下線值零。當(dāng)Dmin=0，也就是說，信源不允許任何失真存在，信息率至少等于信源輸出的平均信息量-----信源熵，

R（0）=H（X）對(duì)于連續(xù)熵第三十一頁，共六十三頁，2022年，8月28日

(2)定義域上界：由于R(D)是用從BD中選出求得的最小平均互信息，所以R(D)非負(fù)。當(dāng)增大時(shí),BD的范圍增大，所求的最小值不大于范圍擴(kuò)大前的最小值，因此R(D)為D的非增函數(shù)。當(dāng)D增大時(shí)，R(D)可能減小，直到減小到R(D)=0，此時(shí)對(duì)應(yīng)著Dmax。當(dāng)再增大，R(D)仍然為0。所以選擇所有滿足R(D)=0中的D的最小值定義為定義域的上限，是使R(D)=0的最小平均失真。4.1.4信息率失真函數(shù)的性質(zhì)第三十二頁，共六十三頁，2022年，8月28日當(dāng)a,b獨(dú)立時(shí)，，使得R(D)=0。所以給定,而且對(duì)不同的b,

有不同的值。所以，求時(shí)，使對(duì)應(yīng)的p(b)=1，其余為0。這樣就可使平均失真最小。4.1.4信息率失真函數(shù)的性質(zhì)第三十三頁，共六十三頁，2022年，8月28日注:(1)當(dāng)失真矩陣的每一行至少有一個(gè)零元素時(shí).（2）可適當(dāng)修改失真函數(shù)使得；（3）Dmin和Dmax僅與p(a)和d(a,b)有關(guān)；(4)信息率失真函數(shù)有4.1.4信息率失真函數(shù)的性質(zhì)第三十四頁，共六十三頁，2022年，8月28日

【例4.1-1】設(shè)試驗(yàn)信道輸入符號(hào)｛a1,a2,a3｝，概率分別為，失真矩陣如下所示.求Dmax和Dmin以及相應(yīng)的試驗(yàn)信道的轉(zhuǎn)移概率矩陣。解：

4.1.4信息率失真函數(shù)的性質(zhì)第三十五頁，共六十三頁，2022年，8月28日令對(duì)應(yīng)最小d(ai,bj)的，其它為0?？傻脤?duì)應(yīng)的的轉(zhuǎn)移概率矩陣為4.1.4信息率失真函數(shù)的性質(zhì)第三十六頁，共六十三頁，2022年，8月28日

上式中第2項(xiàng)最小，令?？傻脤?duì)應(yīng)的轉(zhuǎn)移概率矩陣為4.1.4信息率失真函數(shù)的性質(zhì)第三十七頁，共六十三頁，2022年，8月28日求Dmax例設(shè)輸入輸出符號(hào)X=Y={0，1}，輸入概率分布為p(x)={1/3,2/3}，失真矩陣為4.1.4信息率失真函數(shù)的性質(zhì)第三十八頁，共六十三頁，2022年，8月28日

解：p(x)={1/3,2/3}輸出符號(hào)概率4.1.4信息率失真函數(shù)的性質(zhì)第三十九頁，共六十三頁，2022年，8月28日２、R(D)是關(guān)于D的的下凸函數(shù)設(shè)D1,D2為任意兩個(gè)平均失真，，那么證明略

3.R(D)是定義域上的連續(xù)和非增函數(shù)證明略4.1.4信息率失真函數(shù)的性質(zhì)第四十頁，共六十三頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)第四十一頁，共六十三頁，2022年，8月28日一個(gè)信源含有三個(gè)消息,概率分布為p1=0.2,p2=0.3,p3=0.5,失真函數(shù)矩陣為求:Dmax,Dmin,R(Dmax),R(Dmin)練習(xí)題第四十二頁，共六十三頁，2022年，8月28日

R(Dmax)=0,R(Dmin)=R(0)=Hmax(x)=[0.2log0.2+0.3log0.3+0.5log0.5]

p1=0.2,p2=0.3,p3=0.5在給定的失真函數(shù)矩陣中,對(duì)每一個(gè)xi找一個(gè)最小的dij

然后求第四十三頁，共六十三頁，2022年，8月28日

上次課內(nèi)容復(fù)習(xí)4.1基本概念失真函數(shù)（失真度）平均失真度信息率失真函數(shù)4.1.4信息率失真函數(shù)的性質(zhì)第四十四頁，共六十三頁，2022年，8月28日復(fù)習(xí)有失真失真度D能否等于零,與給定的單個(gè)符號(hào)失真函數(shù)dij有關(guān),dij每一行至少有一個(gè)零,才能有Dmin=0,當(dāng)Dmin=0時(shí)表示不允許有任何失真.Dmin=0無失真R(Dmax)=0R(0)=H(x)無失真信息率失真函數(shù)的值域0≤R(D)≤H(X)相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的dij,所有這些不同最小值取數(shù)學(xué)期望,這就是信源最小平均值.第四十五頁，共六十三頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)第四十六頁，共六十三頁，2022年，8月28日例:令X={0,1},設(shè)失真矩陣為對(duì)于一個(gè)等概分布的隨機(jī)變量,求對(duì)應(yīng)的定義域(Dmin,Dmax)解:定義域(1.5,2)復(fù)習(xí)第四十七頁，共六十三頁，2022年，8月28日本次課內(nèi)容4.2離散信源R(D)的計(jì)算

第4章信源編碼4.1數(shù)據(jù)壓縮概述4.2無失真信源編碼的基本原理4.2.1信源編碼器4.2.2碼的類型第四十八頁，共六十三頁，2022年，8月28日4.2離散信源R(D)的計(jì)算已知信源的概率分布P(a)和失真函數(shù)d(a,b)，離散信源的R(D)函數(shù)是選取試驗(yàn)信道滿足的約束條件下，求平均互信息的極小值。4.2離散信源R(D)的計(jì)算第四十九頁，共六十三頁，2022年，8月28日引入待定參量S和λi，在失真不超過D時(shí)，使平均互信息達(dá)到極小值的試驗(yàn)信道的傳遞概率密度函數(shù)必滿足S為拉格朗日乘子4.2離散信源R(D)的計(jì)算第五十頁，共六十三頁，2022年，8月28日這時(shí)，R(D)函數(shù)和失真函數(shù)D的參量方程為參量S是信息率失真函數(shù)R(D)的斜率，即4.2離散信源R(D)的計(jì)算第五十一頁，共六十三頁，2022年，8月28日

因信息率失真函數(shù)R(D)是D的單調(diào)遞減函數(shù)且是U型凸函數(shù)，所以R(D)的斜率S≤0，S隨D的增加遞增，即。當(dāng)D由Dmin增大Dmax到時(shí),S的數(shù)值隨之由Smin=-∞增至Smax=0,當(dāng)D＞Dmax，R(D)=0,。因此在一般情況下，在D=Dmax處，參量S將從一個(gè)很小的負(fù)值跳躍到零，S在這一點(diǎn)不連續(xù)，而在開區(qū)間(0,Dmax)內(nèi)，S是失真度D的連續(xù)函數(shù)。4.2離散信源R(D)的計(jì)算第五十二頁，共六十三頁，2022年，8月28日4.2離散信源R(D)的計(jì)算第五十三頁，共六十三頁，2022年，8月28日離散信源函數(shù)R(D)求解步驟（4.2-1）（4.2-2）（4.2-3）（4.2-4）

1.根據(jù)（4.2-1）求λi，i=1,2,3,….r；2.根據(jù)（4.2-2）求，qj；j=1,2,3……s4.根據(jù)（4.2-3）求D(S)；4.根據(jù)（4.2-4）求R(S)。4.2離散信源R(D)的計(jì)算第五十四頁，共六十三頁，2022年，8月28日某些特殊情況下R(D)的表示式為：4.2離散信源R(D)的計(jì)算平方誤差失真函數(shù)絕對(duì)失真函數(shù)誤碼失真：第五十五頁，共六十三頁，2022年，8月28日上述信息率失真函數(shù)的三條曲線如圖最大失真率Dmax均對(duì)應(yīng)R(D)＝０,隨著Ｄ的減小R(D)單調(diào)增加,當(dāng)Ｄ等于零