限失真信源編碼教學(xué)教程

第十講本章主要研究問題:1.如何理解限失真信源編碼?2.如何定義失真函數(shù)?3.如何定義信息率失真函數(shù)?4.如何描述限失真編碼定理?5.

常用的限失真信源編碼方法有哪些?

第四章限失真信源編碼控制信息失真的原因?

在實際問題中，信號有一定的失真是可以容忍的。但是當失真大于某一限度后，信息質(zhì)量將被嚴重損傷，甚至喪失其實用價值。要規(guī)定失真限度，必須先有一個定量的失真測度，

第一節(jié)平均失真和信息率失真函數(shù)4.1.1失真函數(shù)

如何定義失真函數(shù)?

假如某一信源X輸出一個隨機序列X=x1,x2,…,xn經(jīng)信道傳輸后變成Y=y1,y2,…,ym。如果

xi=yi.i=1,2,…,n，j=1,2,…,m(4-1-1)

則認為沒有失真。如果xj≠yj，就產(chǎn)生了失真。失真的大小，用一個量來表示，即失真函數(shù)d(xi,yi),以衡量用yj代替xi所引起的失真程度。

一般失真函數(shù)定義為如何定義失真矩陣?

將所有的失真函數(shù)d(xi,yj)，i=1,2,…,n；j＝1,2,…,m排列起來，用矩陣表示為例4-1-1

設(shè)信源符號序列為X＝{0,1}，接收端收到符號序列為Y＝{0,1,2}，規(guī)定失真函數(shù)為

d(0,0)＝d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5

求：失真矩陣d?解：失真矩陣為說明:(1)

最常用的失真函數(shù)均方失真函數(shù)：d(xi,yj)=(xi-yj)2

絕對失真函數(shù)：d(xi,yj)=

相對失真函數(shù)：d(xi,yj)=

誤碼失真函數(shù)：d(xj,yj)=(2)最常用的失真函數(shù)及其適用性均方失真函數(shù),絕對失真函數(shù),相對失真函數(shù)適用于連續(xù)信源;誤碼失真適用于離散信源。(3)失真函數(shù)困難性比較均方失真和絕對失真只與(xi-yj)有關(guān)，而不是分別與xi及yj有關(guān)，在數(shù)學(xué)處理上比較方便；相對失真與主觀特性比較匹配，因為主觀感覺往往與客觀量的對數(shù)成正比，但在數(shù)學(xué)處理中就要困難得多。離散矢量信源符號失真函數(shù)定義為：

如果假定離散矢量信源符號為矢量序列X＝{x1x2…xi…xn}，其中N長符號序列xi=[xi1xi2…xiN]，經(jīng)信道傳輸后，接收端收到矢量序列Y={y1y2…yj…ym}，其中N長符號序列yj=[yj1yj2…yjN

]則失真函數(shù)定義為式中d(xik,yjk)是信源輸出第i個N長符號xi中的第k個符號xik，接收端收到第j個N長符號yj中的第k個符號yjk的失真函數(shù)。4.1.2平均失真

1.

離散隨機變量平均失真定義

說明:

(1)由于xi和yj都是隨機變量，所以失真函數(shù)d(xi,yj)也是隨機變量，限失真時的失真值，只能用它的數(shù)學(xué)期望或統(tǒng)計平均值，因此將失真函數(shù)的數(shù)學(xué)期望稱為平均失真。(2)p（xi,yj）,i=1,2,…,n，j=1,2,…,m是聯(lián)合分布；p（xi）是信源符號概率分布；p（yj

／xi），i=l，2，…，n，j＝l，2，…，m是轉(zhuǎn)移概率分布；d（xi,yj），i=1，2，…，n,j=1，2，…

，m是離散隨機變量的失真函數(shù).(3)平均失真D是對給定信源分布p（xi）在給定轉(zhuǎn)移概率分布為p（yj／xi）的信道中傳輸時的失真的總體量度。

2.

離散隨機變量平均失真定義平均失真說明:

(1)pxy(x,y)是連續(xù)隨機變量的聯(lián)合概率密度.

(2)d（x，y）是連續(xù)隨機變量的失真函數(shù)。

3.矢量傳輸情況平均失真度說明:Dk是第k個符號的平均失真。

4.1.3信息率失真函數(shù)R（D）1.信息率失真函數(shù)R（D）問題產(chǎn)生?

對于信息容量為C的信道傳輸信息傳輸率為R的信源時，如果R＞C，就必須對信源壓縮，使其壓縮后信息傳輸率R’小于信道容量C，但同時要保證壓縮所引人的失真不超過預(yù)先規(guī)定的限度幾信息壓縮問題就是對于給定的信源，在滿足平均失真

的前提下，使信息率盡可能小。2.什么叫允許信道（也稱為允許的試驗信道）?

對于連續(xù)的情況,允許信道定義為3.對于離散無記憶信道,允許信道（也稱為允許的試驗信道）4.信息率失真函數(shù)R（D）

說明:對于離散無記憶信源，R（D）函數(shù)可寫成例4－1－2

已知,編碼器輸人的概率分布為:p（x）＝{0.5，0.5}，信道矩陣分別為:

求:互信息。解：因為p(xiyj)＝p(xi)p(yj/xi)；

用p’ij代人得

p’（x1y1）=0.3，p’（x1y2）＝0.2，

p’（x2y1）=0.1，p’（x2y2）＝0.4

因為p(yi)=,所以

p’（y1）＝0.4，p’（y2）＝0.6又因為p（xi/yj）=p(xiyj)/p(yj)，所以

p’(x1/y1)=3/4,p’(x1/y2)=1/3,p’(x2/y1)=1/4,p’(x2/y2)=2/3

根據(jù)互信息公式代人可得