信息率失真函數(shù)

關于信息率失真函數(shù)第一頁，共一百一十二頁，2022年，8月28日§9.1概述

對于有失真信源編碼，總希望在不大于一定編碼速率（即傳送每信源符號所需的平均的二進數(shù)字數(shù)）的條件下，使平均失真最?。换蛘咴谄骄д娌淮笥谀硞€值的條件下，使編碼速率最小。仙農(nóng)提出的信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎，該理論的核心是在保真度準則下的信源編碼定理，也稱仙農(nóng)第三定理定理指出信源編碼的碼率大于R(D)是存在平均失真不大于D的信源編碼的充分與必要條件。對有損壓縮編碼系統(tǒng)，確定失真測度是首要的工作，不同的失真測度會得到不同R(D)函數(shù)。2第二頁，共一百一十二頁，2022年，8月28日9.1.1系統(tǒng)模型一個有損壓縮系統(tǒng)對信源發(fā)出的消息X進行有失真信源編碼，經(jīng)理想無噪聲信道傳輸，到達信源譯碼器，輸出為Y。由于編碼有失真，所以Y不是X的精確復現(xiàn)。限失真編碼通信系統(tǒng)模型3第三頁，共一百一十二頁，2022年，8月28日9.1.2失真測度1．單符號失真測度試驗信道的輸入x和輸出y之間的失真用表示，其中。定義失真矩陣其中，表示當試驗信道的輸入為ai時，輸出為bj所產(chǎn)生的失真。4第四頁，共一百一十二頁，2022年，8月28日9.1.2失真測度

如果規(guī)定那么失真矩陣變?yōu)?第五頁，共一百一十二頁，2022年，8月28日9.1.2失真測度2．序列失真測度

設序列其中取自符號集A；其中取自符號集B；序列失真測度定義為：上式表明，序列的失真測度是所包含符號失真的算術平均。6第六頁，共一百一十二頁，2022年，8月28日9.1.2失真測度3．平均失真

單符號平均失真定義為：序列平均失真定義為：7第七頁，共一百一十二頁，2022年，8月28日§9.2離散信源信息率失真函數(shù)

8第八頁，共一百一十二頁，2022年，8月28日9.2.1信息率失真函數(shù)

定義信息率失真函數(shù)(rate-distortionfunction)為：或9第九頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質1、R(D)的定義域及關鍵點取值：且10第十頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質

例9.2.1設試驗信道輸入符號，概率分別為1/3，1/3，1/3，失真矩陣如下所示，求Dmin和Dmax和相應的試驗信道的轉移概率矩陣。11第十一頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質解

=1

令對應最小的，其它為0?？傻脤狣min

的轉移概率矩陣為：12第十二頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質=5/3

上式中第2項最小，所以令。可得對應Dmax

的轉移概率矩陣為：13第十三頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質2．R(D)是關于D的下凸函數(shù)(P194)設D1,D2為任意兩個平均失真，，那么14第十四頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質3、R(D)是(Dmin,Dmax)區(qū)間的連續(xù)和嚴格遞減函數(shù)證：R(D)在定義域內為凸函數(shù)，從而保證了連續(xù)性。下面證明在定義域內也是非增函數(shù)。由，在較大范圍內求極小值一定不大于在所含小范圍內求的極小值，所以。由于在定義域內R(D)不是常數(shù)，而又是非增下凸函數(shù)，從而推出R(D)連續(xù)和嚴格遞減函數(shù)15第十五頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質4．關于信息率失真函數(shù)的幾點解釋：（1）通?？傁Ｍ畔⑼ㄟ^信道傳輸時輸入與輸出之間的互信息最大，是在信道給定情況下的要求。而這里是在信源給定而不是信道給定條件下的傳輸。信息率失真理論要解決的問題就是計算滿足失真要求的傳輸所需要的最小信道容量或傳輸速率，以達到降低信道的復雜度和通信成本的目的。16第十六頁，共一百一十二頁，2022年，8月28日9.2.2R(D)函數(shù)的性質

（2）根據(jù)R(D)為單調減函數(shù)的性質，如果固定平均互信息，選擇信道的轉移概率使平均失真最小，可以得到同樣的R(D)函數(shù)曲線，唯一的差別就是變量之間作用交換。這時就得到“失真率函數(shù)”(distortion-ratefunction)。失真率函數(shù)定義為17第十七頁，共一百一十二頁，2022年，8月28日§9.3限失真信源編碼定理

本節(jié)包括限失真信源編碼定理和限失真信源信道編碼定理。限失真信源編碼定理指出，當給定一個平均失真D時，對信源碼率壓縮的最低限度為R(D)，而限失真信源信道編碼定理指出，當信道容量C大于R(D)時，信息能夠通過信道以不大于D的平均失真?zhèn)鬏敗?8第十八頁，共一百一十二頁，2022年，8月28日9.3.1碼率的壓縮

設信源X發(fā)出長度為N的序列，而碼字僅有M個，即僅對M個信源序列進行編碼。設信源的熵為H，如果，那么當N足夠長時就存在無失真信源編碼。令，就有。但如果，編碼就會產(chǎn)生失真。這就是限失真信源編碼要解決的問題。由于壓縮了碼率，可以提高信息傳輸速率，從而減小了通信的成本。19第十九頁，共一百一十二頁，2022年，8月28日9.3.1碼率的壓縮

圖中，信源發(fā)出的N長符號序列u（符號集U）進入編碼器，編碼器按照最小失真的原則搜索到一個碼字，設為ym（其中碼字集合為Y）；設碼字數(shù)為M，m為信源序列對應碼字的序號；那么將ym的序號m發(fā)送到譯碼器，譯碼器根據(jù)接收的序號恢復原始碼字，輸出到用戶。限失真信源編碼系統(tǒng)20第二十頁，共一百一十二頁，2022年，8月28日9.3.1碼率的壓縮

例9.3.1

設信源X，符號集為{a1,a2,…,a2n}，等概分布pi=1/2n，i=1,…,2n，給定失真測度為，設計一種單符號壓縮算法使得平均失真D=1/2并求壓縮后的碼率R.。21第二十一頁，共一百一十二頁，2022年，8月28日9.3.1碼率的壓縮

解：失真測度為漢明測度，實際上要求誤碼率為1/2。設Y為X的壓縮編碼，符號集為{b1,b2,…,bn}，下面為壓縮算法和對應的試驗信道轉移概率矩陣：22第二十二頁，共一百一十二頁，2022年，8月28日9.3.1碼率的壓縮

平均失真算法滿足要求。的概率分布為：所以

，

23第二十三頁，共一百一十二頁，2022年，8月28日9.3.2限失真信源編碼定理定理9.3.1任意給定，總存在一種信源編碼，使當時，平均失真；反之，如果R<R(D)，就不可能存在使平均失真的編碼。(香農(nóng)第三定理)24第二十四頁，共一百一十二頁，2022年，8月28日9.3.3限失真信源信道編碼定理定理9.3.2設離散無記憶信源的信息率失真函數(shù)為R(D)(比特/秒)，離散無記憶信道的容量為C（比特/秒），若滿足

則信源序列通過信道傳輸后的平均失真≤D；若，則信源序列通過信道傳輸后的平均失真大于D。（教材中的幾點解釋，P190）（例9.3，P194，習題集P188,習題9.15）25第二十五頁，共一百一十二頁，2022年，8月28日§9.4離散信源信息率失真函數(shù)的計算本節(jié)研究離散信源信息率失真函數(shù)的計算問題，這歸結到求有約束的極值問題。即使很簡單的信源和簡單的失真測度，求解的過程都比較復雜，而且只有特殊情況才有解析解，對于一般的計算需要借助于迭代算法。26第二十六頁，共一百一十二頁，2022年，8月28日設試驗信道輸入X，符號集A={a1,…,an}，對應概率分布為p1,…,pn；信道輸出Y，符號集B={b1,…,bm}，對應概率分布為q1,…,qm，失真矩陣為（9.4.1）試驗信道轉移概率矩陣為（9.4.2）信道輸出概率分布27第二十七頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解對于給定信源X，符號概率分布為p1,…,pn的已知，給定（9.4.1）確定的失真矩陣，求解R(D)，實際上是通過（9.4.3）所描述的有約束極值，確定實驗信道轉移概率pij。

（9.4.3）28第二十八頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解由于使R最小的pij總是在PD的邊界上，所以在求極值時，平均失真約束條件的不等式取等號，即

（9.4.4）從（9.4.3）式可知，約束條件有n+1個，其中1個為平均失真約束，n個條件概率歸一化約束，未知數(shù)pij有mn個。下面用拉格朗日乘子法求有約束極值。29第二十九頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解設s,(i=1,…,n)為常數(shù)，求下式極值（以e為底）：

30第三十頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解令，得其中

（9.4.5）31第三十一頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解所以當時

（9.4.6）（9.4.7）32第三十二頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解結合（9.4.6）與（9.4.7）式，得式中含m個方程，m個未知數(shù)qj(j=1,…,m)，而s為參量，一般能解。33第三十三頁，共一百一十二頁，2022年，8月28日9.4.1R(D)參量表示法求解將（9.4.5）代入（9.4.4）（9.4.3），分別得（9.4.10）（9.4.9）34第三十四頁，共一百一十二頁，2022年，8月28日9.4.2R(D)求解過程歸納現(xiàn)將R(D)求解的過程歸納如下：（1）根據(jù)（9.4.7）式求，；（2）根據(jù)（9.4.6）式求，j=1,…,m；（3）根據(jù)（9.4.9）式求D(s)；（4）根據(jù)（9.4.10）式求R(s)。35第三十五頁，共一百一十二頁，2022年，8月28日9.4.2R(D)求解過程歸納設為列矢量，由（9.4.7）得寫成矩陣形式為（9.4.11）P19236第三十六頁，共一百一十二頁，2022年，8月28日9.4.2R(D)求解過程歸納由（9.4.6），得寫成矩陣形式為其中，（9.4.12）37第三十七頁，共一百一十二頁，2022年，8月28日9.4.2R(D)求解過程歸納當m=n且A-1存在時，求解過程為：①由解得②③由解得④設矩陣為，有

38第三十八頁，共一百一十二頁，2022年，8月28日9.4.2R(D)求解過程歸納（9.4.14）（9.4.13）其中，H(p)為信源的熵。39第三十九頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義現(xiàn)求R(D)對D的導數(shù)，由（9.4.10）得（9.4.15）40第四十頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義在（9.4.7）式的兩邊，對s求導，得兩邊都乘以，得根據(jù)（9.4.6），得將（9.4.16）的結果代入（9.4.15），得（9.4.16）（9.4.17）41第四十一頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義由此可得如下結論：(1)s是R(D)函數(shù)的斜率；(2)因為R(D)在0<D<Dmax嚴格單調遞減，所以s<0。42第四十二頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義例9.4.1一個二元信源，符號集A={0,1}，概率為p(0)=p1=p，p(1)=p2=1-p，其中p≤1/2；試驗信道輸出符號集B={0,1}，失真測度函數(shù)為漢明失真，求R(D)函數(shù)。43第四十三頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義解（1）設，所以44第四十四頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義（2）由得（3）解得45第四十五頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義

（4）

（9.4.18）

（9.4.19）46第四十六頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義由（9.4.18）得，和將這些結果代入（9.4.19），得（9.4.20）圖9.4.1為二元信源在不同概率p條件下的R(D)函數(shù)曲線?？梢钥闯觯瑢τ诮o定的失真測度D，信源分布越接近等概率，R(D)越大，也就是說越難壓縮，反之，信源分布越不均勻，R(D)越小，越容易壓縮。47第四十七頁，共一百一十二頁，2022年，8月28日9.4.3參量s的意義

圖9.4.1二元信源的R(D)函數(shù)曲線

48第四十八頁，共一百一十二頁，2022年，8月28日9.5連續(xù)信源信息率失真函數(shù)在前面學習離散信源R(D)函數(shù)的基礎上，本節(jié)介紹離散時間連續(xù)信源的R(D)函數(shù)。首先介紹R(D)函數(shù)定義和性質，然后推導R(D)函數(shù)的計算，特別是差值失真測度的R(D)函數(shù)。與離散情況相比，R(D)函數(shù)定義和性質有類似性，但也有不同；而R(D)函數(shù)的計算需要求有約束的泛函極值，因此過程更為復雜。49第四十九頁，共一百一十二頁，2022年，8月28日9.5.1信息率失真函數(shù)與性質設時間離散連續(xù)信源X，概率密度為p(x)，試驗信道轉移概率p(y|x)，輸出為q(y)。定義平均失真為（9.5.1）50第五十頁，共一百一十二頁，2022年，8月28日9.5.1信息率失真函數(shù)與性質對所有試驗信道集合PD，在滿足失真度D≤D*時，信息率失真函數(shù)定義為：（9.5.2）其中。

51第五十一頁，共一百一十二頁，2022年，8月28日9.5.1信息率失真函數(shù)與性質與離散信源類似，可以證明R(D)函數(shù)有以下性質：（1）非負性；（2）在區(qū)間是單調遞減函數(shù)；（3）在區(qū)間是下凸函數(shù)；其中，對應著X，Y獨立時的最小平均失真，所以（9.5.3）52第五十二頁，共一百一十二頁，2022年，8月28日9.5.1信息率失真函數(shù)與性質與離散情況不同的是，在D=0時，R(D)并不連續(xù)。在D→0時，R(D)→∞，趨近信源的絕對熵。對離散情況，H(X)是R(0)的上界；對連續(xù)情況，h(X)不是R(0)的上界，而且h(X)還可能為負。53第五十三頁，共一百一十二頁，2022年，8月28日9.5.2R(D)函數(shù)的計算在連續(xù)信源情況下用條件概率密度來描述試驗信道，在滿足（9.5.1）約束條件下，求（9.5.2）R(D)函數(shù)的極小值確定試驗信道的條件概率密度，歸結為求有約束泛函極值的問題。即求（9.5.4）54第五十四頁，共一百一十二頁，2022年，8月28日9.5.2R(D)函數(shù)的計算的極小值，滿足約束為（9.5.5）和（9.5.6）求泛函極值，等價于使下式的一階變分為0。

(9.5.7）55第五十五頁，共一百一十二頁，2022年，8月28日9.5.2R(D)函數(shù)的計算令，有通過推導，得

(9.5.8）其中，與離散情況相似，可得

(9.5.9）

56第五十六頁，共一百一十二頁，2022年，8月28日9.5.2R(D)函數(shù)的計算當時，有

(9.5.10）平均失真為

(9.5.11）

(9.5.12）57第五十七頁，共一百一十二頁，2022年，8月28日9.5.2R(D)函數(shù)的計算可以證明，s是R(D)函數(shù)的斜率。58第五十八頁，共一百一十二頁，2022年，8月28日9.5.3差值失真測度

差值失真測度指的是平方誤差測度和絕對值誤差測度。在差值失真測度下，(9.5.10）式變?yōu)?/p>

(9.5.13）59第五十九頁，共一百一十二頁，2022年，8月28日9.5.3差值失真測度(9.5.13）式表示與的卷積為1，所以的頻譜與的頻譜乘積為沖激。而在整個頻率域，所以的頻譜為沖激，因此，（常數(shù)）(9.5.14）

(9.5.15）

(9.5.15）成立的條件是。在差值失真測度下，(9.5.9）變?yōu)?0第六十頁，共一百一十二頁，2022年，8月28日9.5.3差值失真測度(9.5.16）由(9.5.14）、(9.5.16）和(9.5.15），得

(9.5.17）可見，p(x)為q(x)與的卷積，其中

(9.5.18）61第六十一頁，共一百一十二頁，2022年，8月28日9.5.3差值失真測度設表示隨機變量的概率密度，那么x=+y，或=x-y，所以表示誤差的概率密度。62第六十二頁，共一百一十二頁，2022年，8月28日9.6高斯信源的R(D)函數(shù)本節(jié)就高斯信源和平方誤差測度的情況下研究R(D)函數(shù)。這里僅研究離散時間無記憶高斯信源和獨立并聯(lián)信源兩種情況。63第六十三頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源

由(9.5.15），對于平方誤差測度有

(9.6.1）根據(jù)(9.5.18），得

(9.6.2）

應注意，(9.6.2）的結果僅與失真測度的選取有關，而與信源分布無關。64第六十四頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源設，，，這里表示傅氏變換關系。對于均值為零、方差為的高斯信源X，概率密度為，那么

，同時還有由

65第六十五頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源得知y也為高斯分布，且

(9.6.3）平均失真為（與q(y)無關）(9.6.4）66第六十六頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源將(9.6.4）的結果代入(9.6.2），得

(9.6.5）

(9.6.5）表明達到R(D)時，誤差是高斯分布，方差等于D。將(9.6.4）的結果代入(9.6.3），得

(9.6.6）67第六十七頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源(9.6.5）表明達到R(D)時，試驗信道的輸出也是高斯分布，方差等于，并且與誤差獨立。率失真函數(shù)為將(9.6.4）和(9.6.1）代入，得

68第六十八頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源對以上結果，我們歸納為下面的定理：定理9.6.1一個無記憶任意均值、方差為的高斯信源，在平方誤差準則下的信息率失真函數(shù)為：

其中,,且69第六十九頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源圖9．6．1為高斯信源的R(D)函數(shù)曲線。下面為高斯信源R(D)函數(shù)的注釋：70第七十頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源圖9．6．1高斯信源的R(D)函數(shù)71第七十一頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源（1）此R(D)函數(shù)是在平方誤差準則下推出的，不適用其他準則；（2）R(D)函數(shù)是高斯信源實現(xiàn)平均失真小于等于D的有損編碼可達到的最低速率。簡單說明如下：設一個有失真編碼包含個碼字，每個信源序列的長度為n。所有信源序列都位于半徑為的大球內，且都應該位于以某個碼字為中心，半徑為的小球內。72第七十二頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源因此為充滿大球所需最少的小球數(shù)目也就是最少的碼字數(shù)為

(9.6.8）因此，只要，就能使平均失真小于等于D。（3）稱為有損壓縮的信噪比；當信源功率給定，平均失真越大，信噪比越小，所需碼率也越小。73第七十三頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源（4）當D=0時，R(D)=∞；當D=時，

R(D)=0。這說明，對于連續(xù)信源，當平均失真為0時，所需要的信息率為無限大5）高斯信源失真率函數(shù)

(9.6.9）上式通過求(9.6.7）的反函數(shù)得到，其中，R為編碼器的碼率，單位為比特/符號。D(R)表示，當高斯信源有損壓縮的碼率為R時，可以達到的最小平均失真。所以對于任意碼率為R的高斯信源有損編碼器，其平均失真D，滿足

(9.6.10）74第七十四頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源例9．6．1一個均值為零的離散時間高斯信源作為限失真信源編碼器的輸入，該編碼器是一個量化器，輸出256個量化電平，輸出信噪比SNR用輸入信號的均方值與均方誤差的比來量度；（1）求編碼器的碼率；（2）SNR能否達到49dB？解（1）編碼器的碼率：比特/信源符號；75第七十五頁，共一百一十二頁，2022年，8月28日9．6．1離散時間無記憶高斯信源（2）SNR不能達到49dB。解釋如下：根據(jù)(9.6.10），有76第七十六頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源一個多維離散時間高斯信源，其中，X1、X2、…XN是N個獨立零均值、方差為的高斯隨機變量，稱這種信源為獨立并聯(lián)高斯信源，其中各Xi為子信源。設每個的失真測度為均方失真，即，i=1，…，N；獨立并聯(lián)高斯信源的失真測度為

(9.6.8）77第七十七頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源設信源的信息率失真函數(shù)為，各并聯(lián)信源的信息率失真函數(shù)為，i=1，…N；那么

(9.6.9）

(9.6.10）78第七十八頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源因為X1、X2、…是獨立的，所以，僅當各信道獨立時等式成立，即時等式成立，所以

僅當各信道獨立時等式成立，即時等式成立，所以

(9.6.11）79第七十九頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源這樣，相當于在(9.6.9）的約束下，求(9.6.11）的極小值，與求并聯(lián)高斯信道容量類似，采用拉格朗日乘子法。由于各的方差為，平均失真為，所以令

得（常數(shù)），但由于對各子信源，最大的失真就是方差，所以當時，；80第八十頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源綜合起來，就有

(9.6.12）這是因為，對于每個，的最大值就是。81第八十一頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源圖9．6．2為平均失真分配示意圖，與信道容量的注水解釋類似，稱為倒注水原理。假定水池中的總水量（圖中的陰影部分）表示總平均失真，并聯(lián)信源各子信源的方差表示倒置在水池中的容器底部的高度，達到R（D）時，底部高的未注滿水，且各個未注滿水部分的水面高度是相同的，B就是水面高度，也就是分配的平均失真；底部低的部分（相當于方差小于B）已注滿水，水面高度與底部高度同，分配的平均失真就是方差。82第八十二頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源從所需碼率的角度看，方差小于B的Xi的為0，即所需的碼率為零，發(fā)送端僅對方差不小于B的Xi進行編碼并傳送，就能達到平均失真的要求。根據(jù)倒注水原理，有

(9.6.13）

B可通過下式來確定

(9.6.14）83第八十三頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源其中，K為滿足的子信源的個數(shù)，滿足此條件的稱為被使用的子信源。所求函數(shù)為

(9.6.15）84第八十四頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源注：（1）如果對總失真有要求，那么重點處理功率大的信號；（2）如果總失真允許較大，功率小的信號可以不予處理；（3）只有滿足的子信源對R（D）有貢獻。將每個子信源的方差按大小順序排序，得

(9.6.16）85第八十五頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源在平均失真從0逐漸增大的過程中，從對所有子信源的全部使用開始，按(9.6.16）所表示的方差大小的順序，逐個從被使用的子信源集合中排除，直至所有子信源都不被使用，此時對應最大的平均失真，為所有子信源方差的和，對應的R（D）=0。86第八十六頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源圖9．6．2平均失真分配的倒注水原理。87第八十七頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源例9.6.1一個二維獨立高斯信源（X1X2），其中X1、X2均值都為零，方差分別為2和4，采用均方失真測度，求該信源的R(D)函數(shù)。如果X1、X2都使用，根據(jù)(9.6.14）和(9.6.12），有和，得，88第八十八頁，共一百一十二頁，2022年，8月28日9．6．2獨立并聯(lián)高斯信源如果僅使用X2，有和，得，由和所求R(D)函數(shù)89第八十九頁，共一百一十二頁，2022年，8月28日9.7一般連續(xù)信源R(D)函數(shù)對于一般的信源分布，難于得到簡明的函數(shù)的表達式。下面的定理給出了一般連續(xù)信源的函數(shù)的界90第九十頁，共一百一十二頁，2022年，8月28日9.7一般連續(xù)信源R(D)函數(shù)定理9.7.1一均值為0，方差為的連續(xù)信源X，熵為h(X)，定義失真函數(shù)為，則

(9.7.1）僅當X為高斯信源時，等式成立。91第九十一頁，共一百一十二頁，2022年，8月28日9.7一般連續(xù)信源R(D)函數(shù)不等式的左邊是均方失真準則下的仙農(nóng)低界（Shannonlowerbound）。定理的結果表明，在均方失真準則下，相同方差的信源要達到同樣的均方失真，高斯信源有最大的值。從數(shù)據(jù)壓縮的角度看，高斯信源是最難壓縮的信源。92第九十二頁，共一百一十二頁，2022年，8月28日*9.8有損數(shù)據(jù)壓縮技術簡介

雖然信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎，但在相當長的時間內將這種理論應用于有損數(shù)據(jù)壓縮實踐的成效不大。原因是：（1）這種理論需要研究信源的統(tǒng)計模型；（2）對不同的信源，有效的失真測度難于確定；（3）有效編碼的復雜度較大。近十幾年來，信息率失真理論的研究和應用得到很大發(fā)展，主要包括：開發(fā)達到R(D)速率的信源編碼技術，尋找符合用戶需要的有意義的失真測度，尋求對重要信源的合理的統(tǒng)計模型。本節(jié)就有損編碼的主要方式：量化，預測編碼和變換編碼做簡單介紹。93第九十三頁，共一百一十二頁，2022年，8月28日9.8.1量化1．標量量化連續(xù)信源限失真編碼的主要方法是量化，就是把連續(xù)的樣值離散化成若干離散值。設離散值的個數(shù)為n，那么這n個實數(shù)可用n個數(shù)字來表示。量化后的信號成為數(shù)字信號。由于這種數(shù)字化必然引入失真，所以在量化時必須使失真限制到最小。對于一維連續(xù)信源輸出的量化稱為標量量化。最佳標量量化就是使量化后的平均失真最小。量化后的信息率為R=logn，也就是表示量化后每個樣值所需的比特數(shù)。實際上，為使編譯碼簡單可以采用均勻量化。在語音編碼中，先對信號進行非線性壓縮，再進行均勻量化。標量量化主要分為：均勻標量量化和非均勻標量量化94第九十四頁，共一百一十二頁，2022年，8月28日9.8.1量化2．矢量量化矢量量化的基本原理就是將若干個標量數(shù)據(jù)構成一個矢量，然后在矢量空間中量化。為壓縮比特率，當矢量被量化后，傳送的是它的一個序號。這樣，需要一個碼書儲存典型的數(shù)據(jù)矢量（碼矢量）和對應的序號。當編碼時，將輸入數(shù)據(jù)矢量和每個碼矢量比較，并將與輸入矢量最相似的碼矢量對應的序號作為輸入數(shù)據(jù)的編碼來發(fā)送。在接收端則利用與發(fā)送端相同的碼書尋找與發(fā)送序號所對應的碼矢量重建信源信號。矢量量化主要分為：均勻矢量量化和非均勻矢量量化。95第九十五頁，共一百一十二頁，2022年，8月28日9.8.2預測編碼預測編碼是基于時域波形信源壓縮的技術，是語音編碼中使用的重要方法并在圖象編碼中得到應用。預測編碼的基本思想是：由于量化器輸入為信號樣值和預測值的差，與原信號相比動態(tài)范圍減小，從而使碼率減??；而且這個差值基本上不相關甚至獨立，因此可以用對無記憶信源的方法實現(xiàn)信源編碼。雖然上面所述的最佳預測函數(shù)可使均方誤差最小，但為求預測函數(shù)必須知道r+1個隨機變量的聯(lián)合概率密度函數(shù)。在一般情況下，這是很困難的。對于聯(lián)合高斯分布的隨機變量，由條件期望所得的最佳預測函數(shù)就是線性函數(shù)，而對于其他分布，線性預測不是最佳預測。線性預測方法比求條件期望簡單得多，所以常將線性預測用于所有的隨機過程。96第九十六頁，共一百一十二頁，2022年，8月28日9.8.2預測編碼線性預測在語音編碼得到廣泛應用。在語音波形編碼中，有Δ調制、DPCM調制和APC編碼（自適應預測編碼）。在參量編碼中，有線性預測（LPC）聲碼器（利用線性預測技術對話音進行分析合成的系統(tǒng)）。在經(jīng)典的LPC聲碼器中，發(fā)送端提取話音的線性預測系數(shù)、基音周期、清/濁音判決信息以及增益參數(shù)，然后進行量化編碼；在接收端則利用線性預測語音產(chǎn)生模型來恢復原始話音。由于預測模型所采用的激勵源不同，可分為三類不同的LPC聲碼器：經(jīng)典LPC聲碼器、混合激勵LPC聲碼器和殘差激勵線性預測（RELP）聲碼器。97第九十七頁，共一百一十二頁，2022年，8月28日9.8.2預測編碼近十幾年來，參量編碼與波形編碼相結合的語音混合編碼技術得到很大發(fā)展，這種技術的特點是（1）編碼器既利用聲碼器的特點（利用語音產(chǎn)生模型提取語音參數(shù)）又利用波形編碼的特點（優(yōu)化激勵信號使其達到與輸入語音波形的匹配）；（2）利用感知加權最小均方誤差準則使編碼器成為一個閉環(huán)優(yōu)化系統(tǒng)；（3）在較低碼率上獲得較高的語音質量。98第九十八頁，共一百一十二頁，2022年，8月28日9.8.2預測編碼這類編碼器包括：多脈沖激勵線性預測（MPLP或MPC）編碼，正規(guī)脈沖激勵（RPE）編碼和碼激勵線性預測（CELP）編碼CELP語音編碼器是最具有吸引力的語音壓縮編碼方式之一，它的特點是：

1）使用矢量量化的碼書對激勵序列進行編碼；

2）采用包含感知加權濾波器和最小均方誤差準則的閉環(huán)系統(tǒng)選擇碼矢量當前使用C