第四章信息率失真函數(shù)總結(jié)與習題

當一個人感到有一種力量推動他去翱翔時，他是決不應該爬行的。

－（美）海倫·凱勒

2/6/20231失真度設離散無記憶信源為第四章總結(jié)2/6/20232對每一對(xi,yj)，指定一個非負函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m

稱d(xi,yj)為單個符號的失真度/失真函數(shù)。表示信源發(fā)出一個符號xi，在接收端再現(xiàn)yj所引起的誤差或失真。2/6/20233平均失真度定義d(xi,yj)只能表示兩個特定的具體符號xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學期望，2/6/20234平均失真度意義是在平均意義上，從總體上對整個系統(tǒng)失真情況的描述。它是信源統(tǒng)計特性p(xi)、信道統(tǒng)計特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個隨機變量了，而是一個確定的量。如果信源和失真度一定，就只是信道統(tǒng)計特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。2/6/20235允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。2/6/20236常用的失真函數(shù)第一種當a=1時稱為漢明失真矩陣。第二種/平方誤差失真矩陣：d(xi,yj)=(yj－xi)22/6/20237單符號信源和單符號信道的信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準則的試驗信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個試驗信道，使I(X;Y)達到最小，即這個最小值R(D)稱為信息率失真函數(shù)，簡稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。2/6/20238求信息率失真函數(shù)的方法信息率失真函數(shù)R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。2/6/20239

對偶問題：信道容量和信息率失真函數(shù)的問題，都是求平均互信息極值問題。分三個方面說明：求極值問題平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函數(shù)，信道容量就是在固定信道情況下，求平均互信息極大值的問題，即I(X;Y)又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函數(shù)，信息率失真函數(shù)就是在試驗信道（滿足保真度準則的信道）中尋找平均互信息極小值的問題，即2/6/202310特性信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)有關(guān)，反映信道特性，與信源特性無關(guān)；信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布p(xi)有關(guān)，反映信源特性，與信道特性無關(guān)。解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚摶A，通過信道編碼增加信息的冗余度來實現(xiàn)；信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎，通過信源編碼減少信息的冗余度來實現(xiàn)。2/6/202311限失真信源編碼定理：設一離散平穩(wěn)無記憶信源的輸出隨機變量序列為X=(X1,X2,…,XL)，若該信源的信息率失真函數(shù)是R(D)，并選定有限的失真函數(shù)。對于任意允許平均失真度D≥0，和任意小的ε>0，當信息率R>R(D)，只要信源序列長度L足夠長，一定存在一種編碼方式C，使譯碼后的平均失真度；反之，若R<R(D)，則無論用什么編碼方式，必有，即譯碼平均失真必大于允許失真。信息率失真函數(shù)也是一個界限。只要信息率大于這個界限，譯碼失真就可限制在給定的范圍內(nèi)。即通信的過程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。2/6/202312研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實際應用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯誤的概率任意小，以提高通信的可靠性。這就是信道編碼問題。研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問題。2/6/202313習題17.1.設一個四元對稱信源接收符號為V={0,1,2,3},其失真矩陣為求Dmax,Dmin及信源的R(D)函數(shù)，并作出其曲線（取4到5個點）2/6/202314習題12/6/202315習題27.2.若某無記憶信源接收符號為V={-1/2,+1/2},其失真矩陣為求Dmax,Dmin及達到它們的信道？2/6/202316習題22/6/2023177.3.某二元信源其失真矩陣為求該信源的Dmax,Dmin和R(D)函數(shù)。習題32/6/202318習題32/6/2023197.6.某二元信源其失真矩陣為求該信源的Dmax,Dmin和R(D)函數(shù)。習題42/6/202320習題42/6/202321第一步：求λi，由式(4.2.12)有2/6/202322第二步：求p(yj)，由式(4.2.11)有2/6/202323第三步：求p(yj/xi)，由式(4.2.10)有2/6/202324第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有2/6/202325第五步：求R(S)，將上述結(jié)果代入式(4.2.15)有2/6/202326習題57.18.若有一信源每秒鐘發(fā)出2.66個信源符號。將此信源的輸出符號送入某二元無噪無損信道中進行傳輸，而信道每秒鐘只傳遞二個二元符號。(1)試問信源能否在此信道中進行無失真的傳輸。(2)若此信源失真度測定為漢明失真，問允許信源平均失真多大時，此信源就可以在信道中傳輸。2/6/202327習題52/6/202328習題52/6/202329設信源，其失真度為漢明失真度，試問當允許平均失真度D=(1/2)p時，每一信源符號平均最少需要幾個二進制符號？習題62/6/202330解：失真矩陣習題62/6/2023