第四章總結(jié)習(xí)題

失真度設(shè)離散無記憶信源為第四章總結(jié)5/9/20231第1頁(yè)，共33頁(yè)。對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m

稱d(xi,yj)為單個(gè)符號(hào)的失真度/失真函數(shù)。表示信源發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)yj所引起的誤差或失真。5/9/20232第2頁(yè)，共33頁(yè)。平均失真度定義d(xi,yj)只能表示兩個(gè)特定的具體符號(hào)xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學(xué)期望，5/9/20233第3頁(yè)，共33頁(yè)。平均失真度意義是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)、信道統(tǒng)計(jì)特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。5/9/20234第4頁(yè)，共33頁(yè)。允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。5/9/20235第5頁(yè)，共33頁(yè)。常用的失真函數(shù)第一種當(dāng)a=1時(shí)稱為漢明失真矩陣。第二種/平方誤差失真矩陣：d(xi,yj)=(yj－xi)25/9/20236第6頁(yè)，共33頁(yè)。單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即這個(gè)最小值R(D)稱為信息率失真函數(shù)，簡(jiǎn)稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。5/9/20237第7頁(yè)，共33頁(yè)。求信息率失真函數(shù)的方法信息率失真函數(shù)R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。5/9/20238第8頁(yè)，共33頁(yè)。

對(duì)偶問題：信道容量和信息率失真函數(shù)的問題，都是求平均互信息極值問題。分三個(gè)方面說明：求極值問題平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函數(shù)，信道容量就是在固定信道情況下，求平均互信息極大值的問題，即I(X;Y)又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函數(shù)，信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問題，即5/9/20239第9頁(yè)，共33頁(yè)。特性信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)有關(guān)，反映信道特性，與信源特性無關(guān)；信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布p(xi)有關(guān)，反映信源特性，與信道特性無關(guān)。解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚摶A(chǔ)，通過信道編碼增加信息的冗余度來實(shí)現(xiàn)；信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎(chǔ)，通過信源編碼減少信息的冗余度來實(shí)現(xiàn)。5/9/202310第10頁(yè)，共33頁(yè)。限失真信源編碼定理：設(shè)一離散平穩(wěn)無記憶信源的輸出隨機(jī)變量序列為X=(X1,X2,…,XL)，若該信源的信息率失真函數(shù)是R(D)，并選定有限的失真函數(shù)。對(duì)于任意允許平均失真度D≥0，和任意小的ε>0，當(dāng)信息率R>R(D)，只要信源序列長(zhǎng)度L足夠長(zhǎng)，一定存在一種編碼方式C，使譯碼后的平均失真度；反之，若R<R(D)，則無論用什么編碼方式，必有，即譯碼平均失真必大于允許失真。信息率失真函數(shù)也是一個(gè)界限。只要信息率大于這個(gè)界限，譯碼失真就可限制在給定的范圍內(nèi)。即通信的過程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。5/9/202311第11頁(yè)，共33頁(yè)。研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問題。

研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問題。5/9/202312第12頁(yè)，共33頁(yè)。習(xí)題17.1.設(shè)一個(gè)四元對(duì)稱信源接收符號(hào)為V={0,1,2,3},其失真矩陣為求Dmax,Dmin及信源的R(D)函數(shù)，并作出其曲線（取4到5個(gè)點(diǎn)）5/9/202313第13頁(yè)，共33頁(yè)。習(xí)題15/9/202314第14頁(yè)，共33頁(yè)。習(xí)題27.2.若某無記憶信源接收符號(hào)為V={-1/2,+1/2},其失真矩陣為求Dmax,Dmin及達(dá)到它們的信道？5/9/202315第15頁(yè)，共33頁(yè)。習(xí)題25/9/202316第16頁(yè)，共33頁(yè)。7.3.某二元信源其失真矩陣為求該信源的Dmax,Dmin和R(D)函數(shù)。習(xí)題35/9/202317第17頁(yè)，共33頁(yè)。習(xí)題35/9/202318第18頁(yè)，共33頁(yè)。7.6.某二元信源其失真矩陣為求該信源的Dmax,Dmin和R(D)函數(shù)。習(xí)題45/9/202319第19頁(yè)，共33頁(yè)。習(xí)題45/9/202320第20頁(yè)，共33頁(yè)。第一步：求λi，由式(4.2.12)有5/9/202321第21頁(yè)，共33頁(yè)。第二步：求p(yj)，由式(4.2.11)有5/9/202322第22頁(yè)，共33頁(yè)。第三步：求p(yj/xi)，由式(4.2.10)有5/9/202323第23頁(yè)，共33頁(yè)。第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有5/9/202324第24頁(yè)，共33頁(yè)。第五步：求R(S)，將上述結(jié)果代入式(4.2.15)有5/9/202325第25頁(yè)，共33頁(yè)。習(xí)題57.18.若有一信源每秒鐘發(fā)出2.66個(gè)信源符號(hào)。將此信源的輸出符號(hào)送入某二元無噪無損信道中進(jìn)行傳輸，而信道每秒鐘只傳遞二個(gè)二元符號(hào)。(1)試問信源能否在此信道中進(jìn)行無失真的傳輸。(2)若此信源失真度測(cè)定為漢明失真，問允許信源平均失真多大時(shí)，此信源就可以在信道中傳輸。5/9/202326第26頁(yè)，共33頁(yè)。習(xí)題55/9/202327第27頁(yè)，共33頁(yè)。習(xí)題55/9/202328第28頁(yè)，共33頁(yè)。設(shè)信源，其失真度為漢明失真度，試問當(dāng)允許平均失真度D=(1/2)p時(shí)，每一信源符號(hào)平均最少需要幾個(gè)二進(jìn)制符號(hào)？習(xí)題65/9/202329第29頁(yè)，共33頁(yè)。解：失真矩陣習(xí)題65/9/202330第30頁(yè)，共33頁(yè)。設(shè)離散無記憶信源其失真度為漢