信息論與編碼-曹雪虹-課后習(xí)題答案

1、?信息論與編碼?-曹雪虹-課后習(xí)題答案第二章2.1一個(gè)馬爾可夫信源有3個(gè)符號(hào)，轉(zhuǎn)移概率為：，畫出狀態(tài)圖并求出各符號(hào)穩(wěn)態(tài)概率。解：狀態(tài)圖如下狀態(tài)轉(zhuǎn)移矩陣為：設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3由得計(jì)算可得2.2 由符號(hào)集0，1組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。畫出狀態(tài)圖，并計(jì)算各狀態(tài)的穩(wěn)態(tài)概率。解： 于是可以列出轉(zhuǎn)移概率矩陣：狀態(tài)圖為： 設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4 有 得 計(jì)算得到2.3 同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)

2、 “3和5同時(shí)出現(xiàn)這事件的自信息；(2) “兩個(gè)1同時(shí)出現(xiàn)這事件的自信息；(3) 兩個(gè)點(diǎn)數(shù)的各種組合無序?qū)Φ撵睾推骄畔⒘浚?4) 兩個(gè)點(diǎn)數(shù)之和即2, 3, , 12構(gòu)成的子集的熵；(5) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解：(1)(2)(3)兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個(gè)組合的概率是(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5)2-4 2.5 居住某地區(qū)的女

3、孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假設(shè)我們得知“身高160厘米以上的某女孩是大學(xué)生的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1是大學(xué)生x2不是大學(xué)生P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1身高>160cmy2身高<160cmP(Y)0.50.5：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.6 擲兩顆骰子，當(dāng)其向上的面的小圓點(diǎn)之和是3時(shí)，該消息包含的信息量是多少？當(dāng)小圓點(diǎn)之和是7時(shí)，該消息所包含的信息量又是多少？解：1因

4、圓點(diǎn)之和為3的概率該消息自信息量2因圓點(diǎn)之和為7的概率該消息自信息量2.7 設(shè)有一離散無記憶信源，其概率空間為 1求每個(gè)符號(hào)的自信息量 2信源發(fā)出一消息符號(hào)序列為202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求該序列的自信息量和平均每個(gè)符號(hào)攜帶的信息量解：同理可以求得因?yàn)樾旁礋o記憶，所以此消息序列的信息量就等于該序列中各個(gè)符號(hào)的信息量之和就有：平均每個(gè)符號(hào)攜帶的信息量為bit/符號(hào)2.8 試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：0, 1, 2, 3八進(jìn)制脈沖可以表

5、示8個(gè)不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：0, 1假設(shè)每個(gè)消息的發(fā)出都是等概率的，那么：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9 “ 用三個(gè)脈沖 “用一個(gè)脈沖(1) I()= I()(2) H= 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2.11 有一個(gè)可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，38的

6、數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。1如果僅對(duì)顏色感興趣，那么計(jì)算平均不確定度2如果僅對(duì)顏色和數(shù)字感興趣，那么計(jì)算平均不確定度3如果顏色時(shí)，那么計(jì)算條件熵解：令X表示指針指向某一數(shù)字，那么X=1,2,.,38 Y表示指針指向某一種顏色，那么Y=l綠色，紅色，黑色 Y是X的函數(shù)，由題意可知1bit/符號(hào)2bit/符號(hào)3bit/符號(hào)2.12 兩個(gè)實(shí)驗(yàn)X和Y，X=x1 x2 x3,Y=y1 y2 y3,l聯(lián)合概率為（1） 如果有人告訴你X和Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？（2） 如果有人告訴你Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多

7、少？（3） 在Y實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率為 YXy1y2y3 x17/241/240 x21/241/41/24 x301/247/24 =2.3bit/符號(hào)X概率分布Xx1x2x3P8/248/248/24bit/符號(hào) Y概率分布是 =0.72bit/符號(hào)Yy1y2y3P8/248/248/242.13 有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z = XY一般乘積，試計(jì)算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2

8、) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15P(j/i)= 2.16 黑白 機(jī)的消息元只有黑色和白色兩種，即X=黑，白，一般氣象圖上，黑色的出現(xiàn)概率p(黑)0.3，白色出現(xiàn)的概率p(白)0.7。1假設(shè)黑白消息視為前后無關(guān)，求信源熵H(X)，并畫

9、出該信源的香農(nóng)線圖2實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求這個(gè)一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。3比擬兩種信源熵的大小，并說明原因。解：1bit/符號(hào)P(黑|白)=P(黑)P(白|白)P(白) P(黑|黑)P(黑)P(白|黑)P(白)2根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的P(白)0.7不隨時(shí)間變化，P(黑)0.3不隨時(shí)間變化0.512bit/符號(hào)2.17 每幀電視圖像可以認(rèn)為是由3Í105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平

10、是等概出現(xiàn)，問每幀圖像含有多少信息量？假設(shè)有一個(gè)播送員，在約10000個(gè)漢字中選出1000個(gè)漢字來口述此電視圖像，試問播送員描述此圖像所播送的信息量是多少假設(shè)漢字字匯是等概率分布，并彼此無依賴？假設(shè)要恰當(dāng)?shù)拿枋龃藞D像，播送員在口述中至少需要多少漢字？解：1)2)3)2.20 給定語音信號(hào)樣值X的概率密度為,求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.24 連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X), H(Y), H(XYZ)和I(X;Y)。提示：解：2.25 某一無記憶信源的符號(hào)集為0, 1，P(0) = 1/4，P(1) = 3/4。(1) 求符號(hào)的平均熵；(2) 有

11、100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列例如有m個(gè)“0”和100 - m個(gè)“1”的自信息量的表達(dá)式；(3) 計(jì)算(2)中序列的熵。解：(1)(2) (3) 2-26 P(i)= P(ij)= H(IJ)= 2.29 有一個(gè)一階平穩(wěn)馬爾可夫鏈,各Xr取值于集合,起始概率P(Xr)為，轉(zhuǎn)移概率如以下圖所示 j i1231231/22/32/31/401/31/41/30(1) 求的聯(lián)合熵和平均符號(hào)熵(2) 求這個(gè)鏈的極限平均符號(hào)熵(3) 求和它們說對(duì)應(yīng)的冗余度解：1符號(hào)X1，X2的聯(lián)合概率分布為12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分

12、布為那么=1.209bit/符號(hào)X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=1.26bit/符號(hào)/符號(hào)所以平均符號(hào)熵符號(hào)2設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為由 得到 計(jì)算得到又滿足不可約性和非周期性/符號(hào)(3)/符號(hào) /符號(hào) /符號(hào) 2-30(1) 求平穩(wěn)概率 P(j/i)= 解方程組 得到 (2) 信源熵為: 2-31 P(j/i)= 解方程組 得到W1= , W2= , W3= 2.32 一階馬爾可夫信源的狀態(tài)圖如圖213所示，信源X的符號(hào)集為0，1，2。1求信源平穩(wěn)后的概率分布P(0),P(1

13、),P(2)2求此信源的熵3近似認(rèn)為此信源為無記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進(jìn)行比擬解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3 得到 計(jì)算得到由齊次遍歷可得符號(hào) 由最大熵定理可知存在極大值或者也可以通過下面的方法得出存在極大值: 又所以當(dāng)p=2/3時(shí)0<p<2/3時(shí)2/3<p<1時(shí)所以當(dāng)p=2/3時(shí)存在極大值,且符號(hào)所以2-33 (1)解方程組: 得p(0)=p(1)=p(2)= (2) (3) 當(dāng)p=0或p=1時(shí) 信源熵為0練習(xí)題：有一離散無記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計(jì)兩個(gè)獨(dú)立的實(shí)驗(yàn)

14、去觀察它，其結(jié)果分別為，條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001(1) 求和，并判斷哪一個(gè)實(shí)驗(yàn)好些(2) 求，并計(jì)算做Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1和Y2中的一個(gè)實(shí)驗(yàn)可多得多少關(guān)于X的信息(3) 求和，并解釋它們的含義解:(1)由題意可知 Y1X0101/40101/421/41/4 Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2=0.5bit/符號(hào)符號(hào)>所以第二個(gè)實(shí)驗(yàn)比第一個(gè)實(shí)驗(yàn)好P(y1y2x)0001101101/40001001/40201/401/42因?yàn)閅1和

15、Y2 相互獨(dú)立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號(hào)=1.5bit/符號(hào)由此可見，做兩個(gè)實(shí)驗(yàn)比單獨(dú)做Y1可多得1bit的關(guān)于X的信息量，比單獨(dú)做Y2多得0.5bit的關(guān)于X的信息量。3=1.5-1=0.5bit/符號(hào) 表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得=1.5-0.5=1bit/符號(hào)表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡送下載！第三章3.1 設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 假設(shè)P(0) = 3/4, P(1) = 1/4，求H(X), H(X

16、/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其到達(dá)信道容量時(shí)的輸入概率分布；解：1)2) 其最正確輸入分布為3-2某信源發(fā)送端有2個(gè)符號(hào)，i1，2；，每秒發(fā)出一個(gè)符號(hào)。接受端有3種符號(hào)，j1，2，3，轉(zhuǎn)移概率矩陣為。（1） 計(jì)算接受端的平均不確定度；（2） 計(jì)算由于噪聲產(chǎn)生的不確定度；（3） 計(jì)算信道容量。解：聯(lián)合概率XY0那么Y的概率分布為Y1取2為底2取2為底取e為底= 03.3 在有擾離散信道上傳輸符號(hào)0和1，在傳輸過程中每100個(gè)符號(hào)發(fā)生一個(gè)錯(cuò)誤，P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個(gè)符號(hào)，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為

17、：為一個(gè)BSC信道所以由BSC信道的信道容量計(jì)算公式得到：3.4 求圖中信道的信道容量及其最正確的輸入概率分布.并求當(dāng)=0和1/2時(shí)的信道容量C的大小。X0 Y01112211解: 信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解 = (i=1,2,3)解得 所以 C=log=log20+2×2(1-)log(1-)+=log1+21-H()=log1+2而 (j=1,2,3)得所以 P(a1)=P(b1)=當(dāng)=0時(shí),此信道為一一對(duì)應(yīng)信道,得 C=log3, 當(dāng)=1/2時(shí),得 C=log2, ,3.5 求以下二個(gè)信道的信道容量，并加以比擬1 2其中p+=1解：1此信道是準(zhǔn)

18、對(duì)稱信道，信道矩陣中Y可劃分成三個(gè)互不相交的子集 由于集列所組成的矩陣,而這兩個(gè)子矩陣滿足對(duì)稱性，因此可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。C1=logr-H(p1 p2 p3)-其中r=2,N1=M1=1-2 N2= M2=4 所以C1=log2-H(,p-,2)-(1-2)log(1-2)-2log4=log2+()log()+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4=log2-2log2-(1-2)log(1-2)+()log()+(p-)log(p-)=(1-2)log2/(1-2)+()log()+(p-)log(p-)輸入等概率分布時(shí)到達(dá)信道

19、容量。2此信道也是準(zhǔn)對(duì)稱信道，也可采用上述兩種方法之一來進(jìn)行計(jì)算。先采用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算，此信道矩陣中Y可劃分成兩個(gè)互不相交的子集，由子集列所組成的矩陣為，這兩矩陣為對(duì)稱矩陣 其中r=2,N1=M1=1-2 N2=M2=2，所以C=logr-H(-,p-,2,0)-=log2+(-)log(-)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2=log2-(1-2)log(1-2)+( -)log(-)+(p-)log(p-)=(1-2)log2/(1-2)+2log2+(-)log(-)+(p-)log(p-)=C1+2log2輸入等概率分布Pa1=

20、Pa2=1/2時(shí)到達(dá)此信道容量。比擬此兩信道容量，可得C2=C1+2log23-6 設(shè)有擾離散信道的傳輸情況分別如圖317所示。求出該信道的信道容量。解：對(duì)稱信道取2為底 bit/符號(hào)3-7 (1)條件概率 ，聯(lián)合概率，后驗(yàn)概率 ， ，2 H(Y/X)= 3當(dāng)接收為y2，發(fā)為x1時(shí)正確，如果發(fā)的是x1和x3為錯(cuò)誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯(cuò)誤概率為：Pe=P(x1/y2)+P(x3/y2)=4平均錯(cuò)誤概率為5仍為0.7336此信道不好 原因是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3

21、有失真嚴(yán)重 x3-y3的概率0 完全失真7H(X/Y)=3. 8 設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè)(信號(hào)功率+噪聲功率)/噪聲功率=10dB。試計(jì)算該信道的最大信息傳輸速率Ct。解：3. 9 在圖片傳輸中，每幀約有2.25Í106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每分鐘傳送一幀圖片所需信道的帶寬信噪功率比為30dB。解：3-10 一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。1信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；2信道上的信號(hào)與噪聲的平均功率比值降至5，要到達(dá)相同的信道容量

22、，信道通頻帶應(yīng)為多大？3假設(shè)信道通頻帶減小為0.5MHZ時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大？解：1 23歡送下載！第四章4.2 某二元信源其失真矩陣為求這信源的Dmax和Dmin和R(D)函數(shù)。解：因?yàn)槎雀判旁绰适д婧瘮?shù)：其中n = 2, 所以率失真函數(shù)為：4.3 一個(gè)四元對(duì)稱信源，接收符號(hào)Y = 0, 1, 2, 3，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數(shù)，并畫出其曲線取4至5個(gè)點(diǎn)。解：因?yàn)閚元等概信源率失真函數(shù)：其中a = 1, n = 4, 所以率失真函數(shù)為：函數(shù)曲線：其中：4-3 信源熵為 Dmax =min, R(Dmax)=0D

23、min=0R(Dmin)=R(0)=H(X)=log(4)=2只要滿足p(y1)+p(y2)+p(y3)+p(y4)=1在0,1區(qū)間可以任意取值。歡送下載！第五章5-1 將下表所列的某六進(jìn)制信源進(jìn)行二進(jìn)制編碼，試問：消息概率u1u2u3u4u5u61/21/41/161/161/161/16000001010011100101 0 01 011 0111 01111011111 0 10 110 1110 11110111110 0 101101110010011111 100000101011011001001100101110111(1) 這些碼中哪些是唯一可譯碼？(2) 哪些碼是非延長(zhǎng)碼

24、？(3) 對(duì)所有唯一可譯碼求出其平均碼長(zhǎng)和編譯效率。解：首先，根據(jù)克勞夫特不等式，找出非唯一可譯碼不是唯一可譯碼，而：又根據(jù)碼樹構(gòu)造碼字的方法，的碼字均處于終端節(jié)點(diǎn)他們是即時(shí)碼5-2 (1) 因?yàn)锳,B,C,D四個(gè)字母,每個(gè)字母用兩個(gè)碼,每個(gè)碼為0.5ms, 所以每個(gè)字母用10ms 當(dāng)信源等概率分布時(shí),信源熵為H(X)=log(4)=2 平均信息傳遞速率為bit/ms=200bit/s (2) 信源熵為 H(X)= =0.198bit/ms=198bit/s5-5(1) H(U)=(2) 每個(gè)信源使用3個(gè)二進(jìn)制符號(hào),出現(xiàn)0的次數(shù)為 出現(xiàn)1的次數(shù)為P(0)= P(1)= (3) (4) 相應(yīng)的香

25、農(nóng)編碼信源符號(hào)xi符號(hào)概率pi累加概率Pi-Logp(xi)碼長(zhǎng)Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相應(yīng)的費(fèi)諾碼 信源符號(hào)xi符號(hào)概率pi第一次分組第二次分組第三次分組第四次分組第五次分組第六次分組第七次分組二元碼x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/1281111111105香農(nóng)碼和費(fèi)諾碼相同 平均碼長(zhǎng)為 編碼效率為： 5-11 1