信息論與編碼第三章曹雪虹習(xí)題答案

1、第三章3.1 設(shè)二元對稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達到信道容量時的輸入概率分布；解：1)2) 其最佳輸入分布為3-2某信源發(fā)送端有2個符號，i1，2；，每秒發(fā)出一個符號。接受端有3種符號，j1，2，3，轉(zhuǎn)移概率矩陣為。（1） 計算接受端的平均不確定度；（2） 計算由于噪聲產(chǎn)生的不確定度；（3） 計算信道容量。解：聯(lián)合概率XY0則Y的概率分布為Y（1）取2為底（2）取2為底取e為底= 03.3 在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤

2、，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：為一個BSC信道所以由BSC信道的信道容量計算公式得到：3.4 求圖中信道的信道容量及其最佳的輸入概率分布.并求當=0和1/2時的信道容量C的大小。X0 Y01112211解: 信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解 = (i=1,2,3)解得 所以 C=log=log20+22(1-)log(1-)+=log1+21-H()=log1+2而 (j=1,2,3)得所以 P(a1)=P(b1)=當=0時,此信道為一一對應(yīng)信道,得 C=log3, 當=

3、1/2時,得 C=log2, ,3.5 求下列二個信道的信道容量，并加以比較（1） （2）其中p+=1解：（1）此信道是準對稱信道，信道矩陣中Y可劃分成三個互不相交的子集 由于集列所組成的矩陣,而這兩個子矩陣滿足對稱性，因此可直接利用準對稱信道的信道容量公式進行計算。C1=logr-H(p1 p2 p3)-其中r=2,N1=M1=1-2 N2= M2=4 所以C1=log2-H(,p-,2)-(1-2)log(1-2)-2log4=log2+()log()+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4=log2-2log2-(1-2)log(1-2)+()log(

4、)+(p-)log(p-)=(1-2)log2/(1-2)+()log()+(p-)log(p-)輸入等概率分布時達到信道容量。（2）此信道也是準對稱信道，也可采用上述兩種方法之一來進行計算。先采用準對稱信道的信道容量公式進行計算，此信道矩陣中Y可劃分成兩個互不相交的子集，由子集列所組成的矩陣為，這兩矩陣為對稱矩陣 其中r=2,N1=M1=1-2 N2=M2=2，所以C=logr-H(-,p-,2,0)-=log2+(-)log(-)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2=log2-(1-2)log(1-2)+( -)log(-)+(p-)log(p-)=

5、(1-2)log2/(1-2)+2log2+(-)log(-)+(p-)log(p-)=C1+2log2輸入等概率分布（P（a1）=P（a2）=1/2）時達到此信道容量。比較此兩信道容量，可得C2=C1+2log23-6 設(shè)有擾離散信道的傳輸情況分別如圖317所示。求出該信道的信道容量。解：對稱信道取2為底 bit/符號3-7 (1)條件概率 ，聯(lián)合概率，后驗概率 ， ，（2） H(Y/X)= （3）當接收為y2，發(fā)為x1時正確，如果發(fā)的是x1和x3為錯誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平

6、均錯誤概率為（5）仍為0.733（6）此信道不好 原因是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真嚴重 x3-y3的概率0 完全失真（7）H(X/Y)=3. 8 設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè)(信號功率+噪聲功率)/噪聲功率=10dB。試計算該信道的最大信息傳輸速率Ct。解：3. 9 在圖片傳輸中，每幀約有2.25106個像素，為了能很好地重現(xiàn)圖像，能分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。解：3-10 一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達到相同的信道容量