第三章-信道容量-1-2-6-7習(xí)題答案

1、3.1 設(shè)信源通過一干擾信道，接收符號(hào)為Y = y1, y2 ，信道轉(zhuǎn)移矩陣為，求：(1) 信源X中事件x1和事件x2分別包含的自信息量；(2) 收到消息yj (j=1,2)后，獲得的關(guān)于xi (i=1,2)的信息量；(3) 信源X和信宿Y的信息熵；(4) 信道疑義度H(X/Y)和噪聲熵H(Y/X)；(5) 接收到信息Y后獲得的平均互信息量。解：1)2)3)4)5)3.2 設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；解：1)2) 3.3 設(shè)

2、有一批電阻，按阻值分70%是2K，30%是5 K；按瓦分64%是0.125W，其余是0.25W?，F(xiàn)已知2 K阻值的電阻中80%是0.125W，問通過測(cè)量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少？解：對(duì)本題建立數(shù)學(xué)模型如下：以下是求解過程：3.4 若X, Y, Z是三個(gè)隨機(jī)變量，試證明(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；證明：(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) H(X/YZ)；證明：(3) I(X;Y/Z) 0，當(dāng)且僅當(dāng)(X, Y, Z)是馬氏鏈時(shí)等式成立。證明：當(dāng)時(shí)等式成立所以等式成立的條件是X,

3、 Y, Z是馬氏鏈3.5若三個(gè)隨機(jī)變量，有如下關(guān)系：Z = X + Y，其中X和Y相互獨(dú)立，試證明：(1) I(X;Z) = H(Z) - H(Y)；(2) I(XY;Z) = H(Z)；(3) I(X;YZ) = H(X)；(4) I(Y;Z/X) = H(Y)；(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。解：1)2)3)4)5)3.6 有一個(gè)二元對(duì)稱信道，其信道矩陣為。設(shè)該信源以1500二元符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)P(0) = P(1) = 1/2，問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳遞完？解：信道

4、容量計(jì)算如下：也就是說每輸入一個(gè)信道符號(hào)，接收到的信息量是0.859比特。已知信源輸入1500二元符號(hào)/秒，那么每秒鐘接收到的信息量是：現(xiàn)在需要傳送的符號(hào)序列有個(gè)二元符號(hào)，并設(shè)P(0) = P(1) = 1/2，可以計(jì)算出這個(gè)符號(hào)序列的信息量是要求10秒鐘傳完，也就是說每秒鐘傳輸?shù)男畔⒘渴?400bit/s，超過了信道每秒鐘傳輸?shù)哪芰Γ?288 bit/s）。所以10秒內(nèi)不能將消息序列無失真的傳遞完。3.7 求下列各離散信道的容量（其條件概率P(Y/X)如下：）(1) Z信道 (2) 可抹信道 (3) 非對(duì)稱信道 (4) 準(zhǔn)對(duì)稱信道解：1) Z信道這個(gè)信道是個(gè)一般信道，利用一般信道的計(jì)算方法：

5、a. 由公式，求jb. 由公式，求Cc. 由公式，求p(yj)d. 由公式，求p(xi)由方程組：解得因?yàn)閟是條件轉(zhuǎn)移概率，所以0 s 1，從而有p(x1)，p(x2) 0，保證了C的存在。2) 可抹信道可抹信道是一個(gè)準(zhǔn)對(duì)稱信道，把信道矩陣分解成兩個(gè)子矩陣如下：3) 非對(duì)稱信道這個(gè)信道是個(gè)一般信道，利用一般信道的計(jì)算方法a. 由公式，求jb. 由公式，求Cc. 由公式，求p(yj)d. 由公式，求p(xi)由方程組：解得p(x1)，p(x2) 0，保證了C的存在。(4) 準(zhǔn)對(duì)稱信道把信道矩陣分解成三個(gè)子矩陣如下：3.8 已知一個(gè)高斯信道，輸入信噪比（比率）為3。頻帶為3kHz，求最大可能傳輸?shù)?/p>

6、消息率。若信噪比提高到15，理論上傳送同樣的信息率所需的頻帶為多少？解：3.9 有二址接入信道，輸入X1, X2和輸出Y的條件概率P(Y/X1X2)如下表（ 0， p。試寫出N = 3次擴(kuò)展無記憶信道的信道矩陣P。解：3.16 設(shè)信源X的N次擴(kuò)展信源X = X1X2XN通過信道X, P(Y/X), Y的輸出序列為Y = Y1Y2YN。試證明：(1) 當(dāng)信源為無記憶信源時(shí)，即X1, X2, , XN之間統(tǒng)計(jì)獨(dú)立時(shí)，有；(2) 當(dāng)信道無記憶時(shí)，有；(3) 當(dāng)信源、信道為無記憶時(shí)，有；(4) 用熵的概念解釋以上三種結(jié)果。證明：1)2)3)如果信源、信道都是無記憶的。上面證明的兩個(gè)不等式應(yīng)同時(shí)滿足，即

7、：必然推出，而如果是平穩(wěn)分布，即，那么。4)流經(jīng)信道的信息量也是信宿收到的信息量，它等于信源信息的不確定度減去由信道干擾造成的不確定度。當(dāng)信源無記憶、信道有記憶時(shí)，對(duì)應(yīng)于本題的第一種情況。信源是無記憶的，信源的不確定度等于N倍的單符號(hào)信源不確定度，信道是有記憶的，信道干擾造成的不確定度小于N倍單符號(hào)信道的不確定度。因此，這兩部分的差值平均互信息量大于N倍的單符號(hào)平均互信息量。當(dāng)信源有記憶、信道無記憶時(shí)，對(duì)應(yīng)于本題的第二種情況。信源是有記憶的，信源的不確定度小于N倍的單符號(hào)信源不確定度，信道是無記憶的，信道干擾造成的不確定度等于N倍單符號(hào)信道的不確定度。因此，這兩部分的差值平均互信息量小于N倍的

8、單符號(hào)平均互信息量。當(dāng)信源無記憶、信道無記憶時(shí)，對(duì)應(yīng)于本題的第三種情況。信源是無記憶的，信源的不確定度等于N倍的單符號(hào)信源不確定度，信道是無記憶的，信道干擾造成的不確定度等于N倍單符號(hào)信道的不確定度。因此，這兩部分的差值平均互信息量等于N倍的單符號(hào)平均互信息量。3.17 設(shè)高斯加性信道，輸入、輸出和噪聲隨機(jī)變量X, Y, N之間的關(guān)系為Y = X + N，且EN2 = 2。試證明：當(dāng)信源X是均值EX = 0，方差為的高斯隨機(jī)變量時(shí)，信道容量達(dá)其容量C，且。證明：根據(jù)概率論中的結(jié)論：n是正態(tài)分布，X是正態(tài)分布，則Y = X + n也是正態(tài)分布，而且。所以，前提是取最大值，也就是說取最大值。因?yàn)楫?dāng)X是均值為零的正態(tài)分布時(shí)，所以這是滿足的前提條件。3.18 設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè)(信號(hào)功率+噪聲功率)/噪聲功率=10dB。試計(jì)算該信道的最大信息傳輸速率Ct。解：3.19 在圖片傳輸中，每幀約有2.25106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每分鐘傳送