信息論與編碼習(xí)題參考答桉1

本文格式為Word版，下載可任意編輯——信息論與編碼習(xí)題參考答桉12023CopyrightEELab508

信息論與編碼習(xí)題參考答案第一章單符號(hào)離散信源

1.1同時(shí)擲一對(duì)均勻的子，試求：

(1)“2和6同時(shí)出現(xiàn)〞這一事件的自信息量；(2)“兩個(gè)5同時(shí)出現(xiàn)〞這一事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合的熵；(4)兩個(gè)點(diǎn)數(shù)之和的熵；

(5)“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1〞的自信息量。解：

樣本空間：(1)P1?(2)P2?n1Nn2N??N?c6c6?6?6?36236136?I(a)??logP1?log18?4.17bit?I(a)??logP2?log36?5.17bit11

(3)信源空間：

XP(X)XP(x)XP(x)XP(x)XP(x)?H(x)?15?236(1,1)1/36(2,2)1/36(3,3)1/36(4,4)1/36(5,5)1/36?log362(1,2)2/36(2,3)2/36(3,4)2/36(4,5)2/36(5,6)2/36?6?136(1,3)2/36(2,4)2/36(3,5)2/36(4,6)2/36(1,4)2/36(2,5)2/36(3,6)2/36(6,6)1/36(1,5)2/36(2,6)2/36(1,6)2/36?log36?4.32bit

(4)信源空間：XP(x)234567891011121/362/363/364/365/366/365/364/363/362/361/36236?log36＋?log365436?log636362?636?log363?836?log364?H(x)?

?1036＋?log366?3.71bit(5)P3?

n3N?1136?I(a)??logP3?log3611?1.17bit

?H.F.

2023CopyrightEELab508

1.2如有6行、8列的棋型方格，若有兩個(gè)質(zhì)點(diǎn)A和B，分別以等概落入任一方格內(nèi)，且它們的坐標(biāo)分別為（Xa，Ya）,（Xb，Yb）,但A，B不能同時(shí)落入同一方格內(nèi)。（1）若僅有質(zhì)點(diǎn)A，求A落入任一方格的平均信息量；（2）若已知A已落入，求B落入的平均信息量；（3）若A，B是可鑒別的，求A，B落入的平均信息量。解：

(1)?A落入任一格的概率48:P(ai)?148?I(ai)??logP(ai)?log48

?H(a)???P(ai)logP(ai)?log48?5.58biti?1(2)?在已知A落入任一格的狀況下?I(bi)??logP(bi)?log4748,B落入任一格的概率是:P(bi)?147?H(b)???P(bi)logP(bi)?log47?5.55biti?1(3)AB同時(shí)落入某兩格的概率?I(ABi)??logP(ABi)48?47是P(ABi)?148?147

H(ABi)???P(ABi?1i)logP(ABi)?log(48?47)?11.14bit1.3從大量統(tǒng)計(jì)資料知道,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%.假使你問一位男士：“你是否是紅綠色盲？〞他的回復(fù)可能是：“是〞，也可能“不是〞。問這兩個(gè)回復(fù)中各含有多少信息量？平均每個(gè)回復(fù)中各含有多少信息量？假使你問一位女士，則她的答案中含有多少平均信息量？解：

對(duì)于男士:回復(fù)“是〞的信息量：回復(fù)“不是〞的信息量平均每個(gè)回復(fù)信息量：I(my)??logP(my)??log7%?3.84bit：I(mn)??logP(mn)??log93%?0.105bitH(m)??P(my)?logP(my)?P(mn)?logP(mn)?-7%?log7%-93%?log93%?0.366bit對(duì)于女：回復(fù)“是〞的信息量：回復(fù)“不是〞的信息量平均每個(gè)回復(fù)信息量：I(wy)??logP(wy)??log0.5%：I(mn)??logP(mn)??log99.5%H(m)??P(wy)?logP(wy)?P(wn)?logP(wn)?0.0454bit?-0.5%?log0.5%-99.5%?log99.5%

?H.F.

2023CopyrightEELab508

1.4某一無記憶信源的符號(hào)集為｛0，1｝，已知p0?13，p1?23。（1）求符號(hào)的平均信息量；

（2）由1000個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0〞,（1000-m）個(gè)“1〞）

的自信量的表達(dá)式；（3）計(jì)算（2）中序列的熵。解：

（1）H(x)??p0logp0?p1logp1??13?log13?231313?log23?0.918bit/symble23bit（2）I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)log

（3）H(A)?1000H(X)?1000?0.918?918bit/sequencem1000?mH(A)???p0logp0?i?1?i?1p1logp1??m3log?2(1000?m)3log231.5設(shè)信源X的信源空間為：

a1a2a3a4a5a6?X：[x?p]：?p(X)0.170.190.180.160.180.3?求信源熵，并解釋為什么H(X)>log6，不滿足信源熵的極值性。解：

6H(X)???p(ai)logp(ai)i?1??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3?2.725bit/symble可見H(X)?2.725?log6?2.585不滿足信源熵的極值性r，但是此題中

這是由于信源熵的最大6值是在?i?1pi?1的約束條件下求得的，立的約束條件，所以?i?1pi?1.18不滿足信源熵最大值成H(X)?log6。

1.6為了使電視圖象獲得良好的明了度和規(guī)定的對(duì)比度，需要用5×105個(gè)像素和10個(gè)不同的亮度電平，并設(shè)每秒要傳送30幀圖象，所有的像素是獨(dú)立的，且所有亮度電平等概出現(xiàn)。求傳輸此圖象所需要的信息率（bit/s）。解：

由于亮度電平等概出現(xiàn)，由熵的極值性：10每個(gè)像素的熵是：H(x0)??i?1p(ai)logp(ai)?log10?3.322bit/pels556每幀圖像的熵是：H(X)?5?10?H(x0)?5?10?3.322?1.661?10bit/frame?所需信息速率為：R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?10bit/s7

?H.F.

2023CopyrightEELab508

1.7設(shè)某彩電系統(tǒng)，除了滿足對(duì)于黑白電視系統(tǒng)的上述要求外，還必需有30個(gè)不同的色調(diào)度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大2.5倍左右。證:

增加30個(gè)不同色調(diào)度所以每個(gè)像素需要用,在滿足黑白電視系統(tǒng)要30?10?300bit量化300求下,每個(gè)色調(diào)度需要10個(gè)亮度,?每個(gè)像素的熵是：H(x1)??H(x1)H(x0)?log300log10?i?1p(bi)logp(bi)?log300bit/pels?2.477?2.5信息量比黑白電視系統(tǒng)比黑白電視系統(tǒng)高大2.5倍作用,所以傳輸一致的2.5倍左右.

?彩色電視系統(tǒng)每個(gè)像素圖形,彩色電視系統(tǒng)信息率要1.8每幀電視圖像可以認(rèn)為是由3×105個(gè)像素組成，所以像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)。問每幀圖像含有多少信息量？若現(xiàn)在有一個(gè)廣播員，在約10000個(gè)漢字中選1000個(gè)字來口述這一電視圖像，試問若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需要多少漢字？解:

每幀圖象所含信息量5:56H(X)?3?10?H(x)?3?10?log128?2.1?10bit/symble每個(gè)漢字所出現(xiàn)概率p?100010000?0.1

?每個(gè)漢字所包含信息量描述一幀圖像需要漢字n?H(X)H(c)?2.1?106:H(c)??logp數(shù)n,H(X)?nH(c)?log0.1?6.322?10/frame55?最少需要6.322?10個(gè)漢字m1.9給定一個(gè)概率分布(p1,p2,...,pn)和一個(gè)整數(shù)m，0?m?n。定義qm?1??pi，證明：

i?1H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并說明等式何時(shí)成立？

證：

先證明f(x)??xlogx(x?0)為凸函數(shù)，如下：?f??(x)?(?xlogx)?????f??(x)?(?xlogx)????logexlogexm又x?0

?0即f(x)??xlogx(x?0)為凸函數(shù)。n又?H(p1,p2,...,pn)???pilogpi?i?1?i?m?1pilogpi?H.F.

2023CopyrightEELab508

由凸函數(shù)的性質(zhì)，變量n函數(shù)的平均值小于變量n的算術(shù)平均值的函數(shù)，nn可得：n?pilogpi??(n?m)ni?m?1f(pi)??i?m?1n?mqm??(n?m)f(i?m?1)??(n?m)i?m?1logi?m?1??qmlogn?mn?mn?mn?m?pi?pi?pi即??i?m?1pilogpi??qmlogqm?qmlog(n?m)當(dāng)且僅當(dāng)pm?1?pm?2?...?pn時(shí)等式成立。mnm?H(p1,p2,...,pn)???pilogpi??pilogpi???pilogpi?qmlogqm?qmlog(n?m)i?1i?m?1i?1m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqmi?1?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)當(dāng)且僅當(dāng)pm?1?pm?2?...?pn時(shí)等式成立。

1.10找出兩種特別分布:

p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。nm解：H(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi

i?1i?1

?H.F.

2023CopyrightEELab508

解：

由題意?I(A;B)?log?p(A)?10?2p(AB)p(A)?1?p(AB)?2p(A)?2時(shí),p(AB)?2?10

p(A)?132時(shí),p(AB)?116p(A)?0.5時(shí),p(AB)?1

2.6某信源發(fā)出8種消息，它們的先驗(yàn)概率以及相應(yīng)的碼字如下表所列。以a4為例，試求：消息概率碼字a11/4000a21/4001a31/8010a41/8011a51/16100a61/16101a71/16110a81/16111

(1)在W4＝011中，接到第一個(gè)碼字“0〞后獲得關(guān)于a4的信息量I(a4;0)；

(2)在收到“0〞的前提下，從其次個(gè)碼字符號(hào)“1〞中獲取關(guān)于a4的信息量I(a4;1/0)；(3)在收到“01〞的前提下，從第三個(gè)碼字符號(hào)“1〞中獲取關(guān)于a4的信息量I(a4;1/01)；(4)從碼字W4＝011中獲取關(guān)于a4的信息量I(a4;011)。解：

(1)I(a4;0)?log(2)I(a4;10)?logp(a40)p(a4)?log(1/8)/(1/4?1/4?1/8?1/8)1/8(1/8)/(1/8?1/8)(1/8)/(1/4?1/4?1/8?1/8)1(1/8)/(1/8?1/8)11/8?log8?3bit?log43?0.415bitp(a401)p(a40)?log?log3?1.585bit(3)I(a4;101)?logp(a4011)p(a401)p(a4011)p(a4)

?log?log2?1bit(4)I(a4;011)?log?log2.13把n個(gè)二進(jìn)制對(duì)稱信道串接起來，每個(gè)二進(jìn)制對(duì)稱信道的錯(cuò)誤傳輸概率為p(0?H.F.

n

2023CopyrightEELab508

解：

用數(shù)學(xué)歸納法證明當(dāng)n?2時(shí)由:?1?p[P2]???pp??1?p???1?p??p2:p??2p?2p2???1?p??1?2p?2p2221?2p?2p??22p?2p??p2?2p?2p?12[1?(1?2p)],則1???1?p2???1kp[1?(1?2p)]??2?[1?(1?2p)]k假設(shè)n?k時(shí)公式成立?1k[1?(1?2p)]?[Pk?1]??21k?[1?(1?2p)]?2?1k?1[1?(1?2p)]???21k?1?[1?(1?2p)]?2?Pk?1?故Pn?1212[1?(1?2p)nk?1p??1?p?1??2?1k?1[1?(1?2p)]?2?[1?(1?2p)k?1]][1?(1?2p)]12[1?(1?2p)]?n?1?2p?1?limPn?limn??1212n??設(shè)輸入信源空間則輸出信源X0:p(X0?0)?a,p(X0?1)?1?a(其中0?a?1)X?:p(X??0)?p(X0?0)?p(X??0X0?0)?p(X0?0)?p(X??0X0?1)?12p(X??1)??p(x?x0)?p(x?)(x0、x?取0或1)22?limI(X0;Xn)?n??2??i?12j?1p(X0iX?j)logp(X?jX0i)p(X?j)22???i?1j?1p(X0iX?j)logp(X?jX0i)p(X?j)???i?1j?1p(X0iX?j)log1?0

?H.F.

2023CopyrightEELab508

2.18試求以下各信道矩陣代表的信道的信道容量：(1)b1b2b3b4a1?0010???[Pa21]??1000?a3?0001?a??0100?4?(2)b1b2b3a1?100?a??2?100?[Pa3?010?

2]?a??4?010?a5?001?a??6?001?(3)b1b2b3b4b5b6b7b8a1?0.10.20.30.40000[P]?a?32?00000.30.700a3??0000000.40.2解：

(1)信道為一一對(duì)應(yīng)確定關(guān)系的無噪信道?C?logr?log4?2bit/symble(2)信道為歸并性無噪信道?C?logs?log3?1.585bit/symble

(3)信道為擴(kuò)張性無噪信道:?C?logr?log3?1.585bit/symble

2.19設(shè)二進(jìn)制對(duì)稱信道的信道矩陣為：01[P]?0?3/41/4?

1??1/43/4??(1)若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；(2)求該信道的信道容量及其達(dá)到的輸入概率分布。

b9b1000?00??0.10.3???H.F.

2023CopyrightEELab508

解：

2(1)H(X)???p(xi)logp(xi)??(i?1223???log1313?1234?137?log13)?0.9183bit/symblepy(0)?py(1)??i?12p(xi)p(y?0xi)?p(xi)p(y?1xi)?22323?34??125125122?i?1?14712?347H(Y)???p(yj)logp(yj)??(j?122?log122??log512

)?0.9799bit/symbleH(YX)???i?1?j?1p(xiyj)logp(yjxi)???i?1?j?1p(xi)p(yjxi)logp(yjxi)14?13?34log34)?0.8113bit/symble??(23?34log34?13?14log14?23?14log?I(X;Y)?H(Y)?H(YX)?0.9799?0.8113?0.1686bit/symbleH(XY)?H(X)?I(X;Y)?0.9183?0.1686?0.7497bit/symble(2)本信道為強(qiáng)對(duì)稱信道?C?logr?H(?)??log(r?1)?log2?H(0.25)?0.25log1?0.1887bit/symble信源輸入為等概分布,即p(X?0)?p(X?1)?12時(shí)達(dá)到信道容量C.

2.20設(shè)某信道的信道矩陣為

b1b2b3b4b5a1?0.60.10.10.10.1???a20.10.60.10.10.1??

[P]?a3?0.10.10.60.10.1???a40.10.10.10.60.1??a5??0.10.10.10.