信息理論基礎(chǔ) 周蔭清

jjk2.4居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1(是大學(xué)生)x2(不是大學(xué)生)P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yyl(身高＞160cm)y2(身高vl60cm)TOC\o"1-5"\h\zP(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：p(y/X])=0.75求：身高160厘米以上的某女孩是大學(xué)生的信息量即：〃/、ii「P(x)p(y/x)][(0.25x0.75).7I(x/y)=-logp(x/y)=-log——一i=-logI———-——=1.415b11112p(y)210.5丿12?8：英文字母中e出現(xiàn)的概率為0.105,c出現(xiàn)的概率為0.023,o出現(xiàn)的概率是0.001,分別計算它們的自信息量。解：I(e)=log10.105=I(e)=log10.105=3.25bit,I(c)=log10.023=5.44bit,I(o)=log10.001=9.97bit2.18有兩個二元隨機(jī)變量X和Y,它們的聯(lián)合概率為Yx=0ix=12y=011/83/8y=123/81/8并定義另一隨機(jī)變量Z=XY(一般乘積)，試計算：⑴H(X),H(Y),H(Z),H(XZ),H(YZ和H(XYZ)；H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；I(X;Y),I(X;Z),I(Y;Z),l(X;Y/Z),l(Y;Z/和l(X;Z/Y)。解：(1)

p(x)二p(xy)+p(xy)二13+—=88p(x)二pp(x)二p(xy)+p(xy)二13+—=88p(x)二p(xy)+p(xy)二31+—=88H(X)二一工p(x)logp(x)=1bit/symboli2iip(y)二P(xy)+p(xy)二1112113+—=88P(叮二P(x1y2)+P(x2叮二31+—=

88H(Y)=一工p(y)logp(y)=1bit/symbolj2j■Z_=Vz=0z=11721>_P(Z)_、88一jZ=XY的概率分布如下：H(Z)=-fkp(z)=

k71]1)_+—log—28828丿=0.544bit/symbolp(x)=p(xz)+p(xz)11112p(xz)=012p(xz)=p(x)=0.5111p(z)=p(xz)+p(xz)1112173p(xz)=p(z)-p(xz)=-0.5=-2111188p(z)=p(xz)+p(xz)21222p(xz)=p(z)=2228ik11331p(xz)log2p(x"=-(2log22+8log28+8ik)=1.406bit/symbol28p(y)=p(yz)+p(yz)1112p(yz)=012p(yz)=p(y)=0.5111p(z)=p(yz)+p(yz)1112173p(yz)=p(z)-p(yz)=-0.5=111188p(z)=p(yz)+p(yz)21222p(yz)=p(z)=2228H(YZ)=-W=1.406bit/symbol11H(YZ)=-W=1.406bit/symbolp(yjz丿log2p(yA)=-(2log石+8log28+8log2

p(Xyz)二0112p(xyz)二0122p(xyz)二0212P(xyz)+p(xyz)二p(xy)11111211p(xyz)二p(xy)二1/811111p(xyz)+p(xyz)二p(xz)121111111p(xiy2zi)二p(xizi)-p(xiyizi)二2p(xyz)+p(xyz)+p(xyz)=p(xy)211212213p(xyz)=p(xy)=211218p(xyz)=0221p(xyz)+p(xyz)=p(xy)22122222=1=8p(xyz)logijkp(xyz)=p(xy)22222H(XYZ)=ijk(113=-—log—+<log182882p(xyz)2ijk33]31]1)_+—log—+—log-8828828丿=1.811bit/symbol(2)(11333311AH(XY)=-Hp(xy)logp(xy)==--log石+石log石+石log石+石log石=1.811bit/symbol■-(828828828828丿ijH(X/Y)=H(XY)-H(Y)=1.811-1=0.811bit/symbolH(Y/X)=H(XY)-H(X)=1.811-1=0.811bit/symbolH(X/Z)=H(XZ)-H(Z)=1.406-0.544=0.862bit/symbolH(Z/X)=H(XZ)-H(X)=1.406-1=0.406bit/symbolH(Y/Z)=H(YZ)-H(Z)=1.406-0.544=0.862bit/symbolH(Z/Y)=H(YZ)-H(Y)=1.406-1=0.406bit/symbolH(X/YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbolH(Y/XZ)=H(XYZ)-H(XZ)=1.811-1.406=0.405bit/symbolH(Z/XY)=H(XYZ)-H(XY)=1.811-1.811=0bit/symbol(3)I(X;Y)=H(X)-H(X/Y)=1-0.811=0.189bit/symbolI(X;Z)=H(X)-H(X/Z)=1-0.862=0.138bit/symbolI(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bit/symbolI(X;Y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbolI(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bit/symbolI(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol11115.一?=.i.，亠、<—XIx=0x=1x=2x=31……■3.1設(shè)離散無記憶信源1234\，其發(fā)出的信息_P(X)」［3/81/41/41/8J為(202120130213001203210110321010021032011223210)，求此消息的自信息量是多少？此消息中平均每符號攜帶的信息量是多少？解：(1)此消息總共有14個0、13個1、12個2、6個3，因此此消息發(fā)出的概率是：此消息的信息量是：I二一log2p二87.811bit⑵此消息中平均每符號攜帶的信息量是：//n=87?811/45—1?951bit3.3設(shè)信源XP(X)3.3設(shè)信源XP(X)0.20.190.18器看6爲(wèi)］，求這個信源的熵，并解釋為什么H(X)>log6不滿足信源熵的極值性。解：H(X)=一fp(x)logp(x)i2i1=-(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)22222=2.657bit/symbolH(X)>log6—2.5852不滿足極值性的原因是fp(x)—1.07>1ii3.7設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0)=0.4,P(1)=0.6的概率發(fā)出符號。試問這個信源是否是平穩(wěn)的？試計算H(X2),H(X/XX)及H；12co⑶試計算H(X4)并寫出X4信源中可能有的所有符號。解：(1)這個信源是平穩(wěn)無記憶信源。因為有這些詞語：“它在任．意．時．間．而且不．論．以．前．發(fā)．生．過．什．么．符．號……”(2)

H(X2)=2H(X)=一2x(0.4log0.4+0.6log0.6)=1.942bit/symbol22H(X/XX)=H(X)=-Yp(x)logp(x)=一(0?4log0.4+0.6log0.6)=0.971bit/symbol3123i2i22iH=H(X)=0.971bit/symbol(3)H(X4)=4H(X)=-4x(0.4log0.4+0.6log0.6)=3.884bit/symbol22X4的所有符號：00000001001000110100010101100111100010011010110011011110111110113.11有一馬爾可夫信源，已知轉(zhuǎn)移概率為p(S/S)=2/3，p(S/S)=1/3，1121p(S/S)=1，p(S/S)=0。試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。1222解：[p(S)=p(S)p(S/S)+p(S)p(S/S)12/3TOC\o"1-5"\h\zJ111121212/3[p(S)=p(S)p(S/S)+p(S)p(S/S)2222121p(S)=2p(S)+p(S)312Jp(S)=1p(S)、231f1p(S)匕p(S)J231p(S)+p(S)=112fJp(S1)=3/4tp(S)=1/42H=-Mp(S)p(S/S)logp(S/S)TOC\o"1-5"\h\zgijijiij(32]23J1)—x—log—+—X—log-

(433433丿=0.689bit4.1設(shè)信源P(X4.1設(shè)信源P(X)0.6冷通過一干擾信道，接收符號為Y=【yW】51信道轉(zhuǎn)移矩陣為f6，求：_44_⑴信源X中事件x和事件x分別包含的自信息量；12收到消息yj=1,2)后，獲得的關(guān)于x(i=1,2)的信息量;ji信源X和信宿Y的信息熵；信道疑義度H(X/Y)和噪聲熵H(Y/X)；接收到信息Y后獲得的平均互信息量。解：I(x)二一logp(x)二一log0.6=0.737bit1212I(x)二一logp(x)二一log0.4=1.322bit22222)51p(y)=p(x)p(y/x)+p(x)p(y/x)=0.6x—+0.4x=0.611112126413p(y)=p(x)p(y/x)+p(x)p(y/x)=0.6x—+0.4x=0.42121222641(xi；yi)1(xi；yi)二log2p(y/x)11p(y)i5/6=log=0.47420.6bitI(x;y)二log22I(x;y)二logi2I(x;y)二log222p(y/x)]1/612632i=log=一1?263p(y)20.42p(y/x)]1/4[i2=log=一1?263p(y)20.61p(呎)二log型二0.90720.4Z"p(y)2bitbitbit3)3)H(X)二一工p(x)logp(x)=-(0.6log0.6+0.4log0.4)log10=0.971bit/symbolTOC\o"1-5"\h\zii2H(Y)=一Yp(y)logp(y)=-(0.6log0.6+0.4log0.4)log10=0.971bit/symboljj2j4)H(Y/X)=p(x)p(y/x)logp(y/x)ijijiij5111133=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog1066644442=0.715bit/symbolH(X)+H(Y/X)=H(Y)+H(X/Y)???H(X/Y)=H(X)+H(Y/X)-H(Y)=0.971+0.715-0.971=0.715bit/symbol5)I(X;Y)=H(X)—H(X/Y)=0.971—0.715=0.256bit/symbol_21_4.20設(shè)二元對稱信道的傳遞矩陣為32_33_⑴若P(0)=3/4,P⑴=1/4,求H(X),H(X/Y),H(Y/X和l(X;Y)；(2)求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布；解：1)TOC\o"1-5"\h\z311H(X)=一乙p(x)=一(一xlog+—xlog)=0.811bit/symbol24424H(Y/X)=p(x)p(y/x)logp(y/x)ijijiij(32l231l111l112l2)l10=一(一xlg+x_lg+x_lg+—xlg)xlog10

4334334334332=0.918bit/symbol3211p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=x—+—x—=0.5833112111121243433112p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=x=+=x=0.416712221212224343H(Y)=—Ep(y)=—(0.5833xlog0.5833+0.4167xlog0.4167)=0.980bit/symbolj22I(X;Y)=H(X)—H(X/Y)=H(Y)—H(Y/X)H(X/Y)=H(X)—H(Y)+H(Y/X)=0.811—0.980+0.918=0.749bit/symbolI(X;Y)=H(X)—H(X/Y)==0.811—0.749=0.062bit/symbol2)C=maxI(X;Y)=logm—H=log2+(^lg1+2lg2)xlog10=0.082bit/symbol2mi2333325.1有一信源，它有六個可能的輸出，其概率分布如下表所示，表中給出了對應(yīng)的碼A、B、C、D、E和F(1)求這些碼中哪些是唯一可譯碼；(2)求哪些碼是及時碼；(3)對所有唯一可譯碼求出其平均碼長r。消息概率ABCDEF1/200000000

S21/400101101010100S31/160100111101101100101S1/160110111111011101101110S51/16100011111111010111110111S61/1610101111111111011011111011解：(1)A、B、C、E編碼是唯一可譯碼(2)A、C、E碼是及時碼。(3)唯一可譯碼的平均碼長如下：TOC\o"1-5"\h\z6111111ZP(s)l-3