信息論與編碼-曹雪虹-課后習(xí)題參考答案

精心整理精心整理精心整理《信息論與編碼》-曹雪虹-課后習(xí)題答案第二章MACROBUTTONMTEditEquationSection2SEQMTEqn\r\h\*MERGEFORMATSEQMTSec\r1\h\*MERGEFORMATSEQMTChap\r1\h\*MERGEFORMAT2.1一個馬爾可夫信源有3個符號，轉(zhuǎn)移概率為：，，，，，，，，，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。解：狀態(tài)圖如下狀態(tài)轉(zhuǎn)移矩陣為：設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3由得計算可得2.2由符號集{0，1}組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解：于是可以列出轉(zhuǎn)移概率矩陣：狀態(tài)圖為：設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4有得計算得到2.3同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時出現(xiàn)”這事件的自信息；(2)“兩個1同時出現(xiàn)”這事件的自信息；(3)兩個點(diǎn)數(shù)的各種組合（無序）對的熵和平均信息量；(4)兩個點(diǎn)數(shù)之和（即2,3,…,12構(gòu)成的子集）的熵；(5)兩個點(diǎn)數(shù)中至少有一個是1的自信息量。解：(1)(2)(3)兩個點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個組合的概率是(4)參考上面的兩個點(diǎn)數(shù)的排列，可以得出兩個點(diǎn)數(shù)求和的概率分布如下：(5)2-42.5居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.6擲兩顆骰子，當(dāng)其向上的面的小圓點(diǎn)之和是3時，該消息包含的信息量是多少？當(dāng)小圓點(diǎn)之和是7時，該消息所包含的信息量又是多少？解：1）因圓點(diǎn)之和為3的概率該消息自信息量2）因圓點(diǎn)之和為7的概率該消息自信息量2.7設(shè)有一離散無記憶信源，其概率空間為（1）求每個符號的自信息量（2）信源發(fā)出一消息符號序列為{202120130213001203210110321010021032011223210}，求該序列的自信息量和平均每個符號攜帶的信息量解：同理可以求得因?yàn)樾旁礋o記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和就有：平均每個符號攜帶的信息量為bit/符號2.8試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個不同的消息，例如：{0,1,2,3}八進(jìn)制脈沖可以表示8個不同的消息，例如：{0,1,2,3,4,5,6,7}二進(jìn)制脈沖可以表示2個不同的消息，例如：{0,1}假設(shè)每個消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9“－”用三個脈沖“●”用一個脈沖(1)I(●)=I(－)＝(2)H=2-10(2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2.11有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，…，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。（1）如果僅對顏色感興趣，則計算平均不確定度（2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度（3）如果顏色已知時，則計算條件熵解：令X表示指針指向某一數(shù)字，則X={1,2,……….,38}Y表示指針指向某一種顏色，則Y={l綠色，紅色，黑色}Y是X的函數(shù)，由題意可知（1）bit/符號（2）bit/符號（3）bit/符號2.12兩個實(shí)驗(yàn)X和Y，X={x1x2x3},Y={y1y2y3},l聯(lián)合概率為如果有人告訴你X和Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？如果有人告訴你Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？在已知Y實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率為YXy1y2y3x17/241/240x21/241/41/24x301/247/24=2.3bit/符號

X概率分布Xx1x2x3P8/248/248/24bit/符號Y概率分布是=0.72bit/符號Yy1y2y3P8/248/248/242.13有兩個二元隨機(jī)變量X和Y，它們的聯(lián)合概率為YXx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z=XY（一般乘積），試計算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)Z=XY的概率分布如下：(2)(3)2-14(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15P(j/i)=2.16黑白傳真機(jī)的消息元只有黑色和白色兩種，即X={黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p(黑)＝0.3，白色出現(xiàn)的概率p(白)＝0.7。（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H(X)，并畫出該信源的香農(nóng)線圖（2）實(shí)際上各個元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求這個一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明原因。解：（1）bit/符號P(黑|白)=P(黑)P(白|白)＝P(白)P(黑|黑)＝P(黑)P(白|黑)＝P(白)（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P(白)＝0.7不隨時間變化，P(黑)＝0.3不隨時間變化）＝0.512bit/符號2.17每幀電視圖像可以認(rèn)為是由3105個像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.20給定語音信號樣值X的概率密度為,,求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.24連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X),H(Y),H(XYZ)和I(X;Y)。（提示：）解：2.25某一無記憶信源的符號集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號的平均熵；(2)有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100-m）個“1(3)計算(2)中序列的熵。解：(1)(2)(3)2-26P(i)=P(ij)=H(IJ)=2.29有一個一階平穩(wěn)馬爾可夫鏈,各Xr取值于集合,已知起始概率P(Xr)為，轉(zhuǎn)移概率如下圖所示ji1231231/22/32/31/401/31/41/30求的聯(lián)合熵和平均符號熵求這個鏈的極限平均符號熵求和它們說對應(yīng)的冗余度解：（1）符號X1，X2的聯(lián)合概率分布為12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布為

那么=1.209bit/符號X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=1.26bit/符號/符號所以平均符號熵／符號（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為由得到計算得到又滿足不可約性和非周期性/符號(3)/符號/符號/符號2-30(1)求平穩(wěn)概率P(j/i)=解方程組得到(2)信源熵為:2-31P(j/i)=解方程組得到W1=,W2=,W3=2.32一階馬爾可夫信源的狀態(tài)圖如圖2－13所示，信源X的符號集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認(rèn)為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進(jìn)行比較解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3得到計算得到由齊次遍歷可得符號由最大熵定理可知存在極大值或者也可以通過下面的方法得出存在極大值:又所以當(dāng)p=2/3時0<p<2/3時2/3<p<1時所以當(dāng)p=2/3時存在極大值,且符號所以2-33(1)解方程組:得p(0)=p(1)=p(2)=(2)(3)當(dāng)p=0或p=1時信源熵為0練習(xí)題：有一離散無記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計兩個獨(dú)立的實(shí)驗(yàn)去觀察它，其結(jié)果分別為，已知條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001求和，并判斷哪一個實(shí)驗(yàn)好些求，并計算做Y1和Y2兩個實(shí)驗(yàn)比做Y1和Y2中的一個實(shí)驗(yàn)可多得多少關(guān)于X的信息求和，并解釋它們的含義解:(1)由題意可知Y1X0101/40101/421/41/4Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2p(y2=1)=p(y2=1)=1/2=0.5bit/符號符號>所以第二個實(shí)驗(yàn)比第一個實(shí)驗(yàn)好P(y1y2x)0001101101/40001001/40201/401/4（2）因?yàn)閅1和Y2相互獨(dú)立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號=1.5bit/符號由此可見，做兩個實(shí)驗(yàn)比單獨(dú)做Y1可多得1bit的關(guān)于X的信息量，比單獨(dú)做Y2多得0.5bit的關(guān)于X的信息量。（3）=1.5-1=0.5bit/符號表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得=1.5-0.5=1bit/符號表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！第三章3.1設(shè)二元對稱信道的傳遞矩陣為(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布；解：1)2)其最佳輸入分布為3-2某信源發(fā)送端有2個符號，，i＝1，2；，每秒發(fā)出一個符號。接受端有3種符號，j＝1，2，3，轉(zhuǎn)移概率矩陣為。計算接受端的平均不確定度；計算由于噪聲產(chǎn)生的不確定度；計算信道容量。解：聯(lián)合概率X Y0則Y的概率分布為Y（1）取2為底（2）取2為底取e為底=03.3在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為： 為一個BSC信道所以由BSC信道的信道容量計算公式得到：3.4求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)=0和1/2時的信道容量C的大小。XX0Y0111221－1－解:信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解=(i=1,2,3)解得所以C=log=log[20+2×2(1-)log(1-)+]=log[1+21-H()]=log[1+2]而(j=1,2,3)得所以P(a1)=P(b1)=當(dāng)=0時,此信道為一一對應(yīng)信道,得C=log3,當(dāng)=1/2時,得C=log2,,3.5求下列二個信道的信道容量，并加以比較（1）（2） 其中p+=1解：（1）此信道是準(zhǔn)對稱信道，信道矩陣中Y可劃分成三個互不相交的子集由于集列所組成的矩陣,而這兩個子矩陣滿足對稱性，因此可直接利用準(zhǔn)對稱信道的信道容量公式進(jìn)行計算。C1=logr-H(p1’p2’p3其中r=2,N1=M1=1-2N2=M2=4所以C1=log2-H(,p-ε,2ε)-(1-2)log(1-2)-2log4=log2+()log()+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε=log2-2εlog2-(1-2ε)log(1-2ε)+()log()+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+()log()+(p-)log(p-)輸入等概率分布時達(dá)到信道容量。（2）此信道也是準(zhǔn)對稱信道，也可采用上述兩種方法之一來進(jìn)行計算。先采用準(zhǔn)對稱信道的信道容量公式進(jìn)行計算，此信道矩陣中Y可劃分成兩個互不相交的子集，由子集列所組成的矩陣為，這兩矩陣為對稱矩陣其中r=2,N1=M1=1-2N2=M2=2，所以C=logr-H(-,p-ε,2ε,0)-=log2+(-)log(-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε=log2-(1-2ε)log(1-2ε)+(-)log(-)+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+2εlog2+(-)log(-)+(p-ε)log(p-ε)=C1+2εlog2輸入等概率分布（P（a1）=P（a2）=1/2）時達(dá)到此信道容量。比較此兩信道容量，可得C2=C1+2εlog23-6設(shè)有擾離散信道的傳輸情況分別如圖3－17所示。求出該信道的信道容量。解：對稱信道取2為底bit/符號3-7(1)條件概率，聯(lián)合概率，后驗(yàn)概率，，（2）H(Y/X)=（3）當(dāng)接收為y2，發(fā)為x1時正確，如果發(fā)的是x1和x3為錯誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平均錯誤概率為（5）仍為0.733（6）此信道不好原因是信源等概率分布，從轉(zhuǎn)移信道來看正確發(fā)送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真嚴(yán)重x3-y3的概率0完全失真（7）H(X/Y)=3.8設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè){(信號功率+噪聲功率)/噪聲功率}=10dB。試計算該信道的最大信息傳輸速率Ct。解：3.9在圖片傳輸中，每幀約有2.25106個像素，為了能很好地重現(xiàn)圖像，能分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。解：3-10一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應(yīng)等于多大？解：（1）（2）（3）歡迎下載！第四章4.2某二元信源其失真矩陣為求這信源的Dmax和Dmin和R(D)函數(shù)。解：因?yàn)槎雀判旁绰适д婧瘮?shù)：其中n=2,所以率失真函數(shù)為：4.3一個四元對稱信源，接收符號Y={0,1,2,3}，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數(shù)，并畫出其曲線（取4至5個點(diǎn)）。解：因?yàn)閚元等概信源率失真函數(shù)：其中a=1,n=4,所以率失真函數(shù)為：函數(shù)曲線：其中：4-3信源熵為Dmax=min{,,,}R(Dmax)=0Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2只要滿足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]區(qū)間可以任意取值。歡迎下載！第五章5-1將下表所列的某六進(jìn)制信源進(jìn)行二進(jìn)制編碼，試問：消息概率u1u2u3u4u5u61/21/41/161/161/161/160000010100111001010010110111011110111110101101110111101111100101101110010011111100000101011011001001100101110111這些碼中哪些是唯一可譯碼？哪些碼是非延長碼？對所有唯一可譯碼求出其平均碼長和編譯效率。解：首先，根據(jù)克勞夫特不等式，找出非唯一可譯碼不是唯一可譯碼，而：又根據(jù)碼樹構(gòu)造碼字的方法，，的碼字均處于終端節(jié)點(diǎn)他們是即時碼5-2(1)因?yàn)锳,B,C,D四個字母,每個字母用兩個碼,每個碼為0.5ms,所以每個字母用10ms當(dāng)信源等概率分布時,信源熵為H(X)=log(4)=2平均信息傳遞速率為bit/ms=200bit/s(2)信源熵為H(X)==0.198bit/ms=198bit/s5-5(1)H(U)=(2)每個信源使用3個二進(jìn)制符號,出現(xiàn)0的次數(shù)為出現(xiàn)1的次數(shù)為P(0)=P(1)=(3)(4)相應(yīng)的香農(nóng)編碼信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x8