信息理論與編碼參考答案

1、2.3 一副充分洗亂的牌（含52張），試問：（1）任一特定排列所給出的不確定性是多少？（2）隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不相同時(shí)的不確定性是多少？ 解：（1）52張撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)，為因?yàn)閾淇伺瞥浞窒磥y，任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)生概率為 可得，該排列發(fā)生所給出的信息量為 bit dit（2）設(shè)事件B為從中抽取13張牌，所給出的點(diǎn)數(shù)互不相同。 撲克牌52張中抽取13張，不考慮排列順序，共有種可能的組合。13張牌點(diǎn)數(shù)互不相同意味著點(diǎn)數(shù)包括A，2，K，而每一種點(diǎn)數(shù)有4種不同的花色意味著每個(gè)點(diǎn)數(shù)可以取4中花色。所以1

2、3張牌中所有的點(diǎn)數(shù)都不相同的組合數(shù)為。因?yàn)槊糠N組合都是等概率發(fā)生的，所以 則發(fā)生事件B所得到的信息量為 bit dit2.5 設(shè)在一只布袋中裝有100只對(duì)人手的感覺完全相同的木球，每只上涂有1種顏色。100只球的顏色有下列三種情況：(1) 紅色球和白色球各50只；(2) 紅色球99只，白色球1只；(3) 紅，黃，藍(lán)，白色各25只。求從布袋中隨意取出一只球時(shí)，猜測(cè)其顏色所需要的信息量。解：猜測(cè)木球顏色所需要的信息量等于木球顏色的不確定性。令R“取到的是紅球”，W“取到的是白球”，Y“取到的是黃球”，B“取到的是藍(lán)球”。（1）若布袋中有紅色球和白色球各50只，即 則 bit（2）若布袋中紅色球99

3、只，白色球1只，即 則 bit bit（3）若布袋中有紅，黃，藍(lán)，白色各25只，即 則 bit2.7 設(shè)信源為求，井解釋為什么，不滿足信源熵的極值性。解： bit/symbol不滿足極值性的原因是，不滿足概率的完備性。2.8 大量統(tǒng)計(jì)表明，男性紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男同志是否為紅綠色盲，他回答“是”或“否”。（1）這二個(gè)回答中各含多少信息量?（2）平均每個(gè)回答中含有多少信息量?（3）如果你問一位女同志，則答案中含有的平均信息量是多少?解：對(duì)于男性，是紅綠色盲的概率記作，不是紅綠色盲的概率記作，這兩種情況各含的信息量為 bit bit平均每個(gè)回答中含有的信息量

4、為 bit/回答對(duì)于女性，是紅綠色盲的概率記作，不是紅綠色盲的記作，則平均每個(gè)回答中含有的信息量為 bit/回答 聯(lián)合熵和條件熵2.9 任意三個(gè)離散隨機(jī)變量、和，求證：。證明：方法一：要證明不等式成立，等價(jià)證明下式成立： 根據(jù)熵函數(shù)的定義得證方法二：因?yàn)樗裕笞C不等式等價(jià)于因?yàn)闂l件多的熵不大于條件少的熵，上式成立，原式得證。2.11 設(shè)隨機(jī)變量和的聯(lián)合概率空間為定義一個(gè)新隨機(jī)變量（普通乘積）。 （1）計(jì)算熵、以及；（2）計(jì)算條件熵、以及；（3）計(jì)算互信息量、以及； 解 （1） bit/symbol bit/symbol可得的概率空間如下 由得由對(duì)稱性可得（2）H-H=H-H根據(jù)對(duì)稱性，H=H

5、H=H-HH=H-H根據(jù)對(duì)稱性，H=HH=HH=H-H根據(jù)對(duì)稱性，把X和Y互換得H=HH=H-H(3)根據(jù)對(duì)稱性，得根據(jù)對(duì)稱性得2.17 設(shè)信源發(fā)出二次擴(kuò)展消息,其中第一個(gè)符號(hào)為A、B、C三種消息，第二個(gè)符號(hào)為D、E、F、G四種消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次擴(kuò)展信源的聯(lián)合熵。解：聯(lián)合概率為可得X,Y的聯(lián)合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以2.19 設(shè)某離散

6、平穩(wěn)信源，概率空間為并設(shè)信源發(fā)出的符號(hào)只與前一個(gè)相鄰符號(hào)有關(guān)，其聯(lián)合概率為如下表所示：0120 1/4 1/1801 1/18 1/3 1/1820 1/18 7/36求信源的信息熵、條件熵與聯(lián)合熵，并比較信息熵與條件熵的大小。解：邊緣分布為條件概率如下表：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信源熵為 條件熵： 可知 因?yàn)闊o條件熵不小于條件熵，也可以得出如上結(jié)論。聯(lián)合熵： 說明：（1）符號(hào)之間的相互依賴性造成了信源的條件熵比信源熵少。（2）聯(lián)合熵表示平均每?jī)蓚€(gè)信源符號(hào)所攜帶的信息量。平均每一個(gè)信源符號(hào)所攜帶的信息量近似為 原因在于考慮了符號(hào)間的統(tǒng)計(jì)相

7、關(guān)性，平均每個(gè)符號(hào)的不確定度就會(huì)小于不考慮符號(hào)相關(guān)性的不確定度。2.20 黑白氣象傳真圖的消息只有黑色（B）和白色（W）兩種，即信源，設(shè)黑色出現(xiàn)的概率為，白色的出現(xiàn)概率為。（1）假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵（2）假設(shè)圖上黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為， ，求此一階馬爾可夫信源的熵。（3）分別求上述兩種信源的剩余度，并比較和的大小，試說明其物理意義。解：（1）假設(shè)傳真圖上黑白消息沒有關(guān)聯(lián)，則等效于一個(gè)DMS，則信源概率空間為信源熵為（2）該一階馬爾可夫信源的狀態(tài)空間集為根據(jù)題意可得狀態(tài)的一步轉(zhuǎn)移矩陣狀態(tài)極限概率滿足即可以解得，該一階馬爾可夫信源的熵為（3）黑白消息信源的剩余度為一

8、階馬爾可夫信源的剩余度為由前兩小題中計(jì)算的和比較可知該結(jié)果說明：當(dāng)信源的消息（符號(hào)）之間有依賴時(shí)，信源輸出消息的不確定性降低。所以，信源消息之間有依賴時(shí)信源熵小于信源消息之間無依賴時(shí)信源熵。這表明信源熵反映了信源的平均不確定性的大小。而信源剩余度反映了信源消息依賴關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間依賴關(guān)系就越大。2.23 設(shè)信源為試求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次擴(kuò)展信源的概率空間和熵。解：（1） （2） 假設(shè)X為DMS，則可得二次擴(kuò)展信源的概率空間2次擴(kuò)展信源的熵為三次擴(kuò)展信源的概率空間及熵為2.18 設(shè)有一個(gè)信源，它產(chǎn)生0，1符號(hào)的信息。它在任意時(shí)間而且

9、不論以前發(fā)生過什么符號(hào)，均按 的概率發(fā)出符號(hào)。（1）試問這個(gè)信源是否是平穩(wěn)的？（2）試計(jì)算,及；（3）試計(jì)算并寫出信源中可能有的所有符號(hào)。解：（1） 該信源在任何時(shí)刻發(fā)出的符號(hào)概率都是相同的，即信源發(fā)出符號(hào)概率分布與時(shí)間起點(diǎn)無關(guān)，因此這個(gè)信源是平穩(wěn)信源。又因?yàn)樾旁窗l(fā)出的符號(hào)之間彼此獨(dú)立。所以該信源也是離散無記憶信源。（2） （信源無記憶）（3） （信源無記憶）的所有符號(hào)：2.23 設(shè)信源為試求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次擴(kuò)展信源的概率空間和熵。解：（1） （2） 假設(shè)X為DMS，則可得二次擴(kuò)展信源的概率空間2次擴(kuò)展信源的熵為三次擴(kuò)展信源的概率空間及熵為2.2

10、5 設(shè)連續(xù)隨機(jī)變量X的概率密度函數(shù)為（1） 求X的熵；（2） 求的熵；（3） 求的熵。解：（1）因?yàn)樗怨剩?） 首先求得Y的分布函數(shù)Y的概率密度為Y的微分熵為 （令） 因?yàn)橐阎猉，關(guān)于Y沒有不確定，常數(shù)A不會(huì)增加不確定度，所以從熵的概念上也可判斷此時(shí)（3）首先求得Y的分布函數(shù)Y的概率密度為Y的微分熵為 （令） 3.2 信道線圖如下，試確定該信道的轉(zhuǎn)移概率矩陣 解：按照轉(zhuǎn)移矩陣的排列原則：行對(duì)應(yīng)輸入符號(hào)，列對(duì)應(yīng)輸出符號(hào)3.3 的轉(zhuǎn)移矩陣如下（1）畫出信道線圖；（2）若輸入概率為，求聯(lián)合概率、輸出概率以及后驗(yàn)概率。解：（1）（2）乘以的第1行，乘以的第2行，得聯(lián)合概率矩陣：的各列元素相加得對(duì)應(yīng)的

11、輸出概率，寫成矩陣形式：的各列元素除以對(duì)應(yīng)的輸出概率，得后驗(yàn)概率矩陣：3.4 設(shè)離散無記憶信源通過離散無記憶信道傳送信息，設(shè)信源的概率分布和信道的線圖分別為 試求：（1）信源的符號(hào)和分別含有的自信息；（2）從輸出符號(hào)所獲得的關(guān)于輸入符號(hào)的信息量；（3）信源和信道輸出的熵；（4）信道疑義度和噪聲熵；（5）從信道輸出中獲得的平均互信息量。解：(1) /符號(hào) /符號(hào) (2) = /符號(hào) = /符號(hào) = /符號(hào)= /符號(hào)(3) /符號(hào) /符號(hào)(4)、(5) /符號(hào) /符號(hào) /符號(hào) /符號(hào)又根據(jù) = /符號(hào)3.6 舉出下列信道的實(shí)例，給出線圖和轉(zhuǎn)移矩陣。（1）無損的，但不是確定的，也不是對(duì)稱的；（2）準(zhǔn)

12、對(duì)稱且無損，但不是確定的；（3）無損的確定信道。解：(1) 滿足（無損），(不確定)，不具有行列排列性，線圖和轉(zhuǎn)移矩陣如下 (2) 無損要求；不確定要求，具有行排列性，線圖和轉(zhuǎn)移矩陣如下：(3) 無損、確定信道的線圖和轉(zhuǎn)移矩陣如下3.7 求下列兩個(gè)信道的信道容量和最佳輸入分布，并加以比較。其中。 解：(1) 方法一：利用一般DMC信道容量解的充要條件，計(jì)算各偏互信息，并使之均等于信道容量C，再結(jié)合輸出概率的完備性，可以解出信道容量，最后利用全概率公式得出最佳輸入分布。該方法通用，但過程繁瑣。方法二：觀察發(fā)現(xiàn)此信道是準(zhǔn)對(duì)稱信道。信道矩陣中可劃分為二個(gè)互不相交的子集，如下：，而這兩個(gè)子矩陣滿足對(duì)稱

13、性，因此，可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。 其中n=2, ，, ，所以輸入等概率分布時(shí)達(dá)到信道容量。（2）此信道也是準(zhǔn)對(duì)稱信道，現(xiàn)采用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。此信道矩陣中可劃分成兩個(gè)互不相交的子集為 ，這兩矩陣為對(duì)稱矩陣。其中 n=2， ， ，所以輸入等概率分布（）時(shí)達(dá)到此信道容量。兩個(gè)信道的噪聲熵相等但第二個(gè)信道的輸出符號(hào)個(gè)數(shù)較多，輸出熵較大，故信道容量也較大。3.8 求下列二個(gè)信道的信道容量及其最佳的輸入概率分布。 解：圖中2個(gè)信道的信道矩陣為 矩陣為行列排列陣，其滿足對(duì)稱性，所以這兩信道是對(duì)稱離散信道。由對(duì)稱離散信道的信道容量公式得 比特/符號(hào)特/符號(hào)最佳輸入分布是輸入為等概率分布。3.9 設(shè)信道轉(zhuǎn)移矩陣為（1）求信道容量和最佳輸入分布的一般表達(dá)式；（2）當(dāng)和時(shí)，信道容量分別為多少？并針對(duì)計(jì)算結(jié)果作一些說明。解：（1）該信道屬一般信道，設(shè)最佳輸入分布為，三個(gè)輸入概率外加信道容量，共4個(gè)參數(shù)，需列4個(gè)方程。由定理3.6，有化簡(jiǎn)得解得轉(zhuǎn)移概率已知，輸出分布已求出，根據(jù)可求出。解得（2） 當(dāng)p=0,此信道為一一對(duì)應(yīng)信道，得 bit/信道符號(hào)，最佳輸入分布為當(dāng)時(shí)，=1 bit/信道符號(hào)，最佳輸入分布為，p=0時(shí)，信道為確定無損信道，可以從輸出端得到信源的全部信息量，信源的最大熵即為信道容量。但