信息論與編碼習(xí)題與答案第二章

第一章信息、消息、信號的定義？三者的關(guān)系？通信系統(tǒng)的模型？各個(gè)主要功能模塊及作用？第二章信源的分類？自信息量、條件自信息量、平均自信息量、信源熵、不確定度、條件熵、疑義度、噪聲熵、聯(lián)合熵、互信息量、條件互信息量、平均互信息量以及相對熵的概念？計(jì)算方法?冗余度?具有概率為的符號自信息量：條件自信息量：平均自信息量、平均不確定度、信源熵：條件熵：聯(lián)合熵：互信息：熵的基本性質(zhì)：非負(fù)性、對稱性、確定性2.3同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時(shí)出現(xiàn)”這事件的自信息；(2)“兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息；(3)兩個(gè)點(diǎn)數(shù)的各種組合（無序）對的熵和平均信息量；(4)兩個(gè)點(diǎn)數(shù)之和（即2,3,…,12構(gòu)成的子集）的熵；(5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解：(1)(2)(3)兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個(gè)組合的概率是(4)兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}2.7設(shè)有一離散無記憶信源，其概率空間為（1）求每個(gè)符號的自信息量（2）信源發(fā)出一消息符號序列為{202120130213001203210110321010021032011223210}，求該序列的自信息量和平均每個(gè)符號攜帶的信息量解：同理可以求得因?yàn)樾旁礋o記憶，所以此消息序列的信息量就等于該序列中各個(gè)符號的信息量之和就有：平均每個(gè)符號攜帶的信息量為bit/符號2.8試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：{0,1,2,3,4,5,6,7}二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9國際莫爾斯電碼用點(diǎn)和劃的序列發(fā)送英文字母，劃用連續(xù)三個(gè)單位的電流脈沖表示，點(diǎn)用持續(xù)一個(gè)單位的電流脈沖表示。其劃出現(xiàn)的概率是點(diǎn)出現(xiàn)概率的1/3，計(jì)算：（1）點(diǎn)和劃的信息量；（2）點(diǎn)和劃的平均信息量。解：“－”出現(xiàn)的概率是“”出現(xiàn)概率的1/3SEQ圖表\*romani(1)I()＝I()=(2)H=2-10在一個(gè)袋中放5個(gè)黑球、10個(gè)白球，以摸一個(gè)球?yàn)橐淮螌?shí)驗(yàn)，摸出的球不在放進(jìn)去。求：（1）一次實(shí)驗(yàn)包含的不確定度；第一次實(shí)驗(yàn)X摸出的是黑球，第二次實(shí)驗(yàn)Y給出的不確定度；第一次實(shí)驗(yàn)X摸出的是白球，第二次實(shí)驗(yàn)Y給出的不確定度；第二次實(shí)驗(yàn)Y包含的不確定度。解：(2)P(黑/黑)=P(白/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)H(Y)= 2-14在一個(gè)二進(jìn)制信道中，信源消息，且p(1)=p(0),信宿的消息,信道傳輸概率，。求：在接收端收到y(tǒng)=0后，所提供的關(guān)于傳輸消息x的平均條件互信息量I(X;y=0);該情況所能提供的平均互信息量I(X;Y)。解：(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15已知信源發(fā)出a1和a2兩種消息，且p(a1)=p(a2)=1/2,此消息在二進(jìn)制對稱信道上傳輸，信道傳輸特性為。求互信息量I(a1;b1)和I(a1;b2)。解：信道轉(zhuǎn)移概率矩陣為P(j/i)=2.17每幀電視圖像可以認(rèn)為是由3105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2-26一個(gè)信源發(fā)出二重符號序列消息（X1，X2),其中第一個(gè)符號X1可以是A,B,C中的一個(gè)，第二個(gè)符號X2可以是D,E,F,G中的一個(gè)。已知各個(gè)為p(A)=1/2,p(B)=1/3,p(C)=1/6;各個(gè)值列成如下