信息論考試試題集(共3頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上1、 自信息量的公式為 （ ）。2、 連續(xù)信源輸出信號(hào)的峰值功率受限時(shí)，（ 均勻）分布的熵最大；連續(xù)信源輸出信號(hào)的平均功率受限時(shí)，（ 正態(tài) ）分布的熵最大。3、當(dāng)X和Y相互獨(dú)立時(shí)，互信息為（ 0 ）。 A、 1 B、 0 C、某一個(gè)正數(shù)4、信源為X，信宿為Y，條件熵H（X|Y）稱為（ 信道損失熵 ）。5、信道編碼定理：對(duì)于一個(gè)離散無記憶信道，若其信道容量為C，輸入信源符號(hào)長度為L，當(dāng)信息傳輸速率（ R C ）時(shí)，總可以找到一種編碼方法，當(dāng)L足夠長時(shí)，譯碼的錯(cuò)誤概率為任意小正數(shù)。1 已知X，Y0，1，XY構(gòu)成的聯(lián)合概率為：P（00）=P（11）=，P（01）=P（10）

2、=，( ), 計(jì)算：（1） 熵H（X），H（Y）；（2） 條件熵H（X/Y），H（Y/X）；（3） 互信息I（X；Y）。解：1) p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5 H(X)=H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (6分) H(XY)=-2()=1.8113 H(Y|X)= H(X|Y)= 1.8113-1=0.8113(8分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=2-1.8113=0.1887 (5分2. 求下列信道的信道容量和最佳分布。( ) 該信道

3、為對(duì)稱信道，最佳分布是等概率分布p(X)= (6分) 信道容量：C=(9分)1. 某連續(xù)信道的帶寬為8 kHz，信噪比為31，現(xiàn)在要以R=比特/秒以速度傳輸信息，能否實(shí)現(xiàn)？ 如果要實(shí)現(xiàn)信息傳輸，信噪比的最小值為多少？ (212.5= 5792.6)解： 香農(nóng)定理： (8分) 這時(shí)通信傳輸不能實(shí)現(xiàn)。 SNR最小值為5791.6(2分)2 投擲一個(gè)正常的硬幣直到正面出現(xiàn)為止，令變量X表示投擲次數(shù)。求：1列出隨機(jī)變量X的概率分布；計(jì)算熵H(X)。1） 2） H（X）=2(10分)1條件自信息量的公式為（ ）。2離散無記憶信源輸出n個(gè)不同的消息符號(hào)，當(dāng)信源呈等概率分布情況下，信源熵取最大值，且為H（X

4、）=（ ）。3、平均互信息I（X；Y）是輸入信源概率分布p(ai),i=1,2,n的（ C ）。 A、非凸函數(shù) B、下凸函數(shù) C、上凸函數(shù)4、I（X；Y）=H（X）+H（Y）-H（XY），說明信道兩端隨機(jī)變量X和Y之間的平均互信息量等于通信前、后整個(gè)系統(tǒng)不確定度（ A減小 ）的量。5、當(dāng)（ B ）條件，傳遞最大互信息稱之為信道容量。A、 固定信源特性，改變信道特性B、 改變信源特性，固定信道特性C、 信源特性和信道特性都變化一、已知X，Y0，1，XY構(gòu)成的聯(lián)合概率為：P（00）=，P（10）=，P（01）=P（11）=，（ ），計(jì)算：（1）熵H（X），H（Y）；（2）聯(lián)合熵H（XY），條件熵H

5、（X/Y）；（3）互信息I（X；Y）。解：1) p(x=0)=，p(x=1)= ，p(y=0)= ，p(y=1)= H(X)=0.9799， H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (4分) H(XY)=-()=1.9591 H(X|Y)= 1.9591-1=0.9591(4分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=0.9799-0.9591=0.0208 (5二、求下列信道的信道容量和最佳分布。( ) 該信道為對(duì)稱信道，最佳分布是等概率分布p(X)= (6分) 信道容量：三、設(shè)電話信號(hào)的信息率為比特/秒，在一個(gè)噪聲功率譜為、限頻W、限輸入功率P的高斯信道中傳送。1） 若W=4kHz，問無差錯(cuò)傳輸所需的最小功率P是多少瓦？(214= 16384)2）若W趨于無窮大時(shí)，則P是多少瓦？(ln2=0.6931)解： 香農(nóng)定理： (4分) 1） RC P=0.3277瓦(8分) 2) (6分)P最小值為(2分)四、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如下，信源