信息論測試題及答案(共9頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上一、設(shè)X、Y是兩個相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個二元隨機(jī)變量Z，取Z=YX（一般乘積）。試計(jì)算：1.H（Y）、H（Z）； 2.H（YZ）；3.I（X;Y）、I（Y;Z）；二、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣 1. 繪制狀態(tài)轉(zhuǎn)移圖； 2. 求該馬爾科夫信源的穩(wěn)態(tài)分布； 3. 求極限熵； 三、在干擾離散對稱信道上傳輸符號1和0，已知P（0）=1/4,P(1)=3/4,試求：1. 信道轉(zhuǎn)移概率矩陣P 2.信道疑義度 3.信道容量以及其輸入概率分布四、某信道的轉(zhuǎn)移矩陣，求信道容量，最佳輸入概率分布。五、求下列各離散信道的容量（其條

2、件概率P(Y/X)如下：）六、求以下各信道矩陣代表的信道的容量答案一、設(shè)X、Y是兩個相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量，其取-1或1的概率相等。定義另一個二元隨機(jī)變量Z，取Z=YX（一般乘積）。試計(jì)算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；解：1. =1bit/符號Z=YX而且X和Y相互獨(dú)立 = = 故H(Z)= =1bit/符號2.從上式可以看出:Y與X的聯(lián)合概率分布為:專心-專注-專業(yè)P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/符號3.X與Y相互獨(dú)立，故H(X|Y)=H(X)

3、=1bit/符號 I（X;Y）=H(X)-H(X|Y)=1-1=0bit/符號 I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符號二、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣 2. 繪制狀態(tài)轉(zhuǎn)移圖； 2. 求該馬爾科夫信源的穩(wěn)態(tài)分布； 3. 求極限熵；解：1.狀態(tài)轉(zhuǎn)移圖如右圖 2.由公式,可得其三個狀態(tài)的穩(wěn)態(tài)概率為：3.其極限熵: 三、在干擾離散對稱信道上傳輸符號1和0，已知P（0）=1/4,P(1)=3/4,試求：2. 信道轉(zhuǎn)移概率矩陣P 2.信道疑義度 3.信道容量以及其輸入概率分布010.90.10.10.901解：1.該轉(zhuǎn)移概率矩陣為 P= 2

4、.根據(jù)P（XY）=P（Y|X）P（X），可得聯(lián)合概率 P（XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由P（X|Y）=P(X|Y)/P(Y)可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=- 3.該信道是對稱信道，其容量為： C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符號 這時，輸入符號服從等概率分布，即四、某信道的轉(zhuǎn)移矩陣，求信道容量，最佳輸入概率分布。 解：該信道是準(zhǔn)對稱信道，分解為兩個互不相交的子信道矩陣 這里 C=logr-H(P的行矢量) - =0.174bit/符號 這時，