信息論與編碼第三章課后習(xí)題答案

1、第三章課后習(xí)題【3.1】 設(shè)信源 (3信源X 和信源Y 的信息熵;(4信道疑義度|(Y X H 和噪聲熵|(X Y H ; (5接收到消息Y 后獲得的平均互信息。 解:(1信源X 中事件1x 和2x 分別含有的自信息分別為:(1log(1log(22=x P x I 比特(2根據(jù)給定的信道以及輸入概率分布,可得8.0|(11=Xi i x y P x P y P2.0|(22=Xi i x y P x P y P所求的互信息量分別為:059.02425log 8.06/5log (|(log;(11111=y P x y P y x I 比特xx 12093.01615log 8.04/3lo

2、g (|(log;(12112=y P x y P y x I 比特263.065log 2.06/1log (|(log;(21221=y P x y P y x I 比特322.045log 2.04/1log (|(log;(22222=y P x y P y x I 比特(3信源X 以及Y 的熵為:x P x P X H 比特/符號(hào)y P y P Y H 比特/符號(hào)(4信道疑義度=XYy x P x y P x P Y X H |(log |(|(而相關(guān)條件概率|(y x P 計(jì)算如下:8583|(12=y x P 212.06/6.0(|(,(|(211222121=y P x P

3、x y P y P y x P y x P21|(22=y x P 由此計(jì)算出信道疑義度為:9635.021log 4183log 434.021log 6185log 656.0|(= + +=Y X H 比特/符號(hào)噪聲熵為:符號(hào)比特/7145.041log 4143log 434.061log 6165log 656.0|(log |(|(= + +=x y P x y P x P X Y H(5接收到信息Y 后獲得的平均互信息為:0075.0|(;(=Y X H X H Y X I 比特/符號(hào)【3.2】 設(shè)8個(gè)等概率分布的消息通過(guò)傳遞概率為p 的BSC 進(jìn)行傳送,8個(gè)消息相應(yīng)編成下述碼字

4、:M 1=0000,M 2=0101,M 3=0110,M 4=0011 M 5=1001,M 6=1010,M 7=1100,M 8=1111試問(wèn):(1接收到第一個(gè)數(shù)字0與M 1之間的互信息;(2接收到第二個(gè)數(shù)字也是0時(shí),得到多少關(guān)于M 1的附加互信息; (3接收到第三個(gè)數(shù)字仍為0時(shí),又增加了多少關(guān)于M 1的互信息; (4接收到第四個(gè)數(shù)字還是0時(shí),再增加了多少關(guān)于M 1的互信息。 解:各個(gè)符號(hào)的先驗(yàn)概率均為81(1根據(jù)已知條件,有p x y P y P M y P =0|0(0000|0(|0(11111 21|0(0(1=iM i i M P M P y P 因此接收到第一個(gè)數(shù)字0與M 1

5、之間的互信息為:p py P M y P y M I log 12/1log 0(|0(log0;(11111+=比特(2根據(jù)已知條件,有2211210000|00(|00(p y y P M y y P = 4124281|00(00(2221=+=p p p p M P M P y y P iM i i 因此接收到第二個(gè)數(shù)字也是0時(shí),得到多少關(guān)于M 1的互信息為:p p y y P M y y P y y M I log 224/1log 00(|00(log 00;(221121211+=比特/符號(hào)得到的附加信息為:p y M I y y M I log 10;(00;(11211+=比

6、特/符號(hào)(3根據(jù)已知條件,有33211321000|000(|000(p y y y P M y y y P = 813381|000(000(3223321=+=p p p p p p M P M P y y y P iM i i因此接收到第三個(gè)數(shù)字也是0時(shí),得到多少關(guān)于M 1的互信息為: p p y y y P M y y y P y y y M I log 338/1log 000(|000(log 000;(332113213211+=此時(shí)得到的附加信息為:p y y M I y y y M I log 100;(000;(2113211+=比特/符號(hào)(4根據(jù)已知條件,有4432114

7、3210000|0000(|0000(p y y y y P M y y y y P = 42244321681|0000(0000(p p p p M P M P y y y y P iM i i += 因此接收到第四個(gè)符號(hào)為0時(shí),得到的關(guān)于M 1的互信息為(4224422441log 0000(|0000(log0000;(p p p p p p p p p p y y y y P M y y y y P y y y M I +=+=此時(shí)得到的附加信息為(42243211432116log log 000;(000;(p p p p p y y y M I y y y y M I +=【3

8、.3】 設(shè)二元對(duì)稱信道的傳遞矩陣為32313132 (1若P(0=3/4,P(1=1/4,求(X H ,|(Y X H ,|(X Y H 和;(Y X I ; (2求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。 解:(1根據(jù)已知條件,有符號(hào)比特/811.041log 4143log 43(log (=Xi i x P x P X H12731413243|0(0(=×+×=Xx y P x P y P 125|1(1(=Xx y P x P y P 7612/732430(0|0(0(0|0(=×=y P x y P x P y x P710|1(=y x

9、P 5312/531431(0|1(0(1|0(=×=y P x y P x P y x P521|1(=y x P 符號(hào)比特/918.032log 3231log 314131log 3132log 3243|(log |(|(= + +=XYx y P x y P x P X Y H符號(hào)比特/749.052log 3271log 314153log 3176log 3243|(log |(|(= + +=X Yy x P x y P x P Y X H 062.0|(;(=Y X H X H Y X I 比特/符號(hào)(2此信道是對(duì)稱信道,因此其信道容量為:082.031,32(1(

10、1=H p H C 比特/符號(hào) 根據(jù)對(duì)稱信道的性質(zhì)可知,當(dāng)211(0(=P P 時(shí),信道的傳輸率;(Y X I 達(dá)到信道容量。【3.4】 設(shè)有一批電阻,按阻值分70%是2k ,30%是5k ;按功耗分64%是1/8W ,其余是1/4W 。現(xiàn)已知2k 阻值的電阻中80%是1/8W 。問(wèn)通過(guò)測(cè)量阻值可以平均得到的關(guān)于瓦數(shù)的信息量是多少?解:根據(jù)已知條件,設(shè)電阻的阻值為事件X ,電阻的功耗為事件Y ,則兩事件的概率空間為:154|(21=x y P ,1511|(22=x y P (7567.01511log 1511154log 15【3.5】 若X 、Y 和Z 是三個(gè)隨機(jī)變量,試證明:(1|;(

11、;(|;(;(;(Z Y X I Z X I Y Z X I Y X I YZ X I +=+=(2|(|(|;(|;(YZ X H Z X H Z X Y I Z Y X I =(30|;(Z Y X I 當(dāng)且僅當(dāng),(Y Z X 是馬氏鏈時(shí)等式成立。證明:(1;(|;(|(log ,(|(|(log ,(|(|(|(log ,(|(log,(;(,Y X I Y Z X I x P y x P z y x P y x P yz x P z y x P x P y x P y x P yz x P z y x P x P yz x P z y x P YZ X I Z Y X Z Y X Z

12、Y X ZY X +=+= 同理,|;(;(;(Z Y X I Z X I YZ X I +=(2|;(|(|(log ,(log ,(|(|(log,(|;(,Z X Y I z y P xz y P z y x P yz P xz P z P xyz P z y x P z x P yz x P z y x P Z Y X I Z Y X Z Y X ZY X =|(|(|(log ,(|(log ,(|(|(log ,(|;(,YZ X H Z X H yz x P z y x P z x P z y x P z x P yz x P z y x P Z Y X I ZY X Z Y X

13、 ZY X =+= (30(log|(|(,(log |(|(log,(|;(,=Z Y X Z Y X ZY X z P yz P xz P yz x P z x P z y x P yz x P z x P z y x P Z Y X I 等號(hào)成立當(dāng)且僅當(dāng)|(|(1|(|(xz y P z y P z P xyz P yz P xz P yz x P z x P =,即|(|(xz y P z y P =,即,(Y Z X 是馬氏鏈。【3.6】若有三個(gè)離散隨機(jī)變量,有如下關(guān)系:Z Y X =+,其中X 和Y 相互統(tǒng)計(jì)獨(dú)立,試證明:(1(Z H X H ,當(dāng)且僅當(dāng)Y 是常量時(shí)等式成立;(2(

14、Z H Y H ,當(dāng)且僅當(dāng)X 為常量時(shí)等式成立;(3(Y H X H XY H Z H +,當(dāng)且僅當(dāng)X ,Y 中任意一個(gè)為常量時(shí)等式成立;(4(;(Y H Z H Z X I =;(5(;(Z H Z XY I =;(6(;(X H YZ X I =;(7(|;(Y H X Z Y I =;(8|(|(|;(Z Y H Z X H Z Y X I =。證明:當(dāng)Z Y X =+時(shí),有 +=+=yx z y x z xy z P 10|(,即0|(=XY Z H ,而;(|(Z XY I Z H XY Z H =,因此(;(Z H Z XY I =。(,(log ,(,(log ,(|(log ,

15、(|(Y H x P y x P y x P x P z x P z x P x z P z x P X Z H = 而|(;(X Z H Z H Z X I =,因此(;(Y H Z H Z X I =。根據(jù)互信息的性質(zhì),有0;(Z X I ,因此(Y H Z H 成立,而當(dāng)X 為常量時(shí),Z 和X 的概率分布相同,因此上述不等式中的等號(hào)成立。同理,(X H Z H 成立。由于(|(|(;(Z H Z XY H XY H XY Z H Z H Z XY I =,而0|(Z XY H ,因此(XY H Z H 成立。根據(jù)條件,有 +=+=yx z y x z yz x P 10|(,因此0|(=

16、YZ X H ,而|(;(YZ X H X H YZ X I =,因此(;(X H YZ X I =。(|(|(|(|;(Y H X Y H XZ Y H X Y H X Z Y I =|(|(|(|;(|(|(|(|;(Z Y H XZ Y H Z Y H Z X Y I Z X H YZ X H Z X H Z Y X I =【3.7】 設(shè)X ,Y 是兩個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量,其取“0”或“1”的概率為等概率分布。定義另一個(gè)二元隨機(jī)變量Z ,而且XY Z =(一般乘積,試計(jì)算:(1(X H ,(Y H ,(Z H ;(2(XY H ,(XZ H ,(YZ H ,(XYZ H ;(3|

17、(Y X H ,|(Z X H ,|(Z Y H ,|(X Z H ,|(Y Z H ;(4|(YZ X H ,|(XZ Y H ,|(XY Z H ;(5;(Y X I ,;(Z X I ,;(Z Y I ;(6|;(Z Y X I ,|;(Z X Y I ,|;(Y X Z I ,|;(X Y Z I ;(7;(Z XY I ,;(YZ X I ,;(XZ Y I ;解:由于X 和Y 是相互獨(dú)立的等概率分布的隨機(jī)變量,因此有1(=Y H X H 比特/符號(hào)而符號(hào)Z 的概率空間為:= 414310P Z ,因此 811.041,43(=H Z H 比特/符號(hào) 2(=+=Y H X H XY

18、H 比特/符號(hào)根據(jù)已知條件可得210(0,0(=x P z x P ,01,0(=z x P 410,1(0,1(=y x P z x P ,411,1(1,1(=y x P z x P 10(0,0(0|0(=x P x z P x z P ,00(0,1(0|1(=x P x z P x z P 211(1,0(1|0(=x P x z P x z P ,211(1,1(1|1(=x P x z P x z P 5.021log 4121log 411log 21|(log ,(|(=x z P z x P X Z H 比特/符號(hào) 5.1|(=+=X Z H X H XZ H 比特/符號(hào)同

19、理,5.0|(=Y Z H 比特/符號(hào),5.1|(=+=Y Z H Y H YZ H 比特/符號(hào) 由于 =xyz xy z xy z P 01|(,因此0|(=XY Z H 比特/符號(hào) 2|(=+=XY Z H XY H XYZ H 比特/符號(hào)1(|(=Y H XY H Y X H 比特/符號(hào)689.0(|(=Z H XZ H Z X H 比特/符號(hào) 689.0(|(=Z H YZ H Z Y H 比特/符號(hào)同理,5.0|(=XZ Y H 比特/符號(hào)0|(;(=Y X H X H Y X I 比特/符號(hào) 311.0|(;(=Z X H X H Z X I 比特/符號(hào) 311.0|(;(=Z Y

20、 H Y H Z Y I 比特/符號(hào) 【3.8】 有一個(gè)二元信道,其信道如右圖所示。設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào),現(xiàn)有一消息序列共有14000個(gè)二元符號(hào),并設(shè)在這消息中211(0(=P P 。問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮,10秒內(nèi)能否將這消息序列無(wú)失真地傳送完。 解:1該信道的信道矩陣為10秒內(nèi)可以傳輸?shù)淖畲笮畔⒘繛?而14000個(gè)符號(hào)中所含有的信息量為:14000比特,因此從信息的角度來(lái)考慮,10秒鐘內(nèi)不可能把上述14000個(gè)符號(hào)傳輸完?！?.9】 求下圖中信道的信道容量及其最佳的輸入概率分布。 解:兩個(gè)信道的信道矩陣分別如下:3161316161316131,216131

21、312161613121 可見(jiàn),兩個(gè)信道均是對(duì)稱信道,信道容量分別為:0817.061,31,61,31(4log 1=H C 比特/符號(hào)126.031,61,21(3log 2=H C 比特/符號(hào)輸入的最佳分布是等概率分布?！?.10】 求下列兩個(gè)信道的信道容量,并加以比較(122p p p p (22002p p p p 解:這兩個(gè)信道均是準(zhǔn)對(duì)稱信道,當(dāng)輸入符號(hào)等概率時(shí),平均互信息達(dá)到信道容量,具體如下:(1該準(zhǔn)對(duì)稱信道的信道容量為:log(log(212log 21(2,(2log 2221log 221221log 2212,(max1+=p p p p p p H p p H Y H

22、 C (2該準(zhǔn)對(duì)稱信道的信道容量為: 22log(log(212log 21(2,(log log 221log 221221log 2212,(max12+=+=C p p p p p p H p p H Y H C【3.11】 求下圖中信道的信道容量及其最佳的輸入概率分布,并求出0=和21=時(shí)的信道容量C 。 1 200解:該信道的信道矩陣如下:1010001該信道既非對(duì)稱信道,也非準(zhǔn)對(duì)稱信道,因此根據(jù)一般信道容量的計(jì)算公式,有=|(log |(|(i j i j j i ja b P a b P a bP 即+=+=+=log 1log(1(1(log 1log(1(1(032321 解

23、得:01=,log 1log(1(32+=而信道容量(+=11(21log 2log jC信道的輸出符號(hào)概率為:+=111(2112(1C b P+=1121(211(2(2Cb P +=1131(211(2(3Cb P 而(11a P b P =(1(322a P a P b P += (1(323a P a P b P +=可得:+=111(211(a P +=1121(211(a P+=1131(211(a P 當(dāng)0=時(shí),(3log 1(21log 1=+=C ,信道為一一對(duì)應(yīng)信道;當(dāng)21=時(shí),2log 2121log =+=C 。 【3.12】 試證明(X H 是輸入概率分布(x P

24、的上凸函數(shù)。 證明:=Xx P x P X H (log (設(shè)存在兩個(gè)概率分布(1x P 和(2x P ,目標(biāo)是要證明(2121x P x P H x P H x P H +證明過(guò)程如下:(01(log 1(log (log (log(log (log (log (+=+=+x P x P x P e x P x P x P e x P x P x P x P x P x P x P x P x P x P x P x P x P x P x P H x P H x P H 【3.13】 從平均互信息的表達(dá)式證明,當(dāng)信道和信源都是無(wú)記憶時(shí),有;(;(Y X NI Y X I N N =證明:設(shè)

25、(N k k k k a a a L 21=,(N h h h h b b b L 21=,按照給定信道和信源均是無(wú)記憶,有(2121N N k k k k k k k a P a P a P a a a P P L L =|(|(|(|(|(22112121N N N N k h k h k h k k k h h h k h a b P a b P a b P a a a b b b P P L L L =(|(|(|(|(21221121N N N N h h h k h k h k h k k k k h k h P b P b P a P a b P a b P a P a P a

26、P P P P L L L =I ( X N ; Y N = H (Y N H (Y N | X N = P ( j log P( j + P( i j log P( j | i = P( i j log = P( i j log = P( i j log P( j | i P( j P(bh1 | a k1 P(bh2 | a k 2 L P(bhN | a k N P(bh1 P(bh2 L P( hN P(bh1 | a k1 P(bh1 + L + P( i j log P(bhN | a k N P(bhN = I ( X 1 ; Y1 + I ( X 2 ; Y2 + L + I

27、( X N ; YN 【3.14】 證明:若 ( X , Y , Z 是馬氏鏈,則 ( Z , Y , X 也是馬氏鏈. 證明: 如果 ( X , Y , Z 是馬氏鏈,則有 P( z | xy = P( z | y ,即 P( xyz P( yz = P( xy P( y 因此有 P( xyz P( xy = ,即 P( x | yz = P( x | y ,即 ( Z , Y , X 也是馬氏鏈. P( yz P( y 每個(gè)二元對(duì)稱信道的錯(cuò)誤傳遞概率為 p . 【3.15】把 n 個(gè)二元對(duì)稱信道串接起來(lái), 證明這 n 個(gè)串接信道可以等效于一個(gè)二元對(duì)稱信道,其錯(cuò)誤傳遞概率為 1 1 (1 2

28、 p n ,并證明 lim I ( X 0 ; X n = 0 ,設(shè) p 0 或 1,信道的串接如下圖所 n 2 示. 證明: 1 當(dāng) n = 1 時(shí),錯(cuò)誤概率 p = (1 (1 2 p 成立; 2 1 假設(shè) n = k 成立,即 k 個(gè)串接信道的錯(cuò)誤概率為 1 (1 2 p k ; 2 當(dāng) n = k + 1 時(shí),其錯(cuò)誤概率為: 1 1 p 1 (1 2 p k + p1 1 (1 2 p k 2 2 p p p = (1 2 p k + p 1 (1 2 p k 2 2 2 1 p p = (1 2 p k + (1 2 p k 2 2 2 1 1 = (1 2 p k + p (1 2 p k 2