信息論基礎 練習與思考2

1、第三章第三章 信道容量信道容量 2020/3/221 子曰：“不憤不啟，不 悱不發(fā)，舉一隅不以三隅 反，則不復也” 孔子 第三章 信道容量 2020/3/222 ?信道容量 C：在信道中最大的信息傳輸速率，單位 是比特/信道符號。 ?單位時間的信道容量 Ct：若信道平均傳輸一個符號 需要 t 秒鐘，則單位時間的信道容量為 Ct 實際是信道的最大信息傳輸速率。 第三章總結 第三章 信道容量 2020/3/223 ?求信道容量的方法 ?當信道特性 p(yj /xi) 固定后，I(X;Y) 隨信源概率分布 p(x i) 的變化而變化。 ?調(diào)整 p(xi)，在接收端就能獲得不同的信息量。由平均互 信息

2、的性質(zhì)已知， I(X;Y) 是 p(x i) 的上凸函數(shù)，因此總能 找到一種概率分布 p(x i)（即某一種信源），使信道所能 傳送的信息率為最大。 ?C 和 Ct 都是求平均互信息 I(X;Y) 的條件極大值問題，當 輸入信源概率分布 p(x i) 調(diào)整好以后， C 和 Ct 已與 p(xi) 無關，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性 有關； ?信道容量是完全描述信道特性的參量； ?信道容量是信道能夠傳送的最大信息量。 第三章 信道容量 2020/3/224 ?香農(nóng)公式說明 ?當信道容量一定時，增大信道帶寬，可以降低對信噪功率比 的要求；反之，當信道頻帶較窄時，可以通過提高信噪功率

3、 比來補償。 ?當信道頻帶無限時，其信道容量與信號功率成正比。 第三章 信道容量 2020/3/225 ?香農(nóng)公式香農(nóng)公式 ?限頻帶(W)、限時(T)條件下的信源通過一個限功率 (PN)的白色 高斯信道，其信道容量為 它指出了信號間各物理量參量之間的辨證關系，它為一些不 同的通信體制提供了基本原理。 ?用頻帶換取信噪比，它是現(xiàn)代擴頻通信的基本原理 ?其目的是為了提高通信系統(tǒng)的可靠性。如果在通信中信噪比成為主 要矛盾時，而信號帶寬有富余，往往就可以采用帶寬換取信噪比的 辦法提高通信的可靠性?，F(xiàn)代移動通信中常采用偽碼直接擴頻，跳 頻編碼等擴展頻譜手段，提高可靠性等。 ?用信噪比換頻帶，它是多進制多

4、電平多維星座調(diào)制通信方式的 基本原理 ?在優(yōu)質(zhì)信道中，信噪比有富余，而使用的頻帶進展，這時可用信噪 比換頻帶。比如在光纜信道，衛(wèi)星和微波接力等較優(yōu)質(zhì)信道中，常 常采用的多進制、多電平、多維星座調(diào)制就是基于這一原理。 第三章 信道容量 2020/3/226 ?香農(nóng)公式香農(nóng)公式 ?用時間換取信噪比，它是弱信號累積接收的基本原理 ?在深空通信中，往往利用這一原理傳送信息。它是利用信號與干擾 統(tǒng)計特性上的差異來實現(xiàn)的。比如，在深空通信中，噪聲很強，它 可以遠遠高于信號強度。但是由于信號是規(guī)則的，它可以按時間積 累線性增長，然而，噪聲是隨機的，其增長速率遠低于信號的線性 增長，隨著時間的積累，信號由弱變

5、強，而噪聲由強變?nèi)酰瑥亩?以提高信噪比實現(xiàn)弱信號的累積接收。 ?用時間換取頻帶 ?在一些特殊需要的情況下，比如可以采用頻帶很窄的電話線路，傳 送準活動的圖像。 第三章第三章 信道容量信道容量 2020/3/227 ?信道編碼定理：若有一離散無記憶平穩(wěn)信道，其容 量為 C，輸入序列長度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當 L 足夠長時，譯碼 差錯概率PeC時，任何編碼的 Pe 必大于零，當 L，Pe1。 ?信道編碼定理說明：同無失真信源編碼定理類似， 信道編碼定理也是一個理想編碼的存在性定理。它 指出信道容量是一個臨界值，只要信息傳輸率不超 過這個臨界值，信道就可幾乎無失真

6、地把信息傳送 過去，否則就會產(chǎn)生失真。 第三章 信道容量 2020/3/228 習題習題1 3.1.設信源 通過一干擾信道，接收符號為Y=y 1,y2,信道傳遞概率如 下圖所示。求 信源X中事件x1和x 2分別含有的信息量。 收到消息y j (j=1,2)后，獲得的關于xi (i=1,2)的信息 量。 信源X和信源Y的信息熵。 信道疑義度H(X/Y)和噪聲熵H(Y/X)。 接收到消息Y后獲得的平均互信息。 x1 5/6 1/4 1/6 3/4 y1 y2x2 12 ( )0.60.4 Xxx P x ? ? ? ? 第三章 信道容量 2020/3/229 習題習題1 解答： 1212 2222

7、 11211222 22 (1) ()log()log 0.60.737 ()log()log 0.41.32 (/)5/6,(/)1/ 6, (/)3/ 4,(/)1/ 4 (/)(/) ( ;)loglog ( )() ijji ij ij I xp xbit I xp xit p yxp yxp yxp yx p xyp yx I x y p xp y ? ? ? ? ? ? ? ? 可見，概率越小的事件含有的自信息越大。 (2) 由互信息公式： 計 53 164 11 21264 112122 21222 () ()() (/)0.60.40.8 ()0.60.40.2;()()1 2

8、55 (;)log0.059; ( ;)log0.263 246 15 (;)log0.093; (;)l 16 j iji X p y p yp x p yx p yp yp y I x ybit I x ybit I x ybitI x y ? ? ? ? ? ? ? 算互信息一般取第二個等式，必須先計算出 滿足歸一性即+ 可算得： 2 5 og0.322 4 bit? 互信息可以為正值也可以為 負值，負值表明由于噪聲的 存在，接收到一個消息后， 對另一個消息是否出現(xiàn)的不 確定性反而增加了。 第三章 信道容量 2020/3/2210 習題習題1 解答： 22 22 11211222 111

9、 (3)()0.6log 0.60.4log 0.40.971/ ( )0.8log 0.80.2log 0.20.722/ (/)5/6,(/)1/ 6,(/)3/ 4,(/)1/ 4 () (/) (/) () (/)5/8,( iji ij j H Xbit symbol H Ybit symbol p yxp yxp yxp yx p x p yx p xy p y p xyp x ? ? ? ? ? ? ? (4) 由公式： 可得： 22122 22 2 11 22 2 11 /)1/ 2,(/)3/ 8,(/)1/ 2 (/)() (/)log(/)0.9635/ (/)() (/

10、)log(/)0.7145/ ijiij ij ijiji ij yp xyp xy H X Yp x p yxp xybit symbol H Y Xp x p yxp yxbit symbol ? ? ? ? ? ? ? ? ? 信道疑義度： 噪聲熵： (5)接收到Y后獲得的平均互信息 I(X;Y) I(X;Y)=H(X)-H( ? X/Y)=H(Y)-H(Y/X)0.0075bit/symbol 第三章 信道容量 2020/3/2211 習題習題2 3.3.設二元對稱信道的傳遞概率為 若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 求該信道的

11、信道容量及達到信道容量時的輸入概率分 布。 21 33 12 33 ? ? ? 第三章 信道容量 2020/3/2212 習題習題2 ? ? 解答：(1)已知二元對稱信道的傳遞矩陣和輸入信源的概率分布， 可求出輸出Y的概率分布和后驗概率 p(y=0)=7/12;p(y=1)=5/12;p(x=0/y=0)=6/7;p(x=1/y=0)=1/7 p(x=0/y=1)=3/5;p(x=1/y=1)=2/5 進一步可算得：H(X)0.811bit/symbol H(Y/X)0.918bit/symbol;H(X/Y)0.749bit/symbol 2 3 1( )1( )0.082CH pH ? ?

12、 ? ? 因此，I(X;Y)=H(X)-H(X/Y)0.062bit/symbol (2)此信道為二元對稱信道，所以信道容量為 bit/symbol 當輸入符號為等概率分布時信道的信息傳輸率才能達到該值。 第三章 信道容量 2020/3/2213 習題習題3 3.9.有一個二元對稱信道，其信道矩陣如下圖所示。設 該信道以1500個二元符號/秒的速度傳輸輸入符號。現(xiàn) 有一消息序列共有14000個二元符號，并設在這消息 中P(0)=P(1)=1/2。問從信息傳輸?shù)慕嵌葋砜紤]，10秒 鐘內(nèi)能否將這消息序列無失真地傳送完？ 0 11 00.98 0.98 0.02 0.02 第三章 信道容量 2020

13、/3/2214 習題習題3 解答：消息是一個二元序列，且為等概率分布，即 P(0)=P(1)=1/2，故信源的熵為H(X)=1(bit/symbol) 。 則該消息序列含有的信息量14000(bit/symbol) 。 下面計算該二元對稱信道能傳輸?shù)淖畲蟮男畔鬏?速率： 信道傳遞矩陣為： 信道容量（最大信息傳輸率）為： C=1-H(P)=1-H(0.98)0.8586bit/symbol 0.980.02 0.020.98 P ? ? ? ? 第三章 信道容量 2020/3/2215 習題習題3 得最大信息傳輸速率為： Rt 1500符號/秒 0.8586比特/符號 1287.9比特/秒 1

14、.288103比特/秒 此信道10秒鐘內(nèi)能無失真?zhèn)鬏數(shù)米畲笮畔⒘?0 Rt 1.288104比特 可見，此信道10秒內(nèi)能無失真?zhèn)鬏數(shù)米畲笮畔⒘啃?于這消息序列所含有的信息量，故從信息傳輸?shù)慕嵌?來考慮，不可能在10秒鐘內(nèi)將這消息無失真的傳送完。 第三章 信道容量 2020/3/2216 習題習題4 3.10.求下圖中信道的信道容量及其最佳的輸入概率 分布。 1/3 1/6 1/3 1/6 1/6 1/6 1/3 1/3 1/2 1/3 1/3 1/3 1/2 1/2 1/6 1/6 1/6 （a）(b) 第三章 信道容量 2020/3/2217 習題習題4 解答：圖中兩個信道的信道矩陣分別為

15、均滿足對稱性，所以這兩個信道是對稱離散信道。由對 稱離散信道的信道容量公式得： 最佳輸入分布（即達到信道容量的輸入分布）是等概率 分布 111 236 1111 3636 111 623 1111 6363 111 362 , ab PP ? ? ? ? ? ? ? ? ? 1111 123636 111 22236 log 4( ,)0.0817/ log 3( ,)0.126/ CHbit symbol CHbit symbol ? ? 第三章 信道容量 2020/3/2218 習題習題5 3.12.求下圖中信道的信道容量及其最佳的輸入概率 分布。并求當=0和1/2時的信道容量C。 XY

16、0 1 0 11 22 1- 1- 第三章 信道容量 2020/3/2219 習題習題5 解答：圖中信道的信道矩陣如下 此信道為一般信道。此信道為一般信道。 100 01 01 P? ? ? ? ? ? ? ? 33 2 11 1 2322 2322 1 2322 (1) (/)(/)log(/),1,2,3 0 (1)(1)log (1)log (1)log(1)log (1) 0 (1)log (1)log j jijjiji jj p yxp yxp yxi ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 求 解方程得： 第三章 信道容量 20

17、20/3/2220 習題習題5 1 2 1 2 1 1 1 2 1 32 1 1 3 1 1 23 log2 log 1 2(1) (3)() 1 ()2 12(1) (1) () 12(1) ()() (4)( ) 1 () 12(1) ()( ) (/) (1) ()() 1 j j j C i jiji i C p y p y p y p yp y p x p x p yp x p yx p xp x ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (2

18、)求C 求 求 根據(jù) 1 2(1) ? ? ? ? ? ? ? ? ? ? ? 100 01 01 P? ? ? ? ? ? ? ? 第三章 信道容量 2020/3/2221 習題習題5 2123 123 0 log 3, ()()()1/ 3 1/ 2 1, ()1/ 2,()()1/ 4 Cp xp xp x Cp xp xp x ? ? ? ? 當 時，此信道為一一對應信道，即 當 時 第三章 信道容量 2020/3/2222 習題習題6 6.5設一連續(xù)消息通過某放大器，該放大器輸 出的最大瞬時電壓為b,最小瞬時電壓為a。若 消息從放大器中輸出，問放大器輸出消息在每 個自由度上的最大熵是

19、多少？又放大器的帶寬 為為F,問單位時間內(nèi)輸出最大信息量是多少？ 第三章 信道容量 2020/3/2223 習題習題6 解答：已知幅度受限的連續(xù)隨機變量的概率密度函數(shù) 為均勻分布時其熵最大。所以，放大器輸出消息的 最大熵 比特/自由度 因為放大器的帶寬為F,則取樣率為2F。那么，放大 器在單位時間內(nèi)輸出的消息有2F個自由度，單位時 間內(nèi)輸出的最大信息量為： 比特/秒 2 ( ) max()log () p x H Xba? 2 2log ()Fba? 第三章 信道容量 2020/3/2224 習題習題7 6.9 設連續(xù)隨機變量X,已知X0,其平均值受限， 即數(shù)學期望為A,試求在此條件下獲得最大

20、熵的 最佳分布，并求出最大熵。 第三章 信道容量 2020/3/2225 習題習題7 ? 00 2 0 0 (1) (0), ( )1,( ) ( )log( ) ( )ln( )( )( )0 ( ) 1 ln( )0( )exp(1) ( )1 x X X p x dxxp x dxA p xp x dx p xp xp xxpx dx p x p xxp xx p x dxedx ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 解答：設連續(xù)隨機變量其概率密度函數(shù)為p(x)滿足 求-達到極大值時的最佳分布。 用變分法求解，即 其中， ， 為待定常數(shù)。 由 1

21、 00 (1)1() 000 1 ( ) 1 ( ), x A xx e xp x dxxedx exedxA A p xeAe A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2 故有即為指數(shù)分布，最大熵 H(X)=log (1) xx xedx exC? ? 第三章 信道容量 2020/3/2226 習題習題8 6.24.在圖片傳輸中，每幀約為2.25106個像 素，為了能很好地重現(xiàn)圖像，需分16個亮度電 平，并假設亮度電平等概率分布。試計算每秒 鐘傳送30幀圖片所需信道的帶寬（信噪功率比 為30db ）。 第三章 信道容量 2020/3/2227 習題習題8 解答

22、：每秒需傳送的信息率為 信道的信噪功率比為，所以 68 2 302.25 10log 162.7 10/Rbit s? 10 10log30 X N P P ? 338 2 7 10 ,log (1 10 )2.7 10 2.7 10 X t N P CW P WHz ? ? 第三章第三章 信道容量信道容量 2020/3/2228 習題9 6.25.設在平均功率受限高斯加性噪聲連續(xù)信道 中，信道帶寬為3KHZ，又設（信號功率噪 聲功率）/噪聲功率10db。 (1)試計算該信道傳送的最大信息率（單位時 間） (2)若（信號功率噪聲功率）/噪聲功率降為 5db，要達到相同的最大信息傳輸率，信道帶

23、寬應是多少？ 第三章第三章 信道容量信道容量 2020/3/2229 習題9 解答：(1)平均功率受限高斯加性連續(xù)信道，W為3KHz, 10log 10(1+PS/PN)=10 1+PS/PN =10 33 22 0.5 30.53 2 log (1)3 10 log 109.96 10/ (2)110 9.96 10log 106 10 X t N X N P CWbit s P P P WWHz ? ? ? 可見，在傳輸相同的信息傳輸速率下，降低信噪比就需要 增加帶寬 第三章 信道容量 2020/3/2230 練習題練習題1 若已知信道輸入分布為等概率分布，且有如下兩個信道， 其轉(zhuǎn)移概率矩

24、陣分別為： 試求這兩個信道的信道容量，并問這兩個信道是否有噪 聲？聲？ 1111 2222 1111 2222 12 1111 2222 1111 2222 00000000 00000000 00000000 00000000 PP ? ? ? ? ? ? ? 第三章 信道容量 2020/3/2231 11 222 21 11 2222 2 log 4(00)1/ ()log 42/ log 8(000000)2/ (), Hbit symbol H Xbit symbol C CHbit symbol H XC ? ? ? ? 1 解答： (1)由信道1的信道矩陣可知為對稱信道 故C 有熵

25、損失，有噪聲。 (2)為對稱信道，輸入為等概率分布時達到信道容量 無噪聲 練習題練習題1 第三章 信道容量 2020/3/2232 練習題練習題2 設有一離散級聯(lián)信道如下圖所示： 試求(1)X與Y之間的信道容量C1 (2) Y與Z 之間的信道容量C2 (3) X與Z之間的信道容量C3，及其輸入分布 Xo X1 Zo Yo Z1 Y1 Z2 3/4 1/4 1/4 3/4 1- 1- 第三章 信道容量 2020/3/2233 33311 88444 33311 44444 33311 44444 3331 884 1( ) ( , , )( ,0, )1.560.810.75 0(1) 0(1) ( , , )( H HH HH ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 2 3 解答： (1)X,Y之間為強對稱信道，C (2)Y,Z之間為準對稱信道， C (3)X,Z之間的信道矩陣為 1- 1- 也屬于準對稱信道，當輸入為等概率分布時達到 C C 31 444 3333 224444 (1), ) 1.06(1)log(1)log ? ? ? ? 練習題練習題2 第三章 信道容量 2020/3/2234