信息論與編碼第3章信道與信道容量

1、普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著1第3章信道與信道容量q信道的基本概念q離散單個(gè)符號(hào)信道及其容量q離散序列信道及其容量q連續(xù)信道及其容量q信源與信道的匹配普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著2n信道分類 用戶數(shù)量：?jiǎn)斡脩?、多用?輸入端和輸出端關(guān)系：無反饋、有反饋 信道參數(shù)與時(shí)間的關(guān)系：固參、時(shí)變參 噪聲種類： 隨機(jī)差錯(cuò)、突發(fā)差錯(cuò) 輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、波形信道普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著3n信道參數(shù)號(hào)之間統(tǒng)計(jì)的依賴關(guān)系來描述信道輸入輸出信條件概率輸出矢量為輸入矢量為設(shè)信道)(,),(,),(

2、121121Y/XYXpbbXYY，YaaXXXXmjjnii信道種類無干擾信道有干擾無記憶信道有干擾有記憶信道普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著4n無干擾（無噪聲）信道)(, 0)(, 1)/(xyxyXYffp信道參數(shù)普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著5n有干擾無記憶信道 二進(jìn)制對(duì)稱信道（BSC）pppp11P 1-p 1-p p p 0 1 1 0 信道參數(shù)p(Y=0|X=1) = p(Y=1|X=0) = pp(Y=1|X=1) = p(Y=0|X=0) = 1- p 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著6信道

3、參數(shù)n有干擾無記憶信道 離散無記憶信道nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 niabpmjij, 2 , 1, 1)|(1普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著7信道參數(shù)n有干擾無記憶信道 離散輸入、連續(xù)輸出信道222/)(21)/(iayiYeayp + X Y G YXG 加性高斯白噪聲 (AWGN) 信道：普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著8信道參數(shù)n有干擾無記憶信道 波形信道 + x(t) y(t) n(t) 11( / )(,/,)LLppyyxxYYy x,( , )( , )(

4、 / )( )( )( )X YX nYnXXpx ypx npy xp npxpx噪聲與信號(hào)通常相互獨(dú)立， (/)( )ccH YXHn波形信道轉(zhuǎn)化成多維連續(xù)信道， 條件熵HC(Y/X)是由于噪聲引起的，它等于噪聲信源的熵HC(n)，所以稱條件熵為噪聲熵噪聲熵 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著9信道容量的定義n信息傳輸率：信道中平均每個(gè)符號(hào)所能傳送的信息量， R=I(X;Y)=H(X)H(X/Y) 比特/符號(hào)n信息傳輸速率：信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘?，Rt=I(X;Y)/t 比特/秒n信道容量：信道所能傳送的最大信息量。 比特/符號(hào)（bits/symbol或

5、bits/channel use） );(max)(YXICiap普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著103.2離散單個(gè)符號(hào)信道及其容量n無干擾離散信道的信道容量X、Y一一對(duì)應(yīng)Clog n多個(gè)輸入變成一個(gè)輸出CmaxH(Y)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出CmaxH(X)普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著113.2離散單個(gè)符號(hào)信道及其容量n對(duì)稱DMC信道定義輸入對(duì)稱 如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對(duì)稱輸出對(duì)稱 如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對(duì)稱對(duì)稱對(duì)稱的的DMC信信道道

6、 如果輸入、輸出都對(duì)稱普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著123.2離散單個(gè)符號(hào)信道及其容量n對(duì)稱DMC信道例子3131616161613131216131312161613121普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著133.2離散單個(gè)符號(hào)信道及其容量輸入對(duì)稱輸出對(duì)稱無關(guān)與iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著

7、143.2離散單個(gè)符號(hào)信道及其容量n對(duì)稱信道容量)/()(max)|()(max);(max)()()(XYHYHXYHYHYXICiiiapapapmjijijippmaYHmC1loglog)|(log普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著153.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量3131616161613131P符號(hào)/082. 0)61,61,31,31(4log2bitHC普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著163.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量111111111nnnnnnP 信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，

8、都為n，且正確的傳輸概率為1，錯(cuò)誤概率被對(duì)稱地均分給n-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例)1,1,1 (lognnHnC普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著173.2離散單個(gè)符號(hào)信道及其容量n二進(jìn)制對(duì)稱信道容量 C1H（）00.20.40.60.8100.20.40.60.81普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著183.2離散單個(gè)符號(hào)信道及其容量n串聯(lián)信道 C(1,2)=maxI(X;Z) C(1,2,3)=maxI(X;W) 串接的信道越多，其信道容量可能會(huì)越小，當(dāng)串接信道數(shù)無限大時(shí)，信道容量就有可能趨于零

9、。 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著193.2離散單個(gè)符號(hào)信道及其容量nEg.設(shè)有兩個(gè)離散BSC信道串接，兩個(gè)BSC信道的轉(zhuǎn)移矩陣如下，求信道容量1121PP222221)1 ()1 (2)1 (2)1 (1111PPP普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著203.2離散單個(gè)符號(hào)信道及其容量n信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-)00 .5100 .20 .40 .60 .81m = 1 m = 2 m = 3 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著213.2離散單個(gè)符號(hào)信道及其容量n準(zhǔn)對(duì)稱D

10、MC信道 如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道3/16/13/16/16/16/13/13/11P7 . 01 . 02 . 02 . 01 . 07 . 02P普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著223.2離散單個(gè)符號(hào)信道及其容量n準(zhǔn)對(duì)稱DMC信道容量()()max (; )max( )( /)iip ap aCI X YH YH YX()()()max( )max ()max ()iiijip ap ap aH Yf p bf p a()() (/)jijiip b

11、p a p ba 當(dāng)輸入分布為等概分布時(shí)，互信息達(dá)到最大值，即為信道容量。普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著233.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量2 . 05 . 03 . 02 . 03 . 05 . 0P 方法一： 信道的輸入符號(hào)有兩個(gè)，可設(shè)p(a1)，p(a2)1， 信道的輸出符號(hào)有三個(gè)，用b1、b2、b3表示，2 . 0)1 (2 . 02 . 0)(2 . 05 . 0)1 (5 . 03 . 0)(2 . 03 . 0)1 (3 . 05 . 0)(321bpbpbp0);(YXI符號(hào)/036. 0);(maxbitYXIC()() (/)

12、jijiip bp a p ba jjijijijijI( X;Y )H(Y )H(Y / X )p(b )ln p(b )p(a )p(b / a )ln p(b / a ) 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著243.2離散單個(gè)符號(hào)信道及其容量n方法二 當(dāng)p(a1)p(a2)1/2時(shí)，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符號(hào)n方法三 將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集rkkksMNpppHnC121log) , , (log n為輸入符號(hào)集個(gè)數(shù)；p1，p2，ps是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p

13、1，p2，ps)H(Y/ai)；Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和，r是互不相交的子集個(gè)數(shù)普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著253.2離散單個(gè)符號(hào)信道及其容量n方法三2 . 05 . 03 . 02 . 03 . 05 . 0P2 . 02 . 0,5 . 03 . 03 . 05 . 0符號(hào)/036. 04 . 0log2 . 08 . 0log8 . 0) 2 . 0 , 3 . 0 , 5 . 0(2log222bitHC普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著263.2離散單個(gè)符號(hào)信道及其容量nEg. 求信道容量

14、3/16/13/16/16/16/13/13/11P符號(hào)/041. 0)6/16/1 (log6/1)3/13/1 (log3/1)6/13/1 (log)6/13/1 ()6/1 , 6/1 , 3/1 , 3/1 (2log2222bitHC普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著273.2離散單個(gè)符號(hào)信道及其容量n一般DMC信道 一般地說，為使I(X;Y) 最大化以便求取DMC容量，輸入符號(hào)概率集p(ai)必須滿足的充分和必要條件是： I(ai;Y) = C 對(duì)于所有滿足p(ai ) 0條件的I I(ai;Y) C 對(duì)于所有滿足p(ai ) = 0條件的I當(dāng)信道平均互

15、信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集p(ai)中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只是概率為零的符號(hào)除外。普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著283.3離散序列信道及其容量 n離散序列信道 信道 p(Y/X) Y X X=(X1X2XL) Xla1,a2,an Y=(Y1Y2YL)Yl b1,b2,bm普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著293.3離散序列信道及其容量 n離散無記憶序列信道 LlllLLXYpXXYYpp111)/()/()/(XY1 1 1 1 1進(jìn)一步信道是平穩(wěn)的 )/()/(xyppLXY)()/(log)()/()(

16、)()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著303.3離散序列信道及其容量 n離散無記憶序列信道 1 1 1 1 1如果信道無記憶 如果輸入矢量X X中的各個(gè)分量相互獨(dú)立 LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLlllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX當(dāng)信道平穩(wěn)時(shí)CL=LC1，一般情況下，I(X X;Y Y) LC1普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著313.

17、3離散序列信道及其容量 n擴(kuò)展信道 如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道 1 1 1 1 1BSC的二次擴(kuò)展信道 X X00,01,10,11，Y Y00,01,10,11，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著323.3離散序列信道及其容量 n擴(kuò)展信道1 1 1

18、 122222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (ppppppppppppppppppppppppP),1 (),1 (,)1(4log2222ppppppHC若p0.1，則C220.9381.062比特/序列 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著333.3離散序列信道及其容量 n獨(dú)立并聯(lián)信道 序列的轉(zhuǎn)移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL) 1 1 1 1X1 p(Y1/X1) Y1X2 p(Y2/X2) Y2 XL p(YL/XL) YL LlllYXI

19、I1);();(YXLllLCIC112);(maxYX普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著343.4 連續(xù)信道及其容量 n連續(xù)單符號(hào)加性信道 x (xR) p(y/x) y (yR) n平均互信息為I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY) 信道容量)/()(max);(max)()(XYHYHYXICCCxpxp( )max( )( )CCp xCHYHny=x+n普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著353.4 連續(xù)信道及其容量 n連續(xù)單符號(hào)加性信道 若噪聲是均值為零、方差為2的加性高斯噪聲，

20、Hc(n)最大，信道容量就小。這是信道危害最大的情況，所以在處理實(shí)際問題時(shí)，通常采用計(jì)算高斯噪聲信道容量的方法保守地估計(jì)容量，且高斯噪聲信道容量容易計(jì)算。2( )1max( )log22Cp xCHYe ( )max( )( )CCp xCHYHn普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著363.4 連續(xù)信道及其容量 n連續(xù)單符號(hào)加性信道 pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以pX(x)N(0,S) )1log(21log212log212log21222SPeePCC1/2 log(1+SNR) 信道輸入X是均值為零、方差為S的高斯分布隨機(jī)變量時(shí)

21、，信息傳輸率達(dá)到最大值 若是加性的，可以求出信道容量的上下界 )(2log21)1log(212nHePCSC普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著373.4 連續(xù)信道及其容量 n多維無記憶加性連續(xù)信道 信道輸入隨機(jī)序列XX1X2XL，輸出隨機(jī)序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值為零的高斯噪聲 加性信道 輸入序列 x 輸出序列 y 高斯噪聲 n XX1X2XL YY1Y2YL n=n1n2nL + X1 Y1=X1+n1 X1 + X2 Y2=X2+n2 + XL YL=XL+nL 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等

22、編著383.4 連續(xù)信道及其容量 連續(xù)單符多維無記憶高斯加性信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道號(hào)加性信道 LlllLlLLPYXII121)1log(21);();(YXLlllpPIC12)()1log(21);(maxYXx比特/L維自由度 因此當(dāng)且僅當(dāng)輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為零、方差為Pl的高斯變量時(shí)，才能達(dá)到此信道容量 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著393.4 連續(xù)信道及其容量 n討論均值為零、方差相同 )1log(22SLC均值為零、方差不同，總平均功率受限 LllLiiLPC1212log21普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信

23、息論與編碼 曹雪虹等編著403.4 連續(xù)信道及其容量 n討論P(yáng)PXEXELllLllLll11212LllLlllLPPPPPf11221)1log(21),(LlPPPPflL, 2 , 1, 0),(21LlPll, 2 , 1, 01212LlPll, 2 , 1,212各個(gè)時(shí)刻的信道輸出功率相等設(shè)為常數(shù) LPll22122lLiillLPP普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著413.4 連續(xù)信道及其容量 neg有一并聯(lián)高斯加性信道，各子信道噪聲方差為 0.1， 0.2， 0.3， 0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0 2122232

24、42526272829210普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著423.4 連續(xù)信道及其容量 n限時(shí)限頻限功率加性高斯白噪聲信道 波形信道中，在限時(shí)tB、限頻fm條件下可轉(zhuǎn)化成多維連續(xù)信道，將輸入隨機(jī)過程x(t)、輸出隨機(jī)過程y(t)轉(zhuǎn)化成L維隨機(jī)序列XX1 X2 XL 和YY1 Y2 YL，波形信道的平均互信息為 ( ); ( )lim (;)LI x ty tIX Y信道容量為 sbitItCBtptB/);(1limmax)(YXx普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著433.4 連續(xù)信道及其容量 n限時(shí)限頻限功率加性高斯白噪聲信道 000l

25、og(1/)log(1)log(1)2222SSSBPNPPLLCWtWN WN W信道的容量 0limlog(1)/BSttBPCCWbit stN W單位時(shí)間的信道容量 香農(nóng)公式香農(nóng)公式 Ct W log(1+SNR) 比特/秒 輸入信號(hào)x(t)滿足均值為零、平均功率Ps的高斯白噪聲的特性 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著443.4 連續(xù)信道及其容量 討論n帶寬W一定時(shí)，信噪比SNR與信道容量Ct 成對(duì)數(shù)關(guān)系，SNR增大，Ct 就增大，但增大到一定程度后就趨于緩慢。n增加輸入信號(hào)功率有助于容量的增大，但該方法是有限的；n降低噪聲功率也是有用的，當(dāng) 時(shí)， ，即無噪

26、聲信道的容量為無窮大。Ct SNR信道容量與信噪比的關(guān)系00NtCCt W log(1+SNR) 比特/秒普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著453.4 連續(xù)信道及其容量 n討論當(dāng)輸入信號(hào)功率PS一定，增加信道帶寬，可以增加容量xSWSSSWtWxNPWNPPWNNPCC/10000)1log(lim)1log(limlim秒/2ln)1ln(2lnlim0/10bitNPxNPSxSWln(1+x) x PS/N0ln 2-1.6dB，即當(dāng)帶寬不受限制時(shí)，傳送1比特信息，信噪比最低只需-1.6dB （香農(nóng)限）香農(nóng)限） sbitC/1普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信

27、息論與編碼 曹雪虹等編著463.4 連續(xù)信道及其容量 n討論 Ct/Wlog(1+SNR)比特/秒/Hz，單位頻帶的信息傳輸速率頻帶利用率，該值越大，信道就利用得越充分。Ct/W (bit/s/Hz) 不可實(shí)現(xiàn)區(qū)域 1 可實(shí)現(xiàn)區(qū)域 -1.6 0 SNR(dB)普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著47Ct W log(1+SNR) 比特/秒Ct一定時(shí)，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號(hào)功率不變的情況下，可容許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中的擴(kuò)頻系統(tǒng)就是利用了這個(gè)原理，將所需傳送的信號(hào)擴(kuò)頻，使之遠(yuǎn)遠(yuǎn)大于原始信號(hào)帶寬，以增強(qiáng)抗干擾的能力。 3.4 連續(xù)信道及其容量 普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著483.4 連續(xù)信道及其容量 nEg電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR100，求信道的容量。skbSNRWCt/22)1001log(3 . 3)1log(普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著