信息論與編碼-第章信道容量ppt課件

1、網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding第三章信道容量趙永斌石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院 2021年5月27日網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding信道及其容量3.1 信道容量的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信源3.3 多符號(hào)離散信源3.4 連續(xù)信道3.5 信道編碼定理網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding回憶信道是傳輸信息的媒質(zhì)或通道。（輸入信道是傳輸信息的媒質(zhì)或通道。（輸入信道信道輸出）輸出）說明說明（1信道輸入是隨機(jī)過程。信道輸入是隨機(jī)過程。（2信

2、道響應(yīng)特性是條件概率信道響應(yīng)特性是條件概率P(輸出值為輸出值為y|輸入值為輸入值為x)，又稱為轉(zhuǎn)移概率。又稱為轉(zhuǎn)移概率。（3信道輸出是隨機(jī)過程，輸出的概率分布可以由輸入信道輸出是隨機(jī)過程，輸出的概率分布可以由輸入的概率分布和信道的響應(yīng)特性得到。（全概率公式）的概率分布和信道的響應(yīng)特性得到。（全概率公式）（4根據(jù)信道輸入、信道響應(yīng)特性、信道輸出的情況，根據(jù)信道輸入、信道響應(yīng)特性、信道輸出的情況，可將信道分類：離散信道又稱為數(shù)字信道）；連續(xù)信可將信道分類：離散信道又稱為數(shù)字信道）；連續(xù)信道又稱為模擬信道）；特殊的連續(xù)信道道又稱為模擬信道）；特殊的連續(xù)信道波形信道；波形信道；恒參信道和隨參信道；無記

3、憶信道和有記憶信道等恒參信道和隨參信道；無記憶信道和有記憶信道等網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding回憶“離散的含義是時(shí)間離散，事件離散。即：信道的輸入、輸出時(shí)刻是離散的，且輸入隨機(jī)變量和輸出隨機(jī)變量都是離散型的隨機(jī)變量?！盁o記憶的含義是信道響應(yīng)沒有時(shí)間延遲，當(dāng)時(shí)的輸出只依賴于當(dāng)時(shí)的輸入。“平穩(wěn)的含義是信道在不同時(shí)刻的響應(yīng)特性是相同的。網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding無干擾無干擾信道信道有干擾有干擾信道信道3.1 信道容量的數(shù)學(xué)模型和分類信道的分類信道的分類有記憶信道有記憶信道無記憶信道無記憶信

4、道單符號(hào)單符號(hào) 信道信道多符號(hào)多符號(hào)信道信道單用戶信道單用戶信道多用戶信道多用戶信道連續(xù)信道連續(xù)信道半離散信道半離散信道離散信道離散信道網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding62022-2-1信道分類定義定義:假如假如（1信道的輸入為隨機(jī)變量序列信道的輸入為隨機(jī)變量序列X1, X2, X3, ，其，其中每個(gè)隨機(jī)變量中每個(gè)隨機(jī)變量Xu的事件集合都是的事件集合都是0, 1, , K-1，（2信道的輸出為隨機(jī)變量序列信道的輸出為隨機(jī)變量序列Y1, Y2, Y3, ，其，其中每個(gè)隨機(jī)變量中每個(gè)隨機(jī)變量Yu的事件集合都是的事件集合都是0, 1, , J-1，

5、則稱該信道為離散信道。則稱該信道為離散信道。網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding72022-2-1信道分類如果更有（3P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN)，則稱該信道為離散無記憶信道DMC）。如果更有（4對(duì)任意x0, 1, , K-1，y0, 1, , J-1，任意兩個(gè)時(shí)刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，則稱該信道為離散無記憶平穩(wěn)信道或恒參信道。 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information

6、 Theory and Coding 信道容量的數(shù)學(xué)模型噪聲噪聲介質(zhì)缺陷介質(zhì)缺陷XY信源信源編碼編碼信道信道編碼器編碼器調(diào)制器調(diào)制器（寫入頭）（寫入頭）信信 道道（存儲(chǔ)介質(zhì)）（存儲(chǔ)介質(zhì)）解調(diào)器解調(diào)器（寫入（寫入頭）頭）信道信道譯碼器譯碼器信源信源譯碼譯碼轉(zhuǎn)移轉(zhuǎn)移概率概率矩陣矩陣p(Y|X)p(Y|X)XY網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding信道容量的數(shù)學(xué)模型P(Y/X)xY信道的數(shù)學(xué)模型：信道的數(shù)學(xué)模型： X P(Y/X) Y信道在某一時(shí)刻u的響應(yīng)特性P(Yu=y|Xu=x)； x0, 1, , K-1，y0, 1, , J-1，網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工

7、程系- -Information Theory and Coding信道容量的數(shù)學(xué)模型l 二元對(duì)稱信道BSCl當(dāng)N1時(shí)lp(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1l 當(dāng)N=2時(shí)，l p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81l P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09l P(11/00)=p(00/11)=0.1*0.1=0.010.90.900110.10.1網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding112022-2

8、-1信道容量的數(shù)學(xué)模型（1轉(zhuǎn)移概率矩陣的每一行都是一個(gè)概率向量。 ) 1| 1() 1| 1 () 1| 0 () 1 | 1() 1 | 1 () 1 | 0 () 0 | 1() 0 | 1 () 0 | 0 (KJpKpKpJpppJppp1)| 1, 1 , 0()|(10 xXJYPxypxJy，對(duì)任意網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding12信道容量的數(shù)學(xué)模型（2對(duì)任意y0, 1, , J-1，由全概率公式有10)|()()(Kxxypxqyw) 1| 1() 1| 1 () 1| 0 () 1 | 1() 1 | 1 () 1 | 0

9、 () 0| 1() 0| 1 () 0| 0 ()1(,),1 (),0 ()1(,),1 (),0 (KJpKpKpJpppJpppKqqqJwww網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.2 單符號(hào)離散信道的信道容量單符號(hào)離散信道的信道容量網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding信道容量的定義信道容量的定義I(X; Y)是概率向量q(x), x0, 1, , K-1和轉(zhuǎn)移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1的函數(shù)。 1100111000( | )(; )()()l

10、og( )( | )( ) ( | )log( ) ( | )KJxyKJKxyzp y xI X YPXYxyp yp y xp x p y xp z p y z網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding信道容量的定義信道容量的定義設(shè)轉(zhuǎn)移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1（是信道的響應(yīng)特性確定，希望選擇概率向量q(x), x0, 1, , K-1使I(X; Y) 達(dá)到最大。網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding信道容量信道容量)()(max )()(max );(ma

11、x)()()(XYHYHYXHXHYXICiiixpxpxp);(max1)(YXItCiapt信道單位時(shí)間傳信道單位時(shí)間傳輸?shù)淖畲笮畔⒘枯數(shù)淖畲笮畔⒘烤W(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding定義離散無記憶信道的信道容量定義為如下的定義離散無記憶信道的信道容量定義為如下的C。達(dá)到信道容量的輸入概率分布達(dá)到信道容量的輸入概率分布x, p(x), x0, 1, , K-1稱為最佳輸入分布。稱為最佳輸入分布。 其中其中 ( ),0,1, ,1 max( ; )pp x xKKCI X Y跑遍所有的 維概率向量L信道容量表示了信道傳送信息的最大能力，這個(gè)量在

12、信息論信道容量表示了信道傳送信息的最大能力，這個(gè)量在信息論研究中有重要意義。傳送的信息量必須小于信道容量研究中有重要意義。傳送的信息量必須小于信道容量C信道容量的定義信道容量的定義網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.2.2 幾種特殊離散信道的容量幾種特殊離散信道的容量定義：DMC的轉(zhuǎn)移概率矩陣為 若P的任一行是第一行的置換，則稱信道是關(guān)于輸入為對(duì)稱的。若P的任一列是第一列的置換，則稱信道是關(guān)于輸出為對(duì)稱的。若信道是關(guān)于輸入為對(duì)稱的，又是關(guān)于輸出為對(duì)稱的，則稱信道為對(duì)稱信道。) 1| 1() 1|0() 1|0() 1 | 1() 1 | 1

13、() 1 |0()0| 1()0| 1 ()0|0(JKpJpJpKpppKpppP網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.2.2 幾種特殊離散信道的容量幾種特殊離散信道的容量一、離散無噪信道一、離散無噪信道1、一一對(duì)應(yīng)的無噪信道、一一對(duì)應(yīng)的無噪信道an bna1 b1a2 b21.000.0.0100.100naaaX,21nbbbY,21網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Codinga1 b1a2 b2an-1 bn-1an bn00.10000.010.10.00001.000X、Y一一對(duì)應(yīng)一一對(duì)應(yīng)Cm

14、ax I(X;Y)log np(ai)網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Codinga1 b1 b2 b32、具有擴(kuò)展功能的無噪信道、具有擴(kuò)展功能的無噪信道a2 b4 b5 b6a3 b7 b8 38372625241312110000000000000000ababababababababppppppp網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding此時(shí)，此時(shí)，H(X/Y)=0，H(Y/X) 0，且且 H(X) H(Y)。此時(shí)，此時(shí)，C = max H(X) = log n p(ai)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出一個(gè)輸入對(duì)應(yīng)多

15、個(gè)輸出網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3、具有歸并性的無噪信道、具有歸并性的無噪信道x1 y1x2 x3 y2x4100010010001001x5 y3C = max H(Y) = log mp(ai)H(X/Y) 0，H(Y/X) = 0多個(gè)輸入變成一個(gè)輸出多個(gè)輸入變成一個(gè)輸出網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding二、強(qiáng)對(duì)稱二、強(qiáng)對(duì)稱(均勻均勻)離散信道的信道容量離散信道的信道容量 p：總體錯(cuò)誤概率：總體錯(cuò)誤概率naaaX,21mbbbY,21pnpnpnpnppnpnpnpp1111.1.1

16、11.11n n網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding( | )( ) (/)log (/)( )(/)log (/)Remark:(1)log(1)(log)(1)11( )(1)log(1)log1(1)log(1)log1nnijijiijnnijijiijniiniH Y Xp a p bap bap ap bap bappppnnnpp apppnppppnH 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Codingnapi1)(相應(yīng)的相應(yīng)的()()()max (; ) max( )(|) max( ) log

17、iiiip ap anp aniCI X YH YH Y XH YHnH網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding二進(jìn)制均勻信道容量二進(jìn)制均勻信道容量 C1H(p),其中其中 H(p)=-(1-p)log(1-p)+plogp)二進(jìn)制均勻信道容量曲線二進(jìn)制均勻信道容量曲線網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding三、對(duì)稱離散信道的信道容量三、對(duì)稱離散信道的信道容量矩陣中的每行都矩陣中的每行都 是集合是集合P = p1, p2, , pn中的諸元素的不同排列，中的諸元素的不同排列，稱矩陣的行是可排列的。稱矩陣的行

18、是可排列的。矩陣中的每列都是集合矩陣中的每列都是集合Q = q1, q2, ,qm中的諸元素的不同排列，中的諸元素的不同排列，稱矩陣的列是可排列的。稱矩陣的列是可排列的。網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding如果矩陣的行和列都是可排列的，稱矩陣是可排列的。如果一個(gè)信道矩陣具有可排列性，則它所表示的信道稱為對(duì)稱信道中，當(dāng)對(duì)稱信道中，當(dāng)nm，Q是是P的子集；當(dāng)?shù)淖蛹?；?dāng)n=m時(shí)，時(shí)，P=Q。對(duì)稱信道對(duì)稱信道網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱信道練習(xí)：判斷下列矩陣表示

19、的信道是否是對(duì)稱信道 61316131616131313p 40.7 0.2 0.10.1 0.2 0.7p 31316161616131311p3121612161316131212p網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Codingnapi1)(相應(yīng)的相應(yīng)的1111(|)( ) (/)log (/) ( )(/)log (/) nmijijiijnmijijiijmiH Y Xp a p bap bap ap bap baH mimiapHmHYHCilog)(max)(網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and CodingC

20、H1 1 1 1log4(,)3 3 6 611112log3log3log6log633660.817 P1111336611116633 信道的轉(zhuǎn)移概率矩陣為:例網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding強(qiáng)對(duì)稱信道與對(duì)稱信道比較：強(qiáng)對(duì)稱信道與對(duì)稱信道比較： 強(qiáng)對(duì)稱強(qiáng)對(duì)稱 對(duì)稱對(duì)稱 n=m n與與m未必相等未必相等 矩陣對(duì)稱矩陣對(duì)稱 矩陣未必對(duì)稱矩陣未必對(duì)稱 P=Q P與與Q未必相等未必相等行之和，列之和均為行之和，列之和均為1行之和為行之和為1網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding四、準(zhǔn)對(duì)稱信道離散信道

21、的信道容量四、準(zhǔn)對(duì)稱信道離散信道的信道容量若信道矩陣的行是可排列的，但列不可排列，如果把列分成若干個(gè)不相交的子集，且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列的，則稱相應(yīng)的信道為準(zhǔn)對(duì)稱信道。例如下面的矩陣：網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding8181214181814121miHXYH)/()()max( )max( )iimimip ap aCH YHH YH網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是m1，m2，ms。準(zhǔn)對(duì)稱信道離散信道的信道容

22、量準(zhǔn)對(duì)稱信道離散信道的信道容量ssmjjsjsmjjjmjjjbPbPbPbPbPbPYH)(log)(.)(log)()(log)()(1111網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding準(zhǔn)對(duì)稱信道離散信道的信道容量準(zhǔn)對(duì)稱信道離散信道的信道容量21()logskkkkH Ym p bp b 2121( ) log,skkkmkH Ym p bp bH q qq網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.2.3 離散信道容量的一

23、般計(jì)算方法離散信道容量的一般計(jì)算方法 對(duì)一般離散信道而言，求信道容量，就是在固定信對(duì)一般離散信道而言，求信道容量，就是在固定信道的條件下，對(duì)所有可能的輸入概率分布道的條件下，對(duì)所有可能的輸入概率分布p(xi)，求平，求平均互信息的極大值。采用拉各朗日乘子法來計(jì)算。均互信息的極大值。采用拉各朗日乘子法來計(jì)算。(;)()1|()1niiniiIXYP aHYHYXP a設(shè):,0)(則有令iaP原因？原因？網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding()()(/)njijiip bp ap ba()(/)()jjiidp bp badp aexxloglnlo

24、gnimjniiijijimjjjiapabpabpapbpbpap11111)()/(log)/()()(log)()(網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding(/)log()(/)log()(/)log(/)0 mjijjijimjijijp bap bp baep ap bap ba11(/)log(/)(/)log()log0mmjijijijjjp bap bap bap be 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding11(/)log(/)(/)log()logmjijijmjijjp bap b

25、ap bap be (1)兩邊乘兩邊乘p(ai)，并求和，則有：，并求和，則有：網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding2112112()() log()()() log()lognmijijiijnmijijijp ap bap bap ap bap be 2(;)logIXYe2logCe(2)網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding將將2 2代入代入1 1），則有：），則有：（3）(/) log(/)(/) log()(/)log()mjijijmjijjmjijjp bap bap bap bCp

26、bap bC網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Codinglo g()jjpbC令（4）(/)log(/)(/)mmjjijijijjp bap bap ba那么那么3變?yōu)椋鹤優(yōu)椋壕W(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding:2(4)log()()2122log2jjjjjmmCjjjmCjmjjp bCp bC由解 方 程 ， 求 出（5） （6）（7）網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding1(5)()2()()(/)()jCjnjijiiip bp bp ap bap

27、 a由求出由求出（8）（9）網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding離散信道容量的一般計(jì)算方法離散信道容量的一般計(jì)算方法l總結(jié)總結(jié)C的求法，過程如下：的求法，過程如下：l1.求求jl2.求求Cl3.求求p(bj)l4.求求p(ai)(/)log (/)(/)mmjjijijijjp bap bap ba2log2mjjC()2jCjp b1()() (/)njijiip bp ap ba網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding101網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Co

28、ding12121 log1 0 log0 0111221(1)lo g(1) lo g (1)lo glo g (1)1lo g(1) 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding1121 (1)log 2log 2mjjC 111()2()2211(1)jCjCCp bp b 23網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding2111()1()(1)1(1)p bp b 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding1111212( )() ()() ()p bp a p b

29、 ap ap b a42121222()() (/)() (/)p bp ap bap ap ba11222()()()()(1)()p bp ap ap bp a網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding11111121()1(1)()1(1)p ap a100)(),(21apap網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.3 多符號(hào)離散信道多符號(hào)離散信道3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型3.3.2 離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information T

30、heory and Coding多符號(hào)離散信道多符號(hào)離散信道 多符號(hào)信源通過離散信道傳輸形多符號(hào)信源通過離散信道傳輸形成多符號(hào)離散信道。成多符號(hào)離散信道。3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型多符號(hào)離散信道的數(shù)學(xué)模型1212.NNXX XXYYYYYXYPX)(121 2KnKnXaaaYbbb12Niiiia aanii iN,.,2 , 1.21Nni,.,2,112NjjjjbbbNmj,.,2,1輸入輸入mjjjN,.,2 , 1.21輸出輸出網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -

31、Information Theory and CodingYYXPX)(112111222212()().()()().().()() .()NNNNNNmmnmnnppppppppp 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding3.3.2 離散無記憶信道的N次擴(kuò)展信道 獨(dú)立并聯(lián)信道的信道容量無記憶：無記憶：YK僅與僅與XK有關(guān)有關(guān)121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP Y YYX XXP YXP YXP YXP YX網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding)/(

32、)();(XYHYHYXI1X)(11XYP)(NNXYPNXXY1YNY網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding11121212121211112( /).(.) (.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjiiiH Y Xp a aap b bba aap b bba aa 1211111111112() ()()log()()NNNNNNNnnmmiiijijiiijjjijip a aap b ap bap b ap ba 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding1111

33、1112222222222()() log()()() log().()() log() NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and CodingNKKKYXIYXI1);();(a) NKKKNKKXYHYHYXI11)/()();(NKKNYHYYYH121 )().(NKKKNXYHYYYH121)/().(NKKKXYHYHYXI1)/()();(

34、網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding也是無記憶的要求等號(hào)成立相互獨(dú)立，NCCYXNIYXIXaYYYKKN 2 121);();( .XX )( . 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding652022-2-1(積信道積信道)定義信道的輸入事件為全體定義信道的輸入事件為全體(x, u)，共有，共有KN個(gè)輸入事個(gè)輸入事件；件；信道的輸出事件為全體信道的輸出事件為全體(y, v)，共有，共有JM個(gè)輸出事件；個(gè)輸出事件；轉(zhuǎn)移概率矩陣為轉(zhuǎn)移概率矩陣為p(y, v)|(x, u)(KN)(JM)，其中其中p(y,

35、 v)|(x, u)= p1(y|x)p2(v|u)。則稱該信道為信道則稱該信道為信道1與信道與信道2的積信道。（又稱該信的積信道。（又稱該信道為信道道為信道1與信道與信道2的獨(dú)立并行信道）的獨(dú)立并行信道）（在物理上，積信道是兩個(gè)信道的并行使用）（在物理上，積信道是兩個(gè)信道的并行使用） 網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding662022-2-1積信道積信道積信道的信道容量為積信道的信道容量為C=C1+C2，最佳輸入分布為最佳輸入分布為(x, u), q(x, u)，其中，其中q(x, u)=q1(x)q2(u)。網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Infor

36、mation Theory and Coding和信道定義信道的輸入事件為全體定義信道的輸入事件為全體xu，其中，其中x與與u不相交；共有不相交；共有K+N個(gè)輸入事件；個(gè)輸入事件；信道的輸出事件為全體信道的輸出事件為全體yv，其中，其中y與與v不不相交；共有相交；共有J+M個(gè)輸出事件；個(gè)輸出事件；信道的轉(zhuǎn)移概率矩陣為信道的轉(zhuǎn)移概率矩陣為)()(21)|(00)|(MJNKMNJKuvpxyp網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Coding和信道則稱該信道為信道1與信道2的和信道或稱并信道）。任一單位時(shí)間可隨機(jī)地選用一個(gè)信道，而不能同時(shí)選用兩個(gè)信道 。若選用信道1的概率為P1，選用信道2的概率為P2，則P1+ P2=1。網(wǎng)絡(luò)網(wǎng)絡(luò)工程系工程系- -Information Theory and Cod