第3章信道容量

1、第第3章章 信道容量信道容量l信道的主要任務(wù)：以信道的主要任務(wù)：以信號(hào)信號(hào)的形式的形式傳輸傳輸和存儲(chǔ)和存儲(chǔ)信息。信息。l問題：在問題：在什么條件什么條件下，通過信道的下，通過信道的信息量最大信息量最大,即即信道容量信道容量的問題。的問題。 3.1 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類 信道的數(shù)學(xué)模型信道的數(shù)學(xué)模型：X P(Y/X) Y輸入輸入與與輸出輸出之間一般之間一般不是不是確定的確定的函數(shù)關(guān)系，函數(shù)關(guān)系，而是而是統(tǒng)計(jì)依賴統(tǒng)計(jì)依賴關(guān)系。關(guān)系。P(Y/X)XY信宿信宿信道信道信源信源 通信系統(tǒng)的簡(jiǎn)化模型通信系統(tǒng)的簡(jiǎn)化模型噪聲噪聲信道的分類信

2、道的分類連續(xù)連續(xù)信道信道 信道的分類信道的分類根據(jù)輸入、輸出隨機(jī)信號(hào)的特點(diǎn)，分為：根據(jù)輸入、輸出隨機(jī)信號(hào)的特點(diǎn)，分為：信道的分類信道的分類單符號(hào)單符號(hào)信道信道多符號(hào)多符號(hào)信道信道根據(jù)輸入、輸出隨機(jī)變量的個(gè)數(shù)，分為：根據(jù)輸入、輸出隨機(jī)變量的個(gè)數(shù)，分為：信道的分類信道的分類單用戶信道單用戶信道多用戶信道多用戶信道根據(jù)輸入和輸出的個(gè)數(shù)，分為：根據(jù)輸入和輸出的個(gè)數(shù)，分為：信道的分類信道的分類無(wú)干擾信無(wú)干擾信道道有干擾信有干擾信道道根據(jù)信道上有無(wú)噪聲根據(jù)信道上有無(wú)噪聲( (干擾干擾) ) ，分為：，分為：信道的分類信道的分類有記憶信有記憶信道道無(wú)記憶信無(wú)記憶信道道根據(jù)信道有無(wú)記憶特性，分為：根據(jù)信道有無(wú)

3、記憶特性，分為：3.2.1 信道容量的定義信道容量的定義3.2 單符號(hào)離散信道的信道容量單符號(hào)離散信道的信道容量 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型12 ,.,nXa aa,1,2,.,ipin12 ,.,mYb bb,1,2,.,jqjm設(shè)離散信道的設(shè)離散信道的輸入空間輸入空間為為輸出空間輸出空間為為概率分布為概率分布為概率分布為概率分布為并有條件概率并有條件概率條件概率被稱為條件概率被稱為信道的傳遞概率或轉(zhuǎn)移概率。信道的傳遞概率或轉(zhuǎn)移概率。 X Y( | )(|),(1,2, ;1,2,)jiP y xP bain jm1ana1bmb(|)jiP ba將所有轉(zhuǎn)移概率以矩陣方式列出，得：

4、將所有轉(zhuǎn)移概率以矩陣方式列出，得：112111222212(|)(|).(|)(|)(|).(|)(|).(|)(|).(|)mmnnmnp bap bap bap bap bap baP YXp bap bap ba其中其中(|)0jip ba1(|)1mjijpba該矩陣完全描述了信道在干擾作用下的統(tǒng)計(jì)特性，稱為該矩陣完全描述了信道在干擾作用下的統(tǒng)計(jì)特性，稱為信道矩陣信道矩陣(n行行m列列)。反信道矩陣（反信道矩陣（m行行n列）列）112111222212(|)(|).(|)(|)(|).(|)(| ).(|)(|) .(|)nnmmnmp a bp abp abp a bp abp ab

5、P X Yp a bp abp ab其中其中(|)0ijp ab1(|)1nijip ab含義：含義：給定信道時(shí)，對(duì)應(yīng)各種信源分布，求取最大平均互信息；給定信道時(shí)，對(duì)應(yīng)各種信源分布，求取最大平均互信息；給定信道時(shí)，理論上能傳輸?shù)淖畲笮畔⒘?，表征信道傳給定信道時(shí)，理論上能傳輸?shù)淖畲笮畔⒘?，表征信道傳送信息的最大能力。送信息的最大能力?平均互信息平均互信息I(X;Y)是信源分布是信源分布p(ai)的的上凸函數(shù)，上凸函數(shù)，因此總因此總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量I(X;Y)最大。最大。 信道的信息傳輸率信道的信息傳輸率1(;)tRI X

6、Yt信息傳輸速率信息傳輸速率Rt: 單位時(shí)間單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘績(jī)?nèi)平均傳輸?shù)男畔⒘啃畔鬏斅市畔鬏斅蔙: 信道中信道中平均每個(gè)符號(hào)所能傳送的信息量。平均每個(gè)符號(hào)所能傳送的信息量。由由于平均互信息于平均互信息I(X;Y)的含義是接收到符號(hào)的含義是接收到符號(hào)Y后，平均每個(gè)符后，平均每個(gè)符號(hào)獲得的關(guān)于號(hào)獲得的關(guān)于X的信息量，因此信道信息傳輸率的信息量，因此信道信息傳輸率就是平均互就是平均互信息，信息，即即11()(; )()log ()nmjiijijjp baI X Yp abp b111()( ) ()log ( ) ()nmjiijinijijiip bap a p bap a p b

7、aI(X;Y)是是p(ai)和和p(bj/ai)的二元函數(shù)。當(dāng)信道特性的二元函數(shù)。當(dāng)信道特性p(bj/ai)固固定后，定后，I(X;Y)隨信源概率分布隨信源概率分布p(ai)變化。變化。l信道容量：信道中信道容量：信道中最大的傳輸率，最大的傳輸率，記為記為C， 單位：比特單位：比特/信道符號(hào)信道符號(hào)l最大信息傳輸速率最大信息傳輸速率Ct，單位：比特單位：比特/秒秒 ()()maxmax ( ; )p aip aiCRI X Y 信道容量信道容量);(max1)(YXItCiapt信道矩陣：信道矩陣：?jiǎn)挝魂噯挝魂?,()(|)(|)1,()jiijijp bap a bija1a2a3 anb1

8、b2b3 bn 1000010000100001P3.2.2 幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量一、離散無(wú)噪信道的信道容量一、離散無(wú)噪信道的信道容量1、一一對(duì)應(yīng)的無(wú)噪信道、一一對(duì)應(yīng)的無(wú)噪信道(無(wú)損確定信道無(wú)損確定信道)（n=m）a1 b1a2 b2an-1 bn-1an bn00.10000.010.10.00001.000損失熵?fù)p失熵 H(X/Y) = 0 噪聲熵噪聲熵 H(Y/X) = 0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) H(X) = H(Y)22( )( )( )max ( ; ) max( ) max( ) loglogiiip xp x

9、p xCI X YH XH Ynm2.具有擴(kuò)展性能的無(wú)噪信道：一對(duì)多（具有擴(kuò)展性能的無(wú)噪信道：一對(duì)多（nm）信道矩陣：信道矩陣：每列只有一個(gè)非每列只有一個(gè)非0 0元素，不全是元素，不全是0 0、1 11121324153( / )( / )0000,()00( / )( / )0, ( | )1 ,()0000( / )jiijjipb apb ab Bpb apb apa bb Bpb aPa1a2a3b1b2b3b4 b5信道疑義度（損失熵）信道疑義度（損失熵） H(X/Y)=0噪聲熵噪聲熵 H(Y/X)0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X) H(X)H

10、(Y) 2( )( )max ( ; )max( )logiip xp xCI X YH Xn3.具有歸并性能的無(wú)噪信道：多對(duì)一（具有歸并性能的無(wú)噪信道：多對(duì)一（nm）信道矩陣：信道矩陣：每行只有一個(gè)元素每行只有一個(gè)元素“1 1”，其它全是，其它全是0 01001000, (),(|)0101, ()010001ijjiijaAp baaAPb1b2b3a1a2a3a4 a5損失熵?fù)p失熵 H(X/Y) 0 噪聲熵噪聲熵 H(Y/X) = 0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y) H(X) H(Y)2()()max (;)max( )logiip xp xCI

11、X YH Ym信道特點(diǎn)信道特點(diǎn) 信道輸入、輸出均為信道輸入、輸出均為n元元 每符號(hào)每符號(hào)正確正確傳輸傳輸概率概率均為均為 其他符號(hào)其他符號(hào)錯(cuò)誤錯(cuò)誤傳輸傳輸概率概率為為p/(n-1)矩陣特點(diǎn)矩陣特點(diǎn) (1)nn階對(duì)稱陣階對(duì)稱陣 (2)每行和為每行和為1,每列和為每列和為1111111pppnnpppnnpppnnP1pp 二、強(qiáng)對(duì)稱二、強(qiáng)對(duì)稱(均勻均勻)離散信道的信道容量離散信道的信道容量(/)() (/)log(/)()(/)log(/)nnijijiijnniiinnijijijH YXp ap bap bap a HHp bap ba 其中1,.111ppppnnn每行、每列都是每行、每列

12、都是同一集合同一集合各元素的各元素的不同排列不同排列(; )( )()I X YH YH Y X(1)log(1) (log)(1)11nippHppnnn 固定固定Xai，對(duì)，對(duì)Y求和，即選定某一行，對(duì)各元素自信息量求和，即選定某一行，對(duì)各元素自信息量加權(quán)求和。加權(quán)求和。(/)log(/)nnijijijHp bap baai不同時(shí)，只是求和順序不同，結(jié)果完全一樣，所以不同時(shí)，只是求和順序不同，結(jié)果完全一樣，所以Hni與與X無(wú)關(guān)，是無(wú)關(guān)，是常數(shù)。常數(shù)。 信道容量信道容量 可以看出，當(dāng)可以看出，當(dāng)輸出等概分布輸出等概分布時(shí)，即時(shí)，即H(Y)=log2n時(shí)時(shí)達(dá)到信達(dá)到信道容量。道容量。ninap

13、apapHnHYHXYHYHYXICiiiilog )(max )/()(max );(max)()()( 那么，在什么樣的信源輸入情況下，信道輸出能等概分布呢？那么，在什么樣的信源輸入情況下，信道輸出能等概分布呢？可以證明，可以證明，輸入等概分布輸入等概分布時(shí)，離散對(duì)稱信道的時(shí)，離散對(duì)稱信道的輸出也為等概分布輸出也為等概分布1()() (|),1,2,.,njijiip bp a p bajn11122211()()()()()()11()()()11Tnnnnnpppnnp bp ap appp bp ap apnnp bp ap apppnnP結(jié)論：結(jié)論：l當(dāng)當(dāng)輸入等概輸入等概率分布時(shí)，

14、強(qiáng)對(duì)稱離散信道能夠傳輸率分布時(shí)，強(qiáng)對(duì)稱離散信道能夠傳輸最大最大的的平均信息量，達(dá)到平均信息量，達(dá)到信道容量。信道容量。l信道容量信道容量只與只與信道的輸出符號(hào)信道的輸出符號(hào)n及及信道矩陣的某一行矢量信道矩陣的某一行矢量有關(guān)。有關(guān)。二進(jìn)制對(duì)稱信道二進(jìn)制對(duì)稱信道(n=2)22222logloglog11loglog1( )pCnpppnppppH p 22( )loglogH ppppp 0 0.5 1 p1C行可排列行可排列矩陣矩陣每行各元素都來(lái)自同一集合每行各元素都來(lái)自同一集合Q Qq1,q2,qm(排列可不同排列可不同) 列可排列列可排列矩陣矩陣每列各元素都來(lái)自同一集合每列各元素都來(lái)自同一集

15、合P Pp1,p2,pn(排列可不同排列可不同) 矩陣可排列矩陣可排列矩陣的行、列皆可排列矩陣的行、列皆可排列對(duì)稱信道對(duì)稱信道信道矩陣可排列信道矩陣可排列 離散對(duì)稱信道離散對(duì)稱信道三、對(duì)稱離散信道的信道容量三、對(duì)稱離散信道的信道容量 (1)m=n 時(shí)，時(shí)，Q、P為同一集合為同一集合 mn時(shí)，時(shí)，Q、P中，一個(gè)必為另一個(gè)的子集中，一個(gè)必為另一個(gè)的子集 (2)輸入等概輸入等概輸出等概輸出等概 離散離散輸入對(duì)稱輸入對(duì)稱信道信道 如果一個(gè)離散無(wú)記憶信道的信道矩陣中，如果一個(gè)離散無(wú)記憶信道的信道矩陣中，每一行每一行都是其都是其他行的他行的同一組元素同一組元素的不同排列，則稱此類信道為離散輸?shù)牟煌帕校瑒t

16、稱此類信道為離散輸入對(duì)稱信道。入對(duì)稱信道。1/31/61/31/61/61/61/31/3P 離散離散輸出對(duì)稱輸出對(duì)稱信道信道 如果一個(gè)離散無(wú)記憶信道的信道矩陣中，如果一個(gè)離散無(wú)記憶信道的信道矩陣中，每一列每一列都是其都是其他列的他列的同一組元素同一組元素的不同排列，則稱此類信道為離散輸出的不同排列，則稱此類信道為離散輸出對(duì)稱信道。對(duì)稱信道。0.40.60.60.40.50.5P離散對(duì)稱信道離散對(duì)稱信道 如果一個(gè)離散無(wú)記憶信道的信道矩陣中，如果一個(gè)離散無(wú)記憶信道的信道矩陣中，每一行每一行都是其都是其他行的同一組元素的不同排列，并且他行的同一組元素的不同排列，并且每一列每一列都是其他列都是其他列

17、的同一組元素的不同排列，則稱此類信道為離散對(duì)稱信的同一組元素的不同排列，則稱此類信道為離散對(duì)稱信道。道。1/ 21/31/61/61/ 21/31/31/61/ 2P1/31/31/61/61/61/61/31/3P練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱信道練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱信道 61316131616131313p 40.7 0.2 0.10.1 0.2 0.7p 31316161616131311p3121612161316131212pnapi1)( 對(duì)稱離散信道的信道容量對(duì)稱離散信道的信道容量minimjijijinimjijijiHabpabpapabpabpap

18、XYH )/(log)/()( )/(log)/()()/(1111mimiapHmHYHCilog)(max)(可以看出，當(dāng)輸出等概分布時(shí)，即可以看出，當(dāng)輸出等概分布時(shí)，即H(Y)=log2m時(shí)達(dá)到信道容量。時(shí)達(dá)到信道容量。由于對(duì)稱信道的特點(diǎn)，輸入等概率分布由于對(duì)稱信道的特點(diǎn)，輸入等概率分布輸出等概率分布。輸出等概率分布。強(qiáng)對(duì)稱信道與對(duì)稱信道比較：強(qiáng)對(duì)稱信道與對(duì)稱信道比較：強(qiáng)對(duì)稱強(qiáng)對(duì)稱 對(duì)稱對(duì)稱n=m n與與m未必相等未必相等矩陣對(duì)稱矩陣對(duì)稱 矩陣未必對(duì)稱矩陣未必對(duì)稱P=Q P與與Q未必相等未必相等行之和，列之和均為行之和，列之和均為1(n=m)行之和為行之和為1(nm)四、準(zhǔn)對(duì)稱離散信道的

19、信道容量四、準(zhǔn)對(duì)稱離散信道的信道容量準(zhǔn)對(duì)稱離散信道準(zhǔn)對(duì)稱離散信道 信道矩陣的信道矩陣的行可排列，列不可排列。行可排列，列不可排列。 但把該矩陣在水平方向上分割，則各但把該矩陣在水平方向上分割，則各子矩陣子矩陣皆具皆具可排列性可排列性 例例 1111248811114288 P8181214181814121miHXYH)/()(max)(miapHYHCi假設(shè)此時(shí)將矩陣的列分為假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是個(gè)數(shù)分別是m1，m2，ms。ssmjjsjsmjjjmjjjbPbPbPbPbPbPYH)(log)(.)(log)()(log)()(111

20、13.2.3 離散信道容量的一般計(jì)算方法離散信道容量的一般計(jì)算方法 對(duì)于固定的信道，平均互信息對(duì)于固定的信道，平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)的上的上凸函數(shù)凸函數(shù), ,所以極大值一定存在。所以極大值一定存在。 I(X;Y)是是n個(gè)變量個(gè)變量p(ai)(i=1,2,n)的多元函數(shù)，并滿足的多元函數(shù)，并滿足1()1niip a 所以可以用拉格朗日乘子法計(jì)算條件極值所以可以用拉格朗日乘子法計(jì)算條件極值: :1(; )() 1niiI X Yp a 其中，其中， 為拉格朗日乘子為拉格朗日乘子一般離散信道容量的求解步驟：一般離散信道容量的求解步驟：(1)(2)(3) (4)2

21、1log (2 )jmjC211(|)(|)log(|)mmjijjijijjjp bap bap ba 1()() (|)()njijiiip bp a p bap a ()2jCjp b需要確認(rèn)所有的需要確認(rèn)所有的 ，所求的，所求的C才存在。才存在。( )0ip a例：例：1110244010000101110442P可列方程組：可列方程組：12423134111111111logloglog24422444400111111111logloglog442444422解之得：解之得：231402 20025log(2222 )loglog5 12C2 log5 1141( )()210P

22、bP b 14234()()3011()()30P aP aP aP a0 log5 1234()()210P bP b3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型多符號(hào)離散信道的數(shù)學(xué)模型YXYPX)(3.3 多符號(hào)離散信道的信道容量多符號(hào)離散信道的信道容量P(Y/X)或p(bj/ai)X=X1X2 Xk .XNY=Y1Y2 Yk .YN 多符號(hào)離散信源多符號(hào)離散信源X=X1X2 Xk .XN在在N個(gè)不同時(shí)刻個(gè)不同時(shí)刻分別分別通過單符號(hào)離散信道，在輸出端出現(xiàn)通過單符號(hào)離散信道，在輸出端出現(xiàn)Y=Y1Y2 Yk .YN，形，形成一個(gè)新的信道，此即成一個(gè)新的信道，此即多符號(hào)離散信道。多符號(hào)離散信道。由于新信

23、道相當(dāng)于由于新信道相當(dāng)于單符號(hào)離散信道在單符號(hào)離散信道在N個(gè)不同的時(shí)刻連續(xù)運(yùn)用了個(gè)不同的時(shí)刻連續(xù)運(yùn)用了N次，也稱為次，也稱為單單符號(hào)離散信道的符號(hào)離散信道的N次擴(kuò)展信道。次擴(kuò)展信道。Xk取值取值: a1,a2,an, 則則X共有共有nN種種 , i=1nNYk取值取值: b1,b2,bm, 則則Y共有共有mN種種 , j=1mNP(Y/X)或p(bj/ai)X=X1X2 Xk .XNY=Y1Y2 Yk .YN 多符號(hào)離散信道的數(shù)學(xué)模型多符號(hào)離散信道的數(shù)學(xué)模型ij121212121212(.),. ,.,(.),. ,.,NNNNiiiiiiinjiiiiiina aaa aaa aab bbb

24、 bbb bb112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)NNNNNNmmnnmnpppppppppP YX 信道矩陣信道矩陣每行元素之和等于每行元素之和等于1 1 3.3.2 離散無(wú)記憶擴(kuò)展信道的信道容量離散無(wú)記憶擴(kuò)展信道的信道容量X=X1X2 Xk .XNY=Y1Y2 Yk .YN P(Y1/X1)P(Y1/X1)P(Y1/X1)X1 Y1X2 Y2XN YN 把把多符號(hào)離散信道多符號(hào)離散信道理解成理解成單符號(hào)離散信道單符號(hào)離散信道在每一個(gè)單位時(shí)間傳在每一個(gè)單位時(shí)間傳遞一個(gè)隨機(jī)變量的時(shí)候，需要遞一個(gè)隨機(jī)變量的時(shí)候，需要考慮考慮k時(shí)刻時(shí)刻的輸出變量的輸

25、出變量Yk與與k時(shí)刻時(shí)刻之前之前的輸入變量的輸入變量X1X2Xk-1和輸出變量和輸出變量Y1Y2Yk-1之間之間有無(wú)依賴關(guān)系。有無(wú)依賴關(guān)系。 若若多符號(hào)離散信道多符號(hào)離散信道的轉(zhuǎn)移概率滿足的轉(zhuǎn)移概率滿足 則稱之為則稱之為離散離散無(wú)記憶無(wú)記憶信道的信道的N次擴(kuò)展次擴(kuò)展信道。信道。1 21211221( /)(.|.)( |) (|). (|)(/)NNNNNkkkP YY YX XXP Y X P Y XP YXp YXP Y X說明說明擴(kuò)展信道的轉(zhuǎn)移概率擴(kuò)展信道的轉(zhuǎn)移概率=各時(shí)刻各時(shí)刻單符號(hào)信道轉(zhuǎn)移概率的單符號(hào)信道轉(zhuǎn)移概率的連乘連乘 無(wú)記憶性無(wú)記憶性k時(shí)刻輸出時(shí)刻輸出Yk只與只與k 時(shí)刻輸入時(shí)

26、刻輸入Xk有關(guān)有關(guān), 與與k時(shí)刻之前輸入時(shí)刻之前輸入X1X2 Xk-1無(wú)關(guān)無(wú)關(guān) 無(wú)預(yù)感性無(wú)預(yù)感性k時(shí)刻之前輸出時(shí)刻之前輸出Y1Y2 Yk-1只與只與k時(shí)刻之前輸時(shí)刻之前輸 入入X1X2 Xk-1有關(guān)有關(guān)，與與Xk無(wú)關(guān)無(wú)關(guān)結(jié)論結(jié)論 離散無(wú)記憶離散無(wú)記憶N次擴(kuò)展信道次擴(kuò)展信道無(wú)記憶，無(wú)預(yù)感無(wú)記憶，無(wú)預(yù)感互信息和信道容量互信息和信道容量1(|)(|)NkkkHH YXY X離散無(wú)記憶離散無(wú)記憶N次擴(kuò)展信道兩端的平均互信息次擴(kuò)展信道兩端的平均互信息I(X;Y)=H(Y) - H(Y|X) 由于信道無(wú)記憶由于信道無(wú)記憶 當(dāng)?shù)诋?dāng)?shù)趉個(gè)隨機(jī)變量個(gè)隨機(jī)變量Xk單獨(dú)通過單符號(hào)離散信道時(shí)，在輸出端得到單獨(dú)通過單符

27、號(hào)離散信道時(shí)，在輸出端得到的關(guān)于的關(guān)于Xk的平均互信息量的平均互信息量1 21(;)(.)(|)NNkkkIH YYYH YXX Y(|)()(|),1,2,.,kkkkkI XYH YH YXkN1111(|)( )(|)( )(|)NNNNkkkkkkkkkkkkI XYH YH YXH YH YX相減可得相減可得1 211( ; )(|)(.)( )0NNkkNkkkII XYH YY YH YX Y1(;)(|)NkkkII XYX Y 離散無(wú)記憶信道的離散無(wú)記憶信道的N次擴(kuò)展信道的平均互信息，不大于次擴(kuò)展信道的平均互信息，不大于N個(gè)隨機(jī)個(gè)隨機(jī)變量變量X1X2XN單獨(dú)通過信道單獨(dú)通過信

28、道X P(Y|X) Y的平均互信息之和。的平均互信息之和。 當(dāng)且僅當(dāng)信源當(dāng)且僅當(dāng)信源X=X1X2XN無(wú)記憶無(wú)記憶,或信源或信源X是離散無(wú)記憶信源是離散無(wú)記憶信源X的的N次擴(kuò)展信源時(shí)，等號(hào)成立。次擴(kuò)展信源時(shí)，等號(hào)成立。 原因：原因： 離散無(wú)記憶信道的離散無(wú)記憶信道的N次擴(kuò)展信道，當(dāng)輸入端的次擴(kuò)展信道，當(dāng)輸入端的N個(gè)輸個(gè)輸入隨機(jī)變量統(tǒng)計(jì)獨(dú)立時(shí)，信道的總平均互信息等于這入隨機(jī)變量統(tǒng)計(jì)獨(dú)立時(shí)，信道的總平均互信息等于這N個(gè)個(gè)變量單獨(dú)通過信道的平均互信息之和。變量單獨(dú)通過信道的平均互信息之和。1 21( )(.)()NNkkHH YYYH YY 對(duì)于離散無(wú)記憶信源的對(duì)于離散無(wú)記憶信源的N次擴(kuò)展信源次擴(kuò)展信

29、源 通過同一個(gè)離散無(wú)記憶信道信通過同一個(gè)離散無(wú)記憶信道信 X P(Y|X) Y 在信道輸出端，隨機(jī)變量序列在信道輸出端，隨機(jī)變量序列Y=Y1Y2YN中的隨機(jī)變量中的隨機(jī)變量Yk 1212 ,., ( ), (),., ()knnXa aap ap ap a1212 ,., ( ), (),., ()kmmYb bbp bp bp b1(;)( ; )( ; )(;)( ; )NkkkkkNI X YI X YII X YNI X YCNC X Y 離散無(wú)記憶信道的離散無(wú)記憶信道的N次擴(kuò)展信道，如果信源也是離散無(wú)記次擴(kuò)展信道，如果信源也是離散無(wú)記憶信源的憶信源的N次擴(kuò)展信源，則信道總的平均互信息

30、量是單符號(hào)離次擴(kuò)展信源，則信道總的平均互信息量是單符號(hào)離散無(wú)記憶信道的平均互信息量的散無(wú)記憶信道的平均互信息量的N倍。倍。含義含義 信道信道輸入序列輸入序列的各隨機(jī)變量的各隨機(jī)變量取值于不同符號(hào)集取值于不同符號(hào)集; ; 信道信道輸出序列輸出序列的各隨機(jī)變量的各隨機(jī)變量亦取值于不同符號(hào)集亦取值于不同符號(hào)集; ; 也稱為也稱為獨(dú)立并列信道、獨(dú)立平行信道獨(dú)立并列信道、獨(dú)立平行信道或或積信道。積信道。信道容量信道容量121NNNkkCCCCC3.3.3 獨(dú)立并聯(lián)信道的信道容量獨(dú)立并聯(lián)信道的信道容量 當(dāng)當(dāng)N個(gè)輸入隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立，并且每個(gè)個(gè)輸入隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立，并且每個(gè)輸入隨機(jī)變量輸入隨機(jī)變量X

31、k的概率分布為達(dá)到各自信道容量的概率分布為達(dá)到各自信道容量Ck的最佳分布時(shí)，的最佳分布時(shí)，CN達(dá)到最大值達(dá)到最大值max1NNkkCC N個(gè)獨(dú)立并聯(lián)信道的信道容量等于各個(gè)信道容個(gè)獨(dú)立并聯(lián)信道的信道容量等于各個(gè)信道容量之和量之和3.4.1 多址接入信道多址接入信道 多入單出信道多入單出信道信源信源1 1信源信源2 21 u2 u編碼器編碼器1 1編碼器編碼器2 21u2u信道信道譯碼譯碼12CY1a2a二址接入信道模型3.4 網(wǎng)絡(luò)信息理論網(wǎng)絡(luò)信息理論1 111121.nXaaa1 221222.nXaaa121222nYb bb11uu11RC112(;/)RI X Y X12112()()ma

32、x(;/)P XP XCI X Y X22RC12221()()max(;/)P XP XCI X YX121212()()max(; )P XP XCI X X Y1212RRC121212max(,)C CCCCR2 C20 C1 C12C1+C2R13.4.2 廣播信道廣播信道廣播信道廣播信道具有單個(gè)輸入和多個(gè)輸出的信道。1U信源信源1 1編碼器編碼器信道信道信源信源2 2譯碼器譯碼器2 2譯碼器譯碼器1 12U1U2UX1Y2Y單輸入雙輸出廣播信道模型 退化廣播信道（串聯(lián)）編碼器編碼器信道信道1 11U2UX1Y2Y信道信道2 21()P Y X21()P Y Y退化的廣播信道模型)/()()/(12121bbpxbpxbbp2121(/)(/)p bb xp bb)/()/(1212YYHXYYH21YYX、構(gòu)成馬爾可夫鏈);();(121YXIYYXI)(xp)(xp不變)()(21upup、，保持);(1YXI最大)/;(211uYXIR )/;(