四章離散信道及其容量

信息論的旅含有多少信息第四章離散信道及其信道容5、有噪信道編信息論的旅含有多少信息第四章離散信道及其信道容5、有噪信道編4、限失真信源碼本章研究什么主要內(nèi)一：信道的數(shù)學(xué)模型及分二：離散無記憶信信道的主要研究內(nèi)容信道建模（信道的統(tǒng)計特性描述信道傳輸信息的能力（信道容量在有噪信道中能否實現(xiàn)可靠傳輸三：離散無記憶信道的擴展信四：信五：信道容1.1信道的數(shù)學(xué)模1.2信道的分按輸入/輸出信號的幅度和時間特干XYP(y|X,PY|X,Y1信幅時信道離離離散信道（數(shù)字信道連離連連波形信道（模擬信道離連（理論和實用價值均很小1.2信道的分1.2信道的分按輸入/輸出之間的記憶性來劃分1.2信道的分1.2信道的分按輸入/輸出之間的記憶性來劃分根據(jù)信道的統(tǒng)計特性是否隨時間改變可分為平穩(wěn)信道（恒參信道、時不變信道，如衛(wèi)星通信非平穩(wěn)信道（隨參信道、時變信道，如移動通信根據(jù)輸入/輸出的個數(shù)可分為單用戶信道：一個輸入一個輸出單向通信根據(jù)信道的輸入/輸出是否是確定關(guān)系可分為有噪聲信無噪聲信二：離散無記憶信主要內(nèi)一：信道的數(shù)學(xué)模型及分1.離散無記憶信道的數(shù)學(xué)二：離散無記憶信2.單符號離散信道的數(shù)學(xué)3.一些常用的概率關(guān)三：離散無記憶信道的擴展信4.信道疑義四：信5.平均互信五：信道容 離散無記憶信道的數(shù)學(xué)模 離散無記憶信道的數(shù)學(xué)模1)一般多符號2)離散無記憶信道干NXp(y|x)p(yn|xnY3)平穩(wěn)信道（恒參信道p(y|x其中p(yb|xa)p(yb|xaXX1X2LXN，輸入符號Aa,a,L,a 1 YY1Y2Bb1,b2,L,，輸出符號p(y|x)p(yyLy|xxLx1 N1 2信 離散無記憶信道的數(shù)學(xué)模 離散無記憶信道的數(shù)學(xué)模以離散信道為例，看信道分類1）無噪信道：無干擾，X和Y有明確的3）有干擾有記憶信道yf(xnnynf(xnp(y|x) 離散無記憶信道的數(shù)學(xué)模 離散無記憶信道的數(shù)學(xué)模以離散信道為例，看信道分類1）無噪信道：無干擾，X和Y有明確的3）有干擾有記憶信道yf(xnnynf(xnp(y|x) yf(xnn2）有干擾無記憶信道p(y|x)p(y1y2...yN|x1x2...xNNp(yi|xii2.2單符號離散信道－數(shù)學(xué)模2.2單符號離散信道－數(shù)學(xué)模信道傳遞概率干p(bj|ai)P(Ybj|XaiXYi1,2,...,滿足條件P(Y|X其中X為一維隨機變量，輸入符號集Aa1a2,Lar（1）0≤p(bj|ai)≤（2）p(bj|ai)jBb,b,L,bsY為一維隨機變量，輸出符號1 2.2單符號離散信道－數(shù)學(xué)模2.2單符號離散信道－數(shù)學(xué)模信道傳遞概率信道傳遞概率可以用信道矩陣來表示p(b1|p(b2|Lp(bs|MprLp1sp(b1|p(b2|a1)p(b2|a2)Lp(bs|Lp1sp(b|ap(b|ap(b|appPp(b1|a2p(bs|a2)p2sM22sP2Ms1 M p(b|ap(b|ap(b|ap(b|ap(b2|arp 1srrsp(b|app 1srrs2r3信2.2單符號離散信道－常見信2.2單符號離散信道－常見信例1：二元對稱信道（BSC：binarysymmetricchannel）輸入符號集A={0,1},輸出符號集B={0,1}，r＝s＝2．傳遞概率例2：二元刪除信輸入符號集A={0,1}，符號輸出集信道p11q信道轉(zhuǎn)移概率ppp(0|0)pp(0|1)pp(1|0)pp(1|1)0000?2.2單符號離散信道－常見信2.2單符號離散信道－常見信例1：二元對稱信道（BSC：binarysymmetricchannel）輸入符號集A={0,1},輸出符號集B={0,1}，r＝s＝2．傳遞概率例2：二元刪除信輸入符號集A={0,1}，符號輸出集信道p11q信道轉(zhuǎn)移概率ppp(0|0)pp(0|1)pp(1|0)pp(1|1)0000?110PpqPppp1111信道轉(zhuǎn)移概率2.2單符號離散信道－常見信二元刪除信輸入：以正負方波信號分別代表“0”和例3：二元輸入符號集A={0,1}，符號輸出集用積信道I1p01p0?qpPq1ppp判斷發(fā)送的信號是“0”還是－若I是正值且大于某一限值，判－若I是負值且小于某一限值，判－若I絕對值小，不能判斷，刪除qq111p信道轉(zhuǎn)移概率 前提：信道干擾不是很嚴(yán) 2.3一些常用的概率關(guān)一些常用的概率關(guān)|b)p(aibj)p(ai)p(bj|ai)p(ai)p(bj|aip(a)p(Xai1,L,1)ii rrp(bp(aibj p(ai)p(bj|aijp(aibj)p(Xai,Ybj2)5)輸出符號概p(a)p(b|a)p(b)p(a|b p(b)p(Ybj1,L,jj3)前向概率（即信道傳遞概率rrp(aibj)p(ai)p(bj|aip(b|a)p(Yb|Xa用矩陣形式表示 ji4)后向概率（又稱后驗概率p(ai|bj)p(Xai|Ybjp(b)p(ap(ap(b)p(a)4PYPXPY|作業(yè)2.4信道疑義度Xx1x24.1：設(shè)有一離散無記憶信源，概率空信道疑義度表示接收端收到信道輸出的符號之后對道輸入的符號仍然存在的平均不確定性P(X)0.6 它們通過一干擾信道，信道輸出端的接收符號Yy1y2，信道傳遞概率如作業(yè)2.4信道疑義度Xx1x24.1：設(shè)有一離散無記憶信源，概率空信道疑義度表示接收端收到信道輸出的符號之后對道輸入的符號仍然存在的平均不確定性P(X)0.6 它們通過一干擾信道，信道輸出端的接收符號Yy1y2，信道傳遞概率如圖所示。求Y的概率分理想信道，H(X|Y)=0一般情況下，H(X|Y)H(X)H(X|YH(X)時，表示接收到輸出變量Y后少y1y2噪聲H(Y|X例1/1/1/0示。輸入集X的概率分布下0?XY噪聲112/1/43/P二元刪除信X2.5平均互信例1/21/ 平均互信息I(X;Y)H(X)H(X|Y信源熵是信源輸出的信息量，而真正被接收者收的信息量則是互信息P 1/32/YH(Y|X)p(x)H(Y|x)11 H(,20.93bit1H(4)ii2 3XP1/1/P3/ 1/81/0P 1/41/H(X|Y)H(XY)H(Y111 13H(,,,)H(,,)0.34bit884 885在加性噪聲信道中，條件熵H(Y|X完全等于噪聲信道2.5平均互信2.5平均互信I(X;Y) p(xy)m平均互信息的三種表達式I(X;Y)I(Y;X)H(X)H(XH(Y)H(Y|平均互信息的性質(zhì)非負性、互易性、極值性、凸函數(shù) iji1j1p(yj p(y|xn j2.5平均互信2.5平均互信I(X;Y) p(xy)m平均互信息的三種表達式I(X;Y)I(Y;X)H(X)H(XH(Y)H(Y|平均互信息的性質(zhì)非負性、互易性、極值性、凸函數(shù) iji1j1p(yj p(y|xn jp(x)p(|x)jnp(x)p(y|xi1 jI(X;Y)f[p(x),p(y|2.5平均互信息－定理2.5平均互信息－定理定理 對于固定信道，平均互信息I(X;Y)是信源概分布的上凸函數(shù)證明思路py|x保持不固定信道p2信道本身的特性決定pxθp1xθp2x2.5平均互信息－定理2.5平均互信息－定理p(yj|xirI[p1(x)]p1(xiyj)LI[p(x)]I[p(x)]I[p(xp1(yj12ii1jp(yj|xip(yj|xirrp(yj|xip1(xiyj)i1jp2(xiyj)rI[p2(x)]p2(xiyj)i1jLp(yp(yp2(yji112p(yj|xirp(yj|xip(xiyj)i1jrI[p(x)]p(xiyj)Lp(yp(yjji1jpxypxpy|xpx|xp(y p(xy)logp(yjrrpx p(xy)pyi 1 2 i1i2ip(yp(ypxpy|xpxpy|xi1ji1j121 2 62.5平均互信息－定理2.5平均互信息－定理rp(y1i定理 對于給定信源，平均互信息I(X;Y)是信道轉(zhuǎn)概率的下凸函數(shù)。jp(xy)不等式：如p(yi1j1f是上凸函數(shù)，則E[f(X)]f[E(Xp(yrlogp(x2.5平均互信息－定理2.5平均互信息－定理rp(y1i定理 對于給定信源，平均互信息I(X;Y)是信道轉(zhuǎn)概率的下凸函數(shù)。jp(xy)不等式：如p(yi1j1f是上凸函數(shù)，則E[f(X)]f[E(Xp(yrlogp(xyj證明思路固定信源px保持不1ip(yi1j1p(ysrlogp(xyjp1y|1iIp1y| p2y| p(yji1slogp(yj)py|xθp1y|xθp2y|xj采用同樣的方法可以證明rp(yj2 p(xy)需證明：θIpy|xθIy|xIpy|xjp(y i1j1222.5平均互信息－BSC信道的2.5平均互信息－BSC信道的)例以二元對稱信道為例，驗證互信息的凸函數(shù)性。源的概率空間2)固定信道，當(dāng)1時，H(pp1H()12I(X;Y2 X互信息取得最大值P(X 信道矩陣1H(P p012.5平均互信息－例2.5平均互信息－BSC信道的3)固定信源，當(dāng)p1時，IX;Y)0，互信可以得出多少擲骰子的信息量2I(X;Y小值HH種理解：拋硬幣的次數(shù)/幣正面出現(xiàn)的次數(shù)p0172.5平均互信息－例2.5平均互信息－例2）IX;Y12120骰子點數(shù)是1,2,3,4：x112112X103 31骰子點數(shù)是5,6：2.5平均互信息－例2.5平均互信息－例2）IX;Y12120骰子點數(shù)是1,2,3,4：x112112X103 31骰子點數(shù)是5,6：4拋硬幣正面出現(xiàn)的次數(shù)，用隨機變量Y表示H(Y)=H(Y|X)=I(X;Y)=H(Y)–H(Y|X)=出現(xiàn)0次正面出現(xiàn)1次正面12120P1Y4出現(xiàn)2次正面：主要內(nèi)3.1N次擴展信道－數(shù)學(xué)模N次擴展信道的數(shù)學(xué)模型一：信道的數(shù)學(xué)模型及分XXXLNY二：離散無記憶信YYN1 1 三：離散無記憶信道的擴展信Aa1,a2,L,X1,X2,L,Y1,Y2都取值于同一個符號四：信都取值于同一Bb1b2,L五：信道容(a,,L,a k1,L,r k1 h1,L,3.1N次擴展信道－數(shù)學(xué)模3.1N次擴展信道－數(shù)學(xué)模N次擴展信道的信道矩陣對于離散無記憶信道Np(|) p(1|p(2|1)p(1|r)p(|)p(bbKb|aaKa)p(b|aL hkkp(1|2p(s|2)Π Mp(|p(|p(|)1r2rrL其中L2sNrNM MkhrNsNLrN8p(h|k3.1N次擴展信道－例3.1N次擴展信道－例例、求二元對稱信道的二次擴展信道量均取值于{0,1}，輸入共有rN224種取值，輸出共有sN224種取值。2采用同樣的方法求出其他概率，得到信道矩khp(h|k11p22ppΠp(|)p(00|00)p(0|0)p(0|0)p2p1p(2|1)p(01|00)p(0|0)p(1|0)ppp3.1N次擴展信道－例3.1N次擴展信道－例例、求二元對稱信道的二次擴展信道量均取值于{0,1}，輸入共有rN224種取值，輸出共有sN224種取值。2采用同樣的方法求出其他概率，得到信道矩khp(h|k11p22ppΠp(|)p(00|00)p(0|0)p(0|0)p2p1p(2|1)p(01|00)p(0|0)p(1|0)ppp(3|1)p(10|00)p(1|0)p(0|0)p22ppppp(|)p(11|00)p(1|0)p(1|0)243.2N次擴展信道－平均互信定理N次擴展信道的IX;Y=IXN;YN=HXN-HXN|YN定理 若信道的輸入和輸出分別是N長序X和Y，且信道是無記憶的，I(X;Y)I(Xk;Ykkp|Np pkXklogph|k=HYN-HYN|XN ppkXhk=1,2,L,rNh=1,2,L,sN定理4.3.1－－證定理4.3.1－－證)logp(βh|αkI(X;Y)p(αNI(X;Y)I(Xk;Ykkp(βXhkr p(bj...bj|ai...aip(b)Kp(b p(a...ab...b) iN p(bj...bj p(bjKbjii1j ji1i1jj )Kp(bjNr|a)logLLp(a...ab...b)p(ab) iN;Y)ip(bKbkkip(bi1j1jk p(bj)Kp(bj p(b|ap(b|alogLLp(a...ab...brr p(aibj) j p(aibj)ip(bjKbj jp(bp(bi1ii1jjjp(bj)Kp(bj p(b|a)Kp(b|a logL Kb)Lj1 L p(a...abj...bj)p(bKbp(b)Kp(bji11iN1 jNjj9NI(X;Y)I(Xk;Yk k 定理4.3.1－－說定理4.3.1－－說N當(dāng)信源也無記憶時，等號成立，即I(X;Y)IXk;Yk p(bj...bj)Lp(ai...ai定理4.3.1－－說定理4.3.1－－說N當(dāng)信源也無記憶時，等號成立，即I(X;Y)IXk;Yk p(bj...bj)Lp(ai...aibj...bjLp(ai...ai)p(bj...bj|ai...aikNI(X;Y) I(;Y)H(Y)H(Y)Nk iik H(Y)信源有記憶時，Y的熵H(YN)－－信源無記憶時，Y的熵i1irrp(ai)p(bj|ai)Lp(ai)p(bj|ai)p(bj)Lp(bji信源有記憶時的輸出熵：離散無記憶信道的N次擴展信道的平N個隨機變量XX…，X單獨通過離 無記憶信道的平均互信息之和N定理定理4.3.2－－說定理 若信道的輸入和輸出分別是N長序X和Y，且信源是無記憶的，I(X;Y)I(Xk;Ykk由推NI(Xk;Yk)I(X;Y)H(X|Y)H(X|Y) kNHX|Y有記憶信道的疑義HXN|YN)－－無記憶信道的疑義度 定理4.3.1和4.3.2討定理4.3.1和4.3.2討當(dāng)信源、信道都是無記憶時，等號成立，相當(dāng)于N個獨對于（）號集，并且具有相同的概率分布。I(X1;Y1)I(X2;Y2)LI(XN;YN)I(X;YNN信道并聯(lián)的情況I(X;Y)I(X;YkkXX1X2LXI(X;Y)I(Xk;Yk)NI(X;Yk X …X P(Y|XP(Y|XP(Y|X主要內(nèi)信道的組一：信道的數(shù)學(xué)模型及分并行地傳送，稱這種信道為并聯(lián)信道（積信道）。二：離散無記憶信道，稱其為級連信道。三：離散無記憶信道的擴展信有時將兩個以上信道聯(lián)合起來，稱為和信道主要內(nèi)信道的組一：信道的數(shù)學(xué)模型及分并行地傳送，稱這種信道為并聯(lián)信道（積信道）。二：離散無記憶信道，稱其為級連信道。三：離散無記憶信道的擴展信有時將兩個以上信道聯(lián)合起來，稱為和信道四：信五：信道容級聯(lián)信道的平均互信息－定理級聯(lián)信I(XY;Z)p(xiyjzkYXZp(z|xy ip(zkpbj|aipck|aibjBb,bL,bsAa1,a2,L,arCc1,c2,L,cl定理I(XY;Z)I(Y;ZI(XY;Z)I(X;Zp(z|xy)p(z|1p(z|xy)p(z|x)時,(1),(2)定理4.4.1－證定理4.4.1－說I(Y;Z)I(XY;Z)p(yz)logp(z|y)p(xyz)logp(z|該定理的物理含義p(z|xy)=p(z|y)：隨機變量Z只決定于隨機變量Y，與。p(xyz)logp(z|y)p(xyz)logp(z|I(XY;Z)，僅當(dāng)隨機變量序列（XYZ）是馬氏鏈串聯(lián)信道中，?般來說，（XYZ）可構(gòu)成?p(xyz)logp(z|p(z|p(z|pz|xypz|當(dāng) 的時候,p(z|logp(xy)p(z|y)logp(xy)p(z|y)loglog1 I(XY;Z)I(Y;Z級聯(lián)信道的平均互信息－定理定理4.4.2－說定理4.4.2若隨機變量X，Y，Z構(gòu)成一個馬爾XYZ是馬爾可夫鏈，則ZYX也是馬爾可夫px|yzpx|夫鏈，則I(X;Z)I(X;YI(X;Z)I(Y;ZI(X級聯(lián)信道的平均互信息－定理定理4.4.2－說定理4.4.2若隨機變量X，Y，Z構(gòu)成一個馬爾XYZ是馬爾可夫鏈，則ZYX也是馬爾可夫px|yzpx|夫鏈，則I(X;Z)I(X;YI(X;Z)I(Y;ZI(X;Z)I(X;Y同理可證證明等號成立的條件px|yzpx|ypx|z馬爾pz|xypz|yIXYZIYZIXY;ZIX;ZI(X;Z)I(Y;Zpz|xypz|等號成立的條數(shù)據(jù)處理定級聯(lián)信道－例例：級聯(lián)信道如下圖所示IX;Y和IXZYXZ010010pp111-1-輸入概率空X01P(X 1/21/級聯(lián)信道－例級聯(lián)信道－例IX;Y1Hp1pP 21例：一級聯(lián)信道如下圖所示，求總的信道矩陣pXYZ1p22p1pPP1P221b1p2p1IX;Z1H2p1IX;W1H3p122p稱信稱信若XYZ主要內(nèi)級聯(lián)信道－例PZ|XPY|XPZ一：信道的數(shù)學(xué)模型及分1/302/1/01/1/1/2/主要內(nèi)級聯(lián)信道－例PZ|XPY|XPZ一：信道的數(shù)學(xué)模型及分1/302/1/01/1/1/2/二：離散無記憶信 1/21/三：離散無記憶信道的擴展信1/1/1/1/1/61/四：信等價信道為x五：信道容25.1信道容量的定信道容信道容量的定離散離散一般離散無記憶N次擴展信獨立信源和信道匹信息傳輸率R：信道中平均每個符號所傳送平均IX;Y)是接收到符號Y后平均獲得的關(guān)于的信息量。所RI(X;Y(比特/的信息量為信息傳輸速率Rt：R1IX;Y)（比特秒tt5.1信道容量的定5.1信道容量的定在信道確定的情況下，RIX;Y)是信源概率分布PX信道容量信道容量與信源的概率分布無關(guān)是完全描述信道特性的參量是某一個確定的信道能夠傳輸?shù)淖畲笮畔⒘緾maxI(X;Y（比特/信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘縋(X1maxI(X;YC（比特/秒相應(yīng)的輸入概率分布被稱為最佳輸入分布ttP(X5.1信道容量的定義－例5.1信道容量的定義－例例：求二元對稱信道的信道容量PI(X;YI(X;Yp 1H(HH X1解：設(shè)信源概P(X p01I(X;Y)H(pp)H(105.25.1信道容量的定義－例5.1信道容量的定義－例例：求二元對稱信道的信道容量PI(X;YI(X;Yp 1H(HH X1解：設(shè)信源概P(X p01I(X;Y)H(pp)H(105.2離散無噪信5.2離散無噪信無噪有損信道：多個輸入對應(yīng)一個輸1)有噪無損信道：一個輸入對應(yīng)多個互不相交的輸b損失噪聲b1I(X;Y)H(X)H(X|Y)H(XCmaxI(X;Y)maxH(X)logI(X;Y)H(Y)H(Y|X)H(YCmaxI(X;Y)maxH(Y)logp2p4b2pp(xp(xp(xp(xa6H(Y|X)H(X|Y)a7b噪聲損失35.2離散無噪信5.3離散對稱信3)無噪無損信道：輸入和輸出一一對離散輸入對稱信道（行對稱信道111b信道矩陣：每一行都是第一行元素的不同組121I(X;Y)H(X)H(YCmaxI(X;Y)maxH(X)log131316116H(Y|X)P1116p(xp(xH(Y|X)0,H(X|Y)0，rH(Y|X)H(X|Y)5.3離散對稱信5.3離散對稱信對稱信離散輸出對稱信道（列對稱信道每行都是第每列都是第信道矩陣：每一列都是第一列元素的不同組113121660.41131311131616131P312P0.66 63PP111 行對稱信5.3離散對稱信準(zhǔn)對稱信5.3離散對稱信強對稱信道（均勻信道不是5.3離散對稱信5.3離散對稱信對稱信離散輸出對稱信道（列對稱信道每行都是第每列都是第信道矩陣：每一列都是第一列元素的不同組113121660.41131311131616131P312P0.66 63PP111 行對稱信5.3離散對稱信準(zhǔn)對稱信5.3離散對稱信強對稱信道（均勻信道不是r=對于每個輸入符號，正確傳輸概率都相錯誤傳輸概p均勻地分配r-1個符分為一些對稱的子陣--劃分子集只pr1Mprpr1rMprppLrPppPr rM PPp21Lp5.3離散對稱信道－引離散對稱信道－定理時，輸出概率分布必為等概分布。定理，當(dāng)信道輸入概率分布為等概的況下達到信道容量p(a)i1,L,證明ir11p,,p,,L,p(b) p(a)p(b|a) |a)其s是信道矩陣中的任意一行中的元素1j jrriiH(Y|X)p(xiyj)logp(yj|xi證明Hj為信道矩陣第j列元素之和。而對稱信道每一列是i,p(x p(y|x)logp(y|xi jjp(b)p(b)Lp(bij12s p(x)H(p,p,L,p)H(p,p,L,p''''i1s1si列對稱信道，此引理亦成ClogsH(p,,p,,L,p,1 5.3離散對稱信道－定理5.3離散對稱信道－推推論均勻信道的信道容I(X;Y)H(Y)H(Y|X)H(Y)H(p,p,,L,p,1 ClogsH(p,p,L,p' CmaxI(X;Y1 p(xlogrH(p,p,L,pmaxH(Y)H(p,p,L,p, 1 r rpp(x5.3離散對稱信道－定理5.3離散對稱信道－推推論均勻信道的信道容I(X;Y)H(Y)H(Y|X)H(Y)H(p,p,,L,p,1 ClogsH(p,p,L,p' CmaxI(X;Y1 p(xlogrH(p,p,L,pmaxH(Y)H(p,p,L,p, 1 r rpp(xmaxH(Y)H(p,p,L,p, 1 logrplogppp(xrlogsH(p,p,L,p, 1 logrplogpplogpplog(rlogrH(p)plog(r 5.3離散對稱信定，當(dāng)信道輸入概率分布為等概的情下達到信道容量p分析：H(Y|X)H(p1,p2,...,psrpyjpyj|xipxipyj|x11rrii思路：準(zhǔn)對稱信道=輸入等概分布時，每個子塊的輸出等概率分Cmax{H(Y)}H(p1,p2,...,psp(5.3離散對稱信5.3離散對稱信1logrmaxHYmaxpy py LpymaxHYpi1Lpypypypr 1plog11log1L1logpislogpis p p 1r1r1rpii nlogrNklogk1logr1plogrL1plog 1log1logpL1p1plog1r第k個子矩陣所有元素之和logMp pp r1rNlogNlogr1 nClogrH(p,,p,,L,p,) Nklogk5.3離散對稱信定理4.5.1實現(xiàn)離散準(zhǔn)對稱無記憶信道信道容量5.3離散對稱信道－例5.4一般離散信1312161例：求對稱信道的信道容CmaxIX;Y61P(X3Pr約束條件：p(ai)12求信道容量轉(zhuǎn)化為，的條IX;Y)對信源概率分布PX解ClogsH(p,p,L,p,,15.3離散對稱信道－例5.4一般離散信1312161例：求對稱信道的信道容CmaxIX;Y61P(X3Pr約束條件：p(ai)12求信道容量轉(zhuǎn)化為，的條IX;Y)對信源概率分布PX解ClogsH(p,p,L,p,,1 log3H(1,1,1230.126比特/符最佳輸入概率分布為等概分5.4一般離散信道－信道容量求rp(bj|aiI(X;Y)p(ai)p(bj|ai)p(bi1jrssp(ai)p(bj|ai)logp(bj|ai)p(bj)logp(bj引入i jp(b)p(b|arp(bj)p(ai)p(bj|aii（為待定系數(shù)）p(a jiI(X;YFp(arI(X;Y) p(a(i1,..,p(a p(aip(b|a)logp(b|a)p(b|a)logp(b)p(b|a)logiiiI(X;Yp(b|ap(aip(b|a)logp(b5.4一般離散信道－信道容量求一般離散信道－信道容量求在某些條件下利用這個方法可以計算令p(b|ap(bj|ai)loge p(bjFp(a)p(b|ap(b|a)loge則p(bjp(bj|ai)logp(bj|ai)p(bj|ai)logp(bj)jjjlogp(b)p(bj|aip(bjrsr令p(a)p(b|a)p(a)(logejji ii r個方程，s個未知 Clogep(bj|ai)logp(bj|ai)p(bj|ai) i1,2,L, p(b|ap(b|a) log i1,2,L,p(brFI(X;Y)p(aii5.4一般離散信道－拉格朗日數(shù)乘分析：求條件極值－》拉格朗日數(shù)乘5.4一般離散信道－信道容量求5.4一般離散信道－信道容量求當(dāng)r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解提示1）采用上述方法求出信道容量以后，還必須解出p(a)，因為在采用拉格朗日數(shù)乘法時并沒有加上p(ai)0jlogp(bj)p(bj)j2C1約束條件，因此算出 )可能是負值p(b)i5.4一般離散信道－信道容量求5.4一般離散信道－信道容量求當(dāng)r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解提示1）采用上述方法求出信道容量以后，還必須解出p(a)，因為在采用拉格朗日數(shù)乘法時并沒有加上p(ai)0jlogp(bj)p(bj)j2C1約束條件，因此算出 )可能是負值p(b)i和最佳輸入分布最佳輸入分布的求p(bj)p(ai)p(bj|aii(i1,2,L,p(ai5.4一般離散信道－例5.4一般離散信道－信道容量求1410010總結(jié)：信道容量的求解過①由pyj|xi)jpyj|xi