離散信道及其容量

離散信道及其容量 第 6 章 北京郵電大學(xué) 信息工程學(xué)院 信道是信號(hào)的傳輸媒介 ， 是傳送信息的物理通道 。 研究信道的目的主要是為了解決信息如何有效 、 可靠地傳輸?shù)膯栴} 。 本章重點(diǎn)解決某些特殊信道容量的計(jì)算問題 。 第 4章 離散信道及其容量 概述 單符號(hào)離散信道及其容量 級(jí)聯(lián)信道及其容量 信道容量的迭代計(jì)算 本章主要內(nèi)容 多維矢量信道及其容量 6.1 概述 信道的分類 離散 信道的數(shù)學(xué)模型 信道容量的定義 信源A信宿 譯碼器連續(xù)信道編碼器 數(shù)字調(diào)制器數(shù)字解調(diào)器噪 聲A CCBB 6.1.1 信道的分類 數(shù)字通信系統(tǒng)的基本模型 依據(jù)不同的條件，不同模塊之間的通道可以劃分為不同的信道 6.1.1 信道的分類 按輸入、輸出集合的取值分類 按輸入、輸出集合的個(gè)數(shù)分類 按信道轉(zhuǎn)移概率的性質(zhì)分類 根據(jù)信道統(tǒng)計(jì)特性劃分 根據(jù)信道噪聲性質(zhì)劃分 6.1.1 信道的分類 1) 離散信道：輸入和輸出均為離散集，如 B-B 2) 連續(xù)信道：輸入和輸出均為連續(xù)集，也稱波形信道，其特點(diǎn)是時(shí)間與取值都連續(xù)，如 C-C 3) 半連續(xù)（或半離散）信道：輸入和輸出一個(gè)為連續(xù)、一個(gè)為離散，如 B-C 或 C-B 4) 時(shí)間離散連續(xù)信道：連續(xù)取值但時(shí)間離散，例如信道的輸入和輸出為模擬信號(hào)抽樣的情況。 按輸入、輸出集合的取值分類 6.1.1 信道的分類 1) 單用戶信道： X,Y中各有一個(gè)事件集，稱單路或單端信道 2) 多用戶信道： X,Y中至少有一端是多個(gè)事件集，也稱多端信道。多用戶信道包含兩種特殊的信道，即多元接入信道和廣播信道。 多元接入信道就是多個(gè)輸入、單個(gè)輸出的信道 廣播信道就是單個(gè)輸入、多個(gè)輸出的信道 按輸入、輸出集合的個(gè)數(shù)分類 無損信道 （每個(gè)輸入對(duì)應(yīng)多個(gè)輸出） 確定信道 （多個(gè)輸入對(duì)應(yīng)單個(gè)輸出） 無擾信道 （一個(gè)輸入對(duì)應(yīng)一個(gè)輸出） 按信道轉(zhuǎn)移概率的性質(zhì)分類 6.1.1 信道的分類 1）無噪聲信道 2）有噪聲信道 無記憶信道 給定時(shí)間輸出僅依賴于當(dāng)前輸入 有記憶信道 輸出值不僅依賴于當(dāng)前輸入又依賴于以前的輸入 根據(jù)信道統(tǒng)計(jì)特性劃分 1）恒參信道 6.1.1 信道的分類 2）變參信道 統(tǒng)計(jì)特性不隨時(shí)間變化（也稱平穩(wěn)信道）例如：衛(wèi)星通信信道 統(tǒng)計(jì)特性隨時(shí)間變化。例如：短波，移動(dòng)通信信道 根據(jù)信道噪聲性質(zhì)劃分 1）高斯噪聲信道 6.1.1 信道的分類 2）非高斯噪聲信道 信道噪聲為高斯分布（白噪聲或有色噪聲） 信道噪聲分布不是高斯分布 信道噪 聲X YP(y|x) 6.1.2 離散信道的數(shù)學(xué)模型 離散無記憶信道 一般的信道數(shù)學(xué)模型 離散無記憶信道 平穩(wěn)（或恒參）信道 單符號(hào)離散信道 ),|,()|( 2121 NN xxxyyypxyp NN YxypX ),|(, 一般信道的數(shù)學(xué)模型 信道模型 NN XXXX 21 Nxxxx , 21 NXx NN YYYY 21 Nyyyy , 21 NYy Nnnn xypxyp1)|()|( ),|(, YxypX nn離散無記憶信道 則稱為此信道為離散無記憶信道（ DMC），其數(shù)學(xué)模型為： 利用給定時(shí)刻的輸出符號(hào)僅依賴于當(dāng)前輸入符號(hào)的條件可以推出。 若信道的轉(zhuǎn)移概率滿足 )|()|( imjminjn axbypaxbyp 平穩(wěn) (或恒參 )信道 BbAa ii , 如果對(duì)于任意正整數(shù) m、 n，和 離散無記憶信道的轉(zhuǎn)移概率滿足： 則稱為平穩(wěn)或恒參信道 可見，對(duì)于平穩(wěn)信道， 不隨時(shí)間變化。這樣，平穩(wěn)信道的模型就是 )|( nn xyp , ( | ) , X p y x Y其中，信道的輸入 X與輸出 Y都是一維隨機(jī)變量集合，xX ，取自字母表 , 。 yY ，取自字母表 ,., 1 raaA ,., 1 sbbB /( | ) ( | ) ( | )j i Y X j i i jp y x p y b x a P b a p 單符號(hào)離散信道 對(duì)于離散平穩(wěn)無記憶信道，可以用一維條件概率描述 這種用一維條件概率描述的信道為為：?jiǎn)畏?hào)離散信道 信道轉(zhuǎn)移概率簡(jiǎn)記為： rsrrsspppppppppP212222111211的概率轉(zhuǎn)移到是由 jiij bap單符號(hào)離散信道 信道轉(zhuǎn)移概率矩陣 單符號(hào)離散信道 二元對(duì)稱信道 (BSC)，輸入與輸出符號(hào)集分別為 ，信道轉(zhuǎn)移概率 p(y/x)滿足 ， 稱為錯(cuò)誤率 。 寫出信道的轉(zhuǎn)移概率矩陣并畫出轉(zhuǎn)移概率圖。 1,0,1,0 BA/( 0 | 0 ) ( 1 | 1 ) 1Y X Y XPP 11 P6.1.1 例 解： 轉(zhuǎn)移概率矩陣 轉(zhuǎn)移概率圖 0 1- 1 0 1 1- qqppP1001單符號(hào)離散信道 二元?jiǎng)h除信道：其中 A=0,1, B=0,2,1畫 出轉(zhuǎn)移概率圖和轉(zhuǎn)移概率矩陣。 6.1.2 例 解： 轉(zhuǎn)移概率矩陣 轉(zhuǎn)移概率圖 0 1-p 1 0 1 1-q 2 q p 單符號(hào)離散信道 6.1.3 例 解： 四個(gè)等概消息，編成的碼字為 ，當(dāng)通過 下 圖所示二進(jìn)制對(duì)稱無記憶信道傳輸時(shí)，求 : 0 1 10 0 0 21 ，MM110101 43 ，MM1)“ 接收到第一個(gè)數(shù)字為 0” 與 “ 發(fā) M1” 的互信息 2)當(dāng) “ 接收到第二個(gè)數(shù)字也為 0” 時(shí)，關(guān)于 M1的附加信息 3)當(dāng) “ 接收到第三個(gè)數(shù)字也為 0” 時(shí)，又增加多少關(guān)于 M1的信息？ 1) 41 212)1(241)|0()()0(iii MpMpq )1(2l o g 2/11l o g)0()|0(l o g)0;( 11 qMpMI互信息)1(2l o g 24/1)1(l o g)00()|00(l o g)00;(211 qMpMI互信息)1(2log)1(2log)1(2log2 附加信息41)1(2)1(41 22 41)1|0()1|0()0|0()1|0()1|0()0|0()0|0()0|0(41)|00()()00(iii ppppppppMpMpq2) )124)(1(41)1(3)1(41)|000()()000( 24123 iii MpMpq)124l o g ( 2 又增加的信息)124l o g ()1(2l o g 2)000()|000(l o g)000;( 211 qMpMI互信息3) 單符號(hào)離散信道 );(m a x)(YXICxp 6.1.3 信道容量的定義 平穩(wěn)離散無記憶信道的容量 C定義為輸入與輸出平均互信息 I(X;Y)的最大值： 1）單位為 : 比特 /信道符號(hào)（奈特 /信道符號(hào) ) 2）當(dāng)信道給定后 ,p(y|x)就固定，所以 C 僅與p(y|x)有關(guān)，而與 p(x)無關(guān) 3） C是信道傳輸最大信息速率能力的度量 多維矢量信道 );(m a x )(1NNxxp IC N YX 若 和 分別為信道的 N維輸入與輸出隨機(jī)矢量集合，則信道容量定義為： NX NY其中， 為信道輸入矢量的聯(lián)合概率 )( 1 Nxxp 6.2 單符號(hào)離散信道及其容量 離散無噪信道的容量 一般離散信道的容量 離散對(duì)稱信道的容量 )/( l og)(m a x 符號(hào)比特rXHC 6.2.1 離散無噪信道的容量 無損信道： 輸出符號(hào)只對(duì)應(yīng)一個(gè)輸入符號(hào)。 其中 r為輸入符號(hào)集的大小 a1a2b1b2b3b4b51 / 21 / 21 / 31 / 61 / 2X Y 6.2.1 離散無噪信道的容量 確定信道： 每個(gè)輸出符號(hào)都對(duì)應(yīng)一個(gè)輸出符號(hào) )/( l og)(m a x 符號(hào)比特sYHC 其中 s為輸入符號(hào)集的大小 a1b1b2a2a3a4a511111X Y)/( l ogl og)(m a x 符號(hào)比特rsYHC 無損確定信道： 輸入符號(hào)與輸出符號(hào)是一一對(duì)應(yīng)關(guān)系 其中 r、 s為輸入與輸出字母表的大小，且 r=s 6.2.1 離散無噪信道的容量 a1a2a3b1b2b3111X Y00.21020.210.70.70.10.100.21020.110.70.10.20.7(b)(a) 6.2.2 離散對(duì)稱道的容量 若一個(gè)信道的轉(zhuǎn)移概率矩陣按 輸出 可分為若干子集，其中每個(gè)子集都有如下特性：即每一行是其他行的置換，每一列是其他列的置換，則信道稱為 對(duì)稱信道 6.2.1 例 分析 下 圖信道的對(duì)稱性 0 .20 .20 .7 0 .10 .1 0 .70 . 7 0 . 2 0 . 10 . 2 0 . 1 0 . 7 6.2.2 離散對(duì)稱道的容量 解： (a)可分成兩個(gè)子矩陣 所以為 對(duì)稱信道 (b)的概率轉(zhuǎn)移矩陣為 所以不是對(duì)稱信道 有時(shí)將轉(zhuǎn)移概率矩陣可分成多個(gè)子集的對(duì)稱信道為準(zhǔn)對(duì)稱或弱對(duì)稱信道 ，而只有一個(gè)子集的對(duì)稱信道稱 強(qiáng)對(duì)稱信道 ), . . . ,(l o g 11211 spppHsC ), . . . ,()( 21 spppHYHC 6.2.2 離散對(duì)稱道的容量 定理 6.2.1 對(duì)于離散對(duì)稱信道，當(dāng)輸入等概率時(shí)達(dá)到信道容量： H(Y)為輸入等概率時(shí)輸出的熵 H(p1,p2, ,ps)為信道轉(zhuǎn)移概率矩陣某行元素 注釋 : 對(duì)強(qiáng)對(duì)稱信道 ,輸入等概率時(shí)達(dá)到容量，此時(shí)輸出等概率。 2/16/13/13/12/16/16/13/12/1 6.2.2 離散對(duì)稱道的容量 6.2.2 例 解： 一信道的轉(zhuǎn)移概率矩陣 如圖， 求信道容量和達(dá)到容量時(shí)的輸出概率。 1 2 3,q q q設(shè)輸出概率為 。由于信道為強(qiáng)對(duì)稱信道，故當(dāng)輸入等概率時(shí)達(dá)到容量 C，此時(shí)輸出也等概率 3/1321 qqq符號(hào)比特 / 126.1)61,31,21(3l og HCprprprpprprprpp1. . .11. . . . . . . . .1. . .111. . .11 6.2.2 離散對(duì)稱道的容量 6.2.3 例 解： 一信道的轉(zhuǎn)移概率矩陣 如圖， 求信道容量和達(dá)到容量時(shí)的輸 入 概率。 設(shè)輸入輸出概率為 由于信道為強(qiáng)對(duì)稱信道，故當(dāng) 時(shí) ,達(dá)到容量。 r , , 2 , 1 i，q，p jirpp r /1.1 1l og1)1()1l og()1(l og r pr prpprC)1l o g ()(l o g rppHr特別是，當(dāng) r=2時(shí)，信道容量為 C=1-H(p)比特 /符號(hào)。 1 1 1 13 3 6 61 1 1 16 3 6 3413161211 q 313131212 q 616161213 q 414 q 6.2.2 離散對(duì)稱道的容量 6.2.4 例 解： 一信道的轉(zhuǎn)移概率矩陣 如圖， 求信道容量和達(dá)到容量時(shí)的輸出概率。 設(shè)輸出概率為 準(zhǔn)對(duì)稱信道，當(dāng)輸入等概率時(shí)達(dá)到信道容量。可計(jì)算輸出概率為 4321 , qqqq)61,61,31,31()41,61,31,41( HHC 符號(hào)比特 / 041.0上凸函數(shù)為 )();( xpYXI 6.2.3 一般離散信道的容量 極大值存在 件要滿足非負(fù)且歸一化條 )( xp求信道容量歸結(jié)為求有約束極值的問題 )(q , )|( , )( j yqxyPpxpp iji 下的極值在約束求 0,1 l og);( , iiijijjiiji ppqpppYXI的極值求函數(shù)利用拉格朗日乘子法 iipYXIJ );(, 0并使其為計(jì)算kpJ , l o g l o g i i j i j j j ii j j ikkJ p p p q q ppp j jkjjkjkjkj epqppp 0)l o gl o g(l o g riijij ppq1考慮到 l o g l o gkjkjj jppeq 6.2.3 一般離散信道的容量 ( ; ) l o g 1 , . . . ,kjk k jj jpI a Y p k rq( ; ) ( ; )kkkp I a Y I X Y( ; ) l o gkkkC p I a Y e l o g l o gkjkjj jppeq 6.2.3 一般離散信道的容量 j j jjijijijjijij qcpppcqpp )l og(l ogl og j jijijjijjj pppqc l o gl o g 令jjcjjjjjj cqqc2l o g121l o gcjjq 2 iiijij pppq 驗(yàn)證 C的正確性 6.2.3 一般離散信道的容量 j jijijjij ppp l o g用矩陣表示 hP 1l o gsi i j i jjh p p 1 1 1 2 12 1 2 2 212. . . . . . . . . . . . .ssijr r r sp p pp p pPpp p p 1 hP 6.2.3 一般離散信道的容量 例 一信道的轉(zhuǎn)移概率如圖所示，求信道容量和達(dá)到容量時(shí)的輸出概率。 0 1 2 0 1 2 1/2 1/2 1/4 1/4 1/4 1/4 1 6.2.3 一般離散信道的容量 214141414121010p202l o gl o gl o g0l o gl o gl o g3214141414121213212411412414141412121341241121符號(hào)比特 /585.0l og)222l og( 23202 c95192203216120pppqqq解： 6.2.3 一般離散信道的容量 例 解： 利 用 求例 6.1.1中二元對(duì)稱信道容量。 1 hP 1 11112P ( 1 ) l o g ( 1 ) l o g( 1 ) l o g ( 1 ) l o gh 1 ( 1 ) l o g ( 1 ) l o g11 ( 1 ) l o g ( 1 ) l o g12 ( 1 ) l o g ( 1 ) l o g( 1 ) l o g ( 1 ) l o g 1 hP 2/111P 6.2.3 一般離散信道的容量 信道 容量 為 ) / ( )(1l o g)1l o g ()1(122l o g l og)1l og ()1(2 符號(hào)比特 HC 21 21 qq輸出概率為對(duì)應(yīng)的輸入概率為 cjjq 2 iiijij pppq 21 21 pp輸入概率為 6.2.3 一般離散信道的容量 0 , );( ii pCYaI 對(duì)于0 , );( ii pCYaI 對(duì)于 定理 6.2.2 對(duì)于離散無記憶信道，當(dāng)且僅當(dāng) I(X;Y)達(dá)到最大值，此時(shí) C為信道容量 6.2.3 一般離散信道的容量 000 1 211l o g ( 0 )11 l o g ( 0 )2l o g ( 0 )q C pq q C pq C p fff6.2.6 例 解： 信道的轉(zhuǎn)移概率如 下圖 所示，求信道容量和達(dá)到容量時(shí)的輸入出概率。 設(shè)輸入、輸出概率為 p0,p1,p2.q0,q1 1）達(dá)到容量時(shí)，若輸入概率全不為零 01 1 / 2qq解得 ， C=1比特，但將結(jié)果代入第 2式，使該式左邊的值為 0，出現(xiàn)矛盾。 6.2.3 一般離散信道的容量 01l o g l o gq q C 0 1 21 ,02p p p 2）設(shè) p2=0， p0,p1,不為零 符號(hào)比特 / 1 ， 2/110 Cqq將結(jié)果代入第 2式 ， 該式左邊的值為 0C。所以，信道容量C=1比特 /符號(hào)，達(dá)到容量時(shí)的輸入概率為概率為 6.2.3 一般離散信道的容量 6.3 級(jí)聯(lián)信道及其容量 級(jí)聯(lián)的含義是被連接的信道輸入只依賴于前面相鄰信道的輸出而和前面的其它信道的輸出無直接關(guān)系 P(y|x) P(z|y)X ZY( ; | ) 0I X Z Y ( ; ) ( ; )I X Y Z I Y Z 若隨機(jī)變量集合 (X,Y,Z)構(gòu)成馬氏鏈，則稱信道 X-Y與 Y-Z構(gòu)成級(jí)聯(lián)信道。由于當(dāng) Y給定時(shí)，Z不依賴于 X，即 P(z|y)=P(z|xy) );();( YXIZXI );();( ZYIZXI 證 定理 6.3.1 若 X,Y,Z構(gòu)成一馬氏鏈，則： )|;();()|;();();( ZYXIZXIYZXIYXIYZXI 0)|;( YZXI馬氏鏈得證 );();( YXIZXI );();( ZXIZXI 同理可證 6.3 級(jí)聯(lián)信道及其容量 U L譯碼器信道編碼器X N Y N V L信源 通信系統(tǒng)模型各部分的級(jí)聯(lián) 信道傳輸后，譯碼器收到 N長(zhǎng)序列為 ，譯碼后傳給信宿的消息序列為 。 NYNV 6.3 級(jí)聯(lián)信道及其容量 );();( NNLL YXIVUI 構(gòu)成馬氏鏈),( NNL YXU ( ; ) ( ; )L N N NI U Y I X Y( ; ) ( ; )L L L NI U V I U Y證 定理 6.3.2(數(shù)據(jù)處理定理 ) 構(gòu)成馬氏鏈),( LNL VYU 定理的含義：從信宿得到的關(guān)于信源的信息經(jīng)過編 譯碼器、信道的處理后會(huì)減少，而且處理的次數(shù)越 多，減少得越多。 6.3 級(jí)聯(lián)信道及其容量 級(jí)聯(lián)信道為馬氏鏈 級(jí)聯(lián)信道的轉(zhuǎn)移概率矩陣 一級(jí)級(jí)聯(lián)相當(dāng)于狀態(tài)的一步轉(zhuǎn)移 級(jí)聯(lián)信道的轉(zhuǎn)移概率矩陣為級(jí)聯(lián)信道中各矩陣依次相乘 6.3 級(jí)聯(lián)信道及其容量 級(jí)聯(lián)信道的容量 根據(jù)級(jí)聯(lián)信道的轉(zhuǎn)移矩陣特點(diǎn)，按照前面介紹的離散信道容量的計(jì)算方法即可計(jì)算其信道容量。 222211 ( 1 ) 2 ( 1 ) 11 2 ( 1 ) ( 1 )PP 給定二元對(duì)稱信道其狀態(tài)轉(zhuǎn)移矩陣如下，計(jì)算兩級(jí)級(jí)聯(lián)信道的概率轉(zhuǎn)移矩陣。如果信道輸入 0、 1 等概率，求在兩級(jí)級(jí)聯(lián)和三級(jí)級(jí)聯(lián)情況下輸入與輸出的平均互信息。 6.3.1 例 解： 11 P1)兩級(jí)級(jí)聯(lián)信道的概率轉(zhuǎn)移矩陣 6.3 級(jí)聯(lián)信道及其容量 011 / 2 1 / 2XXP 011 / 2 1 / 2YYP 011 / 2 1 / 2ZZP ( ; ) ( ) ( | ) 1 ( )( ; ) 1 ( | ) 1 2 ( 1 ) I X Y H Y H Y X HI X Z H Z X H 23( ; ) 1 3 ( 1 ) I X U H 2)設(shè)原信道輸入與輸出集分別為 X、 Y，兩級(jí)級(jí)聯(lián)和三級(jí)級(jí)聯(lián)情況下輸出集合分別為 Z、 U ( ) l o g ( 1 ) l o g ( 1 )H 其中 類似地 ,可計(jì)算三級(jí)信，級(jí)聯(lián)的情況： 結(jié)論：信道串聯(lián)后增加信息損失，串聯(lián)級(jí)數(shù)越多，損失越大。 6.3 級(jí)聯(lián)信道及其容量 設(shè)錯(cuò)誤概率 為 1/3，計(jì)算兩級(jí)級(jí)聯(lián)信道的容量及達(dá)到容量時(shí)的輸出概率。 6.3.1(續(xù) ) 例 解： 兩級(jí)級(jí)聯(lián)信道的轉(zhuǎn)移矩陣為 6.3 級(jí)聯(lián)信道及其容量 9/59/49/49/53/23/13/13/23/23/13/13/2P該級(jí)聯(lián)信道是一個(gè)強(qiáng)對(duì)稱信道，因此當(dāng)輸入等概時(shí)達(dá)到信道容量，此時(shí)輸出也等概。所以 2/121 qq991.1)94l og9495l og95(2l og)94,95(2l og HC 比特 /符號(hào) 多維矢量信道輸入與輸出的性質(zhì) 并聯(lián)信道及其容量 離散無記憶擴(kuò)展信道及其容量 6.4 多維矢量信道及其容量 和信道及其容量 )|()();( NNNNN YXHXHYXI )|()( NNN XYHYH NN YX yqxypyxp, )()|(l o g)( 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 對(duì)于 多維矢量信道 ，輸入與輸出平均互信息為 : NiiiNN YXHYXH1)|()|(時(shí)等式成立當(dāng)且僅當(dāng) )|()|( 1Niii yxpyxpNiiiNN XYHXYH1)|()|( 引理 6.4.1 NN YX , ,1 NN XXX 設(shè)信道的輸入輸出分別為 ，其中 ，則： NN YYY 11） 成立僅當(dāng)信道無記憶時(shí)等式2） 6.4.1 多維矢量信道輸入與輸出的性質(zhì) NiiiNN YXIYXI1);();(NiiiNNNNNN XYHYHXYHYHYXI1)|()()|()();( 定理 6.4.1 對(duì)于離散無記憶信道，有： 證 1 1 1( ; ) ( ) ( | )N N Ni i i i ii i iI X Y H Y H Y X 11( ) ( . . . ) ( )NNNiiH Y H Y Y H Y 僅當(dāng)輸出獨(dú)立時(shí)等式成立。 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 當(dāng)輸入獨(dú)立時(shí) 即當(dāng)信源信道都無記憶時(shí)，等式成立。 1( ) ( ) . . . ( )Np x p x p xr NiNiiXiiiXNiiiiXXypxypxpxypxpxypxpypiNN 1 11)()|()()|()()|()()(1 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 證 NiiiNN YXIYXI1);();( 定理 6.4.2 對(duì)于無記憶信源，有： )|()();( NNNNN YXHXHYXI NiiiNiiNiii YXHXHYXI111)|()();( 1( ) ( )NNiH X H X Niii yxpyxp1)|()|( 等式成立條件： 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 當(dāng)信道無記憶時(shí) 即當(dāng)信源信道都無記憶時(shí)，等式成立。 121 1 1 2 2 1,1 ( ) ( | )( ) ( | )( | )( ( ) ( | ) ( ) ( | ) . . .( ) ( | )( | )()Ni i iix x xi i i Niiiiiip x p y xp x p y xp x yp y p x p y x p x p y xp y p x yp x ypyLr r rrrr） 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 結(jié)論： 1） 對(duì)于無記憶信源和無記憶信道，有： NiiiNN YXIYXI1);();(2） 對(duì)于平穩(wěn)信源，因?yàn)?Xi、 Yi同分布 ,因此： ( ; ) ( ; )iiI X Y I X Y1( ; ) ( ; )NiiiI X Y N I X Y對(duì)于平穩(wěn)離散無記憶信道 (DMC)的 N次擴(kuò)展信道，當(dāng)信源無記憶時(shí) ,有 ( ; ) ( ; )NNI X Y N I X Y 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 1 2 3 4 53 2 5 1 4設(shè)無記憶信源 X的 5次擴(kuò)展源為 X5，信道為下面矩陣所示的置換信道，其中第 1行為輸入的序號(hào)，第 2行為信道輸出的序號(hào)，例如 X1輸出到 Y4， X2輸出到 Y2等 。 計(jì)算 6.4.1 例 解： 155 );( );(iji YXIYXI 和1 1 1 32 2 2 23 3 4 4 5 5( ; ) ( ; ) 0( ; ) ( ; )( ; ) ( ; ) ( ; ) 0I X Y I X XI X Y I X X HI X Y I X Y I X Y HXHYXI 5)();( 555 51( ; )iiiI X Y H 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 6.4.2 例 解： 設(shè) 離散 無記憶信 道的輸入 ，輸出 ，且有 計(jì)算 NN XXX .1NN YYY .1 1 1 2 2 , . . . , NNX Y X Y X Y X NijiNN YXIYXI1);( );( 和1( ; ) ( ) ( | ) ( ) ( | ) ( )NN N N N N N NiiiI X Y H Y H Y X H Y H Y X H Y ).|(.)|()().( 111211 NNN XXXHXXHXHXXH11( ) ( ) ( )H X H X N H X 1 1 1( ; ) ( ) ( | ) ( ) ( )N N Ni i i i i ii i iI X Y H X H X Y H X N H X NiiiNN YXIYXI1);();( 此時(shí) 6.4.1 多維矢量信道輸入與輸出的性質(zhì) N次擴(kuò)展信道 單符號(hào)離散信道 N長(zhǎng)的隨機(jī)序列 N長(zhǎng)的隨機(jī)序列 新信道 原序列的 N次擴(kuò)展信道 6.4.2 離散無記憶擴(kuò)展信道及其容量 11/1( | ) ( | ) ( . . . | . . . ) ( | )NNNk l l k N N i iYXiP y x p y x p y y x x p y x r r r r N次擴(kuò)展信道的描述要滿足一般的信道數(shù)學(xué)模型的描述，但符號(hào)集為同分布符號(hào)的擴(kuò)展，即各 Xi的分布都相同 信道可通過下式來計(jì)算 ,.1 Nxxx 信道的輸入和輸出集合分別為 和 ，所包含的矢量分別為 12N NX X X X L12N NY Y Y Y LNyyy .1 6.4.2 離散無記憶擴(kuò)展信道及其容量 RSRRSS.212222111211 一個(gè)信道的 N次擴(kuò)展信道是 N個(gè)原信道的 Kroneck乘積 例 設(shè)輸入與輸出符號(hào)集的尺寸分別為 r、 s， 則 N次擴(kuò)展信道的輸入與輸出符號(hào)集的尺寸分別為 NN sSrR ,則， 信道的轉(zhuǎn)移概率為： NslNkl rk，1,.,11 對(duì)所有滿足 6.4.2 離散無記憶擴(kuò)展信道及其容量 pppppppp1111求錯(cuò)誤概率為 p的二元對(duì)稱信道的二次擴(kuò)展信道的轉(zhuǎn)移概率矩陣。 6.4.3 例 解： 2次擴(kuò)展信道的轉(zhuǎn)移概率矩陣： )|()|()|(11,10,01,0011,10,01,002211| 22 xypxypxyP，klXYkllk22222222)1()1()1()1()1()1()1()1()1()1()1()1(pppppppppppppppppppppppp 6.4.2 離散無記憶擴(kuò)展信道及其容量 NiNiiiixpNNxpN CYXIYXICi1 1)()();(m a x);(m a x);(m a x )( iixpi YXICiCC i NCC N 6.4.2 離散無記憶擴(kuò)展信道及其容量 當(dāng)信源為無記憶時(shí)，等式成立 離散無記憶 N次擴(kuò)展信道的容量 求該二次擴(kuò)展信道的容量 。 6.4.3(續(xù) ) 例 解： 由例 6.2.3可得，錯(cuò)誤概率為 p的二元對(duì)稱信道的容量 ，根據(jù)式 (6.4.6),該信道的二次擴(kuò)展信道容量為 6.4.2 離散無記憶擴(kuò)展信道及其容量 )(2222 pHCC 1 .N NX X