信息論及編碼

1、1月15日信息論與編碼信息論與編碼（第（第2版）版）第第3 3章章 信道與信道容量信道與信道容量1月15日n本章第二次課本章第二次課1月15日 本章主要內(nèi)容本章主要內(nèi)容3.1信道的基本概念信道的基本概念3.2離散單個(gè)符號(hào)信道及其容量離散單個(gè)符號(hào)信道及其容量3.2.1無干擾離散信道無干擾離散信道3.2.2對(duì)稱對(duì)稱DMC信道信道3.2.3準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道信道3.2.4一般一般DMC信道信道3.3離散序列符號(hào)信道及容量離散序列符號(hào)信道及容量3. 4 連續(xù)信道及其容量連續(xù)信道及其容量3.4.1連續(xù)單符號(hào)加性信道連續(xù)單符號(hào)加性信道3.4.2多維無記憶加性連續(xù)信道多維無記憶加性連續(xù)信道3.4.3限時(shí)

2、限頻限功率的加性高斯限時(shí)限頻限功率的加性高斯白噪聲波形信道白噪聲波形信道3.5 信源與信道的匹配信源與信道的匹配1月15日 本次課內(nèi)容本次課內(nèi)容3.13.1信道的基本概念信道的基本概念3.23.2離散單個(gè)符號(hào)信道及其容量離散單個(gè)符號(hào)信道及其容量Page 5第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding信道信道(information channels)(information channels)： 是信號(hào)的傳輸媒質(zhì)。是信號(hào)的傳輸媒質(zhì)。信道的作用：信道的作用： 把攜有信息的信號(hào)從它的輸入端傳遞到輸把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。出

3、端。 它的最重要特征參數(shù)是它的最重要特征參數(shù)是信息傳遞能力信息傳遞能力，即，即信道容量信道容量問題。問題。相關(guān)知識(shí)復(fù)習(xí)第第3章章 信道與信道容量信道與信道容量Page 6第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding本章主要討論本章主要討論: : 定量的研究定量的研究信道傳輸?shù)钠骄バ畔⑿诺纻鬏數(shù)钠骄バ畔⒓捌渲匾捌渲匾再|(zhì)性質(zhì)導(dǎo)出信道容量的概念和幾種比較典型的信道導(dǎo)出信道容量的概念和幾種比較典型的信道的的信道容量計(jì)算方法信道容量計(jì)算方法。重點(diǎn)重點(diǎn): : 研究一個(gè)輸入端和一個(gè)輸出端的信道，研究一個(gè)輸入端和一個(gè)輸出端的信道，即即單用戶信道

4、單用戶信道。以以無記憶、無反饋、固定參數(shù)的離散信道為無記憶、無反饋、固定參數(shù)的離散信道為重點(diǎn)重點(diǎn)內(nèi)容討論。它是進(jìn)一步研究其他各種類內(nèi)容討論。它是進(jìn)一步研究其他各種類型信道的基礎(chǔ)。型信道的基礎(chǔ)。 第第3章章 信道與信道容量信道與信道容量Page 7第第3 3章章 信道及信道容量信道及信道容量Information Theory and CodingX=X0,X1,X2 Xr-1含含r個(gè)元素的輸入符號(hào)集個(gè)元素的輸入符號(hào)集Y=y0,y1,y2ys-1含含s個(gè)個(gè)元素的輸出符號(hào)元素的輸出符號(hào)r與與s的值不同信道模型不同的值不同信道模型不同 3.13.1信道信道的基本概念的基本概念第第3章章 信道與信道容

5、量信道與信道容量第第3章章 信道與信道容量信道與信道容量Page 8第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 1 1單用戶信道和多用戶信道單用戶信道和多用戶信道u單用戶信道：?jiǎn)斡脩粜诺溃盒诺乐挥幸粋€(gè)輸入端和一個(gè)輸出信道只有一個(gè)輸入端和一個(gè)輸出端，且只能進(jìn)行單方向的通信。端，且只能進(jìn)行單方向的通信。u多用戶信道：多用戶信道：又稱多端信道，輸入端或者輸出又稱多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并且可以實(shí)現(xiàn)雙向通信，目前大多數(shù)信道都是多且可以實(shí)現(xiàn)雙向通信，目前大多數(shù)信道都是

6、多端信道。端信道。 3.1信道分類第第3章章 信道與信道容量信道與信道容量信道分信道分類：類：Page 9第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 2 2無反饋信道和反饋信道無反饋信道和反饋信道u無反饋信道：無反饋信道：輸出端的信號(hào)不反饋到輸入端，輸出端的信號(hào)不反饋到輸入端，即輸出信號(hào)對(duì)輸入信號(hào)沒有影響。即輸出信號(hào)對(duì)輸入信號(hào)沒有影響。u反饋信道：反饋信道：輸出信號(hào)通過一定途徑反饋到輸入輸出信號(hào)通過一定途徑反饋到輸入端，致使輸入端的信號(hào)發(fā)生改變的信道。端，致使輸入端的信號(hào)發(fā)生改變的信道。 3.1信道分類第第3章章 信道與信道容量信道與

7、信道容量Page 10第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding3 3固定參數(shù)固定參數(shù)信道和信道和時(shí)變參數(shù)時(shí)變參數(shù)信道信道u固定參數(shù)固定參數(shù)信道：信道：信道的信道的參數(shù)（參數(shù)（統(tǒng)計(jì)特性統(tǒng)計(jì)特性）不隨時(shí)不隨時(shí)間而變化。如間而變化。如光纖光纖、電纜、光纜、衛(wèi)星中繼信道、電纜、光纜、衛(wèi)星中繼信道等等一般被視為恒參信道。一般被視為恒參信道。u時(shí)變參數(shù)時(shí)變參數(shù)信道：信道：信道的信道的參數(shù)參數(shù)特性隨時(shí)間而變化。特性隨時(shí)間而變化。如短波電離層反射信道、對(duì)流層散射信道等如短波電離層反射信道、對(duì)流層散射信道等，統(tǒng)統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度而變化。計(jì)特

8、性隨著環(huán)境、溫度、濕度而變化。3.1信道分類第第3章章 信道與信道容量信道與信道容量Page 11第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding4 4隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道。隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道。n 隨機(jī)差錯(cuò)信道：隨機(jī)差錯(cuò)信道：信道中傳輸碼元所遭受的噪聲信道中傳輸碼元所遭受的噪聲 是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有關(guān)聯(lián)性，關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)碼元錯(cuò)誤不會(huì)成串出現(xiàn)。 如：如：高斯白噪聲信道。高斯白噪聲信道。n 突發(fā)差錯(cuò)信道：突發(fā)差錯(cuò)信道：信道中噪聲或干擾對(duì)傳輸碼元信道中噪聲或干

9、擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，使的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，使碼元碼元錯(cuò)誤成串出現(xiàn)錯(cuò)誤成串出現(xiàn)。 如如：衰落信道、碼間干擾信道衰落信道、碼間干擾信道，這些噪聲可能是，這些噪聲可能是由大的脈沖干擾或閃電等引起。由大的脈沖干擾或閃電等引起。 移動(dòng)通信的信道、光盤存儲(chǔ)屬于該類信道。移動(dòng)通信的信道、光盤存儲(chǔ)屬于該類信道。3.1信道分類第第3章章 信道與信道容量信道與信道容量Page 12第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding5 5離散信道、連續(xù)信道、半離散半連續(xù)信道和離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道波形

10、信道u離散信道：離散信道：又稱數(shù)字信道，該類信道中又稱數(shù)字信道，該類信道中輸入空輸入空間、輸出空間均為離散時(shí)間集合間、輸出空間均為離散時(shí)間集合，集合中事件，集合中事件的數(shù)量是有限的，或者無限的，隨機(jī)變量取值的數(shù)量是有限的，或者無限的，隨機(jī)變量取值都是離散的。都是離散的。n 半離散半連續(xù)信道：半離散半連續(xù)信道：輸入空間、輸出空間一個(gè)輸入空間、輸出空間一個(gè)為離散事件集合，而另一個(gè)則為連續(xù)事件集合為離散事件集合，而另一個(gè)則為連續(xù)事件集合，即，即輸入、輸出隨機(jī)變量一個(gè)是離散的，另一輸入、輸出隨機(jī)變量一個(gè)是離散的，另一個(gè)是連續(xù)的個(gè)是連續(xù)的。3.1信道分類第第3章章 信道與信道容量信道與信道容量Page

11、13第第3 3章章 信道及信道容量信道及信道容量Information Theory and Codingn 連續(xù)信道：連續(xù)信道：又又稱為模擬信道，稱為模擬信道，信號(hào)的幅度是連信號(hào)的幅度是連續(xù)的，而時(shí)間則是離散的。續(xù)的，而時(shí)間則是離散的。n 波形信道：波形信道：也稱為時(shí)間連續(xù)信道，信道也稱為時(shí)間連續(xù)信道，信道輸入、輸入、輸出都是時(shí)間的函數(shù)，而且隨機(jī)變量的取值都輸出都是時(shí)間的函數(shù)，而且隨機(jī)變量的取值都取自連續(xù)集合取自連續(xù)集合，且在時(shí)間上的取值是連續(xù)的。，且在時(shí)間上的取值是連續(xù)的。3.1信道分類第第3章章 信道與信道容量信道與信道容量5 5離散信道、連續(xù)信道、半離散半連續(xù)信道和波形離散信道、連續(xù)信

12、道、半離散半連續(xù)信道和波形信道信道Page 14第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 6. 6.有線信道和無線信道有線信道和無線信道 有線信道：有線信道：明線、對(duì)稱電纜、同軸電纜及明線、對(duì)稱電纜、同軸電纜及 光纜等光纜等。 無線信道：無線信道：地波傳播、短波電離層反射、地波傳播、短波電離層反射、 超短波或微波視距中繼、人造超短波或微波視距中繼、人造 衛(wèi)星中繼以及各種散射信道等。衛(wèi)星中繼以及各種散射信道等。3.1信道分類第第3章章 信道與信道容量信道與信道容量Page 15第第3 3章章 信道及信道容量信道及信道容量Informa

13、tion Theory and Coding 3.1.2 3.1.2 信道參數(shù)信道參數(shù) 若信道的輸入符號(hào)之間、輸出符號(hào)之間都若信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性，信道的分析可簡(jiǎn)化為對(duì)單個(gè)符不存在關(guān)聯(lián)性，信道的分析可簡(jiǎn)化為對(duì)單個(gè)符號(hào)的信道分析，此時(shí)輸入、輸出可以看做是單號(hào)的信道分析，此時(shí)輸入、輸出可以看做是單符號(hào)的，稱這類信道為單符號(hào)信道。如果信道符號(hào)的，稱這類信道為單符號(hào)信道。如果信道的輸入、輸出隨機(jī)變量的輸入、輸出隨機(jī)變量又又都是離散的，該信道都是離散的，該信道則則為為單符號(hào)離散無記憶信道單符號(hào)離散無記憶信道。第第3章章 信道與信道容量信道與信道容量3.1.2 信道參數(shù)Page

14、16第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 設(shè)離散信道的輸入變量為設(shè)離散信道的輸入變量為X X，輸出變量為，輸出變量為Y Y，對(duì)，對(duì)應(yīng)的概率空間分別為應(yīng)的概率空間分別為 )()()()()()()()(21212121ssrrbpbpbpbbbypYapapapaaaxpX 輸入符號(hào)集合的元素個(gè)數(shù)為輸入符號(hào)集合的元素個(gè)數(shù)為r，輸出符號(hào)集合的，輸出符號(hào)集合的元素個(gè)數(shù)為元素個(gè)數(shù)為s。第第3章章 信道與信道容量信道與信道容量3.1.2 信道參數(shù)Page 17第第3 3章章 信道及信道容量信道及信道容量Information Theory

15、 and Coding 該類信道的特性可用條件轉(zhuǎn)移概率進(jìn)行描述。該類信道的特性可用條件轉(zhuǎn)移概率進(jìn)行描述。輸入輸入 ，輸出，輸出 時(shí)對(duì)應(yīng)的條件轉(zhuǎn)移概率為時(shí)對(duì)應(yīng)的條件轉(zhuǎn)移概率為 ) () () (ijijabpaxbypxyp1) (1sjijabpjby iax 第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)表明：在輸入表明：在輸入 的情況下，信道輸出的情況下，信道輸出y的取值只的取值只能是能是 其其中的一個(gè)，不可能還有其他的取值中的一個(gè)，不可能還有其他的取值。iax sbb 1 i=1，2，r; j=1，2，sPage 18第第3 3章章 信道及信道容量信道及

16、信道容量Information Theory and Coding稱該矩陣為稱該矩陣為：條件轉(zhuǎn)移矩陣條件轉(zhuǎn)移矩陣 或者信道轉(zhuǎn)移矩陣。或者信道轉(zhuǎn)移矩陣。 )()()()()()()()()()/(212222111211rsrrssabpabpabpabpabpabpabpabpabpXYP 用矩陣表示信道輸入輸出符號(hào)之間的條件轉(zhuǎn)移關(guān)系用矩陣表示信道輸入輸出符號(hào)之間的條件轉(zhuǎn)移關(guān)系第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 19第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding信道的分類信道的分類:

17、: 根據(jù)信道是否存在干擾以及有無記憶，可將信根據(jù)信道是否存在干擾以及有無記憶，可將信道分成道分成3 3大類大類（一）（一） 無干擾（無噪聲）信道無干擾（無噪聲）信道 信道的輸出信號(hào)信道的輸出信號(hào)Y與輸入信號(hào)與輸入信號(hào)X之間有確定的之間有確定的關(guān)系關(guān)系Y=f(X)，已知，已知X后就確知后就確知Y，所以轉(zhuǎn)移概率為，所以轉(zhuǎn)移概率為, 01)/(，XYp)()(XfYXfY3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 20第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding（二）有干擾無記憶信道（二）有干擾無記憶信道 信道的輸出信號(hào)信道的輸出信號(hào)Y

18、與輸入信號(hào)與輸入信號(hào)X之間沒有確定之間沒有確定的關(guān)系，但轉(zhuǎn)移概率滿足下列情況：的關(guān)系，但轉(zhuǎn)移概率滿足下列情況：)/()/()/()/(2211LLxypxypxypXYP 即，每個(gè)輸出信號(hào)只與當(dāng)前輸入信號(hào)之間有轉(zhuǎn)即，每個(gè)輸出信號(hào)只與當(dāng)前輸入信號(hào)之間有轉(zhuǎn)移概率關(guān)系，而與其他時(shí)刻的輸入信號(hào)、輸出信號(hào)移概率關(guān)系，而與其他時(shí)刻的輸入信號(hào)、輸出信號(hào)都無關(guān)，也就是無記憶。都無關(guān)，也就是無記憶。 由輸入輸出信號(hào)的符號(hào)數(shù)目（等于由輸入輸出信號(hào)的符號(hào)數(shù)目（等于2，大于，大于2，還是趨于還是趨于 ），又可進(jìn)一步區(qū)分出如下信道模型：），又可進(jìn)一步區(qū)分出如下信道模型：3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page

19、21第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding二進(jìn)制離散信道（二進(jìn)制離散信道（r=s=2） 由輸入值集合由輸入值集合X=0,1,X=0,1,輸出值輸出值Y=0,1,Y=0,1,一組一組表示輸入、輸出關(guān)系的條件概率表示輸入、輸出關(guān)系的條件概率( (轉(zhuǎn)移概率轉(zhuǎn)移概率) )組成。組成。 P（yj/xi） X0,1Y0,1第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)（二）有干擾無記憶信道（二）有干擾無記憶信道Page 22第第3 3章章 信道及信道容量信道及信道容量Information Theory an

20、d Coding 若信道存在干擾，導(dǎo)致二進(jìn)制序列發(fā)生統(tǒng)若信道存在干擾，導(dǎo)致二進(jìn)制序列發(fā)生統(tǒng)計(jì)獨(dú)立的差錯(cuò)，且條件概率對(duì)稱計(jì)獨(dú)立的差錯(cuò)，且條件概率對(duì)稱.P(Y=1/X=1)=P(Y=0/X=0)=1-P即即 P(Y=0/X=1)=P(Y=1/X=0)=PPPPPP10 0 1 稱這種對(duì)稱二稱這種對(duì)稱二進(jìn)二出的信道叫做進(jìn)二出的信道叫做二進(jìn)制對(duì)稱信道二進(jìn)制對(duì)稱信道（BSCBSC信道信道）. .第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 23第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding信道模型信道模型

21、: :011-PPP1-P10 這種信道的輸出符號(hào)僅與對(duì)應(yīng)時(shí)刻輸入符號(hào)這種信道的輸出符號(hào)僅與對(duì)應(yīng)時(shí)刻輸入符號(hào)有關(guān)有關(guān), ,與以前輸入無關(guān)，故稱此信道是無記憶信與以前輸入無關(guān)，故稱此信道是無記憶信道的道的. .第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 24第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding2.2.離散無記憶信道（離散無記憶信道（DMCDMC）若輸入值的集合若輸入值的集合 X=x1,x2xr-1輸出集合輸出集合 Y=y1,y2ys-1輸入輸出符號(hào)數(shù)大于輸入輸出符號(hào)數(shù)大于2但為有限值，

22、且信道和調(diào)制過但為有限值，且信道和調(diào)制過程是無記憶的。程是無記憶的。離散無記憶信道離散無記憶信道(DMC)(DMC)第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)（二）有干擾無記憶信道（二）有干擾無記憶信道則則P(Y=yi/X=xi)=P(yi/xi)稱為離散無記憶信道稱為離散無記憶信道Page 25第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding決定決定DMC特點(diǎn)的條件概率特點(diǎn)的條件概率P(yj/xi)可寫成矩陣形式可寫成矩陣形式 PijP(Y1=V1,Y2=V2, Yn=Vn / X=U1 , , X=

23、Un) =)/(RRnRuXvYp若若DMCDMC信道的輸入、輸出是由信道的輸入、輸出是由n n個(gè)符號(hào)組成的序列個(gè)符號(hào)組成的序列, ,其中，其中，u ui iX,vX,vi iYY，i=1 2,3,4n,i=1 2,3,4n,則聯(lián)合條件概率為則聯(lián)合條件概率為: :P第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 26第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣001010011111011111(/)(/)(/)(/)(/)(/)(/)(/)(/)QQqqQqp yxp

24、yxp yxp yxp yxp yxPp yxp yxp yx00010,110111,11, 01,11,1QQqqqQppppppppp第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 27第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding第第3章章 信道與信道容量信道與信道容量 若信道中有干擾若信道中有干擾, ,信道輸出不是一個(gè)固定值信道輸出不是一個(gè)固定值, ,是概率各異的一組值是概率各異的一組值, , 稱有擾離散信道稱有擾離散信道. .輸入輸入X Xi i時(shí)時(shí), ,各可能輸出值各可能輸出值y y

25、j j的概率之和必得的概率之和必得1,1,即即: :10)(Qjijxyp1 若信道轉(zhuǎn)移概率矩陣的每一行中若信道轉(zhuǎn)移概率矩陣的每一行中包含一個(gè)包含一個(gè)“1”1”。其余元素均為。其余元素均為“0”0”說明說明信道無干擾，叫信道無干擾，叫無擾離散信道無擾離散信道。1.00.0.01.0.0100.013.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 28第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding3.3.離散輸入連續(xù)輸出信道離散輸入連續(xù)輸出信道設(shè)信道輸入符號(hào)是有限、離散的設(shè)信道輸入符號(hào)是有限、離散的, ,其輸入字符集其輸入字符集 xxxrX

26、110.,信道輸出信道輸出 ，此時(shí)，信道輸出可以是實(shí)軸上此時(shí)，信道輸出可以是實(shí)軸上的任意值，即的任意值，即 )(s,Y稱離散輸入稱離散輸入, ,連續(xù)輸出信道連續(xù)輸出信道. . 又稱半離散或半連續(xù)信道。又稱半離散或半連續(xù)信道。 第第3章章 信道與信道容量信道與信道容量3.1.2 3.1.2 信道參數(shù)信道參數(shù)（二）有干擾無記憶信道（二）有干擾無記憶信道Page 29第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding其特性由離散輸入其特性由離散輸入X、連續(xù)輸出、連續(xù)輸出Y、以及一組條件概以及一組條件概率密度函數(shù)率密度函數(shù)來決定。來決定。niaXyP

27、iY,.,2 , 1),/( 這類信道中最重要的一種信道是加性高斯白這類信道中最重要的一種信道是加性高斯白噪聲（噪聲（AWGN）信道，其輸出）信道，其輸出Y = X + G 式中，式中，G是一個(gè)均值為是一個(gè)均值為0，方差為，方差為s s2的高斯隨機(jī)的高斯隨機(jī)變量。當(dāng)變量。當(dāng)X=ai給定后，給定后，Y是一個(gè)均值為是一個(gè)均值為 ai，方差為，方差為s s2的高斯隨機(jī)變量，即的高斯隨機(jī)變量，即222/)(21)/y(ssaiyiYeaP3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 30第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding4.4.波

28、形信道波形信道 若信道輸入是模擬波形，輸出也是模擬波形若信道輸入是模擬波形，輸出也是模擬波形則稱為波形信道則稱為波形信道. .第第3章章 信道與信道容量信道與信道容量實(shí)際的模擬通信系統(tǒng)中，信道都是波形信道。實(shí)際的模擬通信系統(tǒng)中，信道都是波形信道。3.1.2 3.1.2 信道參數(shù)信道參數(shù)（二）有干擾無記憶信道（二）有干擾無記憶信道Page 31第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding（三）有干擾有記憶信道（三）有干擾有記憶信道 實(shí)際的數(shù)字信道都屬于該種信道。實(shí)際的數(shù)字信道都屬于該種信道。 當(dāng)信道特性不理想，存在碼間干擾時(shí)，輸出信當(dāng)信道

29、特性不理想，存在碼間干擾時(shí)，輸出信號(hào)不但與當(dāng)前的輸入信號(hào)有關(guān)，還與以前的輸入信號(hào)不但與當(dāng)前的輸入信號(hào)有關(guān)，還與以前的輸入信號(hào)有關(guān)。號(hào)有關(guān)。 這種情況處理較復(fù)雜，這里不做研究。這種情況處理較復(fù)雜，這里不做研究。3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 32第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 若分析信道性能的理論極限多選用離散輸入若分析信道性能的理論極限多選用離散輸入,連續(xù)連續(xù) 輸出的信道模型。輸出的信道模型。 在分析信道問題時(shí)，選擇何種模型取決于在分析信道問題時(shí)，選擇何種模型取決于分析者的目的分析者的目的. . 從工程上

30、講從工程上講, ,最常用的最常用的DMCDMC信道或信道或BSCBSC信道信道. .第第3章章 信道與信道容量信道與信道容量 如果想設(shè)計(jì)和分析數(shù)字調(diào)制器和解調(diào)器的性能，如果想設(shè)計(jì)和分析數(shù)字調(diào)制器和解調(diào)器的性能，則可采用波形信道模型。則可采用波形信道模型。3.1.2 3.1.2 信道參數(shù)信道參數(shù)Page 33第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding3.1.3 信道容量信道容量的定義的定義 在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信息量定義為信道的息量定義為信道的信息傳輸率信息傳輸率。 從從統(tǒng)計(jì)角度

31、而言，信道的噪聲總是有限的，總統(tǒng)計(jì)角度而言，信道的噪聲總是有限的，總有部分信息能夠準(zhǔn)確傳輸，所以有部分信息能夠準(zhǔn)確傳輸，所以信道的信息傳輸率信道的信息傳輸率為為3.1.3 3.1.3 信道容量信道容量的定義的定義第第3章章 信道與信道容量信道與信道容量Page 34第第3 3章章 信道及信道容量信道及信道容量Information Theory and Codingn 若已知平均傳輸一個(gè)符號(hào)所需時(shí)間為若已知平均傳輸一個(gè)符號(hào)所需時(shí)間為t(s),則信道則信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸信息傳輸速率速率：bit/符號(hào)符號(hào) s/符號(hào)符號(hào) = bit/s

32、即，即，Rt=I(X;Y)/t ，單位為，單位為bit/s3.1.3 3.1.3 信道容量信道容量的定義的定義Page 35第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 互信息量互信息量 是輸入符號(hào)是輸入符號(hào)X X 概率分布的凸函概率分布的凸函數(shù)。對(duì)于一個(gè)給定的信道，總是存在某種概率分布數(shù)。對(duì)于一個(gè)給定的信道，總是存在某種概率分布 ，使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于，使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，這個(gè)最大信息傳輸速率定義

33、為信道容量。這個(gè)最大信息傳輸速率定義為信道容量。 );(YXI)(xp什么是信道容量？什么是信道容量？第第3章章 信道與信道容量信道與信道容量3.1.3 3.1.3 信道容量信道容量的定義的定義Page 36第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 定義定義 設(shè)某信道的平均互信息量為設(shè)某信道的平均互信息量為 ，信道輸入，信道輸入 符號(hào)的先驗(yàn)概率為符號(hào)的先驗(yàn)概率為 ，該信道的信道容量，該信道的信道容量C C 定義為定義為 比特比特符號(hào)符號(hào) riaxpi, 2 , 1, 0)(riiap11)();(max)(YXICxp);(YXI)

34、(xp先驗(yàn)概率分布先驗(yàn)概率分布 應(yīng)當(dāng)滿足下列條件應(yīng)當(dāng)滿足下列條件第第3章章 信道與信道容量信道與信道容量3.1.3 3.1.3 信道容量信道容量的定義的定義Page 37第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 對(duì)于給定信道，條件轉(zhuǎn)移概率對(duì)于給定信道，條件轉(zhuǎn)移概率p p( (bjai) )是一是一定的，所以信道容量就是在信道的前向概率一定定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗(yàn)概率分布的情況下，尋找某種先驗(yàn)概率分布p( (x) )，使得，使得平平均互信息量最大均互信息量最大, ,這種先驗(yàn)分布概率為這種先驗(yàn)分布

35、概率為最佳分布。最佳分布。第第3章章 信道與信道容量信道與信道容量3.1.3 3.1.3 信道容量信道容量的定義的定義Page 38第第3 3章章 信道及信道容量信道及信道容量Information Theory and Codingn 如果信道輸入滿足最佳分布，信息傳輸率最大，如果信道輸入滿足最佳分布，信息傳輸率最大，即達(dá)到信息容量即達(dá)到信息容量C；n 如果信道輸入的先驗(yàn)分布不是最佳分布，那么信如果信道輸入的先驗(yàn)分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量息傳輸率不能夠達(dá)到信息容量C。 信道傳輸?shù)男诺纻鬏數(shù)男畔⒘啃畔⒘縍必須小于信道容量必須小于信道容量C,否否則傳輸過程中會(huì)造成信息損失

36、，出現(xiàn)錯(cuò)誤；則傳輸過程中會(huì)造成信息損失，出現(xiàn)錯(cuò)誤； 反之反之，如果如果RC成立，可以通過信道編碼方成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端。法保證信息能夠幾乎無失真地傳送到接收端。第第3章章 信道與信道容量信道與信道容量3.1.3 3.1.3 信道容量信道容量的定義的定義Page 39第第3 3章章 信道及信道容量信道及信道容量Information Theory and Codingn 3.2 離散單個(gè)符號(hào)信道及其容量離散單個(gè)符號(hào)信道及其容量Page 40第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 3.2.1.

37、 無干擾離散信道無干擾離散信道 這類信道是理想信道這類信道是理想信道。輸入、輸出符號(hào)之間輸入、輸出符號(hào)之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。不相交的集合。 這類信道在實(shí)際通信系統(tǒng)中較少，在數(shù)據(jù)壓這類信道在實(shí)際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進(jìn)行研究?？s系統(tǒng)中，可以使用這類模型進(jìn)行研究。根根據(jù)信據(jù)信道輸入符號(hào)道輸入符號(hào)X X與信道輸出符號(hào)與信道輸出符號(hào)Y Y之間的關(guān)系，可以之間的關(guān)系，可以分為下了幾種信道。分為下了幾種信道。3.2.1 3.2.1 無干擾離散信道無干擾離散信道第第3章章 信道與信道容量信道與信道容量

38、Page 41第第3 3章章 信道及信道容量信道及信道容量Information Theory and Codingn （1 1）無噪無損信道無噪無損信道 該信道的輸入、輸出集合符號(hào)數(shù)量相等該信道的輸入、輸出集合符號(hào)數(shù)量相等，輸入輸入X X與輸出與輸出Y Y之間是一一對(duì)應(yīng)之間是一一對(duì)應(yīng)。對(duì)于給定對(duì)于給定a ai i, ,由于由于p p(b(bj ja ai i) )只有一個(gè)為只有一個(gè)為1 1，其余都為，其余都為0 0，所以所以H H(X(XY)=0,Y)=0,則則 (a)無噪無損信道模型 X Y 1 1 1 1 第第3章章 信道與信道容量信道與信道容量3.2.1 3.2.1 無干擾離散信道無干

39、擾離散信道Page 42第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 根據(jù)信道容量的定義，信道容量就是平均互信息根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)量的最大值，根據(jù)最最大熵定理可知，當(dāng)輸入符號(hào)的先大熵定理可知，當(dāng)輸入符號(hào)的先驗(yàn)概率為等概率分布時(shí)，驗(yàn)概率為等概率分布時(shí)，H H(X) (X) 取得最大值取得最大值l logr ogr , ,信信道容量為道容量為 比特比特符號(hào)符號(hào)第第3章章 信道與信道容量信道與信道容量3.2.1 3.2.1 無干擾離散信道無干擾離散信道Page 43第第3 3章章 信道及信道容量信道及信

40、道容量Information Theory and Coding （2）無噪有損信道無噪有損信道 信道輸出符號(hào)信道輸出符號(hào)Y Y 集合的數(shù)量小于信道輸入符號(hào)集合的數(shù)量小于信道輸入符號(hào) X X集合的數(shù)量，即集合的數(shù)量，即r rs s，形成多對(duì)一的映射，形成多對(duì)一的映射. X Y 1 1 1 1 (b) 無噪有損信道無噪有損信道 第第3章章 信道與信道容量信道與信道容量3.2.1 3.2.1 無干擾離散信道無干擾離散信道Page 44第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 這類信道的特點(diǎn)是，信這類信道的特點(diǎn)是，信道概率轉(zhuǎn)移矩陣中每行道

41、概率轉(zhuǎn)移矩陣中每行只有一個(gè)只有一個(gè)非零非零元元素素. . 接收到符號(hào)接收到符號(hào)Y后后,不能確定信不能確定信道輸入道輸入X ，即不能夠完全消除，即不能夠完全消除X的不確定性，所以的不確定性，所以H(Y/X)=0, H(X/Y)0，且，且H(X)H(Y) ,信道容量為信道容量為第第3章章 信道與信道容量信道與信道容量sYHYXICxpxplog)(max);(max)()( 比特/符號(hào)10100101)|(XYP3.2.1 3.2.1 無干擾離散信道無干擾離散信道 X Y 1 1 1 1 無噪有損信道無噪有損信道 Page 45第第3 3章章 信道及信道容量信道及信道容量Information T

42、heory and Coding （3）有噪無損信道有噪無損信道 信道輸出符號(hào)信道輸出符號(hào)Y集合的數(shù)量大于信道符號(hào)集合的數(shù)量大于信道符號(hào)X集集合的數(shù)量合的數(shù)量,即即rs,形成一對(duì)多的映射關(guān)形成一對(duì)多的映射關(guān)系。因此，系。因此，不能由輸不能由輸入完全確定信道的輸出入完全確定信道的輸出, H(XY)= 0， H(YX) 0 H(X)H(Y), I(X;Y)=H(X)X Y 0.4 0.6 0.7 0.3 (c) 有噪無損信道 信道的容量為信道的容量為)/(log)(max);(max)()(符號(hào)比特rxHYXICxpxp第第3章章 信道與信道容量信道與信道容量3.2.1 3.2.1 無干擾離散信道

43、無干擾離散信道Page 46第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 當(dāng)信道輸入為等概率輸入當(dāng)信道輸入為等概率輸入時(shí)，時(shí)，I(X;Y)=H(X) 才能取得最才能取得最大值，所以先驗(yàn)概率的最佳分大值，所以先驗(yàn)概率的最佳分布就是使得布就是使得 p(aj)=1/r 的分布。的分布。 這類信道的特點(diǎn)是，信道這類信道的特點(diǎn)是，信道概率轉(zhuǎn)移矩陣中每概率轉(zhuǎn)移矩陣中每列列只有一個(gè)只有一個(gè)非零非零元元素素.3.07.000006.04.0P(Y/X)第第3章章 信道與信道容量信道與信道容量3.2.1 3.2.1 無干擾離散信道無干擾離散信道X Y 0

44、.4 0.6 0.7 0.3 (c) 有噪無損信道 )/(log)(max);(max)()(符號(hào)bitrxHYXICxpxpPage 47第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 3.2.2 對(duì)稱離散信道的信道容量對(duì)稱離散信道的信道容量 對(duì)稱離散無記憶信道是最簡(jiǎn)單的信道之一，對(duì)稱離散無記憶信道是最簡(jiǎn)單的信道之一， 1 1）輸入對(duì)稱信道容量）輸入對(duì)稱信道容量 定義定義: : 如果信道轉(zhuǎn)移概率矩陣中所有行矢量如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對(duì)都是第一行的某種置換，則稱信道關(guān)于輸入是對(duì)稱的，這種信

45、道稱為輸入對(duì)稱離散信道。稱的，這種信道稱為輸入對(duì)稱離散信道。 例如，信道轉(zhuǎn)移矩陣為例如，信道轉(zhuǎn)移矩陣為1.01.08.01.08.01.0P第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 48第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding根據(jù)定義可以得出信道具有下列性質(zhì)：根據(jù)定義可以得出信道具有下列性質(zhì)：1.06.03.01.03.06.0P又比如信道轉(zhuǎn)移矩陣又比如信道轉(zhuǎn)移矩陣YH (YHX()ia即條件熵即條件熵H(Y / X)與信道輸入的符號(hào)無關(guān)。與信道輸入的符號(hào)無關(guān)。第第3章章 信道與信道容量信道

46、與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道sjijijirappabpaYHaYHaYHaYH121)/(log)/()/()/()/()/(得：得：Page 49第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding因此，輸入對(duì)稱信道的容量為因此，輸入對(duì)稱信道的容量為)(21sppp， ),()(max);(max21)()(sapappppHYHYXICii為了表示方便，假設(shè)轉(zhuǎn)移矩陣首行元素為為了表示方便，假設(shè)轉(zhuǎn)移矩陣首行元素為則有則有),()/(21sipppHaYH由于由于),()()/()();(21spppHYHXYHYHYXI 所

47、以輸入對(duì)稱信道的容量就是找到一種分布，所以輸入對(duì)稱信道的容量就是找到一種分布，使得信道輸出的熵最大。使得信道輸出的熵最大。第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 50第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding【例【例 】 信道的轉(zhuǎn)移矩陣為信道的轉(zhuǎn)移矩陣為 求該信道的容量求該信道的容量 。 解解 設(shè)信道輸入的概率空間為設(shè)信道輸入的概率空間為 1.06.03.01.03.06.0PppaaxpX1)(21第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 51第第

48、3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 信道輸出的概率分布為信道輸出的概率分布為1 .0)1 (1 .01 .0)(3 .06 .0)1 (6 .03 .0)(3 .03 .0)1 (3 .06 .0)(321ppbppppbppppbp1 . 0log1 . 0)3 . 06 . 0log()3 . 06 . 0()3 . 03 . 0log()3 . 03 . 0()(log)()(log)()(log)()(332211ppppbpbpbpbpbpbpYH0)(dpYdH第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)

49、稱DMC信道信道取得極值的條件為取得極值的條件為1 . 06 . 03 . 01 . 03 . 06 . 0PppaaxpX1)(21Page 52第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 解上述方程可以得到取極值的條件為解上述方程可以得到取極值的條件為P P=0.5 =0.5 ，即，即當(dāng)信道輸入為等概率分布時(shí)，當(dāng)信道輸入為等概率分布時(shí)，H H(Y)(Y)取得最大值，取得最大值，所以所以 369.1)(max.1YH）（073. 0)/()(maxXYHYHC則可得則可得該信道的容量為該信道的容量為 第第3章章 信道與信道容量信道與

50、信道容量符號(hào)）（/296. 11 . 0log1 . 03 . 0log3 . 06 . 0log6 . 0)/(log)/()/()/(.21111bitabpabpaYHXYHjsjj1 . 06 . 03 . 01 . 03 . 06 . 0P3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 53第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題45.0)(1bp45.0)(2bp1 . 0)(3bp)(1bp3 / 1/ 1 s此時(shí)信道輸出的概率分布為此

51、時(shí)信道輸出的概率分布為 所以，當(dāng)信道只是輸入對(duì)稱所以，當(dāng)信道只是輸入對(duì)稱 時(shí)，信道容量不時(shí)，信道容量不能簡(jiǎn)單認(rèn)為是能簡(jiǎn)單認(rèn)為是)/(log)/()(max)(XYHsXYHYHCiap第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 54第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 2 2）輸出對(duì)稱信道容量）輸出對(duì)稱信道容量 定義定義：如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是 第一列的某種置換，則稱信道是關(guān)于輸出第一列的某種置換，則稱信道是關(guān)于輸出 對(duì)稱離散信道。對(duì)稱離散

52、信道。 105 . 05 . 001P2 . 07 . 01 . 07 . 01 . 02 . 01 . 02 . 07 . 0P例如例如：信道轉(zhuǎn)移矩陣信道轉(zhuǎn)移矩陣 都是輸出對(duì)稱信道都是輸出對(duì)稱信道。和和第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 55第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding則可得，輸出則可得，輸出對(duì)稱信道對(duì)稱信道容量：容量：)/(minlog)/()(max),(max)()(XYHsXYHYHYXICiiaPaP 若若信道輸出對(duì)稱，信道輸出對(duì)稱，則則當(dāng)信道輸入符號(hào)等概率分當(dāng)

53、信道輸入符號(hào)等概率分布時(shí)布時(shí),|rijijbpapbP1()()(rijibpra1(1)sai1) |信道輸出符號(hào)的熵為信道輸出符號(hào)的熵為：sYHlog)(第第3章章 信道與信道容量信道與信道容量第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道)/(1irijabp為常數(shù)，為常數(shù)，即，即，信道輸出也是等概率分布的。信道輸出也是等概率分布的。Page 56第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 由于信道轉(zhuǎn)移矩陣是已知的，由于信道轉(zhuǎn)移矩陣是已知的，H H(Y/X)(Y/X)可以使可以使用下列公式用下列公式

54、只要能夠求出使得上式取得最小值的信道輸只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量入概率分布，即可求出信道容量YH (riiYHapX1()()ia / /第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道)/(minlog)/()(max),(max)()()(XYHsXYHYHYXICiiiapaPaPPage 57第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding3 3）對(duì)稱信道容量）對(duì)稱信道容量若轉(zhuǎn)移概率矩陣若轉(zhuǎn)移概率矩陣 P每一行都是第一行的置轉(zhuǎn)每一行都是第一行的置轉(zhuǎn), , 稱矩陣是輸入

55、對(duì)稱稱矩陣是輸入對(duì)稱. .若若每一列都是第一列的置轉(zhuǎn)每一列都是第一列的置轉(zhuǎn), ,稱稱矩陣是輸出對(duì)稱矩陣是輸出對(duì)稱. .若輸入輸出都對(duì)稱若輸入輸出都對(duì)稱, ,稱對(duì)稱稱對(duì)稱DMCDMC信道。信道。例例 3131616161613131216131312161613121和和 對(duì)稱信道對(duì)稱信道第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 58第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding P31613161616131317 . 01 . 02 . 01 . 02 . 07 . 0和和 不對(duì)稱不對(duì)稱 第第3

56、章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 59第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 對(duì)稱信道的容量對(duì)稱信道的容量: : 由于對(duì)稱信道由于對(duì)稱信道是是關(guān)于輸入對(duì)稱，而輸入對(duì)稱關(guān)于輸入對(duì)稱，而輸入對(duì)稱信道的容量為信道的容量為)/()(max)/()(max),(max)()()(XYHYHXYHYHYXICiiiapapap且滿足且滿足)/()/(iaYHXYH 與信道輸入的分布無關(guān)，只與條件概與信道輸入的分布無關(guān)，只與條件概率分布有關(guān)率分布有關(guān).)/(XYH第第3章章 信道與信道容量信道與信道容

57、量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 60第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 對(duì)稱信道對(duì)稱信道的的輸出也是對(duì)稱的，當(dāng)信道輸入是輸出也是對(duì)稱的，當(dāng)信道輸入是等概率分布時(shí)，信道輸出也是等概率分布等概率分布時(shí)，信道輸出也是等概率分布, ,取得最取得最大值大值. .sYHiaplog)(max)(為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對(duì)應(yīng)的條件概率分別為中，各元素對(duì)應(yīng)的條件概率分別為(p1,p2.ps)，有，有:),()/(21spppHXYH則對(duì)稱信道容量則對(duì)稱信道

58、容量),(log),(max21)(sappppHsYXICi 對(duì)稱信道的信道容量只與信道的轉(zhuǎn)對(duì)稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號(hào)集合的數(shù)移矩陣中的行矢量和輸出符號(hào)集合的數(shù)量有關(guān)。量有關(guān)。 如果希望信息傳輸率達(dá)到信道容量如果希望信息傳輸率達(dá)到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。信道輸入應(yīng)當(dāng)滿足等概率分布。第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 61第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 【例】【例】 設(shè)某信道轉(zhuǎn)移矩陣為設(shè)某信道轉(zhuǎn)移矩陣為 求信道容量求信道容量 解解：

59、由：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道行的置換，每一列都是第一列的置換，所以信道是對(duì)稱的，所以信道容量為是對(duì)稱的，所以信道容量為3131616161613131P),(log21spppHsC)61,61,31,31(4logH第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 62第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 【例】假設(shè)信道的輸入、輸出符號(hào)數(shù)相等，都等于【例】假設(shè)信道的輸入、輸出符號(hào)數(shù)相等，都等于r r,

60、,且信道條件轉(zhuǎn)移矩陣為且信道條件轉(zhuǎn)移矩陣為 求求: :信道容量信道容量 。 解解: :顯然該信道是對(duì)稱的，信道容量為顯然該信道是對(duì)稱的，信道容量為prprprpprprprppP111111111)1,1,1 (logrprppHrC1log1) 1()1log()1 (logrprprppr第第3章章 信道與信道容量信道與信道容量3.2.2 對(duì)稱對(duì)稱DMC信道信道Page 63第第3 3章章 信道及信道容量信道及信道容量Information Theory and Coding 上述信道稱為上述信道稱為強(qiáng)對(duì)稱信道強(qiáng)對(duì)稱信道或者或者是是均勻信道均勻信道，是對(duì)稱信道的一個(gè)特例。一般信道轉(zhuǎn)移矩陣中