最新-信息論與編碼第三章-PPT精品課件

1、信息論與編碼基礎(chǔ)教程第3章 信道及信道容量 本章主要內(nèi)容3.1信道的基本概念3.2離散單符號信道及容量3.2.1數(shù)學(xué)模型3.2.2信道容量3.3離散序列符號信道及容量3.4 信源與信道的匹配3.5* 連續(xù)信道及其容量 本次課內(nèi)容3.1 信道的基本概念3.2 離散單符號信道及容量3.2.1 數(shù)學(xué)模型3.2.2 信道容量信道(information channels)： 是信號的傳輸媒質(zhì)。信道的作用： 把攜有信息的信號從它的輸入端傳遞到輸出端。 它的最重要特征參數(shù)是信息傳遞能力，即信道容量問題。相關(guān)知識復(fù)習(xí) 在高斯信道下，信道的信息通過能力與信道的頻帶寬度、信道的工作時間、信道的噪聲功率密度有關(guān)。

2、 頻帶越寬，工作時間越長，信號、噪聲功率比越大，信道的通過能力就越強，信道容量越大。相關(guān)知識復(fù)習(xí) 本章主要討論離散信道的統(tǒng)計特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計算方法。 本章重點在于研究一個輸入端和一個輸出端的信道，即單用戶信道。以無記憶、無反饋、固定參數(shù)的離散信道為重點內(nèi)容討論。 相關(guān)知識復(fù)習(xí)X=X0,X1,X2 Xr-1含r個元素的輸入符號集Y=y0,y1,y2ys-1含S個元素的輸出符號r與s的值不同信道模型不同 3.1信道分類5.1信道分類信道分類： 1.有線信道和無線信道 有線信道：明線、對稱電纜、同軸電纜及

3、光纜等。 無線信道：地波傳播、短波電離層反射、 超短波或微波視距中繼、人造 衛(wèi)星中繼以及各種散射信道等。3.1信道分類2恒參信道和隨參信道恒參信道：信道的統(tǒng)計特性不隨時間而變化。如明線、對稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計特性隨時間而變化。大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對流層散射信道等。3.1信道分類 3單用戶信道和多用戶信道單用戶信道：信道只有一個輸入端和一個輸出端，且只能進行單方向的通信。多用戶信道：又稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信，目前大多

4、數(shù)信道都是多端信道。 3.1信道分類4離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道離散信道：又稱數(shù)字信道，該類信道中輸入空間、輸出空間均為離散時間集合，集合中事件的數(shù)量是有限的，或者無限的，隨機變量取值都是離散的。波形信道：也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的。3.1信道分類連續(xù)信道：又稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的，即隨機變量的取值數(shù)量是無限的，或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是

5、離散的，另一個是連續(xù)的。3.1信道分類 5隨機差錯信道和突發(fā)差錯信道。 隨機差錯信道：信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)。如：高斯白噪聲信道。突發(fā)差錯信道：信道中噪聲或干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，使碼元錯誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動通信的信道、光盤存儲屬于該類信道。3.1信道分類3.2離散單符號信道及容量 3.2.1 數(shù)學(xué)模型 若信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，信道的分析可簡化為對單個符號的信道分析，此時輸入、輸出可以看做是單符號的，稱這類信道為單符號信道。如果信道的輸入、輸出隨機變

6、量又都是離散的，該信道則為單符號離散無記憶信道。3.2離散單符號信道及容量 設(shè)離散信道的輸入變量為X，輸出變量為Y，對應(yīng)的概率空間分別為 輸入符號集合的元素個數(shù)為r，輸出符號集合的元素個數(shù)為s3.2.1 數(shù)學(xué)模型 i=1，2，r，j=1，2，s。 表明：在輸入x的情況下，信道輸出y的取值只能是其中的一個，不可能還有其他的取值。 該類信道的特性可用條件轉(zhuǎn)移概率進行描述。輸入 ，輸出 時對應(yīng)的條件轉(zhuǎn)移概率為 3.2.1 數(shù)學(xué)模型稱該矩陣為：條件轉(zhuǎn)移矩陣 或者信道轉(zhuǎn)移矩陣。 用矩陣表示信道輸入輸出符號之間的條件轉(zhuǎn)移關(guān)系3.2.1 數(shù)學(xué)模型 由于信道中存在干擾或者噪聲，信道輸入符號與輸出符號之間并不是

7、一一對應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計方法。用條件轉(zhuǎn)移概率 可以表示輸出為bj 的各種可能性輸入:傳輸?shù)倪^程中出現(xiàn)錯誤3.2.1 數(shù)學(xué)模型信道輸入、輸出符號之間的聯(lián)合分布為前向概率，表示在輸入為x=ai 時，通過信道后接收為bj 的概率，描述了信道噪聲的特性。P(ai) 為先驗概率。聯(lián)合分布還可以表示為后驗概率,表示當(dāng)接收符號為bj時,信道輸入為ai的概率。3.2.1 數(shù)學(xué)模型可以得到后驗概率為= PT(YX)由前向概率和先驗概率可計算出信道輸出符號概率矩陣表示形式3.2.1 數(shù)學(xué)模型二進制離散信道（r=s=2） 由輸入值集合X=0,1,輸出值Y=0,1,

8、一組表示輸入、輸出關(guān)系的條件概率(轉(zhuǎn)移概率)組成。 P(yj /xi) X0,1Y0,13.2.1 數(shù)學(xué)模型 若信道存在干擾，導(dǎo)致二進制序列發(fā)生統(tǒng)計獨立的差錯，且條件概率對稱.P(Y=1/X=1)=P(Y=0/X=0)=1-P即P(Y=0/X=1)=P(Y=1/X=0)=P輸入是1或0輸出為0或1P= 0 1 這種對稱二進二出的信道叫做二進制對稱信道,簡稱BSC信道.3.2.1 數(shù)學(xué)模型信道模型:011-PPP1-P10 這種信道的輸出符號僅與對應(yīng)時刻輸入符號有關(guān),與以前輸入無關(guān)，故稱此信道是無記憶信道的.3.2.1 數(shù)學(xué)模型2.離散無記憶信道則P(Y=yi/X=xi)=P(yi/xi)稱為離

9、散無記憶信道若輸入值的集合 X=X0,X1Xr-1輸出 Y=y0,y1ys-1且信道和調(diào)制過程是無記憶的離散無記憶信道(DMC)3.2.1 數(shù)學(xué)模型決定DMC特點的條件概率P(yj/xi)可寫成矩陣形式 P(Y1=V1，Y2=V2Yn=Vn/X=U1X=Un) =若DMC信道的輸入、輸出是由n個符號組成的序列,其中uiX,viY，i=1 2,3,4n,則聯(lián)合條件概率為:3.2.1 數(shù)學(xué)模型轉(zhuǎn)移概率矩陣3.2.1 數(shù)學(xué)模型 若信道中有干擾,信道輸出不是一個固定值,是概率各異的一組值, 稱有擾離散信道.輸入Xi時,各可能輸出值yj的概率之和必得1,即:3.2.1 數(shù)學(xué)模型3.離散輸入連續(xù)輸出信道

10、設(shè)信道輸入符號是有限、離散的,其輸入字符集 信道輸出 稱離散輸入,連續(xù)輸出信道. 即 又稱半離散或半連續(xù)信道。 3.2.1 數(shù)學(xué)模型4.波形信道 若輸入是模擬波形，輸出也是模擬波形則為波形信道.若分析性能的理論極限多選用離散輸入,連續(xù)輸出的信道模型。 選擇何種模型取決于我們目的.從工程上講,最常用的DMC信道或BSC信道.3.2.1 數(shù)學(xué)模型3.2.2 信道容量 在單符號離散信道中，平均每個符號傳送的信息量定義為信道的信息傳輸率 。從統(tǒng)計角度而言，信道的噪聲總是有限的，總有部分信息能夠準(zhǔn)確傳輸，所以信道的信息傳輸率為3.2.2 信道容量 互信息量 是輸入符號X 概率分布的凸函數(shù)。對于一個給定的

11、信道，總是存在某種概率分布 ，使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。 什么是信道容量？3.2.2 信道容量定義 3-1 設(shè)某信道的平均互信息量為 ，信道輸入符號的先驗概率為 ，該信道的信道容量C 定義為 比特/符號 先驗概率分布 應(yīng)當(dāng)滿足下列條件3.2.2 信道容量 對于給定信道，條件轉(zhuǎn)移概率p(bjai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗概率分布p(x)，使得平均互信息量最大,這種先驗分布概率為最佳分布。3.2.2 信道容量 如果信道輸入滿足最佳分布，信息傳輸率最大，即達

12、到信息容量C；如果信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息容量C。信道傳輸?shù)男畔⒘縍必須小于信道容量C,否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；反之，如果RC成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端。3.2.2 信道容量 1. 無干擾離散信道 這類信道是理想信道。輸入、輸出符號之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。 這類信道在實際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進行研究。根據(jù)信道輸入符號X與信道輸出符號Y之間的關(guān)系，可以分為下了幾種信道。3.2.2 信道容量 無噪無損信道 該信道的輸入、輸出集合符號數(shù)量相等，輸入

13、X與輸出Y之間是一一對應(yīng)。對于給定ai,由于p(bjai)只有一個為1，其余都為0，所以H(XY)=0,則 (a)無噪無損信道模型 X Y 1 1 1 1 3.2.2 信道容量 根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當(dāng)輸入符號的先驗概率為等概率分布時，H(X) 取得最大值 ,信道容量為 比特符號 所以當(dāng)輸入信源滿足等概率分布時，信息傳輸率最大，達到信道容量。這類信道的前向概率矩陣和后驗概率矩陣是相等的，都是rr單位矩陣，3.2.2 信道容量 無噪有損信道 信道輸出符號Y 集合的數(shù)量小于信道輸入符號 X集合的數(shù)量，即rs，形成多對一的映射. X Y 1 1 1

14、 1 (b)無噪有損信道 3.2.2 信道容量 這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每行只有一個非零元素. 接收到符號Y后,不能確定信道輸入X ，即不能夠完全消除X的不確定性，所以H(XY)0，且H(X)H(Y) ,I(X;Y)=H(Y). 信道容量為3.2.2 信道容量3.2.2 信道容量X Y 1 1 1 1 (b)無噪有損信道 有噪無損信道 信道輸出符號Y集合的數(shù)量大于信道符號X集合的數(shù)量,即rs,形成一對多的映射關(guān).由于一對多的映射關(guān)系,不能由輸入完全確定信道的輸出,H(XY) 0，H(X)H(Y),I(X;Y)=H(X). X Y 0.4 0.6 0.7 0.3 (c)有噪無損信道

15、信道的容量為3.2.2 信道容量 當(dāng)信道輸入為等概率輸入時，I(X;Y)=H(X) 才能取得最大值，所以先驗概率的最佳分布就是使得 p(aj)=1/r 的分布。這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每列只有一個非零元素.P(YX)3.2.2 信道容量 2. 對稱離散信道的信道容量 對稱離散無記憶信道是最簡單的信道之一， 1）輸入對稱信道容量 定義 3-2: 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。 例如，信道轉(zhuǎn)移矩陣為3.2離散單符號信道及容量3.2離散單符號信道及容量又比如信道轉(zhuǎn)移矩陣即條件熵H(Y | X)與信道輸入的符號

16、無關(guān)。因此，輸入對稱信道的容量為3.2離散單符號信道及容量為了表示方便起見，假設(shè)轉(zhuǎn)移矩陣首行元素為則有由于 所以輸入對稱信道的容量就是找到一種分布，使得信道輸出的熵最大?！纠?3.2-1】 信道的轉(zhuǎn)移矩陣為 求該信道的容量 。 解 設(shè)信道輸入的概率空間為 3.2離散單符號信道及容量 信道輸出的概率分布為 取得極值的條件為 解上述方程可以得到取極值的條件為P=0.5 ，即當(dāng)信道輸入為等概率分布時，H(Y)取得最大值，所以 3.2離散單符號信道及容量該信道的容量為 而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題3.2離散單符號信道及容量此時信道輸出的概率分布為 所以，當(dāng)信道只是輸入對稱時，信道容量不

17、能簡單認(rèn)為是上次課內(nèi)容 3.1信道分類3.2離散單符號信道及容量3.2.1數(shù)學(xué)模型3.2.2信道容量 1. 無干擾離散信道 2. 對稱離散信道的信道容量 1)輸入對稱信道1、信道的作用： 把攜有信息的信號從它的輸入端傳遞到輸出端。信道最重要特征參數(shù)是信息傳遞能力，即信道容量.2、什么是信道容量？ 互信息量I(X,Y)是輸入符號X 概率分布的凸函數(shù)對于一個給定的信道，總是存在某種概率分布p(xi),使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。 復(fù)習(xí)1. 無干擾離散信道 無噪無損信道無噪有損信道有噪無損信道 X Y

18、0.4 0.6 0.7 0.3 復(fù)習(xí)2、對稱離散信道的信道容量1）輸入對稱信道容量 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，這種信道稱為輸入對稱離散信道。復(fù)習(xí)3.2.2 信道容量 2）輸出對稱信道容量 3）準(zhǔn)對稱信道容量 4）對稱DMC信道容量 5）一般離散信道的容量3.3 離散序列符號信道及容量3.4 信源與信道的匹配3.5* 連續(xù)信道及其容量本次課內(nèi)容 2）輸出對稱信道容量 定義：如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是 第一列的某種置換，則稱信道是關(guān)于輸出 對稱離散信道。 3.2離散單符號信道及容量例如：信道轉(zhuǎn)移矩陣 都是輸出對稱信道。和輸出對稱信道容量： 若信道輸出對稱，則當(dāng)

19、信道輸入符號等概率分布時,信道輸出也是等概率分布的。信道輸出符號的熵為3.2離散單符號信道及容量 由于信道轉(zhuǎn)移矩陣是已知的，H(YX)可以使用下列公式3.2離散單符號信道及容量 只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量4）對稱信道容量若轉(zhuǎn)移概率矩陣 每一行都是第一行的轉(zhuǎn)置, 稱矩陣是輸入對稱.若每一列都是第一列的轉(zhuǎn)置,稱矩陣是輸出對稱.若輸入輸出都對稱,稱對稱DMC信道。例 和 對稱信道3.2離散單符號信道及容量 和 不對稱 3.2離散單符號信道及容量 對稱信道的容量: 由于對稱信道是關(guān)于輸入對稱，而輸入對稱信道的容量為3.2離散單符號信道及容量且滿足 與信道輸入的分

20、布無關(guān)，只與條件概率分布有關(guān).為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對應(yīng)的條件概率分別為(p1,p2.ps)，有: 對稱信道輸出也是對稱的，當(dāng)信道輸入是等概率分布時，信道輸出也是等概率分布,取得最大值3.2離散單符號信道及容量則對稱信道容量 對稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號集合的數(shù)量有關(guān)。如果希望信息傳輸率達到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。 【例 3.2-2】 設(shè)某信道轉(zhuǎn)移矩陣為 求信道容量 解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對稱的，所以信道容量為3.2離散單符號信道及容量 【例 3-3】假設(shè)信

21、道的輸入、輸出符號數(shù)相等，都等于r,且信道條件轉(zhuǎn)移矩陣為 求:信道容量 。 解:顯然該信道是對稱的，信道容量為3.2離散單符號信道及容量 上述信道稱為強對稱信道或者是均勻信道，是對稱信道的一個特例。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。3.2離散單符號信道及容量當(dāng)r=2時，信道容量為3）準(zhǔn)對稱信道容量 定義 3-4： 如果信道轉(zhuǎn)移矩陣按列可以劃分為幾 個互不相交的子集，每個子矩陣滿 足下列性質(zhì)： (1)每行都是第一行的某種置換； (2)每列都是第一列的某種置換。 稱該信道為準(zhǔn)對稱信道。3.2離散單符號信道及容量或者說：每一行都是第一行元素的不同排列，

22、每一列并不都是第一列元素的不同排列，但可按著信道矩陣的列將信道矩陣劃分成若干個子矩陣。稱這類信道為準(zhǔn)對稱信道。例：可劃分成兩個對稱矩陣準(zhǔn)對稱矩陣3.2離散單符號信道及容量 準(zhǔn)對稱信道是關(guān)于輸入對稱的，可以使用輸入對稱信道的方法直接求解.輸入對稱信道的容量為： 3.2離散單符號信道及容量準(zhǔn)對稱信道的容量: 由于信道輸入不一定存在一種分布使得信道輸出滿足等概率分布,所以準(zhǔn)對稱信道的信道容量滿足下列關(guān)系 可以證明，準(zhǔn)對稱信道信道輸入的最佳分布是等概率分布，信道容量為3.2離散單符號信道及容量 其中p1,p2,ps為準(zhǔn)對稱信道轉(zhuǎn)移矩陣中的一行元素,n為劃分的子集數(shù)量,Nk為第k個子矩陣的行元素之和,M

23、k為第k個子矩陣的列元素之和。定理 3-1 ：準(zhǔn)對稱離散信道的信道容量是在 信道輸入為等概率分布時達到的。3.2離散單符號信道及容量 上式為準(zhǔn)對稱信道容量計算公式，而到達信道容量的信道輸入最佳概率分布由下列定理確定。【例 5.2-4】設(shè)某信道的轉(zhuǎn)移矩陣為求：信道容量 。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準(zhǔn)對稱信道，可以分解為 3.2離散單符號信道及容量是兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為N1為第1個子矩陣的行元素之和M1為第1個子矩陣的列元素之和 由準(zhǔn)對稱離散信道的信道容量計算公式3.2離散單符號信道及容量稱該信道為二元純對稱刪除信道，其信道容量為 qqqq

24、pqqpH2log)1log()1(),1(2log-= qqqpqppp-+-+=12log)1()1log()1(log 如果p=0，則3.2離散單符號信道及容量 1-q a1 b1 q b2 q a2 b3 1-q 圖3-4二元純對稱刪除信道 【例 3.2-5】 信道轉(zhuǎn)移矩陣為 求：信道容量 。 解：該信道是準(zhǔn)對稱信道，可以分解為三個互不相交的子集，分別為3.2離散單符號信道及容量對應(yīng)的參數(shù)分別為3.2離散單符號信道及容量信道容量為61,31,216131321=+=NNN 316161,323131,216131321=+=+=+=MMM 31log6132log3121log21)6

25、1,61,31,31(2log-=H =0.041比特/符號3. 一般離散信道的容量 從信道容量的定義知，信道容量是在信道給定的情況下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入、輸出之間的平均互信息量最大，即，使得信道的輸入概率分布與信道匹配。3.2離散單符號信道及容量 對于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值,即可得到最佳分布； 然后根據(jù)最佳分布計算信道輸入、輸出之間的平均互信息量，既得到信息容量。 如果信道輸入、輸出符號數(shù)量較少，這種方法是可行的。3.2離散單符號信道及容量 【例 3-

26、6】 信道轉(zhuǎn)移矩陣為 3.2離散單符號信道及容量求:信道輸入最佳分布和信道容量 。解:由信道轉(zhuǎn)移矩陣知,信道不對稱的, 信道的輸入、輸出符號數(shù)量都為2. 設(shè)輸入符號的概率為p,1-p。 先求出信道輸出概率頒布p(bj).由公式3.2離散單符號信道及容量將相關(guān)參數(shù)帶入上述計算公式，得到；3.2離散單符號信道及容量對p求導(dǎo)，得到最佳分布3.2離散單符號信道及容量比特符號得到,p=0.532 ，所以信道容量為 從上例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計算機很難求出最佳分布，所以一般離散信道的信道容量的求解要通過計算機來進行。 下面討論一般離散信道的解法。 3.2

27、離散單符號信道及容量 一般離散信道容量的計算由于 的上凸函數(shù)，故極大值存在。并且 要滿足非負(fù)且歸一化的條件，因此，求信道容量歸結(jié)為求有約束極值的問題。為了書寫方便，記 。 現(xiàn)求 在約束 下的極值。 利用拉格朗日乘子法，求函數(shù) 的極值。 計算 并使其為0 并考慮到 ， 得：所以，有記因為 ，所以 定理 3-2 設(shè)有一般離散信道,它有r個輸入個符號， s個輸出符號，其平均互信息I(X,Y)達到 極大值（即等于信道容量）的充要條件是 輸入概率分布p(ai)滿足3.2離散單符號信道及容量 常數(shù)C就是所求的信息容量。 其中CYaIi=);( 對所有0)(iap的ia );(YaIiC 對所有0)(=ia

28、p的ia 上述定理只是給出了達到容量時，信道輸入符號分布的充要條件，并不能給出信道的最佳概率分布，即,沒有給出信道容量的計算公式。 另，達到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得I(X,Y)達到最大值即可。所以一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。 對于某些特殊信道，可以使用上述定理求解信道容量。3.2離散單符號信道及容量 【例3-7】 設(shè)某信道的轉(zhuǎn)移矩陣為3.2離散單符號信道及容量求;該信道容量和信道輸入的最佳概率分布。解: 該信道不能直接使用對稱信道計算其信道容量 若信道輸入符號的概率p(a2)=0,該信道就是一個二

29、元純對稱刪除信道。 就可以假設(shè) p(a1)=p(a3)=1/2,然后檢查是否滿足定理3-2的條件,如果滿足就可以計算出信道容量3.2離散單符號信道及容量首先求出p(bj)3.2離散單符號信道及容量p(a1)=p(a3)=1/2, p(a2)=0計算互信息量3.2離散單符號信道及容量 該輸入概率分布滿足定理3-2的條件,信道容量為C=0.9,對應(yīng)的信道輸入最佳概率分布為(0.5,0,0.5)CYaIi=);( 對所有0)(iap的ia );(YaIiC 對所有0)(=iap的ia 3.3離散序列符號信道及容量 前面討論了輸入和輸出都是單個隨機變量的信道及其容量，分析了對稱信道、準(zhǔn)對稱信道、一般離

30、散信道的信道容量和信道最佳概率分布的計算方法。實際中，信道輸入、輸出常常是離散隨機序列。離散序列信道的一般模型見圖3.3離散序列符號信道及容量圖3-5 離散序列信道模型 對于無記憶離散序列信道，設(shè)序列長度為N，則信道轉(zhuǎn)移概率可以簡化為 如果信道是平穩(wěn)的，則信道轉(zhuǎn)移概率可以進一步簡化為 p(YX) = 3.3離散序列符號信道及容量 討論無記憶離散信道： 設(shè)信道輸入符號取自于符號集 信道輸出符號取自于符號集 信道轉(zhuǎn)移矩陣為 3.3離散序列符號信道及容量設(shè)序列長度為N，信道輸入序列記作 i=(ai1,ai2,.air) i=1，2，rN，信道輸出序列記作j=(bj1,bj2.bjs) j=1，2，s

31、N，由于信道輸入共有rN種可能取值,信道輸出有sN種可能取值,所以N次擴展信道的轉(zhuǎn)移概率矩陣為rNsN的矩陣，可以表示為3.3離散序列符號信道及容量 對于無記憶信道,上述的轉(zhuǎn)移概率可以簡化為 其中，m=1，2，rN，n=1，2，sN 長度為N的離散序列平均互信息量為 I(X;Y)=H(XN)-H(XNYN)=H(YN)-H(YNXN)3.3離散序列符號信道及容量單符號無記憶信源的N次擴展信道：可以看作是一種特殊的多符號信道，而多符號信道是各個輸入信源Xi都取自同一集合X，并聯(lián)的各個輸出信宿Yj都取自同一集合Y, 這樣的N個信道的并聯(lián)。 定理3-3 設(shè)離散信道的輸入序列為X=(X1,X2,XN)

32、,信道輸出序列為Y=(Y1,Y2,YN),信道的轉(zhuǎn)移概率為 ，有 (1)如果信道本身是無記憶的，則 (2)如果信道的輸入序列是無記憶的，幾個分量相互獨立，則 3.3離散序列符號信道及容量 (3)如果輸入序列和信道都是無記憶的，則 其中,Xi和Yi分別表示隨機序列X和Y中第i個隨機變量 該定理描述了離散信道中隨機序列的平均互信息量I(X;Y)與信道輸入和輸出中各個隨機變量的平均互信息量之和之間的關(guān)系。特別是當(dāng)信道輸入序列和信道都是無記憶時，兩者相等。如果構(gòu)成信道輸入、輸出隨機序列的各個隨機變量來自于同一符號集，都服從同一分布，而且信道也是平穩(wěn)的. 3.3離散序列符號信道及容量 各互信息量滿足下列

33、關(guān)系： I(X;Y)=I(Xi,Yi) ，i=1，2，N 于是可以得出結(jié)論由于信道輸入隨機序列的各個變量都在同一信道中傳輸，所以有 Ci = C3.3離散序列符號信道及容量其中，i=1，2，N，即具有相同的信道容量。于是，可以得到離散無記憶N次擴展信道的容量為 CN = NC此式表明,離散無記憶N次擴展信道的信道容量等于構(gòu)成單個離散信道的信道容量的N倍,而信道輸入序列的最佳分布是構(gòu)成序列的每個隨機變量都達到各自的最佳概率分布。 對于一般的離散無記憶信道的N次擴展信道，如果信道輸入隨機變量是無記憶的，且信道是非平穩(wěn)的則有 3.3離散序列符號信道及容量 有記憶的離散序列信道的分析比無記憶的離散序列

34、信道的分析要復(fù)雜得多，特殊情況下可以通過狀態(tài)變量來分析，這里不進行討論。 【例3.3-1】某二元離散無記憶信道的轉(zhuǎn)移矩陣為 3.3離散序列符號信道及容量求信道容量C。對信道進行二次擴展，擴展后的信道轉(zhuǎn)移矩陣為解：由擴展信道的轉(zhuǎn)移矩陣知，二次擴展信道是對稱信道，當(dāng)輸入序列等概率分布時可以達到信息容量C2，將擴展后的每種序列排列認(rèn)為是一個符號，二次擴展信道就等價于四元信道，四元對稱信道的信道容量為3.3離散序列符號信道及容量3.3離散序列符號信道及容量 在實際中經(jīng)常有信道的并聯(lián)和串聯(lián)，下面簡單介紹。1.串聯(lián)信道。 假設(shè)信道1的轉(zhuǎn)移矩陣為P1,信道2的轉(zhuǎn)移矩陣為P2，串聯(lián)信道總的概率轉(zhuǎn)移矩陣為 P=

35、P1P2兩個信道的串聯(lián)型式平均互信息量滿足 I(X；Z)I(X；Y) I(X；Z)I(Y；Z)總的信道容量不會大于各組成信道的信道容量，即 C minC1，C2可以將該結(jié)論擴展到m級串聯(lián)，得到總的轉(zhuǎn)移矩陣為 3.3離散序列符號信道及容量根據(jù)總得轉(zhuǎn)移矩陣即可求出串聯(lián)信道的容量為其中，X和Z分別表示串聯(lián)信道的輸入和輸出符號。而且滿足 C minC1，C2，Cm 2.并聯(lián)信道 將m個相互獨立的信道并聯(lián)，如圖所示，3.3離散序列符號信道及容量 每個信道輸出Yi只與本信道輸入Xi有關(guān)(i=1,2,m), 假設(shè)各個信道的轉(zhuǎn)移概率分別為 ，那么序 列的轉(zhuǎn)移概率為 如果每個信道都是無記憶的，總的信道也是無記憶

36、的，則滿足 I(X；Y) 獨立并聯(lián)信道的容量為 C=maxI(X；Y) 3.3離散序列符號信道及容量當(dāng)輸入隨機變量Xi相互獨立，且有p(X1,X2Xm) 達到最佳分布時容量最大(為各自信道容量之和)。 3.4 信源與信道的匹配 實際通信中，經(jīng)常使用離散信道分析信息傳輸問題。對于給定離散信道，其容量是存在的，而且是一個確定量，只有信源輸入滿足最佳分布時，信息的傳輸才能夠達到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。 3.4 信源與信道的匹配 一般信源與信道連接時,信息傳輸速率R等于信源與信宿之間的平均互信息量R=I(X,Y)。 信源的分布并不總是滿足信道輸入的最佳概率分布，所以信息

37、傳輸速率總是小于信道的容量的。 當(dāng)信息傳輸速率達到信道容量時，稱為信源與信道達到匹配，否則信道有冗余。3.4 信源與信道的匹配 定義3-5 設(shè)信道的信息傳輸速率為R=I(X,Y)，信道容量為C，信道的剩余度定義為 信道冗余度=C-I(X,Y) 相對剩余度定義為 3.4 信源與信道的匹配 一般情況下，信源輸出符號之間總是存在較強的相關(guān)性，而且信源的分布與信道難以匹配。當(dāng)離散信道是對稱的或者接近對稱時，為了實現(xiàn)有效的信息傳輸，要求信源輸出符號分布盡可能接近信道要求的等概率分布，為此可以采用信源編碼技術(shù)去除信源符號之間的相關(guān)性，并且經(jīng)過適當(dāng)?shù)淖儞Q后，信源編碼輸出符號分布盡可能接近等概率分布，就可使信

38、道傳輸速率R達到或者接近信道容量，實現(xiàn)信源與信道的匹配。 3.4 信源與信道的匹配 如果信道的傳輸速率R小于信道容量C,可以對信源輸出進行適當(dāng)?shù)男诺谰幋a,實現(xiàn)無誤差的信息傳輸； 如果信道的信息傳輸速率R大于信道容量C，實現(xiàn)無差錯信息傳輸是不可能的。3.4 信源與信道的匹配 5.5 連續(xù)信道及其容量 對于連續(xù)信源，互信息量具有與離散信源相同的形式，即互信息量為信源的熵與條件熵之差，而連續(xù)信道的容量同樣定義為互信息量的最大值，在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。 離散信道的輸入、輸出符號都是離散的，所以用概率轉(zhuǎn)移矩陣加以描述；而連續(xù)信道的輸入、輸出符號都是連續(xù)變量，所以使用條

39、件概率密度函數(shù)描述信道輸入、輸出變量之間的關(guān)系。5.5 連續(xù)信道及其容量 5.5.1 連續(xù)單符號加性信道 連續(xù)單符號加性信道是最簡單的單符號信道，信道的輸入和輸出都是連續(xù)隨機變量，如圖5-8所示。 圖5-8 連續(xù)單符號信道 5.5 連續(xù)信道及其容量 首先假設(shè)信道引入的噪聲是均值為0，方差為 的高斯白噪聲，即 ，該噪聲的連續(xù)熵為 (5.5-1) 根據(jù)熵之間的關(guān)系可知，單符號連續(xù)信道的平均互信息量可以表示為5.5 連續(xù)信道及其容量信道容量定義為 (5.5-2)對于加性噪聲信道而言，條件熵 為 證明略。 5.5 連續(xù)信道及其容量 綜合起來，連續(xù)單符號加性噪聲信道的信道容量為 (5.5-3) 如果噪聲

40、為高斯白噪聲，則有 (5.5-4) 根據(jù)限平均功率最大熵定理，只有當(dāng)信道輸出 為高斯分布時， 取得最大值，即 ，其中， 表示 的平均功率限制值。 信道輸入 與信道的噪聲之間相互獨立，而變量 可以表示為 5.5 連續(xù)信道及其容量 根據(jù)高斯分布性質(zhì)：兩個高斯分布的加、減仍然服從高斯分布，假設(shè) ，則有 所以 又 5.5 連續(xù)信道及其容量 于是可以得出結(jié)論：當(dāng)信道輸入服從高斯分布，假設(shè) 時，達到信道容量 ，信道容量為 (5.5-5) 其中， 稱為信噪比。5.5 連續(xù)信道及其容量 要注意的是，這里沒有考慮信道對輸入信號的衰減，即認(rèn)為 是經(jīng)過信道衰減后的功率。實際中，信道的噪聲不一定服從高斯分布，根據(jù)上文

41、討論可知，只要噪聲是加性的，就可以進行計算，下面不加證明地給出均值為0，方差為 的加性噪聲信道容量的界5.5 連續(xù)信道及其容量 上述不等式的意義在于：對于給定的加性噪聲信道，如果信道的輸入能夠使得信道輸出為高斯分布，則信道容量到達上限 ，而一般情況下，信道容量是小于該上限的。高斯信道是所有加性信道中最差的信道，任何其他類型加性噪聲信道的容量都大于其信道容量。 所以實際中，在平均功率受限的條件下，經(jīng)常假設(shè)噪聲服從高斯分布，除了高斯噪聲的分析比較方便之外，還因為高斯信道的信道容量是最小的，對信道的干擾最大。5.5 連續(xù)信道及其容量5.5.2 多維無記憶加性連續(xù)信道 設(shè)信道輸入隨機序列 ，信道輸出的

42、隨機序列為 ，由于高斯噪聲具有代表性，這里只討論高斯信道。設(shè) 是均值為零的高斯噪聲序列，由于信道無記憶，則有 又因是加性信道，所以得 5.5 連續(xù)信道及其容量 即噪聲序列中各分量是統(tǒng)計獨立的。噪聲 是高斯噪聲，又各分量統(tǒng)計獨立，所以各分量 是均值為零、方差為 的高斯變量。這樣，多維無記憶高斯加性信道可等價成 個獨立的并聯(lián)高斯加性信道。 由于 則有 (5.5-6)5.5 連續(xù)信道及其容量 從上式可知，各時刻 上的噪聲是均值為零、方差為不同的 高斯噪聲，于是，當(dāng)且僅當(dāng)輸入隨機矢量 中各分量統(tǒng)計獨立，并且也是均值為零、方差為不同的 的高斯變量時，才能達到此信道容量。 可見，上式是多維無記憶高斯加性連

43、續(xù)信道的信道容量，也是 個獨立的、并聯(lián)組合的、高斯加性信道的信道容量。5.5 連續(xù)信道及其容量 （1） 如果各個時刻 上的噪聲都是均值為零、方差為 的高斯噪聲，則信道容量 為 比特 個自由度 當(dāng)且僅當(dāng)輸入信號 的各分量統(tǒng)計獨立，并且都是均值為零、方差為 的高斯變量時，信息傳輸概率達到最大值。 （2）如果各個時刻 上的噪聲都是均值為零、方差為 的高斯噪聲，但輸入信號的總平均功率受限，則該約束條件為 5.5 連續(xù)信道及其容量 那么，此時各時刻的信號平均功率 應(yīng)如何分配？其信道容量應(yīng)等于多少？ 由于 其中， ，所以約束條件為 。只有當(dāng) 中各分量是均值為零、方差為 的統(tǒng)計獨立的高斯變量時，上式的等式才

44、成立。5.5 連續(xù)信道及其容量 極限問題 ，就是計算在約束條件 的情況下，使 達到最大。這是一個標(biāo)準(zhǔn)的求極大值的問題，可以用拉格朗日乘法來計算。 構(gòu)造輔助函數(shù)為 對變量求偏導(dǎo)數(shù)，并令其為0，即 5.5 連續(xù)信道及其容量 整理后可以得到下列方程 上式計算得到的 可能會出現(xiàn)負(fù)數(shù)，這表明獨立并聯(lián)信道中，某一信道的噪聲平均功率 大于該信道分配得到信號平均功率，所以該信道就無法利用，只有令 ，即選取 ，其中 符號表示 的正數(shù)，即5.5 連續(xù)信道及其容量而常數(shù) 的選擇由約束條件求得于是，可得信道容量5.5 連續(xù)信道及其容量 上述結(jié)論說明，在 個獨立信道并聯(lián)構(gòu)成的高斯加性通道中，當(dāng)各分信道的噪聲平均功率不相

45、等（或多維無記憶高斯加性信道，各時刻噪聲分量的平均功率不相等）時，為達到最大的信息傳輸率，要對輸入信號的總能量進行適當(dāng)?shù)姆峙?，其分配按下式進行 5.5 連續(xù)信道及其容量 即當(dāng)常數(shù) 時，此信道（或此時刻信號分量）不分配能量，不傳輸任何信息；當(dāng) 時，在這些信道（或此時刻信號分量）中分配能量，并使?jié)M足 加上 等于常數(shù) 。這樣得到的信道容量最大，即噪聲大的信道少傳甚至不傳送信息，而在噪聲小的信道多傳輸些信息，從而有利于信息傳輸。5.5 連續(xù)信道及其容量5.5.3 加性高斯白噪聲波形信道 上面討論的連續(xù)信道中，信道的輸入、輸出變量的幅度取值是連續(xù)變化的，而在時間上是離散的。而實際中的物理信道都是波形信道

46、，信道的輸入和輸出在幅度上都是連續(xù)變化的。對于這樣的信道應(yīng)當(dāng)適用隨機過程對其進行研究，首先對加性高斯白噪聲波形信道進行介紹。 假設(shè)信道的輸入、輸出都是平穩(wěn)隨機過程，在限頻 、限時 條件下將波形信道轉(zhuǎn)換為多維連續(xù)信道進行分析。設(shè)在時間 內(nèi)，將信道5.5 連續(xù)信道及其容量 輸入、輸出隨機過程在時間上離散為維數(shù)為 的隨機序列 和 ，從而可以得到波形信道的平均互信息為 對于波形信道而言，一般討論單位時間內(nèi)信息傳輸率 ， 定義為 比特秒 5.5 連續(xù)信道及其容量 信道容量 定義為 (5.5-7) 通常情況下，假設(shè)波形信道中的噪聲是均值為0、雙邊功率譜密度為 2的高斯白噪聲隨機過程。同樣可以將波形信道中的

47、噪聲在時間上離散化，在時間 內(nèi)使用 維隨機序列表示，由于信道帶寬總是受限的，設(shè)帶寬為 ，在時間 內(nèi)，隨機序列長度取為5.5 連續(xù)信道及其容量 這樣就將波形信道變換為多維無記憶高斯加性信道，所以得出下列結(jié)論： (5.5-8) 其中， 為每個噪聲分量的功率 ，即雙邊功率譜密度， 為每個信號樣本值的平均功率，當(dāng)信號受限于功率 時，滿足 5.5 連續(xù)信道及其容量 為信號帶寬，于是得到信道容量為 (5.5-9)所以波形信道的信道容量為 (5.5-10) 5.5 連續(xù)信道及其容量 其中， 為信號的平均功率， 為高斯白噪聲在帶寬為 內(nèi)的平均功率。信道的容量是帶寬和信噪功率比的函數(shù)。這就是著名的香農(nóng)公式。當(dāng)信

48、道輸入是平均功率受限的高斯白噪聲信號時，信息傳輸率才能達到該信道容量。 然而實際中信道一般為非高斯噪聲波形信道，由于噪聲熵小于高斯噪聲的噪聲熵，所以信道容量以高斯加性信道的信道容量為下限。5.5 連續(xù)信道及其容量 根據(jù)香農(nóng)公式，可以得出下列結(jié)論： （1）當(dāng)帶寬 一定時，信噪比與 信道容量 成對數(shù)關(guān)系。若 增大， 就增大，但增大到一定程度后就趨于緩慢。這說明增加輸入信號功率有助于容量的增大，但該方法是有限的；另一方面降低噪聲功率也是有用的，當(dāng) 趨向于0時， 趨向于無窮大，既無噪聲信道的容量為無窮大。 （2）當(dāng)輸入信號功率 一定，增加信道帶寬，容量可以增加，但到一定階段后增加變得緩慢。因為當(dāng)噪聲為

49、加性高斯白噪聲時，隨著 的增加，噪聲功率 也隨之增加，當(dāng) 趨向于0時， 趨5.5 連續(xù)信道及其容量 趨向于 ，利用關(guān)系式 （ 很小時）可求出 值。即當(dāng)帶寬不受限制時，傳送1比特信息，信噪比最低只需1.6dB，這就是香農(nóng)限，是加性高斯噪聲信道信息傳輸率的極限值，是一切編碼方式所能達到的理論極限。能獲得可靠的通信，實際值往往都比這個值大得多。 （3） 一定時，帶寬 增大，信噪比 可降低，即兩者是可以互換的。若有較大的傳輸寬帶，則在保持信號功率不變的情況下，可允許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中可擴頻系統(tǒng)就是利用了這個原理，將所需傳送的信號擴5.5 連續(xù)信道及其容量 頻，使之遠(yuǎn)遠(yuǎn)大于原

50、始信號寬帶，以增強抗干擾的能力。 最后，給出連續(xù)信道編碼定理。 定理5-4 對于限帶高斯白噪聲加性信道，噪聲功率為 ，帶寬為 ，信號平均功率受限于 ，有 （1）當(dāng)信道傳輸率 時，總是可以找到一種信道編碼在信道中以信息傳輸率 傳輸信息，而傳輸錯誤概率為任意?。?5.5 連續(xù)信道及其容量（2）當(dāng) 時，不存在一種信道編碼使得以 傳輸信息，而錯誤概率為任意小。 信道是通信系統(tǒng)的重要組成部分，本章從不同角度對信道進行分類。在信息論中，信道容量是信道能夠有效信息傳輸?shù)闹匾獏?shù)，而信道輸入分布和信道轉(zhuǎn)移概率已知的條件下，信道輸入與輸出之間平均互信息量定義為信道容量。在討論了幾種簡單離散無記憶信道的信道容量基礎(chǔ)上，重點介紹了離散無記