第3章信道與信道容量

第3章信道與信道容量第一頁，共174頁。信道分類＿信道信道是信息傳輸?shù)拿浇榛蛲ǖ?，任務是以信號的方式傳輸或存儲信息。信道可以看成是一個變換器，它將輸入事件X變換成輸出事件Y。信道傳輸中存在噪聲和干擾，信道的輸入和輸出間一般不是確定的函數(shù)關系，而是統(tǒng)計依賴關系。信息論只關心流入和流出信道的信息量。2第二頁，共174頁。信道分類＿按時間特性輸入輸出事件的時間特性和集合的特點：離散信道：輸入和輸出都是時間與取值都離散的隨機矢量連續(xù)信道：輸入和輸出都是時間離散、取值連續(xù)的隨機矢量半連續(xù)信道：輸入和輸出一個離散一個連續(xù)波形信道：輸入和輸出都是時間上連續(xù)的隨機波形信號3第三頁，共174頁。信道分類＿按輸入輸出個數(shù)信道的輸入和輸出個數(shù)：兩端信道（單用戶信道）：輸入和輸出均只有一個事件集多端信道（多用戶信道）：輸入和輸出中至少有一個具有兩個或兩個以上的事件集廣播信道：單一輸入，多個輸出。多元接入信道：多個不同信源的信息經編碼后送入統(tǒng)一信道傳輸，接收端譯碼后再送給不同的信宿。如在衛(wèi)星通信系統(tǒng)中的應用。4第四頁，共174頁。信道分類＿按統(tǒng)計特性信道的統(tǒng)計特性：恒參信道：統(tǒng)計特性不隨時間變化隨參信道：統(tǒng)計特性隨時間變化5第五頁，共174頁。信道分類＿按記憶特性信道的記憶特性無記憶信道：信道輸出僅與當前的輸入有關；有記憶信道：信道輸出不僅與當前輸入有關，還與過去的輸入有關。6第六頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.3平均互信息3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理7第七頁，共174頁。單符號離散信道的數(shù)學模型

信道XY干擾8第八頁，共174頁。離散信道的數(shù)學模型描述9第九頁，共174頁。離散信道的數(shù)學模型描述（續(xù)）數(shù)學模型的不同描述方法1.用信道的傳遞概率集合描述2.用信道矩陣描述3.用有向圖描述10第十頁，共174頁。一個離散信道如下圖，輸入、輸出符號集分別為A={0,1}和B={0,1}，傳遞概率為二元對稱信道簡記為BSC，信道矩陣為1-p表示單個符號無錯誤傳輸?shù)母怕?；p表示單個符號傳輸錯誤的概率。信道模型舉例＿二元對稱信道11第十一頁，共174頁。信道模型舉例＿二元刪除信道二元刪除信道，n=2,m=3。輸入集X取值于A={0,1}，輸出集Y取值于B={0，2，1}。其傳遞概率、信道矩陣如下其中p和q表示單個符號無錯誤傳輸?shù)母怕剩?-p和1-q表示單個符號傳輸中發(fā)生錯誤的概率。12第十二頁，共174頁。信道模型舉例

_二元對稱消失信道二元對稱消失信道，n=2，m=3。輸入、輸出集X和Y的取值分別為A={0,1}，B={0,x,1}。輸出集中多了一個符號x，使得在一定概率下，輸入X的輸出為“0”還是為“1”不確定，這就使一定概率的X在輸出端“消失”了。二元對稱消失信道的傳遞概率和信道矩陣如下所示：13第十三頁，共174頁。離散信道中的各種概率先驗概率聯(lián)合概率前向概率后向（后驗）概率輸出符號概率14第十四頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.2.1互信息量3.2.2.2互信息量的性質3.2.2.3條件互信息量3.2.3平均互信息3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理15第十五頁，共174頁。

信道的數(shù)學模型通信系統(tǒng)模型信源X的概率空間：信源Y的概率空間：信源信道信宿XY16第十六頁，共174頁。對互信息量的直觀理解在接收到信道輸出符號為之前，猜測信道輸入符號可能的情況，則發(fā)的可能性由先驗概率決定，其不確定性為：

當接收到信道輸出符號后，接收者重新猜測信源發(fā)消息的概率就變成條件概率（后驗概率），其不確定性為：在觀察到信道輸出符號后，獲得了信息量，即對信道輸入符號是否為的不確定性減小了，這是由于收到消息前后概率空間的概率分布改變所致。17第十七頁，共174頁。對互信息量的直觀理解（續(xù)）當接收到y(tǒng)j后，重新估計xi的發(fā)生。收信者從不確定到比較確定或完全確定的程度依賴于所獲得的信息量。直觀定義：

互信息量=不確定程度的減少量

=信宿在收到y(tǒng)j前對信道輸入符號的先驗不確定度-信宿在收到y(tǒng)j后對信道輸入符號仍存在的后驗不確定度

則當接收者收到y(tǒng)j后，所獲得的信息量為收信者所獲得的信息量隨先驗概率的增加而減小，隨后驗概率的增加而增加。18第十八頁，共174頁。互信息量的定義定義：

對兩個離散隨機事件集X和Y，事件yj的出現(xiàn)給出關于事件xi的信息量，定義為互信息量。互信息量的單位與自信息量一樣，取決于對數(shù)的底。當?shù)诪?時，單位為比特bit。19第十九頁，共174頁。互信息量－例題某地二月份天氣構成的信源為某一天有人告訴你：“今天不是晴天?！?0第二十頁，共174頁?；バ畔⒘浚}（續(xù)）21第二十一頁，共174頁?；バ畔閮蓚€不確定度之差，是不確定度被消除的部分，代表已經確定的東西。角度1：觀察者在輸出端，在收到y(tǒng)j前后，關于xi的不確定度有所變化，從而得到的關于xi的信息量。角度2：觀察者在輸入端，在發(fā)xi前后，關于yj的不確定度有所變化，從而得到的關于yj的信息量。由此可定義xi對yj的互信息量為理解互信息量的三個角度：

－對消除的不確定性的度量22第二十二頁，共174頁?；バ畔⒘康睦斫猓呓嵌?：

－從通信系統(tǒng)總體觀察通信前，可以認為輸入隨機變量X和輸出隨機變量Y之間沒有任何關聯(lián)關系，即X、Y統(tǒng)計獨立。根據(jù)概率的性質通信后，輸入隨機變量X和輸出隨機變量Y之間由信道的統(tǒng)計特性相聯(lián)系。23第二十三頁，共174頁?；バ畔⒘康睦斫猓?/p>

－從通信系統(tǒng)總體觀察通信后，流經信道的信息量，等于通信前后不確定度的差24第二十四頁，共174頁。互信息量的關系式25第二十五頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.2.1互信息量3.2.2.2互信息量的性質3.2.2.3條件互信息量3.2.3平均互信息3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理26第二十六頁，共174頁。3.2.2.2互信息量的性質1.對稱性2.當兩個事件統(tǒng)計獨立時，其互信息量為零。統(tǒng)計獨立時，不能從觀測一個事件中獲得有關另一個事件的任何信息。3.互信息量可正可負當后驗概率大于先驗概率時，互信息量為正值；當后驗概率小于先驗概率時，互信息量為負值。原因是由于信道干擾，使估計變得更加困難，不確定性增加了。4.任何兩個事件之間的互信息量不可能大于其中的任一事件的自信息量。27第二十七頁，共174頁?；バ畔⒘康男再|4的證明性質4：任何兩個事件之間的互信息量不可能大于其中的任一事件的自信息量28第二十八頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.2.1互信息量3.2.2.2互信息量的性質3.2.2.3條件互信息量3.2.3平均互信息3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理29第二十九頁，共174頁。3.2.2.3條件互信息量定義：聯(lián)合集XYZ中，在給定的條件下，與之間的互信息量定義為條件互信息量，定義為聯(lián)合集XYZ上還存在與之間的互信息量，定義式為30第三十頁，共174頁。條件互信息量進一步表示為上式表明：一對事件yjzk出現(xiàn)后所提供的有關xi的信息量I(xi;yjzk)等于事件yj出現(xiàn)后所提供的有關xi的信息量I(xi;yj)加上在給定事件yj的條件下再出現(xiàn)事件zk所提供的有關xi的信息量。31第三十一頁，共174頁。條件互信息量-例題某人A預先知道他的三位朋友B、C、D中必定將有一人晚上到他家來，并且這三人來的可能性均相同其先驗概率為：p(B)=p(C)=p(D)=1/3但是上午A接到D的電話不能來了把這次電話作為事件E，那么有后驗概率p(D/E)=0,p(B/E)=p(C/E)=1/2下午A又接到C的電話，說晚上開會不能來把這次電話作為事件F，那么有后驗概率p(C/EF)=p(D/EF)=0,p(B/EF)=132第三十二頁，共174頁。條件互信息量-例題（續(xù)）事件E（上午的電話）發(fā)生后，A獲得關于B,C,D的互信息為：事件EF（兩次電話）發(fā)生后，A獲得關于B,C,D的互信息為：由此例可以看出：由于I(B;EF)=1.585bit,I(B;E)=0.585bit，事件E、F的同時出現(xiàn)有助于肯定事件B的出現(xiàn)。33第三十三頁，共174頁。條件互信息量-例題（續(xù)）在事件E（上午的電話）發(fā)生的條件下，計算條件互信息量表明，事件EF出現(xiàn)后所提供的有關B的信息量I(B;EF)等于事件E出現(xiàn)后所提供的有關B的信息量I(B;E)加上在給定事件E的條件下，再出現(xiàn)事件F所提供的有關B的信息量。34第三十四頁，共174頁。幾種互信息量之間的關系互信息量、聯(lián)合事件互信息量、條件互信息量三者都是隨機變量，其值隨著變量xi，yj，zk的變化而變化。三者之間關系式：35第三十五頁，共174頁?？偨Y自信息量←→不確定度互信息量←→不確定度的減少量自信息量和互信息量的定義和性質自信息量和條件自信息量的關系互信息量和條件互信息量的關系互信息量具有隨機變量的性質，不能作為信道中信息流通的測度。36第三十六頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.3平均互信息3.2.3.1平均互信息量

3.2.3.2平均互信息的性質3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理37第三十七頁，共174頁?；バ畔⒘縄(xi;yj)的不足互信息量I(xi;yj)定量地描述輸入隨機變量發(fā)出某個具體消息xi，輸出變量出現(xiàn)某一具體消息yj時，流經信道的信息量?！拜斎離i，輸出yj”是一個概率為p(xiyj)的隨機事件，相應的I(xi;yj)也是隨xi和yj變化而變化的隨機量。I(xi;yj)不能從整體上作為信道中信息流通的測度。這種測度應該是從整體角度出發(fā)，在平均意義上度量每通過一個符號流經信道的平均信息量。作為一個測度，它不能是隨機量，而是一個確定的量。38第三十八頁，共174頁。輸入X、輸出Y的離散概率空間39第三十九頁，共174頁。輸入X、輸出Y的聯(lián)合空間XY40第四十頁，共174頁。平均條件互信息量定義：在聯(lián)合集XY上，由提供的關于集X的平均條件互信息量為由于故平均條件互信息量又可以表示為41第四十一頁，共174頁。平均條件互信息量聯(lián)合集XY上的平均條件互信息量有

等號成立當且僅當X集中的各個都與事件相互獨立。平均條件互信息量表示觀測到y(tǒng)j后獲得的關于集X的平均信息量。I(X;yj)仍然是一個隨機變量，隨yj的變化而變化，不能作為信道中流通信息量的整體測度。42第四十二頁，共174頁。平均互信息量定義1：平均互信息量I(X;Y)是平均條件互信息量I(X;yj)在整個集Y上的概率加權平均值。定義2：平均互信息量I(X;Y)是互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計平均值稱I(X;Y)是Y對X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機性，是一個確定的量，可以作為信道中流通信息量的整體測度。43第四十三頁，共174頁。平均互信息量的其它定義平均互信息量I(X;Y)的各種定義44第四十四頁，共174頁。信道疑義度（損失熵）定義：稱輸入空間X對輸出空間Y的條件熵為信道疑義度。其中：

含義：輸出端收到全部輸出符號Y以后，對輸入X尚存在的平均不確定程度。這種對X仍存在的不確定性是由傳輸過程中信道自身引起的。45第四十五頁，共174頁。信道疑義度（損失熵）條件熵H(X/Y)表示在已知輸出Y的條件下輸入X的剩余不確定性，即信道損失，它是信源符號通過有噪信道傳遞后所引起的信息損失。根據(jù)平均互信息量I(X;Y)與條件熵H(X/Y)的關系：

I(X;Y)等于輸入平均信息量H(X)減去信道損失，它反映了信道傳輸信息的能力。46第四十六頁，共174頁。噪聲熵47第四十七頁，共174頁。熵、交互熵、損失熵和噪聲熵48第四十八頁，共174頁。例：二元刪除信道的信道疑義度傳遞概率及信道矩陣分別為輸入集X的概率分布為PX=[1/4，3/4]則輸出集Y的分布為0011？1/21/22/31/349第四十九頁，共174頁。例＿計算信源熵50第五十頁，共174頁。例＿計算信道疑義度51第五十一頁，共174頁。例＿分析52第五十二頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.3平均互信息3.2.3.1平均互信息量

3.2.3.2平均互信息的性質3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理53第五十三頁，共174頁。平均互信息的性質

基本性質：非負性對稱性平均互信息和各類熵的關系極值性凸函數(shù)性54第五十四頁，共174頁。平均互信息的性質

1、對稱性：

I(X;Y)=I(Y;X)表示從集Y中獲得關于X的信息量等于從集X中獲得關于Y的信息量。2、非負性：I(X;Y)≥0當且僅當X與Y相互獨立時，等號成立。當集X和集Y統(tǒng)計獨立時，有I(X;Y)=I(Y;X)=0它意味著不能從一個集獲得關于另一個集的任何信息3、平均互信息和各類熵的關系I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)I(X;Y)=H(X)+H(Y)-H(XY)55第五十五頁，共174頁。性質1：非負性的證明56第五十六頁，共174頁。性質2：對稱性的證明證明：按定義57第五十七頁，共174頁。性質3：幾個關系式的證明58第五十八頁，共174頁。維拉圖平均互信息量I(X;Y)和各類熵的關系可用維拉圖。當集X和Y統(tǒng)計獨立時，I(X;Y)=0，

H(X,Y)max=H(X)+H(Y)H(Y)H(X)H(X,Y)I(X;Y)H(X/Y)H(Y/X)59第五十九頁，共174頁。平均互信息的性質（續(xù)）4、極值性I(X;Y)≤H(X)；I(X;Y)≤H(Y)證明：因為I(X;Y)=H(X)-H(X/Y)，條件熵H(X/Y)為非負，故兩個不等式成立。5、凸函數(shù)性平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函數(shù)；該性質是研究信道容量的理論基礎平均互信息量I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)。該性質是研究率失真函數(shù)的理論基礎60第六十頁，共174頁。凸函數(shù)性的例子

＿二元對稱信道見例2.1.6。61第六十一頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.2.1數(shù)學模型3.2.2互信息量3.2.3平均互信息3.2.3.1平均互信息量3.2.3.2平均互信息的性質3.2.4信道容量3.3信道容量的計算3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理62第六十二頁，共174頁。信息傳輸率R

與信息傳輸速率RtR定義：信道中平均每個符號所能傳送的信息量，單位：比特/符號。平均互信息I(X;Y)是接收到符號Y后平均每個符號獲得的關于X的信息量。信道的信息傳輸率就是平均互信息R=I(X;Y)如果平均傳輸一個符號為t秒，則信道每秒平均傳輸?shù)男畔⒘縍t（單位：比特/秒），一般稱為信息傳輸速率：63第六十三頁，共174頁。信道容量的定義定義：信道容量為平均互信息的最大值其單位是比特/符號或奈特/符號。平均互信息I(X;Y)是輸入變量X關于概率分布p(x)的上凸函數(shù)。對于一個固定的信道，總存在一種信源概率分布，使信道傳輸每一個符號平均獲得的信息量最大，即平均互信息I(X;Y)最大，而相應的概率分布p(x)稱為最佳輸入分布。64第六十四頁，共174頁。信道容量的概念平均互信息I(X;Y)為輸入分布p(x)的上凸函數(shù)，所以一定存在一個使某一特定信道的信息傳輸率達到極大值（信道容量C）的信源。信道容量C僅與信道的統(tǒng)計特性有關，與信源分布無關。I(X;Y)的值是由信道傳遞概率決定的。信道傳遞概率矩陣描述了信道的統(tǒng)計特性信道容量表征信道傳送信息的最大能力。實際信道中傳送的信息量一般要小于信道容量，否則在傳送過程中將會出現(xiàn)錯誤。65第六十五頁，共174頁。信道容量與最大信息傳輸速率信道容量C實際上就是一個固定信道的最大的信息傳輸率。如果平均傳輸一個符號需要t秒鐘，則信道在單位時間內平均傳輸?shù)淖畲笮畔⒘克俾蔆t（單位：比特/秒）為：66第六十六頁，共174頁。例二元對稱信道的信道容量67第六十七頁，共174頁。例（續(xù)）68第六十八頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.3.1離散無噪信道3.3.2對稱離散信道3.3.3準對稱離散信道

3.3.4離散信道信道容量一般計算方法3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理69第六十九頁，共174頁。離散無噪信道離散無噪信道的輸出Y與輸入X之間有著確定的關系，一般有：無損無噪信道無損信道無噪信道70第七十頁，共174頁。離散無噪信道＿無損無噪信道無損無噪信道的輸入和輸出是一一對應關系，如右圖所示。111171第七十一頁，共174頁。72第七十二頁，共174頁。離散無噪信道＿無損信道無損信道的一個輸入對應多個互不相交的輸出。如右圖所示1/21/213/51/103/1073第七十三頁，共174頁。離散無噪信道＿無損信道74第七十四頁，共174頁。離散無噪信道＿無噪信道無噪信道的一個輸出對應著多個互不相交的輸入，如右圖所示。111111111111111175第七十五頁，共174頁。76第七十六頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.3.1離散無噪信道3.3.2對稱離散信道3.3.3準對稱離散信道

3.3.4離散信道信道容量一般計算方法3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理77第七十七頁，共174頁。具有對稱性的信道信道矩陣具有很強對稱性的特殊信道有：離散輸入對稱信道離散輸出對稱信道對稱信道對稱信道強對稱信道準對稱信道78第七十八頁，共174頁。具有對稱性的信道

＿離散輸入對稱信道定義：若一個離散無記憶信道的信道矩陣中，每一行都是其他行的同一組元素的不同排列，則稱此類信道為離散輸入對稱信道（行可排列性）。79第七十九頁，共174頁。具有對稱性的信道

＿離散輸出對稱信道定義：若一個離散無記憶信道的信道矩陣中，每一列都是其他列的同一組元素的不同排列，則稱該類信道為離散輸出對稱信道（列可排列性）。80第八十頁，共174頁。具有對稱性的信道

＿離散對稱信道定義：當信道是關于輸入和輸出對稱的，這類信道稱為對稱信道。其行和列都是可排列的。舉例：P7881第八十一頁，共174頁。離散對稱信道

＿信道容量計算定理：對于對稱信道，只有當信道輸入分布為等概分布時，輸出分布才能為等概分布。定理：

若一個離散對稱信道具有n個輸入符號，m個輸出符號，則當輸入為等概分布時，達到信道容量，且82第八十二頁，共174頁。離散對稱信道

＿信道容量公式的證明83第八十三頁，共174頁。離散對稱信道＿例題84第八十四頁，共174頁。離散對稱信道

＿強對稱信道（均勻信道）85第八十五頁，共174頁。離散對稱信道

＿均勻信道的信道容量86第八十六頁，共174頁。離散對稱信道

＿二元對稱信道的信道容量87第八十七頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.3.1離散無噪信道3.3.2對稱離散信道3.3.3準對稱離散信道

3.3.4離散信道信道容量一般計算方法3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理88第八十八頁，共174頁。離散準對稱信道定義：若一個離散無記憶信道的信道矩陣中矩陣的行是可排列的，列不可排列。將矩陣的m個列分成s個不相交的子集(子矩陣)后，每個子矩陣的行和列都是可排列的。稱這類信道為離散準對稱信道。當劃分的子集只有一個時，信道是關于輸入和輸出對稱的，即為離散對稱信道。矩陣的行和列都是可排列的。89第八十九頁，共174頁。離散準對稱信道—舉例90第九十頁，共174頁。離散準對稱信道

＿信道容量計算定理：離散準對稱信道信息傳輸速率達到信道容量時，輸入符號集的分布為等概分布。離散準對稱信道的信道容量為91第九十一頁，共174頁。離散準對稱信道

＿信道容量公式的證明書P80例題92第九十二頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.3.1離散無噪信道3.3.2對稱離散信道3.3.3準對稱離散信道

3.3.4離散信道信道容量一般計算方法3.4

多符號離散信道3.5

連續(xù)信道

3.6信道編碼定理93第九十三頁，共174頁。一般離散信道信道容量的計算94第九十四頁，共174頁。一般離散信道C的計算-195第九十五頁，共174頁。一般離散信道C的計算-296第九十六頁，共174頁。一般離散信道C的計算-397第九十七頁，共174頁。一般離散信道C的計算（續(xù)）98第九十八頁，共174頁。一般離散信道C的計算步驟99第九十九頁，共174頁。計算說明在求解信道容量時，必須解出最佳輸入概率分布，并確認所有的概率都大于零。達到信道容量的最佳分布并不一定是唯一的，只有大于零，小于1的才是所要求的最佳概率分布。100第一百頁，共174頁。例：求一般離散信道的信道容量101第一百零一頁，共174頁。例題：求一般信道的信道容量102第一百零二頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.4

多符號離散信道3.4.1

一般多符號離散信道3.4.2離散無記憶N次擴展信道3.4.3獨立并聯(lián)信道3.4.4級聯(lián)信道與數(shù)據(jù)處理定理3.4.5信源與信道匹配3.5

連續(xù)信道

3.6信道編碼定理103第一百零三頁，共174頁。多符號離散信道＿數(shù)學模型

104第一百零四頁，共174頁。多符號離散信道＿數(shù)學模型信道XY干擾105第一百零五頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.4

多符號離散信道3.4.1

一般多符號離散信道3.4.2離散無記憶N次擴展信道與獨立并聯(lián)信道3.4.3級聯(lián)信道與數(shù)據(jù)處理定理3.4.4信源與信道匹配3.5

連續(xù)信道

3.6信道編碼定理106第一百零六頁，共174頁。離散無記憶信道定義：若多符號離散信道對任意N長的輸入、輸出序列，有稱此多符號離散信道為單符號離散無記憶信道的N次擴展信道，簡記為DMC。上式是判斷信道是否無記憶的充要條件對于DMC，在任何時刻信道的輸出只與此時的信道輸入有關，而與以前的輸入無關。單符號離散信道是離散無記憶信道當N＝1時的特例。107第一百零七頁，共174頁。離散無記憶平穩(wěn)信道108第一百零八頁，共174頁。多符號離散信道的統(tǒng)計特性分類根據(jù)統(tǒng)計特性的不同無擾（無噪）信道有干擾無記憶信道有干擾有記憶信道109第一百零九頁，共174頁。多符號離散信道的統(tǒng)計分類有干擾無記憶信道：信道中存在隨機干擾，輸出符號與輸入符號之間無確定的對應關系。但是，信道中任一時刻的輸出符號僅統(tǒng)計依賴于對應時刻的輸入符號?？捎孟率鰲l件概率表示有干擾有記憶信道：實際信道往往是既有干擾又有記憶。110第一百一十頁，共174頁。離散無記憶N次擴展信道

＿數(shù)學模型離散無記憶信道的N次擴展信道的數(shù)學模型N次擴展信道111第一百一十一頁，共174頁。離散無記憶N次擴展信道

＿信道矩陣112第一百一十二頁，共174頁。例：BSC的二次擴展信道二元無記憶對稱信道BSC的二次擴展信道113第一百一十三頁，共174頁。例：BSC的二次擴展信道＿傳遞概率114第一百一十四頁，共174頁。例：BSC的二次擴展信道＿信道矩陣從而求得二元對稱信道的二次擴展信道的信道矩陣為：115第一百一十五頁，共174頁。例：BSC的二次擴展信道＿信道模型

二元對稱信道的二次擴展信道傳輸圖如下116第一百一十六頁，共174頁。N次擴展信道的平均互信息117第一百一十七頁，共174頁。離散無記憶N次擴展信道

＿信道容量118第一百一十八頁，共174頁。離散無記憶N次擴展信道

＿信道容量（續(xù)）對于離散無記憶信道的N次擴展信道，且信源也是無記憶時，則有離散無記憶N次擴展信道的信道容量為119第一百一十九頁，共174頁。獨立并聯(lián)信道

獨立并聯(lián)信道如右圖所示。

信道1

信道2

信道N120第一百二十頁，共174頁。獨立并聯(lián)信道＿信道容量（1）對于離散無記憶信道根據(jù)上式可知，N個獨立信道并聯(lián)的情況，相當于信道無記憶的情況，不同之處是，此時每個信道的輸入輸出可取值于不同的符號集。

121第一百二十一頁，共174頁。獨立并聯(lián)信道＿信道容量（2）122第一百二十二頁，共174頁。獨立并聯(lián)信道＿信道容量（3）獨立并聯(lián)信道的輸入相互獨立時，相當于信源無記憶的情況，此時獨立并聯(lián)信道的信道容量等于各個獨立信道的信道容量之和。當N個獨立并聯(lián)信道的信道矩陣均為P時，可以將這個并聯(lián)信道看作一個PN信道。當輸入信源相同且相互獨立時，N個獨立并聯(lián)信道的信道容量為

123第一百二十三頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.4

多符號離散信道3.4.1一般多符號離散信道3.4.2離散無記憶N次擴展信道與獨立并聯(lián)信道3.4.3級聯(lián)信道與數(shù)據(jù)處理定理3.4.4信源與信道匹配3.5

連續(xù)信道3.6信道編碼定理124第一百二十四頁，共174頁。信道的組合實際中，通常遇到兩個或多個信道組合在一起使用的情況，如：積信道：待發(fā)送的消息比較多時，可能要用兩個或多個信道并行地傳送，香農稱這種信道為積信道；級聯(lián)信道：消息會依次地通過幾個信道串行地傳送，稱此為級聯(lián)信道；例：微波中繼接力通信、對信道輸出的后續(xù)處理研究較復雜的信道時，可將它們分解成幾個簡單的、已經解決的信道的組合。125第一百二十五頁，共174頁。級聯(lián)信道（串聯(lián)信道）的模型信道I和信道II都是離散無記憶信道信道I信道II126第一百二十六頁，共174頁。級聯(lián)信道的傳遞概率信道I信道II127第一百二十七頁，共174頁。定理1級聯(lián)信道中的平均互信息滿足128第一百二十八頁，共174頁。定理2數(shù)據(jù)處理定理129第一百二十九頁，共174頁。數(shù)據(jù)處理定理＿討論信道I信道II130第一百三十頁，共174頁。數(shù)據(jù)處理定理＿物理意義對于任何信息傳輸系統(tǒng)，最后輸出的信息量最多等于最初信源提供的信息量。一旦在某一傳輸過程中丟失部分信息，則以后的系統(tǒng)不論任何處理，如不觸及到丟失信息過程的輸入端，則無法再恢復已丟失的信息，這就是信息不增原理，它與熱熵不減原理類似。信息不增原理深刻地反映了信息最本質的物理意義。131第一百三十一頁，共174頁。例＿二元對稱信道的串聯(lián)設有二個離散二元對稱信道，其串聯(lián)信道如下圖所示。設第一個二元對稱信道的輸入符號的概率空間，以及兩個二元對稱信道的信道矩陣為二元對稱信道二元對稱信道132第一百三十二頁，共174頁。例（續(xù)）

＿二級串聯(lián)的二元對稱信道133第一百三十三頁，共174頁。例（續(xù)）

＿n級串聯(lián)的二元對稱信道如果在兩個二元對稱信道串聯(lián)之后再增加一個級聯(lián)環(huán)節(jié)，可得依次類推，n個二元對稱信道經串聯(lián)，其平均互信息量如下134第一百三十四頁，共174頁。N級二元對稱信道串聯(lián)＿結論135第一百三十五頁，共174頁。例：級聯(lián)信道的信道矩陣一串聯(lián)信道如下圖所示，求總的信道矩陣。設X、Y、Z滿足馬氏鏈的性質。1/31/31/31/21/22/32/31/31/3信道I信道II136第一百三十六頁，共174頁。例（續(xù)）

＿級聯(lián)信道的信道矩陣137第一百三十七頁，共174頁。例（續(xù)）

＿級聯(lián)信道的等效信道則該級聯(lián)信道可等效為如下的信道1/31/21/61/31/31/3138第一百三十八頁，共174頁。小結研究實際信道時，通常將其分解為若干簡單信道的組合；串聯(lián)信道（級聯(lián)信道），給出了兩個定理；重點分析了數(shù)據(jù)處理定理；分析了n個二元對稱信道的串聯(lián)情況；給出了兩個信道串聯(lián)的實例。139第一百三十九頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.4

多符號離散信道3.4.1

一般多符號離散信道3.4.2離散無記憶N次擴展信道與獨立并聯(lián)信道3.4.3級聯(lián)信道與數(shù)據(jù)處理定理3.4.4信源與信道匹配3.5

連續(xù)信道

3.6信道編碼定理140第一百四十頁，共174頁。信源和信道匹配

對于一具體信道，其信道容量是一定的。只有當輸入符號的概率分布P(x)滿足一定條件時，信道信息傳輸率才能達到信道容量C?；蛘哒f只有一定的信源輸出才能使該信道的信息傳輸率達到最大。一般情況下，當信源與信道連接時，信息傳輸率R=I(X;Y)并未達到最大，R還有提高的可能。當信源與信道連接時，若信息傳輸率達到了信道容量，我們稱信源與信道達到了匹配，否則認為信道有剩余。141第一百四十一頁，共174頁。信道剩余度與相對剩余度142第一百四十二頁，共174頁。無損信道的相對剩余度143第一百四十三頁，共174頁。信源編碼與信源信道匹配信源編碼將信源輸出的消息變換成新信源的消息來傳輸，從而使新信源的熵接近最大熵，這樣，新信源的消息通過信道的信息傳輸率接近最大值，信道剩余度接近于零，信道得到充分利用。這就是香農無失真信源編碼理論，它使信源和信道達到匹配，信息傳輸率達到最大，提高了信息傳輸?shù)挠行浴?44第一百四十四頁，共174頁。小結若信源和信道匹配，則信息傳輸率等于信道容量，否則認為信道有剩余。信源和信道匹配的意義：香農無失真信源編碼理論，提高信息傳輸?shù)挠行?。信源編碼的目的：改變信源符號的組成形式，使其適合信道的傳輸（傳輸速率的匹配）；通信中，調制的目的也是使信號適合信道的傳輸，但那是指信號傳輸形式的匹配。145第一百四十五頁，共174頁。第3章信道與信道容量3.1信道分類3.2單符號離散信道3.3信道容量的計算3.4多符號離散信道3.5

連續(xù)信道與波形信道3.5.1互信息與平均互信息3.5.2連續(xù)信道的信道容量3.5.3波形信道的信道容量3.6信道編碼定理146第一百四十六頁，共174頁。連續(xù)隨機變量的互信息描述連續(xù)隨機變量X和Y的統(tǒng)計特性的是邊沿概率密度p(x)和p(y)，以及聯(lián)合概率密度p(xy)。分別為對于連續(xù)隨機變量X取值在x值附近的概率為p(x)?x，隨機變量Y取值在y值附近的概率為p(y)?y，其中?x,?y為任意小的區(qū)間。147第一百四十七頁，共174頁。連續(xù)隨機變量的互信息（續(xù)）

定義：連續(xù)隨機變量集XY中，兩個事件x，y之間的互信息為兩個連續(xù)隨機變量之間的互信息是隨x，y變化的。148第一百四十八頁，共174頁。一維連續(xù)信道的平均互信息

＿定義定義：對于一維連續(xù)信道，兩個連續(xù)隨機變量集合X和Y之間的平均互信息為

連續(xù)隨機變量的平均互信息和離散情況下的定義形式一樣，只要將離散情況下的概率函數(shù)換成概率密度，求和換成積分即可。149第一百四十九頁，共174頁。例：兩個高斯變量集之間的平均互信息I(X;Y)設是聯(lián)合集XY的二維高斯概率密度函數(shù)其中分別表示連續(xù)隨機變量X和Y的均值和方差，是X和Y之間的歸一化相關函數(shù)。150第一百五十頁，共174頁。例：兩個高斯變量集之間的平均互信息I(X;Y)（續(xù)）X和Y的一維概率密度函數(shù)容易求得為151第一百五十一頁，共174頁。例：兩個高斯變量集之間的平均互信息I(X;Y)（續(xù)）152第一百五十二頁，共174頁。例：兩個高斯變量集之間的平均互信息I(X;Y)（續(xù)）153第一百五十三頁，共174頁。例：