信息論與編碼原理第三章

信息論與編碼原理第三章第一頁，共一百五十頁，2022年，8月28日

本章主要內(nèi)容3.1信道的基本概念3.2離散單符號信道及容量數(shù)學(xué)模型信道容量3.3離散序列符號信道及容量3.4信源與信道的匹配3.5*連續(xù)信道及其容量第二頁，共一百五十頁，2022年，8月28日

本次課內(nèi)容3.1信道的基本概念3.2離散單符號信道及容量 3.2.1數(shù)學(xué)模型 3.2.2信道容量第三頁，共一百五十頁，2022年，8月28日信道(informationchannels)：是信號的傳輸媒質(zhì)。信道的作用：把攜有信息的信號從它的輸入端傳遞到輸出端。它的最重要特征參數(shù)是信息傳遞能力，即信道容量問題。相關(guān)知識復(fù)習(xí)第四頁，共一百五十頁，2022年，8月28日

在高斯信道下，信道的信息通過能力與信道的頻帶寬度、信道的工作時間、信道的噪聲功率密度有關(guān)。

頻帶越寬，工作時間越長，信號、噪聲功率比越大，信道的通過能力就越強，信道容量越大。相關(guān)知識復(fù)習(xí)第五頁，共一百五十頁，2022年，8月28日

本章主要討論離散信道的統(tǒng)計特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計算方法。本章重點在于研究一個輸入端和一個輸出端的信道，即單用戶信道。以無記憶、無反饋、固定參數(shù)的離散信道為重點內(nèi)容討論。

相關(guān)知識復(fù)習(xí)第六頁，共一百五十頁，2022年，8月28日X={X0,X1,X2…Xr-1}含r個元素的輸入符號集Y={y0,y1,y2…ys-1}含S個元素的輸出符號r與s的值不同信道模型不同

3.1信道分類第七頁，共一百五十頁，2022年，8月28日5.1信道分類第八頁，共一百五十頁，2022年，8月28日信道分類：1.有線信道和無線信道

有線信道：明線、對稱電纜、同軸電纜及光纜等。

無線信道：地波傳播、短波電離層反射、超短波或微波視距中繼、人造衛(wèi)星中繼以及各種散射信道等。3.1信道分類第九頁，共一百五十頁，2022年，8月28日2．恒參信道和隨參信道恒參信道：信道的統(tǒng)計特性不隨時間而變化。如明線、對稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計特性隨時間而變化。大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對流層散射信道等。3.1信道分類第十頁，共一百五十頁，2022年，8月28日

3．單用戶信道和多用戶信道單用戶信道：信道只有一個輸入端和一個輸出端，且只能進行單方向的通信。多用戶信道：又稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信，目前大多數(shù)信道都是多端信道。

3.1信道分類第十一頁，共一百五十頁，2022年，8月28日4．離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道離散信道：又稱數(shù)字信道，該類信道中輸入空間、輸出空間均為離散時間集合，集合中事件的數(shù)量是有限的，或者無限的，隨機變量取值都是離散的。波形信道：也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的。3.1信道分類第十二頁，共一百五十頁，2022年，8月28日連續(xù)信道：又稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的，即隨機變量的取值數(shù)量是無限的，或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是離散的，另一個是連續(xù)的。3.1信道分類第十三頁，共一百五十頁，2022年，8月28日

5．隨機差錯信道和突發(fā)差錯信道。

隨機差錯信道：信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)。

如：高斯白噪聲信道。突發(fā)差錯信道：信道中噪聲或干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，使碼元錯誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動通信的信道、光盤存儲屬于該類信道。3.1信道分類第十四頁，共一百五十頁，2022年，8月28日3.2離散單符號信道及容量

3.2.1數(shù)學(xué)模型

若信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，信道的分析可簡化為對單個符號的信道分析，此時輸入、輸出可以看做是單符號的，稱這類信道為單符號信道。如果信道的輸入、輸出隨機變量又都是離散的，該信道則為單符號離散無記憶信道。3.2離散單符號信道及容量第十五頁，共一百五十頁，2022年，8月28日

設(shè)離散信道的輸入變量為X，輸出變量為Y，對應(yīng)的概率空間分別為

輸入符號集合的元素個數(shù)為r，輸出符號集合的元素個數(shù)為s3.2.1數(shù)學(xué)模型第十六頁，共一百五十頁，2022年，8月28日

i=1，2，…，r，j=1，2，…，s。

表明：在輸入x的情況下，信道輸出y的取值只能是其中的一個，不可能還有其他的取值。該類信道的特性可用條件轉(zhuǎn)移概率進行描述。輸入

，輸出

時對應(yīng)的條件轉(zhuǎn)移概率為

3.2.1數(shù)學(xué)模型第十七頁，共一百五十頁，2022年，8月28日稱該矩陣為：條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣。

用矩陣表示信道輸入輸出符號之間的條件轉(zhuǎn)移關(guān)系3.2.1數(shù)學(xué)模型第十八頁，共一百五十頁，2022年，8月28日

由于信道中存在干擾或者噪聲，信道輸入符號與輸出符號之間并不是一一對應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計方法。用條件轉(zhuǎn)移概率

可以表示輸出為bj的各種可能性輸入:傳輸?shù)倪^程中出現(xiàn)錯誤3.2.1數(shù)學(xué)模型第十九頁，共一百五十頁，2022年，8月28日信道輸入、輸出符號之間的聯(lián)合分布為前向概率，表示在輸入為x=ai

時，通過信道后接收為bj

的概率，描述了信道噪聲的特性。P(ai)為先驗概率。聯(lián)合分布還可以表示為后驗概率,表示當(dāng)接收符號為bj時,信道輸入為ai的概率。3.2.1數(shù)學(xué)模型第二十頁，共一百五十頁，2022年，8月28日可以得到后驗概率為=PT(Y︱X)由前向概率和先驗概率可計算出信道輸出符號概率矩陣表示形式3.2.1數(shù)學(xué)模型第二十一頁，共一百五十頁，2022年，8月28日二進制離散信道（r=s=2）

由輸入值集合X={0,1},輸出值Y={0,1},一組表示輸入、輸出關(guān)系的條件概率(轉(zhuǎn)移概率)組成。

P(yj/xi)

X{0,1}Y{0,1}3.2.1數(shù)學(xué)模型第二十二頁，共一百五十頁，2022年，8月28日

若信道存在干擾，導(dǎo)致二進制序列發(fā)生統(tǒng)計獨立的差錯，且條件概率對稱.

P(Y=1/X=1)=P(Y=0/X=0)=1-P即P(Y=0/X=1)=P(Y=1/X=0)=P輸入是1或0輸出為0或1P=

01

這種對稱二進二出的信道叫做二進制對稱信道,簡稱BSC信道.3.2.1數(shù)學(xué)模型第二十三頁，共一百五十頁，2022年，8月28日信道模型:011-PPP1-P10

這種信道的輸出符號僅與對應(yīng)時刻輸入符號有關(guān),與以前輸入無關(guān)，故稱此信道是無記憶信道的.3.2.1數(shù)學(xué)模型第二十四頁，共一百五十頁，2022年，8月28日2.離散無記憶信道則P(Y=yi/X=xi)=P(yi/xi)稱為離散無記憶信道若輸入值的集合X={X0,X1…Xr-1}輸出Y={y0,y1…ys-1}且信道和調(diào)制過程是無記憶的離散無記憶信道(DMC)3.2.1數(shù)學(xué)模型第二十五頁，共一百五十頁，2022年，8月28日決定DMC特點的條件概率P(yj/xi)可寫成矩陣形式

P(Y1=V1，Y2=V2…Yn=Vn/X=U1…X=Un)

=若DMC信道的輸入、輸出是由n個符號組成的序列,其中ui∈X,vi∈Y，i=12,3,4…n,則聯(lián)合條件概率為:3.2.1數(shù)學(xué)模型第二十六頁，共一百五十頁，2022年，8月28日轉(zhuǎn)移概率矩陣3.2.1數(shù)學(xué)模型第二十七頁，共一百五十頁，2022年，8月28日

若信道中有干擾,信道輸出不是一個固定值,是概率各異的一組值,稱有擾離散信道.輸入Xi時,各可能輸出值yj的概率之和必得1,即:3.2.1數(shù)學(xué)模型第二十八頁，共一百五十頁，2022年，8月28日3.離散輸入連續(xù)輸出信道

設(shè)信道輸入符號是有限、離散的,其輸入字符集信道輸出

稱離散輸入,連續(xù)輸出信道.即

又稱半離散或半連續(xù)信道。

3.2.1數(shù)學(xué)模型第二十九頁，共一百五十頁，2022年，8月28日4.波形信道

若輸入是模擬波形，輸出也是模擬波形則為波形信道.若分析性能的理論極限多選用離散輸入,連續(xù)輸出的信道模型。

選擇何種模型取決于我們目的.從工程上講,最常用的DMC信道或BSC信道.3.2.1數(shù)學(xué)模型第三十頁，共一百五十頁，2022年，8月28日3.2.2信道容量

在單符號離散信道中，平均每個符號傳送的信息量定義為信道的信息傳輸率

。從統(tǒng)計角度而言，信道的噪聲總是有限的，總有部分信息能夠準(zhǔn)確傳輸，所以信道的信息傳輸率為3.2.2信道容量第三十一頁，共一百五十頁，2022年，8月28日

互信息量

是輸入符號X

概率分布的凸函數(shù)。對于一個給定的信道，總是存在某種概率分布

，使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。

什么是信道容量？3.2.2信道容量第三十二頁，共一百五十頁，2022年，8月28日定義3-1

設(shè)某信道的平均互信息量為

，信道輸入符號的先驗概率為

，該信道的信道容量C

定義為

比特/符號

先驗概率分布

應(yīng)當(dāng)滿足下列條件3.2.2信道容量第三十三頁，共一百五十頁，2022年，8月28日

對于給定信道，條件轉(zhuǎn)移概率p(bj︱ai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗概率分布p(x)，使得平均互信息量最大,這種先驗分布概率為最佳分布。3.2.2信道容量第三十四頁，共一百五十頁，2022年，8月28日

如果信道輸入滿足最佳分布，信息傳輸率最大，即達到信息容量C；如果信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息容量C。信道傳輸?shù)男畔⒘縍必須小于信道容量C,否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；反之，如果R＜C成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端。3.2.2信道容量第三十五頁，共一百五十頁，2022年，8月28日1.無干擾離散信道

這類信道是理想信道。輸入、輸出符號之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。這類信道在實際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進行研究。根據(jù)信道輸入符號X與信道輸出符號Y之間的關(guān)系，可以分為下了幾種信道。3.2.2信道容量第三十六頁，共一百五十頁，2022年，8月28日

無噪無損信道

該信道的輸入、輸出集合符號數(shù)量相等，輸入X與輸出Y之間是一一對應(yīng)。對于給定ai,由于p(bj︱ai)只有一個為1，其余都為0，所以H(X︱Y)=0,則

(a)無噪無損信道模型

XY

1

1

1

1

3.2.2信道容量第三十七頁，共一百五十頁，2022年，8月28日

根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當(dāng)輸入符號的先驗概率為等概率分布時，H(X)取得最大值

,信道容量為

比特∕符號

所以當(dāng)輸入信源滿足等概率分布時，信息傳輸率最大，達到信道容量。這類信道的前向概率矩陣和后驗概率矩陣是相等的，都是r×r單位矩陣，3.2.2信道容量第三十八頁，共一百五十頁，2022年，8月28日

無噪有損信道

信道輸出符號Y

集合的數(shù)量小于信道輸入符號X集合的數(shù)量，即r＞s，形成多對一的映射.

XY

1

1

1

1

(b)無噪有損信道

3.2.2信道容量第三十九頁，共一百五十頁，2022年，8月28日

這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每行只有一個非零元素.

接收到符號Y后,不能確定信道輸入X

，即不能夠完全消除X的不確定性，所以H(X︱Y)＞0，且H(X)＞H(Y),I(X;Y)=H(Y).信道容量為3.2.2信道容量第四十頁，共一百五十頁，2022年，8月28日3.2.2信道容量XY

1

1

1

1

(b)無噪有損信道

第四十一頁，共一百五十頁，2022年，8月28日有噪無損信道

信道輸出符號Y集合的數(shù)量大于信道符號X集合的數(shù)量,即r＜s,形成一對多的映射關(guān).由于一對多的映射關(guān)系,不能由輸入完全確定信道的輸出,H(X︱Y)＞0，H(X)＜H(Y),I(X;Y)=H(X).

XY

0.4

0.6

0.7

0.3

(c)有噪無損信道

信道的容量為3.2.2信道容量第四十二頁，共一百五十頁，2022年，8月28日

當(dāng)信道輸入為等概率輸入時，I(X;Y)=H(X)才能取得最大值，所以先驗概率的最佳分布就是使得p(aj)=1/r的分布。這類信道的特點是，信道概率轉(zhuǎn)移矩陣中每列只有一個非零元素.P(Y∣X)3.2.2信道容量第四十三頁，共一百五十頁，2022年，8月28日2.對稱離散信道的信道容量

對稱離散無記憶信道是最簡單的信道之一，1）輸入對稱信道容量

定義3-2:

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。

例如，信道轉(zhuǎn)移矩陣為3.2離散單符號信道及容量第四十四頁，共一百五十頁，2022年，8月28日3.2離散單符號信道及容量又比如信道轉(zhuǎn)移矩陣∣∣即條件熵H(Y|X)與信道輸入的符號無關(guān)。第四十五頁，共一百五十頁，2022年，8月28日因此，輸入對稱信道的容量為3.2離散單符號信道及容量為了表示方便起見，假設(shè)轉(zhuǎn)移矩陣首行元素為則有由于所以輸入對稱信道的容量就是找到一種分布，使得信道輸出的熵最大。第四十六頁，共一百五十頁，2022年，8月28日【例3.2-1】信道的轉(zhuǎn)移矩陣為

求該信道的容量

。

解

設(shè)信道輸入的概率空間為

3.2離散單符號信道及容量第四十七頁，共一百五十頁，2022年，8月28日

信道輸出的概率分布為

取得極值的條件為第四十八頁，共一百五十頁，2022年，8月28日

解上述方程可以得到取極值的條件為P=0.5，即當(dāng)信道輸入為等概率分布時，H(Y)取得最大值，所以

3.2離散單符號信道及容量該信道的容量為

第四十九頁，共一百五十頁，2022年，8月28日而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題3.2離散單符號信道及容量此時信道輸出的概率分布為

所以，當(dāng)信道只是輸入對稱時，信道容量不能簡單認為是第五十頁，共一百五十頁，2022年，8月28日上次課內(nèi)容3.1信道分類3.2離散單符號信道及容量數(shù)學(xué)模型信道容量1.無干擾離散信道2.對稱離散信道的信道容量

1)輸入對稱信道第五十一頁，共一百五十頁，2022年，8月28日1、信道的作用：把攜有信息的信號從它的輸入端傳遞到輸出端。信道最重要特征參數(shù)是信息傳遞能力，即信道容量.2、什么是信道容量？互信息量I(X,Y)是輸入符號X

概率分布的凸函數(shù)對于一個給定的信道，總是存在某種概率分布p(xi),使得傳輸每個符號平均獲得的信息量最大，即對于每個固定的信道總是存在一個最大的信息傳輸速率，這個最大信息傳輸速率定義為信道容量。

復(fù)習(xí)第五十二頁，共一百五十頁，2022年，8月28日1.無干擾離散信道無噪無損信道無噪有損信道有噪無損信道

XY

0.4

0.6

0.7

0.3

復(fù)習(xí)第五十三頁，共一百五十頁，2022年，8月28日2、對稱離散信道的信道容量1）輸入對稱信道容量

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，這種信道稱為輸入對稱離散信道。復(fù)習(xí)第五十四頁，共一百五十頁，2022年，8月28日3.2.2信道容量2）輸出對稱信道容量3）準(zhǔn)對稱信道容量4）對稱DMC信道容量5）一般離散信道的容量3.3離散序列符號信道及容量3.4信源與信道的匹配3.5*連續(xù)信道及其容量本次課內(nèi)容第五十五頁，共一百五十頁，2022年，8月28日

2）輸出對稱信道容量

定義：如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱信道是關(guān)于輸出對稱離散信道。

3.2離散單符號信道及容量例如：信道轉(zhuǎn)移矩陣

都是輸出對稱信道。和第五十六頁，共一百五十頁，2022年，8月28日輸出對稱信道容量：

若信道輸出對稱，則當(dāng)信道輸入符號等概率分布時,信道輸出也是等概率分布的。信道輸出符號的熵為3.2離散單符號信道及容量第五十七頁，共一百五十頁，2022年，8月28日

由于信道轉(zhuǎn)移矩陣是已知的，H(Y∣X)可以使用下列公式3.2離散單符號信道及容量只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量第五十八頁，共一百五十頁，2022年，8月28日4）對稱信道容量若轉(zhuǎn)移概率矩陣

每一行都是第一行的轉(zhuǎn)置,

稱矩陣是輸入對稱.若每一列都是第一列的轉(zhuǎn)置,稱矩陣是輸出對稱.若輸入輸出都對稱,稱對稱DMC信道。例

和

對稱信道3.2離散單符號信道及容量第五十九頁，共一百五十頁，2022年，8月28日

和

不對稱

3.2離散單符號信道及容量第六十頁，共一百五十頁，2022年，8月28日對稱信道的容量:由于對稱信道是關(guān)于輸入對稱，而輸入對稱信道的容量為3.2離散單符號信道及容量且滿足

與信道輸入的分布無關(guān)，只與條件概率分布有關(guān).第六十一頁，共一百五十頁，2022年，8月28日為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對應(yīng)的條件概率分別為(p1,p2…..ps)，有:

對稱信道輸出也是對稱的，當(dāng)信道輸入是等概率分布時，信道輸出也是等概率分布,取得最大值3.2離散單符號信道及容量則對稱信道容量對稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號集合的數(shù)量有關(guān)。如果希望信息傳輸率達到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。第六十二頁，共一百五十頁，2022年，8月28日

【例3.2-2】設(shè)某信道轉(zhuǎn)移矩陣為

求信道容量

解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對稱的，所以信道容量為3.2離散單符號信道及容量第六十三頁，共一百五十頁，2022年，8月28日

【例3-3】假設(shè)信道的輸入、輸出符號數(shù)相等，都等于r,且信道條件轉(zhuǎn)移矩陣為

求:信道容量

。

解:顯然該信道是對稱的，信道容量為3.2離散單符號信道及容量第六十四頁，共一百五十頁，2022年，8月28日

上述信道稱為強對稱信道或者是均勻信道，是對稱信道的一個特例。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。3.2離散單符號信道及容量當(dāng)r=2時，信道容量為第六十五頁，共一百五十頁，2022年，8月28日3）準(zhǔn)對稱信道容量

定義3-4：

如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個互不相交的子集，每個子矩陣滿足下列性質(zhì)：

(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換。稱該信道為準(zhǔn)對稱信道。3.2離散單符號信道及容量第六十六頁，共一百五十頁，2022年，8月28日或者說：每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但可按著信道矩陣的列將信道矩陣劃分成若干個子矩陣。稱這類信道為準(zhǔn)對稱信道。例：可劃分成兩個對稱矩陣準(zhǔn)對稱矩陣3.2離散單符號信道及容量第六十七頁，共一百五十頁，2022年，8月28日準(zhǔn)對稱信道是關(guān)于輸入對稱的，可以使用輸入對稱信道的方法直接求解.輸入對稱信道的容量為：

準(zhǔn)對稱信道的容量:由于信道輸入不一定存在一種分布使得信道輸出滿足等概率分布,所以準(zhǔn)對稱信道的信道容量滿足下列關(guān)系第六十八頁，共一百五十頁，2022年，8月28日

可以證明，準(zhǔn)對稱信道信道輸入的最佳分布是等概率分布，信道容量為3.2離散單符號信道及容量其中p1,p2,……ps為準(zhǔn)對稱信道轉(zhuǎn)移矩陣中的一行元素,n為劃分的子集數(shù)量,Nk為第k個子矩陣的行元素之和,Mk為第k個子矩陣的列元素之和。第六十九頁，共一百五十頁，2022年，8月28日定理3-1：準(zhǔn)對稱離散信道的信道容量是在

信道輸入為等概率分布時達到的。3.2離散單符號信道及容量

上式為準(zhǔn)對稱信道容量計算公式，而到達信道容量的信道輸入最佳概率分布由下列定理確定。第七十頁，共一百五十頁，2022年，8月28日【例5.2-4】設(shè)某信道的轉(zhuǎn)移矩陣為求：信道容量

。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準(zhǔn)對稱信道，可以分解為

3.2離散單符號信道及容量是兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為N1為第1個子矩陣的行元素之和M1為第1個子矩陣的列元素之和第七十一頁，共一百五十頁，2022年，8月28日

由準(zhǔn)對稱離散信道的信道容量計算公式3.2離散單符號信道及容量

qqqqpqqpH2log)1log()1(),,1(2log-------=

qqqpqppp--+----+=12log)1()1log()1(log

如果p=0，則第七十二頁，共一百五十頁，2022年，8月28日3.2離散單符號信道及容量

1-q

a1

b1

q

b2

q

a2

b3

1-q

圖3-4二元純對稱刪除信道

稱該信道為二元純對稱刪除信道，其信道容量為qqqpqppp--+----+=12log)1()1log()1(log第七十三頁，共一百五十頁，2022年，8月28日

【例3.2-5】信道轉(zhuǎn)移矩陣為

求：信道容量

。

解：該信道是準(zhǔn)對稱信道，可以分解為三個互不相交的子集，分別為3.2離散單符號信道及容量第七十四頁，共一百五十頁，2022年，8月28日對應(yīng)的參數(shù)分別為3.2離散單符號信道及容量信道容量為61,31,216131321===+=NNN

316161,323131,216131321=+==+==+=MMM

31log6132log3121log21)61,61,31,31(2log----=H

=0.041比特/符號第七十五頁，共一百五十頁，2022年，8月28日3.一般離散信道的容量

從信道容量的定義知，信道容量是在信道給定的情況下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入、輸出之間的平均互信息量最大，即，使得信道的輸入概率分布與信道匹配。3.2離散單符號信道及容量第七十六頁，共一百五十頁，2022年，8月28日對于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值,即可得到最佳分布；然后根據(jù)最佳分布計算信道輸入、輸出之間的平均互信息量，既得到信息容量。

如果信道輸入、輸出符號數(shù)量較少，這種方法是可行的。3.2離散單符號信道及容量第七十七頁，共一百五十頁，2022年，8月28日

【例3-6】信道轉(zhuǎn)移矩陣為

3.2離散單符號信道及容量求:信道輸入最佳分布和信道容量

。解:由信道轉(zhuǎn)移矩陣知,信道不對稱的,信道的輸入、輸出符號數(shù)量都為2.設(shè)輸入符號的概率為p,1-p。

先求出信道輸出概率分布p(bj).由公式第七十八頁，共一百五十頁，2022年，8月28日3.2離散單符號信道及容量第七十九頁，共一百五十頁，2022年，8月28日將相關(guān)參數(shù)帶入上述計算公式，得到；3.2離散單符號信道及容量第八十頁，共一百五十頁，2022年，8月28日對p求導(dǎo)，得到最佳分布3.2離散單符號信道及容量比特∕符號得到,p=0.532，所以信道容量為

第八十一頁，共一百五十頁，2022年，8月28日

從上例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計算機很難求出最佳分布，所以一般離散信道的信道容量的求解要通過計算機來進行。下面討論一般離散信道的解法。

3.2離散單符號信道及容量第八十二頁，共一百五十頁，2022年，8月28日一般離散信道容量的計算由于的上凸函數(shù)，故極大值存在。并且要滿足非負且歸一化的條件，因此，求信道容量歸結(jié)為求有約束極值的問題。為了書寫方便，記

?，F(xiàn)求

在約束

下的極值。利用拉格朗日乘子法，求函數(shù)的極值。計算并使其為0，

第八十三頁，共一百五十頁，2022年，8月28日由：且得：

第八十四頁，共一百五十頁，2022年，8月28日第八十五頁，共一百五十頁，2022年，8月28日第八十六頁，共一百五十頁，2022年，8月28日第八十七頁，共一百五十頁，2022年，8月28日

定理3-2

設(shè)有一般離散信道,它有r個輸入個符號，s個輸出符號，其平均互信息I(X,Y)達到極大值（即等于信道容量）的充要條件是輸入概率分布p(ai)滿足

常數(shù)C就是所求的信息容量。

其中CYaIi=);(

對所有0)>(iap的ia

);(YaIi＜C

對所有0)(=iap的ia

第八十八頁，共一百五十頁，2022年，8月28日

上述定理只是給出了達到容量時，信道輸入符號分布的充要條件，并不能給出信道的最佳概率分布，即,沒有給出信道容量的計算公式。另，達到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得I(X,Y)達到最大值即可。所以一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。對于某些特殊信道，可以使用上述定理求解信道容量。3.2離散單符號信道及容量第八十九頁，共一百五十頁，2022年，8月28日

【例3-7】設(shè)某信道的轉(zhuǎn)移矩陣為3.2離散單符號信道及容量求;該信道容量和信道輸入的最佳概率分布。第九十頁，共一百五十頁，2022年，8月28日解:

該信道不能直接使用對稱信道計算其信道容量若信道輸入符號的概率p(a2)=0,該信道就是一個二元純對稱刪除信道。就可以假設(shè)

p(a1)=p(a3)=1/2,然后檢查是否滿足定理3-2的條件,如果滿足就可以計算出信道容量3.2離散單符號信道及容量第九十一頁，共一百五十頁，2022年，8月28日首先求出p(bj)3.2離散單符號信道及容量p(a1)=p(a3)=1/2,p(a2)=0第九十二頁，共一百五十頁，2022年，8月28日計算互信息量

該輸入概率分布滿足定理3-2的條件,信道容量為C=0.9,對應(yīng)的信道輸入最佳概率分布為(0.5,0,0.5)CYaIi=);(

對所有0)>(iap的ia

);(YaIi＜C

對所有0)(=iap的ia

第九十三頁，共一百五十頁，2022年，8月28日3.3離散序列符號信道及容量

前面討論了輸入和輸出都是單個隨機變量的信道及其容量，分析了對稱信道、準(zhǔn)對稱信道、一般離散信道的信道容量和信道最佳概率分布的計算方法。實際中，信道輸入、輸出常常是離散隨機序列。離散序列信道的一般模型見圖3.3離散序列符號信道及容量圖3-5離散序列信道模型第九十四頁，共一百五十頁，2022年，8月28日

對于無記憶離散序列信道，設(shè)序列長度為N，則信道轉(zhuǎn)移概率可以簡化為

如果信道是平穩(wěn)的，則信道轉(zhuǎn)移概率可以進一步簡化為

p(Y︱X)=

3.3離散序列符號信道及容量第九十五頁，共一百五十頁，2022年，8月28日

討論無記憶離散信道：設(shè)信道輸入符號取自于符號集

信道輸出符號取自于符號集

信道轉(zhuǎn)移矩陣為

3.3離散序列符號信道及容量第九十六頁，共一百五十頁，2022年，8月28日設(shè)序列長度為N，信道輸入序列記作

αi=(ai1,ai2,….air)i=1，2，…，rN，信道輸出序列記作βj=(bj1,bj2….bjs)j=1，2，…，sN，由于信道輸入共有rN種可能取值,信道輸出有sN種可能取值,所以N次擴展信道的轉(zhuǎn)移概率矩陣為rN×sN的矩陣，可以表示為3.3離散序列符號信道及容量第九十七頁，共一百五十頁，2022年，8月28日

對于無記憶信道,上述的轉(zhuǎn)移概率可以簡化為

其中，m=1，2，…，rN，n=1，2，…，sN

長度為N的離散序列平均互信息量為

I(X;Y)=H(XN)-H(XN︱YN)=H(YN)-H(YN︱XN)3.3離散序列符號信道及容量第九十八頁，共一百五十頁，2022年，8月28日

定理3-3

設(shè)離散信道的輸入序列為X=(X1,X2,…,XN),信道輸出序列為Y=(Y1,Y2,…,YN),信道的轉(zhuǎn)移概率為

，有

(1)如果信道本身是無記憶的，則(2)如果信道的輸入序列是無記憶的，幾個分量相互獨立，則

3.3離散序列符號信道及容量第九十九頁，共一百五十頁，2022年，8月28日

(3)如果輸入序列和信道都是無記憶的，則其中,Xi和Yi分別表示隨機序列X和Y中第i個隨機變量

該定理描述了離散信道中隨機序列的平均互信息量I(X;Y)與信道輸入和輸出中各個隨機變量的平均互信息量之和之間的關(guān)系。特別是當(dāng)信道輸入序列和信道都是無記憶時，兩者相等。如果構(gòu)成信道輸入、輸出隨機序列的各個隨機變量來自于同一符號集，都服從同一分布，而且信道也是平穩(wěn)的.

3.3離散序列符號信道及容量第一百頁，共一百五十頁，2022年，8月28日單符號無記憶信源的N次擴展信道：可以看作是一種特殊的多符號信道，而多符號信道是各個輸入信源Xi都取自同一集合X，并聯(lián)的各個輸出信宿Yj都取自同一集合Y,這樣的N個信道的并聯(lián)。第一百零一頁，共一百五十頁，2022年，8月28日

各互信息量滿足下列關(guān)系：

I(X;Y)=I(Xi,Yi)，i=1，2，…，N于是可以得出結(jié)論由于信道輸入隨機序列的各個變量都在同一信道中傳輸，所以有Ci=C3.3離散序列符號信道及容量其中，i=1，2，…，N，即具有相同的信道容量。于是，可以得到離散無記憶N次擴展信道的容量為CN=NC此式表明,離散無記憶N次擴展信道的信道容量等于構(gòu)成單個離散信道的信道容量的N倍,而信道輸入序列的最佳分布是構(gòu)成序列的每個隨機變量都達到各自的最佳概率分布。第一百零二頁，共一百五十頁，2022年，8月28日

對于一般的離散無記憶信道的N次擴展信道，如果信道輸入隨機變量是無記憶的，且信道是非平穩(wěn)的則有

3.3離散序列符號信道及容量有記憶的離散序列信道的分析比無記憶的離散序列信道的分析要復(fù)雜得多，特殊情況下可以通過狀態(tài)變量來分析，這里不進行討論。

第一百零三頁，共一百五十頁，2022年，8月28日【例3.3-1】某二元離散無記憶信道的轉(zhuǎn)移矩陣為

3.3離散序列符號信道及容量求信道容量C。對信道進行二次擴展，擴展后的信道轉(zhuǎn)移矩陣為第一百零四頁，共一百五十頁，2022年，8月28日解：由擴展信道的轉(zhuǎn)移矩陣知，二次擴展信道是對稱信道，當(dāng)輸入序列等概率分布時可以達到信息容量C2，將擴展后的每種序列排列認為是一個符號，二次擴展信道就等價于四元信道，四元對稱信道的信道容量為3.3離散序列符號信道及容量第一百零五頁，共一百五十頁，2022年，8月28日3.3離散序列符號信道及容量在實際中經(jīng)常有信道的并聯(lián)和串聯(lián)，下面簡單介紹。1.串聯(lián)信道。假設(shè)信道1的轉(zhuǎn)移矩陣為P1,信道2的轉(zhuǎn)移矩陣為P2，串聯(lián)信道總的概率轉(zhuǎn)移矩陣為P=P1P2兩個信道的串聯(lián)型式第一百零六頁，共一百五十頁，2022年，8月28日平均互信息量滿足I(X；Z)≤I(X；Y)I(X；Z)≤I(Y；Z)總的信道容量不會大于各組成信道的信道容量，即C≤min{C1，C2}可以將該結(jié)論擴展到m級串聯(lián)，得到總的轉(zhuǎn)移矩陣為

3.3離散序列符號信道及容量根據(jù)總得轉(zhuǎn)移矩陣即可求出串聯(lián)信道的容量為其中，X和Z分別表示串聯(lián)信道的輸入和輸出符號。而且滿足C≤min{C1，C2，…，Cm}第一百零七頁，共一百五十頁，2022年，8月28日

2.并聯(lián)信道

將m個相互獨立的信道并聯(lián)，如圖所示，3.3離散序列符號信道及容量

每個信道輸出Yi只與本信道輸入Xi有關(guān)(i=1,2,…,m),

假設(shè)各個信道的轉(zhuǎn)移概率分別為

，那么序列的轉(zhuǎn)移概率為第一百零八頁，共一百五十頁，2022年，8月28日如果每個信道都是無記憶的，總的信道也是無記憶的，則滿足

獨立并聯(lián)信道的容量為

3.3離散序列符號信道及容量當(dāng)輸入隨機變量Xi相互獨立，且有p(X1,X2…Xm)

達到最佳分布時容量最大(為各自信道容量之和)。第一百零九頁，共一百五十頁，2022年，8月28日

3.4信源與信道的匹配

實際通信中，經(jīng)常使用離散信道分析信息傳輸問題。對于給定離散信道，其容量是存在的，而且是一個確定量，只有信源輸入滿足最佳分布時，信息的傳輸才能夠達到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。

3.4信源與信道的匹配第一百一十頁，共一百五十頁，2022年，8月28日

一般信源與信道連接時,信息傳輸速率R等于信源與信宿之間的平均互信息量R=I(X,Y)。信源的分布并不總是滿足信道輸入的最佳概率分布，所以信息傳輸速率總是小于信道的容量的。當(dāng)信息傳輸速率達到信道容量時，稱為信源與信道達到匹配，否則信道有冗余。3.4信源與信道的匹配第一百一十一頁，共一百五十頁，2022年，8月28日

定義3-5

設(shè)信道的信息傳輸速率為R=I(X,Y)，信道容量為C，信道的剩余度定義為

信道冗余度=C-I(X,Y)

相對剩余度定義為

3.4信源與信道的匹配第一百一十二頁，共一百五十頁，2022年，8月28日

一般情況下，信源輸出符號之間總是存在較強的相關(guān)性，而且信源的分布與信道難以匹配。當(dāng)離散信道是對稱的或者接近對稱時，為了實現(xiàn)有效的信息傳輸，要求信源輸出符號分布盡可能接近信道要求的等概率分布，為此可以采用信源編碼技術(shù)去除信源符號之間的相關(guān)性，并且經(jīng)過適當(dāng)?shù)淖儞Q后，信源編碼輸出符號分布盡可能接近等概率分布，就可使信道傳輸速率R達到或者接近信道容量，實現(xiàn)信源與信道的匹配。

3.4信源與信道的匹配第一百一十三頁，共一百五十頁，2022年，8月28日如果信道的傳輸速率R小于信道容量C,可以對信源輸出進行適當(dāng)?shù)男诺谰幋a,實現(xiàn)無誤差的信息傳輸；如果信道的信息傳輸速率R大于信道容量C，實現(xiàn)無差錯信息傳輸是不可能的。3.4信源與信道的匹配第一百一十四頁，共一百五十頁，2022年，8月28日5.5連續(xù)信道及其容量

對于連續(xù)信源，互信息量具有與離散信源相同的形式，即互信息量為信源的熵與條件熵之差，而連續(xù)信道的容量同樣定義為互信息量的最大值，在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。

離散信道的輸入、輸出符號都是離散的，所以用概率轉(zhuǎn)移矩陣加以描述；而連續(xù)信道的輸入、輸出符號都是連續(xù)變量，所以使用條件概率密度函數(shù)描述信道輸入、輸出變量之間的關(guān)系。5.5連續(xù)信道及其容量第一百一十五頁，共一百五十頁，2022年，8月28日5.5.1連續(xù)單符號加性信道

連續(xù)單符號加性信道是最簡單的單符號信道，信道的輸入和輸出都是連續(xù)隨機變量，如圖5-8所示。

圖5-8連續(xù)單符號信道

5.5連續(xù)信道及其容量第一百一十六頁，共一百五十頁，2022年，8月28日

首先假設(shè)信道引入的噪聲是均值為0，方差為

的高斯白噪聲，即

～

，該噪聲的連續(xù)熵為(5.5-1)

根據(jù)熵之間的關(guān)系可知，單符號連續(xù)信道的平均互信息量可以表示為5.5連續(xù)信道及其容量第一百一十七頁，共一百五十頁，2022年，8月28日信道容量定義為(5.5-2)對于加性噪聲信道而言，條件熵

為

證明略。

5.5連續(xù)信道及其容量第一百一十八頁，共一百五十頁，2022年，8月28日

綜合起來，連續(xù)單符號加性噪聲信道的信道容量為(5.5-3)

如果噪聲為高斯白噪聲，則有(5.5-4)

根據(jù)限平均功率最大熵定理，只有當(dāng)信道輸出

為高斯分布時，

取得最大值，即

～

，其中，

表示

的平均功率限制值。

信道輸入

與信道的噪聲之間相互獨立，而變量

可以表示為

5.5連續(xù)信道及其容量第一百一十九頁，共一百五十頁，2022年，8月28日

根據(jù)高斯分布性質(zhì)：兩個高斯分布的加、減仍然服從高斯分布，假設(shè)

～

，則有

所以

又

5.5連續(xù)信道及其容量第一百二十頁，共一百五十頁，2022年，8月28日

于是可以得出結(jié)論：當(dāng)信道輸入服從高斯分布，假設(shè)

～

時，達到信道容量

，信道容量為

(5.5-5)

其中，∕稱為信噪比。5.5連續(xù)信道及其容量第一百二十一頁，共一百五十頁，2022年，8月28日

要注意的是，這里沒有考慮信道對輸入信號的衰減，即認為

是經(jīng)過信道衰減后的功率。實際中，信道的噪聲不一定服從高斯分布，根據(jù)上文討論可知，只要噪聲是加性的，就可以進行計算，下面不加證明地給出均值為0，方差為

的加性噪聲信道容量的界5.5連續(xù)信道及其容量第一百二十二頁，共一百五十頁，2022年，8月28日

上述不等式的意義在于：對于給定的加性噪聲信道，如果信道的輸入能夠使得信道輸出為高斯分布，則信道容量到達上限

，而一般情況下，信道容量是小于該上限的。高斯信道是所有加性信道中最差的信道，任何其他類型加性噪聲信道的容量都大于其信道容量。

所以實際中，在平均功率受限的條件下，經(jīng)常假設(shè)噪聲服從高斯分布，除了高斯噪聲的分析比較方便之外，還因為高斯信道的信道容量是最小的，對信道的干擾最大。5.5連續(xù)信道及其容量第一百二十三頁，共一百五十頁，2022年，8月28日5.5.2多維無記憶加性連續(xù)信道

設(shè)信道輸入隨機序列

，信道輸出的隨機序列為

，由于高斯噪聲具有代表性，這里只討論高斯信道。設(shè)

是均值為零的高斯噪聲序列，由于信道無記憶，則有

又因是加性信道，所以得

5.5連續(xù)信道及其容量第一百二十四頁，共一百五十頁，2022年，8月28日

即噪聲序列中各分量是統(tǒng)計獨立的。噪聲

是高斯噪聲，又各分量統(tǒng)計獨立，所以各分量

是均值為零、方差為

的高斯變量。這樣，多維無記憶高斯加性信道可等價成

個獨立的并聯(lián)高斯加性信道。

由于

則有(5.5-6)5.5連續(xù)信道及其容量第一百二十五頁，共一百五十頁，2022年，8月28日

從上式可知，各時刻

上的噪聲是均值為零、方差為不同的

高斯噪聲，于是，當(dāng)且僅當(dāng)輸入隨機矢量

中各分量統(tǒng)計獨立，并且也是均值為零、方差為不同的

的高斯變量時，才能達到此信道容量。

可見，上式是多維無記憶高斯加性連續(xù)信道的信道容量，也是

個獨立的、并聯(lián)組合的、高斯加性信道的信道容量。5.5連續(xù)信道及其容量第一百二十六頁，共一百五十頁，2022年，8月28日

（1）

如果各個時刻

上的噪聲都是均值為零、方差為

的高斯噪聲，則信道容量

為

比特∕個自由度

當(dāng)且僅當(dāng)輸入信號

的各分量統(tǒng)計獨立，并且都是均值為零、方差為

的高斯變量時，信息傳輸概率達到最大值。（2）如果各個時刻

上的噪聲都是均值為零、方差為

的高斯噪聲，但輸入信號的總平均功率受限，則該約束條件為

5.5連續(xù)信道及其容量第一百二十七頁，共一百五十頁，2022年，8月28日

那么，此時各時刻的信號平均功率

應(yīng)如何分配？其信道容量應(yīng)等于多少？

由于

≤

其中，

，所以約束條件為

。只有當(dāng)

中各分量是均值為零、方差為

的統(tǒng)計獨立的高斯變量時，上式的等式才成立。5.5連續(xù)信道及其容量第一百二十八頁，共一百五十頁，2022年，8月28日

極限問題

，就是計算在約束條件

的情況下，使

達到最大。這是一個標(biāo)準(zhǔn)的求極大值的問題，可以用拉格朗日乘法來計算。

構(gòu)造輔助函數(shù)為

對變量求偏導(dǎo)數(shù)，并令其為0，即

5.5連續(xù)信道及其容量第一百二十九頁，共一百五十頁，2022年，8月28日

整理后可以得到下列方程

上式計算得到的

可能會出現(xiàn)負數(shù)，這表明獨立并聯(lián)信道中，某一信道的噪聲平均功率

大于該信道分配得到信號平均功率，所以該信道就無法利用，只有令

，即選取

，其中

符號表示

的正數(shù)，即5.5連續(xù)信道及其容量第一百三十頁，共一百五十頁，2022年，8月28日而常數(shù)

的選擇由約束條件求得于是，可得信道容量5.5連續(xù)信道及其容量第一百三十一頁，共一百五十頁，2022年，8月28日

上述結(jié)論說明，在

個獨立信道并聯(lián)構(gòu)成的高斯加性通道中，當(dāng)各分信道的噪聲平均功率不相等（或多維無記憶高斯加性信道，各時刻噪聲分量的平均功率不相等）時，為達到最大的信息傳輸率，要對輸入信號的總能量進行適當(dāng)?shù)姆峙?，其分配按下式進行

5.5連續(xù)信道及其容量第一百三十二頁，共一百五十頁，2022年，8月28日

即當(dāng)常數(shù)

＜

時，此信道（或此時刻信號分量）不分配能量，不傳輸任何信息；當(dāng)

＞

時，在這些信道（或此時刻信號分量）中分配能量，并使?jié)M足

加上

等于常數(shù)

。這樣得到的信道容量最大，即噪聲大的信道少傳甚至不傳送信息，而在噪聲小的信道多傳輸些信息，從而有利于信息傳輸。5.5連續(xù)信道及其容量第一百三十三頁，共一百五十頁，2022年，8月28日5.5.3加性高斯白噪聲波形信道

上面討論的連續(xù)信道中，信道的輸入、輸出變量的幅度取值是連續(xù)變化的，而在時間上是離散的。而實際中的物理信道都是波形信道，信道的輸入和輸出在幅度上都是連續(xù)變化的。對于這樣的信道應(yīng)當(dāng)適用隨機過程對其進行研究，首先對加性高斯白噪聲波形信道進行介紹。

假設(shè)信道的輸入、輸出都是平穩(wěn)隨機過程，在限頻

、限時

條件下將波形信道轉(zhuǎn)換為多維連續(xù)信道進行分析。設(shè)在時間

內(nèi)，將信道5.5連續(xù)信道及其容量第一百三十四頁，共一百五十頁，2022年，8月28日

輸入、輸出隨機過程在時間上離散為維數(shù)為

的隨機序列

和

，從而可以得到波形信道的平均互信息為

對于波形信道而言，一般討論單位時間內(nèi)信息傳輸率

，定義為

比特∕秒

5.5連續(xù)信道及其容量第一百三十五頁，共一百五十頁，2022年，8月28日

信道容量

定義為

(5.5-7)

通常情況下，假設(shè)波形信道中的噪聲是均值為0、雙邊功率譜密度為∕2的高斯白噪聲隨機過程。同樣可以將波形信道中的噪聲在時間上離散化，在時間

內(nèi)使用

維隨機序列表示，由于信道帶寬總是受限的，設(shè)帶寬為

，在時間

內(nèi)，隨機序列長度取為5.5連續(xù)信道及其容量第一百三十六頁，共一百五十頁，2022年，8月28日

這樣就將波形信道變換為多維無記憶高斯加性信道，所以得出下列結(jié)論：(5.5-8)

其中，

為每個噪聲分量的功率

，即雙邊功率譜密度，

為每個信號樣本值的平均功率，當(dāng)信號受限于功率

時，滿足

5.5連續(xù)信道及其容量第一百三十七頁，共一百五十頁，2022年，8月28日為信號帶寬，于是得到信道容量為

(5.5-9)所以波形信道的信道容量為(5.5-10)5.5連續(xù)信道及其容量第一百三十八頁，共一百五十頁，2022年，8月28日

其中，

為信號的平均功率，

為高斯白噪聲在帶寬為

內(nèi)的平均功率。信道的容量是帶寬和信噪功率比的函數(shù)。這就是著名的香農(nóng)公式。當(dāng)信道輸入是平均功率受限的高斯白噪聲信號時，信息傳輸率才能達到該信道容量。

然而實際中信道一般為非高斯噪聲波形信道，由于噪聲熵小于高斯噪聲的噪聲熵，所以信道容量以高斯加性信道的信道容量為下限。5.5連續(xù)信道及其容量第一百三十九頁，共一百五十頁，2022年，8月28日

根據(jù)香農(nóng)公式，可以得出下列結(jié)論：

（1）當(dāng)帶寬

一定時，信噪比與

信道容量

成對數(shù)關(guān)系。若

增大，

就增大，但增大到一定程度后就趨于緩慢。這說明增加輸入信號功率有助于容量的增大