信息論與編碼-第8講-信道及其容量1

第1頁2024/4/143.1信道的數(shù)學模型和分類(1)一般信道的數(shù)學模型①信道的廣義性②一般信道的數(shù)學模型第2頁2024/4/143.1信道的數(shù)學模型和分類(1)一般信道的數(shù)學模型①信道的廣義性信息論把任何一個有輸入、輸出的系統(tǒng)都可以看成是一個信道（物理信道多種多樣：簡單：濾波器；復(fù)雜：國際通信線路）。信號在信道中傳輸會引入噪聲或干擾，它使信號通過信道后產(chǎn)生錯誤和失真。信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計依賴關(guān)系。知道了信道的輸入信號、輸出信號以及它們之間的依賴關(guān)系，信道的全部特性就確定了。第3頁2024/4/143.1信道的數(shù)學模型和分類(1)一般信道的數(shù)學模型②一般信道的數(shù)學模型信息論對信道的研究：對具體物理信道抽象，建立與各種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在這些模型信道上傳輸?shù)钠毡橐?guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計。信道模型：不研究信號在信道中傳輸?shù)奈锢磉^程，把信道模型看作黑匣子。第4頁2024/4/143.1信道的數(shù)學模型和分類(1)一般信道的數(shù)學模型②一般信道的數(shù)學模型一般，輸入和輸出信號都是廣義的時間連續(xù)的隨機信號，可用隨機過程來描述。數(shù)學模型的數(shù)學符號表示：{X

P(Y/X)Y}第5頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類①根據(jù)輸入輸出隨機信號的特點分類②根據(jù)輸入輸出隨機變量個數(shù)的多少分類③根據(jù)輸入輸出個數(shù)分類④根據(jù)信道上有無干擾分類⑤根據(jù)信道有無記憶特性分類第6頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類①根據(jù)輸入輸出隨機信號的特點分類離散信道：輸入和輸出的隨機序列的取值都是離散的信道。連續(xù)信道：輸入和輸出的隨機序列的取值都是連續(xù)的信道。半離散／半連續(xù)信道：輸入變量取離散值而輸出變量取連續(xù)值，或反之。第7頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類①根據(jù)輸入輸出隨機信號的特點分類波形信道：信道的輸入和輸出都是一些時間上連續(xù)的隨機信號{x(t)}

和{y(t)}，即信號輸入和輸出的隨機變量是連續(xù)的，并且還隨時間連續(xù)變化。一般可用隨機過程來描述其輸入和輸出。波形信道可分解成離散信道、連續(xù)信道或半離散信道來研究。第8頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類②根據(jù)輸入輸出隨機變量個數(shù)的多少分類單符號信道：輸入和輸出端都只用一個隨機變量來表示。多符號信道（離散無記憶擴展信道）：輸入和輸出端用隨機變量序列（隨機矢量）來表示。第9頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類③根據(jù)輸入輸出個數(shù)分類單用戶信道：只有一個輸入和一個輸出的信道。多用戶信道：有多個輸入和多個輸出的信道。單符號與單用戶的區(qū)別，不要搞混!第10頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類④根據(jù)信道上有無干擾分類有干擾信道：存在干擾或噪聲或兩者都有的信道。實際信道一般都是有干擾信道。無干擾信道：不存在干擾或噪聲，或干擾和噪聲可忽略不計的信道。計算機和外存設(shè)備之間的信道可看作是無干擾信道。第11頁2024/4/143.1信道的數(shù)學模型和分類(2)信道的分類⑤根據(jù)信道有無記憶特性分類無記憶信道：輸出僅與當前輸入有關(guān)，而與過去輸入無關(guān)的信道。有記憶信道：信道輸出不僅與當前輸入有關(guān)，還與過去輸入和（或）過去輸出有關(guān)。第12頁2024/4/143.1信道的數(shù)學模型和分類(3)實際的信道實際信道的帶寬總是有限的，所以輸入和輸出信號總可以分解成隨機序列來研究。隨機序列中每個隨機變量的取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。一個實際信道可同時具有多種屬性。

最簡單的信道是單符號離散信道。第13頁2024/4/143.2單符號離散信道的信道容量3.2.1信道容量定義3.2.2幾種特殊離散信道的信道容量3.2.3離散信道容量的一般計算方法第14頁2024/4/143.2.1信道容量定義(1)單符號離散信道的數(shù)學模型(2)信道的信息傳輸率(3)信道容量(4)結(jié)論3.2單符號離散信道的信道容量第15頁2024/4/143.2.1信道容量定義(1)單符號離散信道的數(shù)學模型①信道模型②信道統(tǒng)計特性3.2單符號離散信道的信道容量第16頁2024/4/143.2.1信道容量定義(1)單符號離散信道的數(shù)學模型①信道模型設(shè)輸入：X∈{x1,x2,…,xi,…,xn}

輸出：Y∈{y1,y2,…,yj,…,ym}其信道模型：3.2單符號離散信道的信道容量第17頁2024/4/143.2.1信道容量定義(1)單符號離散信道的數(shù)學模型①信道模型用線圖描述：3.2單符號離散信道的信道容量第18頁2024/4/143.2.1信道容量定義(1)單符號離散信道的數(shù)學模型②信道統(tǒng)計特性信道統(tǒng)計特性：由信道轉(zhuǎn)移概率描述。信道轉(zhuǎn)移概率（信道傳遞概率）：條件概率p(yj/xi)。信道特性表示：用信道轉(zhuǎn)移概率矩陣，簡稱信道矩陣。反信道矩陣：由條件概率p(xi/yj)

表示。3.2單符號離散信道的信道容量第19頁2024/4/143.2.1信道容量定義(1)單符號離散信道的數(shù)學模型②信道統(tǒng)計特性3.2單符號離散信道的信道容量第20頁2024/4/143.2.1信道容量定義(2)信道的信息傳輸率研究信道的目的：討論信道中平均每個符號傳送的信息量（信道的信息傳輸率）。信道的信息傳輸率：就是平均互信息：

R=I(X;Y)=H(X)－H(X/Y)（比特/符號）平均互信息I(X;Y)就是接收到符號Y

后平均每個符號獲得的關(guān)于X

的信息量3.2單符號離散信道的信道容量第21頁2024/4/143.2.1信道容量定義(2)信道的信息傳輸率如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I(X;Y)。輸出端Y

往往只能獲得關(guān)于輸入X

的部分信息，這是由于平均互信息性質(zhì)決定的：I(X;Y)≤H(X)。I(X;Y)

是信源無條件概率p(xi)

和信道轉(zhuǎn)移概率p(yj/xi)

的二元函數(shù)：3.2單符號離散信道的信道容量第22頁2024/4/143.2.1信道容量定義(3)信道容量當信道特性p(yj/xi)

固定后，I(X;Y)隨信源概率分布p(xi)

的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)

是p(xi)

的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。3.2單符號離散信道的信道容量第23頁2024/4/143.2.1信道容量定義(3)信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號。單位時間的信道容量Ct：若信道平均傳輸一個符號需要

t

秒鐘，則單位時間的信道容量為：

Ct

實際是信道的最大信息傳輸速率。3.2單符號離散信道的信道容量第24頁2024/4/143.2.1信道容量定義(4)結(jié)論C和

Ct都是求平均互信息I(X;Y)

的條件極大值問題，當輸入信源概率分布p(xi)

調(diào)整好以后，

C

和Ct

已與p(xi)

無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。3.2單符號離散信道的信道容量第25頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量(2)強對稱離散信道的信道容量(3)對稱離散信道的信道容量(4)準對稱離散信道的信道容量3.2單符號離散信道的信道容量第26頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量①具有一一對應(yīng)關(guān)系的無噪信道②具有擴展性能的無噪信道③具有歸并性能的無噪信道④結(jié)論3.2單符號離散信道的信道容量第27頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量①具有一一對應(yīng)關(guān)系的無噪信道（無噪無損信道）信道線圖3.2單符號離散信道的信道容量第28頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量①具有一一對應(yīng)關(guān)系的無噪信道（無噪無損信道）信道矩陣3.2單符號離散信道的信道容量第29頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量①具有一一對應(yīng)關(guān)系的無噪信道（無噪無損信道）因為信道矩陣中所有元素均是“1”或“0”，X

和Y

有確定的對應(yīng)關(guān)系：已知X

后Y

沒有不確定性，收到Y(jié)后，X

也不存在不確定性，

I(X;Y)=H(X)=H(Y)。當信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道達到信道容量（信源X的最大熵）：噪聲熵：H(Y/X)=0損失熵/信道疑義度：H(X/Y)=03.2單符號離散信道的信道容量第30頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量②具有擴展性能的無噪信道（有噪無損信道）n<m，輸入X

的符號集個數(shù)小于輸出Y的符號集個數(shù)。噪聲熵：H(Y/X)>0損失熵/信道疑義度：H(X/Y)=03.2單符號離散信道的信道容量第31頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量②具有擴展性能的無噪信道（有噪無損信道）其信道矩陣為：3.2單符號離散信道的信道容量第32頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量②具有擴展性能的無噪信道（有噪無損信道）雖然信道矩陣中的元素不全是“1”或“0”，但由于每列中只有一個非零元素：已知Y

后，X

不再有任何不確定度，

信道容量為：此時輸入端符號熵小于輸出端符號熵，H(X)<H(Y)。噪聲熵：H(Y/X)>0損失熵/信道疑義度：H(X/Y)=0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)3.2單符號離散信道的信道容量第33頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量②具有擴展性能的無噪信道（有噪無損信道）熵之間的關(guān)系：3.2單符號離散信道的信道容量第34頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量③具有歸并性能的無噪信道（無噪有損信道）n>m，輸入X

的符號集個數(shù)大于輸出Y的符號集個數(shù)：噪聲熵：H(Y/X)=0損失熵/信道疑義度：H(X/Y)>03.2單符號離散信道的信道容量第35頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量③具有歸并性能的無噪信道（無噪有損信道）信道矩陣中的元素非“0”即“1”，每行僅有一個非零元素，但每列的非零元素個數(shù)大于1：已知某一個

xi后，對應(yīng)的

yj完全確定，收到某一個yj后，對應(yīng)的xi不完全確定，信道疑義度H(X/Y)≠0。

噪聲熵：H(Y/X)=0損失熵/信道疑義度：H(X/Y)>0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(Y)3.2單符號離散信道的信道容量第36頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量③具有歸并性能的無噪信道（無噪有損信道）信道容量為：這種信道的輸入端符號熵大于輸出端符號熵，H(X)>H(Y)。注意：在求信道容量時，調(diào)整的始終是輸入端的概率分布p(xi)

，盡管信道容量式子中平均互信息I(X;Y)

等于輸出端符號熵H(Y)，但是在求極大值時調(diào)整的仍然是輸入端的概率分布p(xi)

，而不能用輸出端的概率分布p(yj)

來代替。3.2單符號離散信道的信道容量第37頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量③具有歸并性能的無噪信道（無噪有損信道）熵之間的關(guān)系：3.2單符號離散信道的信道容量第38頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量③具有歸并性能的無噪信道（無噪有損信道）[舉例]：圖3-6的信道容量是log23=1.585(比特/信道符號)，求要達到這一信道容量對應(yīng)的信源概率分布。由信道矩陣得

p(y1)=p(x1)×1+p(x2)×1

p(y2)=p(x3)×1+p(x4)×1

p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)

達到最大值，即達到信道容量C。3.2單符號離散信道的信道容量第39頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量③具有歸并性能的無噪信道（無噪有損信道）[例3-1]：此時使p(y1)=p(y2)=p(y3)=(1/3)

的信源概率分布{p(xi)},i=1,2,3,4,5

存在，但不是惟一的。這種信道的輸入符號熵大于輸出符號熵，即H(X)>H(Y)。3.2單符號離散信道的信道容量第40頁2024/4/143.2.2幾種特殊離散信道的信道容量(1)離散無噪信道的信道容量④結(jié)論無損信道的信道容量

C

只決定于信道的輸入符號數(shù)n，與信源無關(guān)。無噪信道的信道容量

C

只決定于信道的輸出符號數(shù)m，與信源無關(guān)。3.2單符號離散信道的信道容量第41頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量①什么是強對稱離散信道②強對稱信道矩陣特點③強對稱離散信道的信道容量④輸入是什么概率分布時達到信道容量⑤二進制均勻信道3.2單符號離散信道的信道容量第42頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量①什么是強對稱離散信道單符號離散信道的X

和Y

取值均由

n

個不同符號組成，即X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}每信道矩陣為：3.2單符號離散信道的信道容量第43頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量①什么是強對稱離散信道這種信道稱為強對稱（均勻）信道。這類信道中：總的錯誤概率是

p，對稱平均地分配給(n－1)個輸出符號。信道矩陣中每行之和等于1，每列之和也等于1。一般信道矩陣中，每列之和不一定等于1。3.2單符號離散信道的信道容量第44頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量②強對稱信道矩陣特點強對稱信道矩陣，它的每一行和每一列都是同一集合各個元素的不同排列。由平均互信息定義：3.2單符號離散信道的信道容量第45頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量②強對稱信道矩陣特點Hni的意義：是固定X=xi

時對Y

求和，相當于在信道矩陣中選定了某一行，對該行上各列元素的自信息求加權(quán)和。由于信道的對稱性，每一行都是同一集合的不同排列，所以：當

xi不同時，Hni只是求和順序不同，求和結(jié)果完全一樣。所以Hni

與X無關(guān)，是一個常數(shù)。3.2單符號離散信道的信道容量第46頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量②強對稱信道矩陣特點因此：3.2單符號離散信道的信道容量第47頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量③強對稱離散信道的信道容量

如何達到信道容量：求一種輸入分布使H(Y)

取最大值?，F(xiàn)已知輸出符號集Y

共有

n個符號，則H(Y)≤log2n。根據(jù)最大離散熵定理，只有當p(yj)=(1/n)，即輸出端呈等概率分布時，

H(Y)

才達到最大值log2n

。3.2單符號離散信道的信道容量第48頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量③強對稱離散信道的信道容量

如何達到信道容量：要獲得這一最大值，可通過下面公式尋找相應(yīng)的輸入概率分布；現(xiàn)一般情況下不一定存在一種輸入符號的概率，使輸出符號達到等概率分布。但強對稱離散信道存在。3.2單符號離散信道的信道容量第49頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量④輸入是什么概率分布時達到信道容量強對稱離散信道的輸入和輸出之間概率關(guān)系可用矩陣表示為：3.2單符號離散信道的信道容量第50頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量④輸入是什么概率分布時達到信道容量信道矩陣中的每一行都是由同一集合中的諸元素的不同排列組成，所以保證了當輸入符號X是等概率分布，即p(xi)=(1/n)時，輸出符號Y一定是等概率分布，這時H(Y)=log2n。相應(yīng)的信道容量為：3.2單符號離散信道的信道容量第51頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量④輸入是什么概率分布時達到信道容量結(jié)論：當信道輸入呈等概率分布時，強對稱離散信道能夠傳輸最大的平均信息量，即達到信道容量。這個信道容量只與信道的輸出符號數(shù)n和相應(yīng)信道矩陣中的任一行矢量有關(guān)。3.2單符號離散信道的信道容量第52頁2024/4/143.2.2幾種特殊離散信道的信道容量(2)強對稱離散信道的信道容量⑤二進制均勻信道當n=2時的強對稱離散信道就是二進制均勻信道。二進制均勻信道的信道容量為：二進制均勻信道容量曲線如圖3.2.6所示。3.2單符號離散信道的信道容量第53頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量①可排列性②對稱離散信道定義③對稱離散信道的信道容量3.2單符號離散信道的信道容量第54頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量①可排列性行可排列：一個矩陣的每一行都是同一集合Q{q1,q2,…,qm}

中諸元素的不同排列。列可排列：一個矩陣的每一列都是同一集合P{p1,p2,…,pn}中諸元素的不同排列。矩陣可排列（具有可排列性）：一個矩陣的行和列都是可排列的。3.2單符號離散信道的信道容量第55頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量②對稱離散信道定義對稱離散信道：信道矩陣具有可排列性。對稱離散信道行、列集合的特點：當

m<n時，Q

是P

的子集。當m>n

時，P

是Q

的子集。當m=n

時，Q

和

P中的所有元素重合，Q

和

P

是同一集合。3.2單符號離散信道的信道容量第56頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量②對稱離散信道定義舉例：3.2單符號離散信道的信道容量第57頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量②對稱離散信道定義舉例：3.2單符號離散信道的信道容量第58頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量③對稱離散信道的信道容量3.2單符號離散信道的信道容量第59頁2024/4/143.2.2幾種特殊離散信道的信道容量(3)對稱離散信道的信道容量③對稱離散信道的信道容量對稱離散信道的信道容量與強對稱的形式相同，只是這里m≠n。由于對稱信道的特點，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證了當X等概率分布時，Y也是等概率分布，從而使Y

的熵達到最大值log2m，即信道容量。3.2單符號離散信道