信道與信道容量

信道與信道容量第一頁，共六十頁，2022年，8月28日1信道信道：信息傳輸?shù)耐ǖ涝谕ㄐ胖?信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信號在這些信道中傳輸?shù)倪^程遵循不同的物理規(guī)律,通信技術(shù)必須研究信號在這些信道中傳輸時的特性信息論不研究信號在信道中傳輸?shù)奈锢磉^程,并假定信道的傳輸特性已知,這樣信息論就可以抽象地將信道用下圖所示的模型來描述。信道輸入量X(隨機過程)輸出量Y(隨機過程)p(Y|X)第二頁，共六十頁，2022年，8月28日3.1信道的基本概念3.1.1信道分類用戶數(shù)量：單用戶、多用戶輸入端和輸出端關(guān)系：無反饋、有反饋信道參數(shù)與時間的關(guān)系：固參、時變參噪聲種類：隨機差錯、突發(fā)差錯輸入輸出特點：離散、連續(xù)、半離散半連續(xù)、 波形信道第三頁，共六十頁，2022年，8月28日5.按輸入/輸出信號在幅度和時間上的取值:離散信道：輸入和輸出的隨機序列取值都是離散的信道連續(xù)信道：輸入和輸出的隨機序列取值在幅度上連續(xù)、時間上離散的信道半離散(半連續(xù))信道：輸入變量取值離散而輸出變量取值連續(xù)輸入變量取值連續(xù)而輸出變量取值離散波形信道：信道的輸入和輸出在時間上和幅度上均連續(xù)的隨機信號。

第四頁，共六十頁，2022年，8月28日6.按輸入/輸出之間關(guān)系的記憶性來劃分：

無記憶信道：信道的輸出只與信道該時刻的輸入有關(guān),而與其他時刻的輸入無關(guān)有記憶信道：信道的輸出不但與信道現(xiàn)時的輸入有關(guān)而且還與以前時刻的輸入有關(guān)第五頁，共六十頁，2022年，8月28日7.按輸入／輸出信號之間的關(guān)系是否是確定關(guān)系:無干擾信道：輸入/輸出符號之間有確定的一一對應(yīng)關(guān)系有干擾信道：輸入/輸出之間關(guān)系是一種統(tǒng)計依存的關(guān)系輸入/輸出的統(tǒng)計關(guān)系：離散無記憶信道：用條件概率矩陣來描述。離散有記憶信道：可像有記憶信源中那樣引入狀態(tài)的概念。第六頁，共六十頁，2022年，8月28日設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計依賴關(guān)系,反映信道統(tǒng)計關(guān)系信道XYp(Y|X)3.1.2信道參數(shù)第七頁，共六十頁，2022年，8月28日（1）無干擾(無噪聲)信道無干擾(無噪聲)信道信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:第八頁，共六十頁，2022年，8月28日（2）有干擾無記憶信道有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:有干擾無記憶信道可分為:二進制離散信道離散無記憶信道離散輸入、連續(xù)輸出信道波形信道第九頁，共六十頁，2022年，8月28日二進制離散信道BSC輸入符號X取值{0,1}；輸出符號Y取值{0,1}很重要的一種特殊信道信道轉(zhuǎn)移概率：

p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p無錯誤傳輸?shù)母怕蕚鬏敯l(fā)生錯誤的概率1)二進制對稱信道（BSC）第十頁，共六十頁，2022年，8月28日102)離散無記憶信道（DMC）第十一頁，共六十頁，2022年，8月28日P:轉(zhuǎn)移概率矩陣已知X,信道輸出Y表現(xiàn)出來的統(tǒng)計特性完全描述了信道的統(tǒng)計特性,其中有些概率是信道干擾引起的錯誤概率,有些是正確傳輸?shù)母怕兽D(zhuǎn)移概率矩陣第十二頁，共六十頁，2022年，8月28日3)離散輸入、連續(xù)輸出信道假設(shè)信道輸入符號選自一個有限的、離散的輸入字符集X={a1，a2，…，an}，而信道（檢測器）輸出未經(jīng)量化（m＝∞），這時的譯碼器輸人可以是實軸上的任意值，即y={-∞，∞}。這樣的信道模型為離散時間無記憶信道。加性高斯白噪聲信道（AWGN）第十三頁，共六十頁，2022年，8月28日4)波形信道第十四頁，共六十頁，2022年，8月28日（3）有干擾有記憶信道（略）

說明：設(shè)計和分析離散信道編、解碼器的性能，從工程角度出發(fā)，最常用的是DMC信道模型或其簡化形式BSC信道模型；若分析性能的理論極限，則多選用離散輸入、連續(xù)輸出信道模型；如果我們是想要設(shè)計和分析數(shù)字調(diào)制器和解調(diào)器的性能，則可采用波形信道模型。

本書的主題是編、解碼，因此主要使用DMC信道模型。第十五頁，共六十頁，2022年，8月28日15我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息3.1.3信道容量的定義第十六頁，共六十頁，2022年，8月28日16信道容量C：最大的信息傳輸率單位時間的信道容量：信息傳輸率R=I(X;Y)=H(X)－H(X/Y)比特/符號信息傳輸速率信道在單位時間內(nèi)平均傳輸?shù)男畔⒘慷x為Rt=I(X;Y)/t比特/秒第十七頁，共六十頁，2022年，8月28日173.2離散單個符號信道及其容量信息傳輸率信道在單位時間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率R=I(X;Y)=H(X)－H(X/Y)比特/符號Rt=I(X;Y)/t比特/秒信道容量比特/符號（bits/symbol）

第十八頁，共六十頁，2022年，8月28日3.2離散單個符號信道及其容量3.2.1無干擾離散信道的信道容量第十九頁，共六十頁，2022年，8月28日3.2.1無干擾離散信道設(shè)信道的輸入X∈A={a1…an},輸出Y∈B={b1…bm}無噪無損信道輸入和輸出符號之間有確定的一一對應(yīng)關(guān)系X111a1b1a2b2a3

b3Y第二十頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道Xa1b1a2

b2an-1bn-1an

bn11Y第二十一頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道由計算得：噪聲熵H(Y|X)=0疑義度H(X|Y)=0第二十二頁，共六十頁，2022年，8月28日無干擾離散信道無噪有損信道多個輸入變成一個輸出(n＞m)Xa1

Ya2

b1a3a4b2a511111輸出Y是輸入X的確定函數(shù),但不是一一對應(yīng),而是多一對應(yīng)關(guān)系。第二十三頁，共六十頁，2022年，8月28日無干擾離散信道無噪有損信道多個輸入變成一個輸出(n＞m)噪聲熵H(Y|X)＝0疑義度H(X|Y)≠0信道中接收到符號Y后不能完全消除對X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。第二十四頁，共六十頁，2022年，8月28日無干擾離散信道有噪無損信道一個輸入對應(yīng)多個輸出(n＜m)X

b1a1b2b3a2b4b51/31/31/31/43/4計算得同理由Y第二十五頁，共六十頁，2022年，8月28日無干擾離散信道有噪無損信道一個輸入對應(yīng)多個輸出(n＜m)接收到符號Y后,對發(fā)送的X符號是完全確定的。噪聲熵H(Y|X)≠0疑義度H(X|Y)=0第二十六頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道：X、Y一一對應(yīng)無噪有損信道：多個輸入變成一個輸出有噪無損信道：一個輸入對應(yīng)多個輸出第二十七頁，共六十頁，2022年，8月28日3.2.2

對稱DMC信道對稱離散信道：對稱性:每一行都是由同一符號集{q1,q2,…qm}的諸元素不同排列組成——輸入對稱每一列都是由{p1,p2,…pn}符號集的諸元素不同排列組成——輸出對稱滿足對稱性,所對應(yīng)的信道是對稱離散信道。第二十八頁，共六十頁，2022年，8月28日對稱DMC信道信道矩陣

不具有對稱性,因而所對應(yīng)的信道不是對稱離散信道。

第二十九頁，共六十頁，2022年，8月28日

對稱DMC信道輸入對稱輸出對稱第三十頁，共六十頁，2022年，8月28日3.2.2對稱DMC信道對稱信道容量第三十一頁，共六十頁，2022年，8月28日例某對稱離散信道的信道矩陣為信道容量為第三十二頁，共六十頁，2022年，8月28日323.2.2對稱DMC信道例.求信道容量信道輸入符號和輸出符號的個數(shù)相同，都為n，且正確的傳輸概率為1－，錯誤概率被對稱地均分給n-1個輸出符號，此信道稱為強對稱信道或均勻信道，是對稱離散信道的一個特例第三十三頁，共六十頁，2022年，8月28日C信道無噪聲當

=0,C=1－0=1bit=H(X)當

=1/2,

信道強噪聲BSC信道容量BSC信道容量C＝1－H（）第三十四頁，共六十頁，2022年，8月28日串聯(lián)信道例設(shè)有兩個離散BSC信道,串接如圖,兩個BSC信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp串聯(lián)信道的轉(zhuǎn)移矩陣為:1-pp第三十五頁，共六十頁，2022年，8月28日35串聯(lián)信道X00ZY11求得:在實際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。pp1-p1-p1-p1-p第三十六頁，共六十頁，2022年，8月28日36串聯(lián)信道由信息不增原理信道2信道m(xù)信道1…可以看出,串接的信道越多,其信道容量可能會越小,當串接信道數(shù)無限大時,信道容量可能會趨于0XYZ第三十七頁，共六十頁，2022年，8月28日3.2.3準對稱DMC信道準對稱DMC信道如果轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準對稱DMC信道第三十八頁，共六十頁，2022年，8月28日38

準對稱DMC信道準對稱信道將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣[P]k是對稱矩陣。它們滿定對稱性,所以P1所對應(yīng)的信道為準對稱信道。

第三十九頁，共六十頁，2022年，8月28日39準對稱信道的信道容量準對稱信道準對稱信道容量第四十頁，共六十頁，2022年，8月28日40準對稱信道的信道容量當輸入分布為等概率時：其中n是輸入符號集的個數(shù),(p1,p2,…pm)為準對稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個互不相交的子集。Nk是第k個子矩陣Pk中行元素之和,Mk是第k個子矩陣Pk中列元素之和。

第四十一頁，共六十頁，2022年，8月28日41例：設(shè)信道傳遞矩陣為

計算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

第四十二頁，共六十頁，2022年，8月28日3.2.3準對稱DMC信道例第四十三頁，共六十頁，2022年，8月28日3.2.3準對稱DMC信道例.求信道容量第四十四頁，共六十頁，2022年，8月28日3.2.4一般DMC信道一般DMC信道

一般離散信道的平均互信息I(X;Y)達到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C

對于所有滿足p(ai)>0條件的II(ai;Y)

C

對于所有滿足p(ai)=0條件的I

當信道平均互信息達到信道容量時，輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息，只是概率為零的符號除外.第四十五頁，共六十頁，2022年，8月28日3.3離散序列信道及容量設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道XYp(Y|X)對于無記憶離散序列信道,其信道轉(zhuǎn)移概率為僅與當前輸入有關(guān)。若信道是平穩(wěn)的第四十六頁，共六十頁，2022年，8月28日46定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為則存在

定理：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即則存在

第四十七頁，共六十頁，2022年，8月28日47若信源與信道都是無記憶的L次擴展信道的信道容量當信道平穩(wěn)時:

一般情況下:

擴展信道:如果對離散單符號信道進行L次擴展，就形成了L次離散無記憶序列信道第四十八頁，共六十頁，2022年，8月28日483.3離散序列信道及其容量

111X{00,01,10,11}，Y{00,01,10,11}，二次擴展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2同理可得其他轉(zhuǎn)移概率0010110100011011例.BSC信道二次擴展第四十九頁，共六十頁，2022年，8月28日493.3離散序列信道及其容量

1111若p＝0.1，則C2＝2－0.938＝1.062比特/序列

C1=0.531bit/序列

轉(zhuǎn)移概率矩陣第五十頁，共六十頁，2022年，8月28日50獨立并聯(lián)信道

設(shè)有L個信道,它們的輸入、輸出分別是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一個信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無關(guān)。獨立并聯(lián)信道的信道容量

X1X2XLY1Y2YL第五十一頁，共六十頁，2022年，8月28日513.4

連續(xù)信道及其容量連續(xù)信道的容量不容易計算。當信道為加性連續(xù)信道時,情況簡單一些。設(shè)信道的輸入和輸出信號是隨機過程x(t)和y(t)

y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪聲

一個受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：信道n(t)x(t)y(t)第五十二頁，共六十頁，2022年，8月28日52高斯白噪聲加性信道單位時間的信道容量這就是著名的香農(nóng)公式

限時限頻限功率加性高斯白噪聲信道第五十三頁，共六十頁，2022年，8月28日533.4 連續(xù)信道及其容量

例電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝100，求信道的容量

第五十四頁，共六十頁，2022年，8月28日例一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達到相同的信道容量，