信息論與編碼zjh09zjh第三章1課件

信道與信道容量第三章信道是通信系統(tǒng)中的重要部分，是傳輸信息的載體，其任務(wù)是以信號方式傳輸信息、存儲信息。因而研究信道就是研究信道中理論上能夠傳輸或存儲的最大信息量，及信道容量問題。7/26/202313.1信道的基本概念3.2離散單個符號信道及其容量3.3離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配內(nèi)容7/26/202323.1信道的基本概念研究信道容量主要考慮信道中干擾的影響，由于信道中存在的干擾使輸出信號與輸入信號之間沒有固定的函數(shù)關(guān)系，只有統(tǒng)計依賴關(guān)系，因此可以通過研究分析輸入輸出信號的統(tǒng)計特性來研究信道。7/26/202333.1.1信道的分類（1）根據(jù)用戶數(shù)量可分為單用戶信道：一個輸入端,一個輸出端,單向通信信道。多用戶信道：雙向通信，三個或更多個用戶之間相互通信的情況。（2）根據(jù)輸入端與輸出端的關(guān)系可分為無反饋信道：輸出端信號不反饋到輸入端，輸出信號對輸入信號沒有影響。反饋信道：輸出信號通過一定途徑反饋到輸入端，致使輸入端的信號發(fā)生變化。（3）根據(jù)信道的統(tǒng)計特性是否隨時間變化分為：固定參數(shù)信道：信道的統(tǒng)計特性不隨時間變化。光纖、電纜信道。時變參數(shù)信道：信道的統(tǒng)計特性隨時間變化。無線電信道的參數(shù)會因天氣、周圍環(huán)境的變化而發(fā)生較大變化。

7/26/20234（4）根據(jù)信道中所受噪聲種類可分為：隨機(jī)差錯信道：噪聲獨立隨機(jī)的影響每個傳輸碼元，如以高斯白噪聲為主體的信道。突發(fā)差錯信道：噪聲、干擾的前后影響是前后相關(guān)的，錯誤也是成串出現(xiàn)的。（5）按輸入/輸出信號在幅度和時間上的取值:離散信道：輸入和輸出的隨機(jī)序列取值都是離散的信道連續(xù)信道：輸入和輸出的隨機(jī)序列取值都是連續(xù)的信道半離散(半連續(xù))信道：輸入變量取值離散而輸出變量取值連續(xù)或輸入變量取值連續(xù)而輸出變量取值離散波形信道：信道的輸入和輸出都是一些時間上連續(xù)的隨機(jī)信號。廣義的信道可以指簡單的一段線路，也可以指包含了設(shè)備的復(fù)雜系統(tǒng)，即使在同一個通信系統(tǒng)中，也可以有不同的劃分，當(dāng)然對不同的劃分，信道信號呈現(xiàn)出不同的特點。7/26/20235信道XYp(Y|X)3.1.2信道參數(shù)設(shè)信道的輸入X=(X1,X2…Xi,…),Xi

∈{a1…an}，輸出Y=(Y1,Y2…Yj,…),Yj

∈{b1…bm}，條件概率p(Y|X)描述輸入/輸出的統(tǒng)計依賴關(guān)系,在分析信道問題時，該條件概率通常叫做轉(zhuǎn)移概率。7/26/20236信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:1）無干擾(無噪聲)信道2）有干擾無記憶信道每個輸出信號只與當(dāng)前輸入信號之間有轉(zhuǎn)移概率關(guān)系，而與其他非該時刻的輸入信號、輸出信號都無關(guān)也就是無記憶。根據(jù)信道是否存在干擾以及有無記憶，可將信道分為：信道的輸出信號Y與輸入信號X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:7/26/202370101pp1-p1-p無錯誤傳輸?shù)母怕蕚鬏敯l(fā)生錯誤的概率（1）二進(jìn)制離散信道BSC輸入符號X取值{0,1}；輸出符號Y取值{0,1}，這是一種對稱的二進(jìn)制輸入、二進(jìn)制輸出信道。所以叫做二進(jìn)制對稱信道(binarysymmetricchannel，BSC），輸出比特僅與對應(yīng)的一個輸入比特有關(guān)，因而是無記憶的。信道轉(zhuǎn)移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p由輸入輸出信號的符號數(shù)目（等于2、大于2還是趨于∞），又可進(jìn)一步區(qū)分出如下信道模型：7/26/20238a1a2anb1b2bm::::::p11p12p21p22pnmpij=p(bj|ai)（2）離散無記憶信道DMC信道輸入是n元符號，X∈{a1,a2,…,an}，信道輸出是m元符號，Y∈{b1,b2,…,bm}轉(zhuǎn)移矩陣7/26/20239轉(zhuǎn)移概率矩陣已知X，信道輸出Y表現(xiàn)出來的統(tǒng)計特性完全描述了信道的統(tǒng)計特性,其中有些概率是信道干擾引起的錯誤概率,有些是正確傳輸?shù)母怕?/26/202310p(ai|bj):后向概率已知信道輸出端接收到符號bj但發(fā)送的輸入符號為ai的概率。反信道轉(zhuǎn)移概率矩陣已知Y,信道輸入X表現(xiàn)出來的統(tǒng)計特性7/26/202311（3）離散輸入、連續(xù)輸出信道由離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù)p(y/X=xi),i=0,1,…,q-1來決定。式中G是一個均值為零，方差為的高斯隨機(jī)變量。當(dāng)給定后，Y是一個均值為ai，方差為的高斯隨機(jī)變量，即其概率密度函數(shù)為

高斯白噪聲信道

7/26/202312（4）波形信道其輸入是模擬波形，其輸出也是模擬波形。對于加性噪聲單符號信道可表示為：

y(t)＝x(t)+n(t)

3）有干擾有記憶信道實際信道中，當(dāng)信道特性不理想，存在碼間干擾，輸出符號不但與當(dāng)前的輸入信號有關(guān)，還與以前的輸入信號有關(guān)。處理方法：（1）將記憶很強(qiáng)的L個符號當(dāng)矢量符號，各個矢量符號之間認(rèn)為是無記憶的，L越大誤差越小。

（2）將轉(zhuǎn)移概率p(Y/X)看成馬爾可夫鏈的形式，處理方法很復(fù)雜，取一階時稍簡單。7/26/202313對于固定信道參數(shù)的信道，信道容量是一個定值，但是在傳輸信息時信道能否提供其最大傳輸能力，則取決與輸入端的概率分布我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息，是關(guān)于輸入符號分布概率p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的函數(shù)，對于某特定信道，轉(zhuǎn)移概率p(yj/xi)，已確定，則互信息就是關(guān)于輸入符號分布概率p(xi)的上凸函數(shù)，也就是可以找到某種概率分布p(xi)，使I(X/Y)達(dá)到最大，該最大值就是信道所能傳送的最大信息量，即信道容量。（page25）3.1.3信道容量的定義將信道中平均每個符號所能傳送的信息量定義為信道的信息傳輸率R，即R=I(X;Y)=H(X)-H(X/Y)bit/符號若已知平均傳輸一個符號所需時間為t(s)，則信道在單位時間內(nèi)平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩篟t=I(X;Y)/t，單位為bit/s。C的單位是信道上每傳送一個符號（每使用一次信道）所能攜帶的比特數(shù)（信息量），即bit/每符號7/26/2023143.2離散單個符號信道及其容量信道的輸入和輸出均以單個符號的形式，或者以序列的形式但符號之間不相關(guān)，即無記憶。這類信道分析起來較為簡單。7/26/2023153.2.1無干擾離散信道Xa1b1Ya2

b2a3

b3111設(shè)信道的輸入X∈A={a1…an},輸出Y∈B={b1…bm}（1）無噪無損信道輸入和輸出符號之間有確定的一一對應(yīng)關(guān)系Xa1b1Ya2

b2an-1bn-1an

bn11H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)=H(Y)，當(dāng)輸入符號分布為等概時，信道的傳輸能力可達(dá)信道容量C=maxI(X;Y)=logn。7/26/202316Xa1Ya2

b1a3a4b2a511111（2）無噪有損信道多個輸入變成一個輸出(n＞m)噪聲熵H(Y|X)＝0損失熵H(X|Y)≠0輸出Y是輸入X的確定函數(shù),但不是一一對應(yīng),而是多一對應(yīng)關(guān)系。信道中接收到符號Y后不能完全消除對X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。7/26/202317X

b1Ya1b2b3a2b4b51/31/31/31/43/4計算得同理由（3）有噪無損信道一個輸入對應(yīng)多個輸出(n＜m)接收到符號Y后,對發(fā)送的X符號是完全確定的。噪聲熵H(Y|X)≠0損失熵H(X|Y)=0當(dāng)輸入端等概率分布時可以達(dá)到信道容量7/26/2023183.2.2對稱DMC（離散無記憶）信道：每一行都是由同一集{q1,q2,…qm}的諸元素不同排列組成——輸入對稱。每一列都是由{p1,p2,…pn}集的諸元素不同排列組成——輸出對稱。如果輸入輸出都對稱，則稱為對稱DMC信道。滿足對稱性,所對應(yīng)的信道是對稱離散信道。不具有對稱性,因而所對應(yīng)的信道不是對稱離散信道。7/26/202319對稱離散信道的平均互信息為7/26/202320對稱DMC信道的容量：上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量{p1,p2,…pm}和輸出符號集的個數(shù)m有關(guān)。7/26/202321例3-1信道容量為某對稱離散信道的信道矩陣為

7/26/202322強(qiáng)對稱信道(均勻信道)若輸入符號和輸出符號個數(shù)相同,都等于n,且信道矩陣為信道矩陣中各列之和也等于1強(qiáng)對稱信道的信道容量：7/26/202323串聯(lián)信道例3-4

設(shè)有兩個離散BSC信道,串接如圖,兩個BSC信道的轉(zhuǎn)移矩陣為:串聯(lián)信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp1-ppX0Y111-p1-p1-pp1-ppX00ZY111-p1-p1-pp1-ppX0Y111-p1-p1-pp1-pp7/26/202324串聯(lián)信道求得:在實際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。X00ZY11pp1-p1-p1-p1-p7/26/202325串聯(lián)信道由信息不增原理信道2信道m(xù)信道1…可以看出,串接的信道越多,其信道容量可能會越小,當(dāng)串接信道數(shù)無限大時,信道容量可能會趨于0XYZ7/26/2023263.2.3準(zhǔn)對稱DMC信道準(zhǔn)對稱信道轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣[P]k是對稱矩陣。它們滿定對稱性,所以P1所對應(yīng)的信道為準(zhǔn)對稱信道。

7/26/202327準(zhǔn)對稱信道的信道容量準(zhǔn)對稱信道準(zhǔn)對稱信道容量7/26/202328準(zhǔn)對稱信道的信道容量當(dāng)輸入分布為等概率時：其中n是輸入符號集的個數(shù),(p1,p2,…pm)為準(zhǔn)對稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個互不相交的子集。Nk是第k個子矩陣Pk中行元素之和,Mk是第k個子矩陣Pk中列元素之和。

7/26/202329例：設(shè)信道傳遞矩陣為

計算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

7/26/2023303.2.4一般DMC信道定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C對于所有ai其p(ai)＞0I(ai;Y)≤C對于所有ai其p(ai)=0上式說明：當(dāng)信道的平均互信息I(X;Y)達(dá)到信道容量時,輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息,只是概率為0的除外。7/26/2023313.3離散序列信道及容量設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道XYp(Y|X)對于無記憶離散序列信道,其信道轉(zhuǎn)移概率為僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的7/26/202332定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為則存在

定理：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即則存在

7/26/202333離散序列信道及容量若信源與信道都是無記憶的L次擴(kuò)展信道的信道容量當(dāng)信道平穩(wěn)時:

一般情況下:

7/26/202334例3-9.BSC信道二次擴(kuò)展00X01101100011011Y轉(zhuǎn)移概率矩陣2次擴(kuò)展信道的信道容量

若p=0.1則C2=(2－0.938)bit/序列=1.062bit/序列C1=0.531bit/序列7/26/202335獨立并聯(lián)信道設(shè)有L個信道,它們的輸入、輸出分別是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一個信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無關(guān)。獨立并聯(lián)信道的信道容量X1X2XLY1Y2YL7/26/202336連續(xù)信道的容量不容易計算。當(dāng)信道為加性連續(xù)信道時,情況簡單一些。設(shè)信道的輸入和輸出信號是隨機(jī)過程x(t)和y(t)y(t)=x(t)