第三章信道及信道容量

1《信息論與編碼》第3章信道和信道容量

2《信息論與編碼》主要內(nèi)容3.1信道的基本概念3.2離散單個(gè)符號(hào)信道及其容量3.3離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配3《信息論與編碼》3.1信道分類和表示參數(shù)重點(diǎn)：信道矩陣4《信息論與編碼》

信道中存在的干擾使輸出信號(hào)與輸入信號(hào)之間沒(méi)有固定的函數(shù)關(guān)系，只有統(tǒng)計(jì)依賴的關(guān)系。因此可以通過(guò)研究分析輸入輸出信號(hào)的統(tǒng)計(jì)關(guān)系來(lái)研究信道。一、信道的分類1、根據(jù)用戶數(shù)量分為① 單用戶信道：只有一個(gè)輸入端和一個(gè)輸出端，信息單向傳輸。② 多用戶信道：輸入端和輸出端至少有一方存在兩個(gè)以上的用戶，信息雙向傳輸。2、根據(jù)信道輸入端和輸出端的關(guān)系分為① 無(wú)反饋信道：輸出端對(duì)輸入端沒(méi)有影響。② 反饋信道：輸出信號(hào)通過(guò)一定的途徑反饋到輸入端，致使輸入端信號(hào)發(fā)生變化。5《信息論與編碼》3、根據(jù)信道參數(shù)與時(shí)間的關(guān)系分為① 固定參數(shù)信道：信道參數(shù)（統(tǒng)計(jì)特性）不隨時(shí)間的變化而變化。例如光纖、電纜等信道。② 時(shí)變參數(shù)信道：信道參數(shù)隨時(shí)間變化而變化。例如無(wú)線信道。4、根據(jù)信道中所受噪聲種類的不同分為① 隨機(jī)差錯(cuò)信道：噪聲獨(dú)立隨機(jī)地影響每個(gè)傳輸碼元。例如以白噪聲為主體的信道。② 突發(fā)差錯(cuò)信道：干擾的影響是前后相關(guān)的，錯(cuò)誤成串出現(xiàn)。例如衰落信道、碼間干擾信道。6《信息論與編碼》5、根據(jù)信道參數(shù)與時(shí)間的關(guān)系分為①離散信道：輸入輸出信號(hào)在時(shí)間、幅度上均為離散。②連續(xù)信道：信號(hào)幅度連續(xù)、時(shí)間離散。③半離散半連續(xù)信道：輸入輸出信號(hào)中一個(gè)離散、一個(gè)連續(xù)。④波形信道：在時(shí)間和幅度上均連續(xù)，一般可以用隨機(jī)過(guò)程來(lái)表示。限時(shí)限頻的隨機(jī)過(guò)程可以分解為離散的隨機(jī)序列，所以波形信道可以被分解為離散信道、連續(xù)信道和半離散半連續(xù)信道。7《信息論與編碼》二、離散信道的信道參數(shù)1、基本離散信道（單符號(hào)離散信道）輸入輸出信號(hào)都是取值離散的單個(gè)隨機(jī)變量，可用

信道轉(zhuǎn)移概率來(lái)描述。其中并滿足：信道轉(zhuǎn)移概率：條件概率其中,ai為信道輸入，bj為信道輸出。8《信息論與編碼》單符號(hào)離散信道可以用圖形描述如下9《信息論與編碼》

信道矩陣的每一行之和必定等于1。10《信息論與編碼》2、一般離散信道（多維離散信道）輸入輸出信號(hào)都是平穩(wěn)隨機(jī)矢量，其數(shù)學(xué)模型可用概率空間[X，p(Y/X)，Y]來(lái)描述。其中為輸入信號(hào)，為輸出信號(hào)。X中Y中其中P(Y/X)是信道的傳遞概率，反映輸入和輸出信號(hào)之間統(tǒng)計(jì)依賴關(guān)系。根據(jù)信道是否存在干擾以及有無(wú)記憶，將信道分為：1）無(wú)干擾（噪聲）信道：2）有干擾無(wú)記憶信道：3）有干擾有記憶信道：11《信息論與編碼》1）無(wú)干擾（噪聲）信道：已知信道輸入X就知道信道輸出Y。①無(wú)噪無(wú)損信道： 疑義度H（X/Y）=0，噪聲熵H（Y/X）=0②無(wú)噪有損信道： 疑義度H（X/Y）〉0，噪聲熵H（Y/X）=0③有噪無(wú)損信道（嚴(yán)格意義上，不能稱為無(wú)噪聲信道）： 疑義度H（X/Y）=0，噪聲熵H（Y/X）〉012《信息論與編碼》①無(wú)噪無(wú)損信道：輸入輸出一一對(duì)應(yīng)，信道矩陣為單位陣．13《信息論與編碼》②無(wú)噪有損信道（確定信道）：H（X/Y）>0，H（Y/X）=0信道輸出端接收到某個(gè)bj后不能判定是哪個(gè)輸入符號(hào)aj14《信息論與編碼》③有噪無(wú)損信道：H（X/Y）=0，H（Y/X）〉015《信息論與編碼》2）有干擾無(wú)記憶信道：每個(gè)信道輸出只與當(dāng)前輸入信號(hào)之間有轉(zhuǎn)移概率關(guān)系，而與其它時(shí)刻的輸入輸出信號(hào)無(wú)關(guān)。這種情況下，不需要矢量形式，只要分析單個(gè)符號(hào)的轉(zhuǎn)移概率p(yi/xi)即可。①離散無(wú)記憶信道（DMC）②二進(jìn)制對(duì)稱信道（BSC）16《信息論與編碼》①離散無(wú)記憶信道(DMC)：輸入和輸出信號(hào)的符號(hào)數(shù)大于2但為有限值,即,

②二進(jìn)制對(duì)稱信道（BSC）：輸入和輸出信號(hào)的符號(hào)數(shù)都是2，即X∈A={0,1}和Y∈B={0，1}的對(duì)稱信道。17《信息論與編碼》3）有干擾有記憶信道：每個(gè)信道輸出不但與當(dāng)前輸入信號(hào)之間有轉(zhuǎn)移概率關(guān)系，而且與其它時(shí)刻的輸入輸出信號(hào)也有關(guān)。在實(shí)際的數(shù)字信道中，當(dāng)信道特性不理想，存在碼間干擾時(shí)，輸出信號(hào)不但與當(dāng)前的輸入信號(hào)有關(guān)，還與以前的輸入信號(hào)有關(guān)。常用的處理方法有兩種：①將記憶很強(qiáng)的L個(gè)符號(hào)當(dāng)作矢量符號(hào)，各矢量符號(hào)之間認(rèn)為無(wú)記憶。這時(shí)會(huì)引入誤差，L越大，誤差越小。②將轉(zhuǎn)移概率看作記憶長(zhǎng)度有限的馬爾科夫鏈的形式，這種處理方法很復(fù)雜，通常取一階時(shí)稍簡(jiǎn)單。18《信息論與編碼》三、離散輸入、連續(xù)輸出信道信道輸入符號(hào)選自一個(gè)有限的、離散的輸入符號(hào)集X∈{a1,a2,… ,an}，而信道輸出Y∈{-∞，+∞},這種信道模型就稱為離散時(shí)間無(wú)記憶信道。它的特性由離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù)來(lái)決定。這類信道中最重要的就是加性高斯白噪聲（AWGN）信道

Y=X+G

式中，G是一個(gè)零均值，方差為σ2的高斯隨機(jī)變量。當(dāng)

X=ai給定后，Y是一個(gè)均值為ai，方差為σ2的高斯隨機(jī)變量。19《信息論與編碼》四、波形信道

當(dāng)信道輸入和輸出都是隨機(jī)過(guò)程{x(t)}和{y(t)}時(shí)，該信道就稱為波形信道，在實(shí)際模擬通信系統(tǒng)中，信道都是波形信道。

如果波形信道為頻寬受限信道，在有限的觀察時(shí)間內(nèi)，輸入和輸出的隨機(jī)過(guò)程可以化為L(zhǎng)個(gè)時(shí)間離散，取值連續(xù)的平穩(wěn)隨機(jī)序列。

這樣，波形信道化為多維連續(xù)信道，信道轉(zhuǎn)移概率密度函數(shù)為其中：20《信息論與編碼》如果多維連續(xù)信道的轉(zhuǎn)移概率密度函數(shù)滿足

這樣的信道稱為連續(xù)無(wú)記憶信道即在任一時(shí)刻輸出變量只與對(duì)應(yīng)時(shí)刻的輸入變量有關(guān)，與以前時(shí)刻的輸入輸出都無(wú)關(guān)。一般情況下，上式不能滿足，也就是連續(xù)信道任一時(shí)刻的輸出變量與以前時(shí)刻的輸入輸出有關(guān)，則稱為連續(xù)有記憶信道。21《信息論與編碼》噪聲分為兩類：加性噪聲和乘性噪聲，分析較多的是加性噪聲信道(噪聲與信號(hào)是相加的關(guān)系，通常相互獨(dú)立。)單符號(hào)加性噪聲信道可以表示為：x(t)是帶限信號(hào)，y(t)是輸出值，n(t)是加性噪聲過(guò)程的一個(gè)樣本函數(shù)

說(shuō)明：

條件熵Hc(Y/X)是由于噪聲引起的，它等于噪聲信源的熵Hc(n)。所以稱條件熵Hc(Y/X)為噪聲熵。22《信息論與編碼》

加性多維連續(xù)信道中，輸入矢量、輸出矢量和噪聲矢量的關(guān)系表示為：

以后主要討論加性信道，噪聲源則主要是加性高斯白噪聲。23《信息論與編碼》五、信道模型的選取在分析問(wèn)題時(shí)選用何種信道模型完全取決于分析者的目的

①如果感興趣的是設(shè)計(jì)和分析編碼器和譯碼器的性能，常采用DMC信道模型或其簡(jiǎn)化形式BSC信道模型。②如果分析性能的理論極限，則多采用離散輸入、連續(xù)輸出信道模型。③如果設(shè)計(jì)和分析數(shù)字調(diào)制器和解調(diào)器的性能，則可采用波形信道模型。

因?yàn)楸緯?shū)后面的內(nèi)容主要討論編碼和譯碼，所以DMC信道模型使用最多。24《信息論與編碼》作業(yè)：3-125《信息論與編碼》3.2離散單個(gè)符號(hào)信道及其容量

一、幾個(gè)定義

二、干擾離散信道的信道容量

三、對(duì)稱DMC信道

四、準(zhǔn)對(duì)稱DMC信道

五、一般DMC信道

六、串聯(lián)信道的信道容量重點(diǎn)：無(wú)干擾信道、對(duì)稱信道和準(zhǔn)對(duì)稱信道的信道容量26《信息論與編碼》一、幾個(gè)定義

1、信息傳輸率Ｒ：信道中平均每個(gè)符號(hào)所能傳送的信息量2、信息傳輸速率Ｒt：信道中單位時(shí)間平均傳送的信息量,即收信者在單位時(shí)間內(nèi)接收到的信息量。單位：bit/秒

27《信息論與編碼》3、信道容量C

1）理論基礎(chǔ)：對(duì)于固定的信道，平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。也就是說(shuō)，存在一個(gè)使某一特定信道的平均互信息達(dá)到極大值的信源分布，該極大值可以用來(lái)表述信道傳送信息的最大能力，即信道容量。28《信息論與編碼》2）信道容量的定義

對(duì)于某特定信道，可找到某種信源的概率分布p(ai)，使得I（X；Y）達(dá)到最大。注：對(duì)于特定的信道，信道容量是個(gè)定值，但是在傳輸信息時(shí)信道能否提供其最大傳輸能力，則取決于輸入端的概率分布。一般相應(yīng)的輸入概率分布稱為最佳輸入分布。29若平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛椋杭葱诺纻鬏斔俾?。信道容量C已與輸入信源的概率分布無(wú)關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。所以，信道容量是完全描述信道特性的參量，是信道能夠傳輸?shù)淖畲笮畔⒘俊?0例：二進(jìn)制對(duì)稱信道設(shè)p(0)=1/2時(shí)，31《信息論與編碼》二、無(wú)干擾離散信道的信道容量1、無(wú)噪無(wú)損信道：輸入輸出一一對(duì)應(yīng)，信道矩陣為單位陣．疑義度H(X/Y)=0，噪聲熵H(Y/X)=032《信息論與編碼》2、無(wú)噪有損信道（確定信道）：

H（X/Y）>0，H（Y/X）=0信道輸出端接收到某個(gè)bj后不能判定是哪個(gè)輸入符號(hào)ai33《信息論與編碼》3、有噪無(wú)損信道：H（X/Y）=0，H（Y/X）>034我們可以進(jìn)一步用維拉圖來(lái)表述有噪無(wú)損信道和無(wú)噪有損信道中平均互信息、損失熵、噪失熵以及信源熵之間的關(guān)系。有噪無(wú)損信道無(wú)噪有損信道I(X;Y)I(X;Y)H（X）=I（X；Y）H（Y）=I（X；Y）H（Y）H（X）H（Y/X）H（X/Y）35綜合上述三種情況，若嚴(yán)格區(qū)分的話，凡損失熵等于零的信道稱為無(wú)損信道；凡噪聲熵等于零的信道稱為無(wú)噪信道，而前面討論的一一對(duì)應(yīng)的無(wú)噪信道則為無(wú)噪無(wú)損信道。對(duì)于無(wú)損信道，其信息傳輸率R就是輸入信源X輸出第個(gè)符號(hào)攜帶的信息量（信源熵H（X）），所以其信道容量為式中假設(shè)輸入信源X的符號(hào)共有r個(gè)符號(hào)，所以等概率分布時(shí)信源熵H（X）最大。36同理，對(duì)于無(wú)噪信道，信道容量為式中假設(shè)輸出信源Y的符號(hào)共有s個(gè)符號(hào)，所以等概率分布時(shí)信源熵H（Y）最大。而且一定能找到一種輸入分布使輸出符號(hào)Y達(dá)到等概分布。37《信息論與編碼》三、對(duì)稱DMC信道1、定義：如果轉(zhuǎn)移概率矩陣P的每一行包含同樣元素，則為輸入對(duì)稱矩陣；如果轉(zhuǎn)移概率矩陣P的每一列包含同樣元素，則為輸出對(duì)稱矩陣；如果輸入輸出都對(duì)稱，則為對(duì)稱DMC信道。例如:38若輸入符號(hào)和輸出符號(hào)個(gè)數(shù)相同，都等于r,且信道矩陣為則此信道稱為強(qiáng)對(duì)稱信道或均勻信道。這類信道中的錯(cuò)誤概率為p,對(duì)稱地平均分配給r-1個(gè)輸出符號(hào)。它是對(duì)稱離散信道的一類特例。二元對(duì)稱信道就是r=2的均勻信道。對(duì)均勻信道，其信道矩陣中各列之和也等于1（一般信道的信道矩陣中各列之和不一定等于1）39《信息論與編碼》2、信道容量

對(duì)稱離散信道的平均互信息為I(X;Y)=H(Y)-H(Y/X)，而這一項(xiàng)是固定X=x時(shí)對(duì)Y求和，即對(duì)信道矩陣的行求和。由于信道的對(duì)稱性，所以H(Y/X=x)與x無(wú)關(guān)，為一常數(shù)，即40這就變換成求一種輸入分布P(x)使H(Y)取最大值的問(wèn)題了。現(xiàn)已知Y的符號(hào)集共有s個(gè)符號(hào)，則H(Y)<=logs。只有當(dāng)P(y)=1/s（等概率分布時(shí)），H(Y)才達(dá)到最大值logs。一般情況下，不一定存在一種輸入符號(hào)的概率分布P(x)，能使輸出符號(hào)達(dá)到等概率分布。但對(duì)于對(duì)稱離散信道，其信道矩陣中每一列都是由同一概率集的諸元素的不同排列組成，所以保證了當(dāng)輸入符號(hào)是等概率分布，即P(x)=1/r時(shí)，輸出符號(hào)Y一定也是等概率分布，這是H(Y)=logs。41由此得對(duì)稱離散信道的信道容量為42《信息論與編碼》例題：已知信道轉(zhuǎn)移矩陣為計(jì)算信道容量。解：

在這個(gè)信道中，每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮畔?.082比特。而且只有當(dāng)信道的輸入符號(hào)是等概率分布時(shí)才能達(dá)到這個(gè)最大值。43《信息論與編碼》例題：已知信道轉(zhuǎn)移矩陣為該信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1-ε，錯(cuò)誤概率ε被均勻分給n-1個(gè)輸出符號(hào)，此類信道稱為強(qiáng)對(duì)稱信道或均勻信道，計(jì)算信道容量。解：

44二元對(duì)稱信道就是r=2的均勻信道。由式子可計(jì)算得到信道容量是45《信息論與編碼》四、準(zhǔn)對(duì)稱DMC信道1、定義：如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移概率矩陣的每一行包含同樣元素，而各列的元素可以不同，則為準(zhǔn)對(duì)稱矩陣。例如:462、信道容量準(zhǔn)對(duì)稱DMC信道信道容量的求解方法：方法一：根據(jù)信道容量的定義式來(lái)計(jì)算。方法二：將轉(zhuǎn)移概率矩陣劃分為若干個(gè)互不相交的對(duì)稱的子集。根據(jù)下面的公式來(lái)計(jì)算。47當(dāng)輸入等概分布時(shí)，以上兩式都與x無(wú)關(guān)。48《信息論與編碼》例題：已知信道轉(zhuǎn)移矩陣為計(jì)算信道容量。方法一：該信道為準(zhǔn)對(duì)稱DMC信道，計(jì)算信道容量即為輸入等概時(shí)的平均互信息量。由信道轉(zhuǎn)移矩陣可得條件熵輸入等概時(shí)，由信道轉(zhuǎn)移矩陣可得聯(lián)合概率：所以容易得到輸出符號(hào)的概率分別0.4，0.4，0.2。所以49《信息論與編碼》例題：已知信道轉(zhuǎn)移矩陣為計(jì)算信道容量。方法二：將上面的信道矩陣分解為兩個(gè)子集：根據(jù)下面的公式可以求得信道容量：因?yàn)椋核孕诺廊萘繛?50作業(yè)設(shè)信道轉(zhuǎn)移矩陣為（1）求信道容量。（2）若矩陣P中的p=0，則所得到的是二元純對(duì)稱刪除信道，計(jì)算此信道的信道容量。51解（1）由轉(zhuǎn)移矩陣得到得信道容量為（2）若p=0,則得信道容量為C=1-q(bit/符號(hào))52《信息論與編碼》五、一般DMC信道

如何求得一般DMC信道的信道容量？說(shuō)明：①該結(jié)論只給出了達(dá)到信道容量C時(shí)輸入符號(hào)概率p(ai)分布的充要條件，并沒(méi)有給出具體的計(jì)算公式。②一般情況下，最佳分布不一定是唯一的，只要使得互信息量最大即可。53由Blahut-Arimoto算法，得出一結(jié)論：當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入信源符號(hào)集中每一個(gè)信源符號(hào)x對(duì)輸出端Y提供相同的互信息，只是概率為0的除外。54例：設(shè)信道如下圖，輸入符號(hào)集為{0，1，2}，輸出符號(hào)集為{0，1}。信道轉(zhuǎn)移矩陣為：這個(gè)信道不是對(duì)稱信道。但可得用B-A算法，求其信道容量X1Y1/21/221100155分析：仔細(xì)考察此信道，可設(shè)想若輸入符號(hào)1的概率分布等于零，該信道就成了一一對(duì)應(yīng)的信道，接收到Y(jié)后對(duì)輸入端X是完全確定的。若輸入符號(hào)1的概率分布不等于零，就會(huì)增加不確定性。所以，首先假設(shè)輸入概率分布為p(0)=p(2)=1/2,p(1)=0,然后檢查它是否滿足B-A定理。若滿足則該分布就是我們要求的最佳輸入分布，若不滿足可再另找最佳分布。于是，解：可見(jiàn)，此分布滿足B-A定理：因此，求得這個(gè)信道的信道容量為：C=log2=1(比特/符號(hào))而達(dá)到信道容量的輸入概率分布就是前面假設(shè)的分布p(0)=p(2)=1/2,p(1)=056例：設(shè)離散信道如下圖所示，輸入符號(hào)集為輸出符號(hào)集為.信道矩陣為求信道容量。a1Xa2a3a4a5Yb1b2110.50.51157由于輸入符號(hào)a3傳遞到b1和b2是等概率的，所以a3可以省去.而且a1，a2與a4，a5都分別傳遞到b1和b2，因此可只取a1和a5.所以設(shè)輸入概率分布p(a1)=p(a5)=1/2,p(a2)=p(a3)=p(a4)=0.可計(jì)算得p(b1)=p(b2)=1/2.于是按B-A定理，有可見(jiàn)，此分布滿足B-A定理：因此，求得這個(gè)信道的信道容量為：C=log2=1(比特/符號(hào))而達(dá)到信道容量的輸入概率分布就是前面假設(shè)的分布p(a1)=p(a5)=1/2,p(a2)=p(a3)=p(a4)=058若設(shè)輸入概率分布p(a1)=p(a2)=p(a4)=p(a5)=1/4,p(a3)=0.同理，可計(jì)算得p(b1)=p(b2)=1/2.于是按B-A定理，也得于是輸入分布p(a1)=p(a2)=p(a4)=p(a5)=1/4,p(a3)=0也是最佳分布。當(dāng)然還可找到此信道其他的最佳輸入分布?？梢?jiàn)，這信道的最佳輸入分布不是惟一的。從僅直接與信道傳遞概率及輸出概率分布有關(guān)，因而達(dá)到信道容量的輸入概率分布不是惟一的，但輸出概率分布是惟一的.59作業(yè)設(shè)某信道的轉(zhuǎn)移概率矩陣為:(1)若p(a1)=1/3，求I(a1;Y);I(a2;Y);I(X;Y);(2)求該信道的容量和達(dá)到容量時(shí)的輸入、輸出分布60比特/符號(hào)比特/符號(hào)比特/符號(hào)該信道為準(zhǔn)對(duì)稱信道,達(dá)到信道容量時(shí),信道的輸入分布應(yīng)為等概分布,即:

對(duì)應(yīng)的輸出分布為:解(1)61此時(shí),輸入輸出平均互信息等于信道容量:或由

比特/符號(hào)62

平均互信息是輸入概率分布p(x)的上凸函數(shù)，因此極大值必定存在。在信道固定的條件下，平均互信息是r個(gè)變量的多元函數(shù)，且滿足約束條件，故可用拉格朗日乘子法來(lái)求這個(gè)條件極值。即在