信息理論基礎第四章信道及信道容量

信息理論基礎第四章信道及信道容量第一頁，共四十九頁，2022年，8月28日信道

——信息傳輸?shù)耐ǖ?/p>

與信源并列的另一個主要研究對象研究的主要內(nèi)容:

★信道的建模

★信道容量

★不同條件下充分利用信道容量的方法第二頁，共四十九頁，2022年，8月28日一.數(shù)學模型

干擾信道輸入信號x輸出信號yp(y|x)第一節(jié)信道模型及其分類p(y|x)：反映信道的統(tǒng)計特性，即輸入輸出的依賴關系，又稱信道的傳遞概率、轉(zhuǎn)移概率或傳輸概率。信道的數(shù)學模型：

{X，p(y|x)，Y}第三頁，共四十九頁，2022年，8月28日1.按其輸入/輸出信號在幅度和時間上的取值是離散或連續(xù)來分幅度時間信道名稱離散離散離散信道(discretechannel)，也稱數(shù)字信道(digitalchannel)連續(xù)離散連續(xù)信道(continuouschannel)連續(xù)連續(xù)模擬信道(analogchannel)，也稱波形信道(waveformchannel)離散連續(xù)理論、實用價值很小二.分類第四頁，共四十九頁，2022年，8月28日2.按其輸入/輸出之間關系的記憶性劃分無記憶信道：有記憶信道：3.按其輸入/輸出信號之間是否是確定關系來分有噪信道：無噪信道：在某一時刻信道的輸出消息僅與當前信道的輸入消息有關，而與之前時刻的信道輸入無關在任一時刻信道的輸出不僅與當前輸入有關，而且還與以前時刻輸入有關存在噪聲，不存在確定關系——實用價值大，研究的理想對象不存在噪聲，存在確定關系——實用價值小第五頁，共四十九頁，2022年，8月28日4.按其輸入/輸出信號個數(shù)來分兩端信道(兩用戶信道):只有一個輸入端和一個輸出端的單向通信的信道,又稱為單路信道.多端信道(多用戶信道):信道的輸入輸出至少有一個具有兩個或兩個以上的信號.多元接入信道廣播信道5.按信道的統(tǒng)計特性分恒參信道變參信道第六頁，共四十九頁，2022年，8月28日一.定義如果有

，則信道為平穩(wěn)的離散無記憶信道DMC。第二節(jié)離散無記憶信道DMC1.定義——輸入/輸出在幅度和時間上都是離散的，并且在某一時刻信道的輸出消息只與當前信道的輸入有關，而與之前時刻的信道輸入無關。2.數(shù)學模型

離散信道對任意N長的輸入、輸出序列有第七頁，共四十九頁，2022年，8月28日1.定義2.傳輸概率

p(y|x)——描述信道中干擾影響的大小二.單符號離散無記憶信道第八頁，共四十九頁，2022年，8月28日——完全反映信道的特性3.信道矩陣P4.信道輸出與輸入之間的關系

第九頁，共四十九頁，2022年，8月28日例4-1：其中：p表示傳輸中發(fā)生錯誤的概率二元對稱信道(BSC)(二進制對稱信道)第十頁，共四十九頁，2022年，8月28日

其中：p、q表示正確傳輸?shù)母怕?/p>

二元刪除信道(二進制刪除信道)第十一頁，共四十九頁，2022年，8月28日1.信道疑義度(損失熵)表示：由于信道的干擾，導致信道輸出端收到Y(jié)后，對輸入X仍然存在的平均不確定度。也可表示：由于信道干擾導致信息量的損失。信道X

Y三.信道疑義度和平均互信息第十二頁，共四十九頁，2022年，8月28日信道H(X|Y)

X

YH(X)

I(X;Y)表示：接收端收到Y(jié)后獲得的關于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X|Y)?定理1：

對于固定信道，I(X;Y)是信源概率分布p(x)的上凸函數(shù)。2.平均互信息定理2:

對于固定的信源分布，I(X;Y)是信道傳遞概率P(y|x)的下凸函數(shù)。

第十三頁，共四十九頁，2022年，8月28日例4-2：考慮二元對稱信道，其信源概率空間為信道XY（0，1）（0，1）求其平均互信息第十四頁，共四十九頁，2022年，8月28日解:應用全概率公式則有：第十五頁，共四十九頁，2022年，8月28日則平均互信息：當信道固定，即p為一個固定常數(shù)時，可得到I(X;Y)是信源輸出分布ω的上凸函數(shù)。

當信源固定，即ω是一個常數(shù)時,可得到I(X;Y)是信道傳遞概率p的下凸函數(shù)。當p=0.5時，I(X;Y)=0，在接收端未獲得信息量。

當ω=1/2時，即取極大值.第十六頁，共四十九頁，2022年，8月28日例4-3：擲色子，如果結(jié)果是1，2，3，4，則拋一次硬幣；如果結(jié)果是5、6，則拋兩次硬幣。試計算從拋硬幣的結(jié)果可以得到多少擲色子的信息量。解：設擲色子結(jié)果是1，2，3，4為事件X=0，結(jié)果是5、6為事件X=1；Y=0表示拋硬幣出現(xiàn)0次正面,Y=1表示拋硬幣出現(xiàn)1次正面,Y=2表示拋硬幣出現(xiàn)2次正面。信源概率空間為信道矩陣為輸出符號的概率空間為則有：第十七頁，共四十九頁，2022年，8月28日四.離散無記憶信道的N次擴展信道N次擴展信道信道第十八頁，共四十九頁，2022年，8月28日例4-4：求二元無記憶對稱信道的二次擴展信道。解：輸入擴展為：00，01，10，11輸出擴展為：00，01，10，11傳遞矩陣擴展為：請問：與I（X；Y）之間的關系？第十九頁，共四十九頁，2022年，8月28日

定理1:若信道的輸入、輸出分別為N長序列X和Y，且信道是無記憶的，即：用兩個定理回答這個問題定理2：若信道的輸入、輸出分別為N長序列X和Y，且信源是無記憶的，即：第二十頁，共四十九頁，2022年，8月28日由定理1和定理2當信源和信道都是無記憶時有：

當每個序列中的分量Xi取值于同一信源符號集，且具有同一種概率分布，則輸出Y的分量Yi也取值同一符號集，則各I(Xi；Yi)是相等的。即：對于N次擴展，則有第二十一頁，共四十九頁，2022年，8月28日一.級聯(lián)信道（串聯(lián)信道）信道1信道2XYZp(y|x)p(z|xy)第三節(jié)信道組合消息依次通過幾個信道串行傳輸：當信道不斷級聯(lián)時，信道的最終傳輸信息量趨于0串聯(lián)信道的總信道矩陣第二十二頁，共四十九頁，2022年，8月28日例4-5：下圖中的X、Y、Z滿足馬氏鏈，求該串聯(lián)信道的總信道矩陣。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：由圖可知第二十三頁，共四十九頁，2022年，8月28日——多個信道聯(lián)合起來使用12N并用信道

當待發(fā)送的消息比較多時，可用多個信道并行傳送，香農(nóng)稱之為平行信道有各自的輸入和輸出，最后總和。二.并聯(lián)信道第二十四頁，共四十九頁，2022年，8月28日信道1信道2信道N輸入并接信道

一個輸入多個輸出，且為相同的輸入。缺點是信道的利用率低，但可提高信息傳輸?shù)目煽啃浴Ｐ诺?信道2信道N和信道

傳輸信息時，每次只使用其中一個信道，它的信道矩陣：第二十五頁，共四十九頁，2022年，8月28日一.基本概念：1.信道容量C：信道能無錯誤地傳送的最大信息率第四節(jié)信道容量2.信道的信息傳輸率R

：信道中平均每符號所能傳送的信息量3.信道的信息傳輸速率：信道在單位時間內(nèi)平均傳輸信息量信道在單位時間內(nèi)傳輸?shù)淖畲笮畔⒘繛?/p>

第二十六頁，共四十九頁，2022年，8月28日例4-6：考慮二元對稱信道，其信源概率空間為求該信道的信道容量。解：信道的平均互信息

當ω=1-ω=1/2時，I(X;Y)取極大值，即接收到的信息量最大，則信道容量為：C=maxI(X;Y)=1-H(p)由此可知：信道容量只是傳遞概率的函數(shù)第二十七頁，共四十九頁，2022年，8月28日1.無損信道：一個輸入對應多個互不相交的輸出二.幾種特殊信道的信道容量H(Y|X)>0(稱噪聲熵)則：信道容量第二十八頁，共四十九頁，2022年，8月28日2.確定信道：一個輸出對應多個不相交的輸入

信道疑義度H(X|Y)>0

單位：比特/符號第二十九頁，共四十九頁，2022年，8月28日3.無損確定信道：輸入與輸出一一對應

H(Y|X)=0H(X|Y)=0則I(X;Y)=H(X)=H(Y)——信道中沒有損失

單位：比特/符號

可知：對于無噪信道求C的問題已從求I(X;Y)極值問題退化成求H(X)或H(Y)極值問題。第三十頁，共四十九頁，2022年，8月28日如果信道矩陣的每一行(列）都是第一行（列）元素的不同排列，則稱該信道為行（列）對稱信道。若信道矩陣中，每一行(或列)都是第一行(或第一列)的元素的不同排列，則稱為離散對稱信道?！獙ΨQ信道三.離散對稱信道—對稱信道1.定義：第三十一頁，共四十九頁，2022年，8月28日則稱此信道為均勻信道。（對稱信道的特例）如果對稱信道的輸入輸出符號個數(shù)相同，均為r，且信道中總的錯誤概率，平均分配給個輸出符號，即信道矩陣為注意：一般信道的信道矩陣的各行之和為1，各列之和不一定為1，但是均勻信道的各列之和為1第三十二頁，共四十九頁，2022年，8月28日2.離散對稱信道的C式中

為信道矩陣中任一行的元素。

若一個離散對稱信道具有r個輸入符號，s個輸出符號，則當輸入為等概率分布時，達到信道容量C定理：第三十三頁，共四十九頁，2022年，8月28日證明：則有：結(jié)論:求離散對稱信道的信道容量，實質(zhì)上是求一種輸入分布p(x)使輸出熵H(Y)達最大。第三十四頁，共四十九頁，2022年，8月28日例4-7：求具有以下信道矩陣的信道的信道容量解：分析可知這是一個對稱信道，則信道容量為

結(jié)論：在該對稱信道中，只有當信道輸入符號等概分布時，每個符號平均能傳送的信息為0.126bit，一般情況下每個符號平均傳輸?shù)男畔⒍际切∮?.126bit。第三十五頁，共四十九頁，2022年，8月28日例4-8：求均勻信道的信道容量。為正確傳遞概率為錯誤傳遞概率對于二元對稱信道：r=2，則信道容量C：解：均勻信道是對稱信道的一種特例，則其信道容量用對稱信道的信道容量的求解公式，則

第三十六頁，共四十九頁，2022年，8月28日引理：對于一個離散對稱信道，只有當信道輸入分布p(x)為等概率分布時，輸出分布才能為等概率分布。表明：對于一個離散對稱信道，當信道輸入分布p(x)為等概率分布時，輸出分布為等概率分布。第三十七頁，共四十九頁，2022年，8月28日λ為拉格朗日乘子，待定常數(shù)根據(jù)高數(shù)知識,首先構(gòu)造函數(shù)：設有一離散無記憶信道的輸入X取值于在的約束條件下求I(X;Y)的極值.信道矩陣P=輸出Y取值于四.一般離散無記憶信道的C對p(ai)求偏導，并令偏導等于0，即：，代入I(X;Y)求出C根據(jù)約束條件，求出pi第三十八頁，共四十九頁，2022年，8月28日解：N個二元對稱信道級聯(lián)后的總信道矩陣為例4-9：求N個相同的二元對稱信道組成的級聯(lián)信道容量

12N單個二元對稱信道的信道矩陣為五.組合信道的C1.級聯(lián)信道此時C=0第三十九頁，共四十九頁，2022年，8月28日2.輸入并接信道信道1信道2信道NC大于任意一個組成信道的信道容量。上界為第四十頁，共四十九頁，2022年，8月28日3.并用信道(獨立并聯(lián)信道)12N4.和信道信道1信道2信道N

即C為各組成信道的信道容量之和第四十一頁，共四十九頁，2022年，8月28日六.N次擴展離散無記憶信道的信道容量

表示某時刻通過離散無記憶信道傳輸?shù)淖畲笮畔⒘?。則

對于離散無記憶信道有：對于N次擴展信道，任何時刻是相同的。第四十二頁，共四十九頁，2022年，8月28日七.模擬信道信道容量

限帶、加性白色高斯噪聲的信道容量

——著名的信道容量的香農(nóng)公式S：輸入信號平均功率B：信道通帶帶寬：噪聲的邊帶功率譜密度：信噪比

在這種信道中，輸入輸出信號和噪聲都被限制在一定的頻帶中，一般設此頻帶為［０，B］。信道傳輸?shù)馁M用就是信號的功率。又設信道的噪聲為加性的、高斯的且具有平坦的功率譜，均值為０。第四十三頁，共四十九頁，2022年，8月28日

例4-10:

已知信道的帶寬B為3kHz,信號在信道傳輸中受到單邊功率譜密度為的加性白高斯噪聲的干擾,信號的平均功率S為9W.

(1)求信道的容量;(2)若信道帶寬增加到原來的10倍,并保持信道容量不變,那么信號平均功率要改變多少dB?解:

(1)信道容量為(2)帶寬變?yōu)?0B,而C保持不變,假設此時對應的信號功率為則第四十四頁，共四十九頁，2022年，8月28日無損信道的剩余度第五節(jié)信源與信道匹配一.信道剩余度=C-I(X;Y)=C-R二.相對剩余度=1-R/C對于無損信道C=logr無損信道的相對剩余度信源的剩余度

對于無損信道，可通過信源編碼，減小信源的剩余度，提高信道的信息傳輸率使之達到C。第四十五頁，共四十九頁，2022年，8月28日例4-11：有一個二元對稱信道，其信道矩陣如圖所示。設該信道以1500個二元符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二元符號，并設在這消息中p(1)=p(0)=1/2。問從信息傳輸?shù)慕嵌葋砜紤]，10秒內(nèi)能否將這消息序列無失真?zhèn)魉屯辍?000.980.020.980.021解：

分析得消息信源的熵為H（X）=1比特則這個消息序列含有信息量