第五章：信道與信道容量-z.ppt

1、第五章：信道與信道容量,本章節(jié)達(dá)到的目的,了解信息論研究信道的目的、內(nèi)容 了解信道的基本分類并掌握信道的基本描述方法 掌握信道容量/信道容量代價(jià)函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 能夠計(jì)算簡(jiǎn)單信道的信道容量/信道容量代價(jià)函數(shù)（對(duì)稱離散信道、無記憶加性高斯噪聲信道） 了解信道容量/容量代價(jià)函數(shù)在研究通信系統(tǒng)中的作用 理解香農(nóng)第一定理又稱無噪信道編碼的物理意義 進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途,概念問題,熵熵率無失真信源編碼定理中的作用 互信息信道容量信道編碼定理中的作用,回顧互信息函數(shù)的性質(zhì)1,互 信息與信道輸入概率分布的關(guān)系 性質(zhì)1 ：I(X; Y)是信道輸

2、入概率分布p(x)的上凸函數(shù).,信道,回顧互信息函數(shù)的性質(zhì)2,互信息與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì)2 ：I(X; Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凹函數(shù).,回顧互信息函數(shù)的性質(zhì)3,互信息與信道輸入符號(hào)相關(guān)性的關(guān)系 性質(zhì)3: 信道的輸入是離散無記憶的,即：,則：,回顧互信息函數(shù)的性質(zhì)4,互信息與信道輸入符號(hào)相關(guān)性的關(guān)系 性質(zhì)4: 信道是離散無記憶的,即：,則：,回顧互信息函數(shù)的性質(zhì)5,性質(zhì)3、性質(zhì)4的推論： 信道的輸入和信道本身都是離散無記憶的,信息論對(duì)信道研究的內(nèi)容 信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個(gè)隨機(jī)過程來描述 信道容量 不同條件下充分利用信道容量的各種辦法 什么是信道？ 信道的作用

3、 研究信道的目的,5.1:概述1,5.1:概述2,什么是信道？ 信道是傳送信息的載體信號(hào)所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機(jī)，收、發(fā)間的空間就是信道。,5.1:概述3,信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。 信道傳輸信息的速率：與物理信道本身的特性、載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān)。 信道容量研究?jī)?nèi)容：在什么條件下，通過信道的信息量最大。,5.1:概述4,研究信道的目的 實(shí)現(xiàn)信息傳輸?shù)挠行院涂煽啃?有效性：充分利用信道容量，使傳輸?shù)男畔⒘勘M可能大

4、可靠性：通過信道編碼降低誤碼率 結(jié)合通信系統(tǒng)研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限傳輸能力，并分析其特性。 通信技術(shù)研究信號(hào)在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性 信息論研究信息的傳輸問題（假定傳輸特性已知）,5.2:信道的分類與描述,信道分類 信道描述,5.2:信道分類與描述1,信道分類 從工程物理背景傳輸媒介類型； 從數(shù)學(xué)描述方式信號(hào)與干擾描述方式； 從信道本身的參數(shù)類型恒參與變參； 從用戶類型單用戶與多用戶；,5.2:信道分類與描述2,5.2:信道分類與描述3,5.2:信道分類與描述4信道劃分是人為的，比如,信源,干擾,編碼,譯碼,信宿,傳輸媒介,其

5、中： 為狹義的傳輸型信道，研究調(diào)制解調(diào)理論或模擬通信時(shí)常引用它，為連續(xù)信道；,為廣義的傳輸型信道，研究數(shù)字通信、編碼解碼時(shí)常引用它，為離散信道；,為半離散半連續(xù)的傳輸型信道,5.2:信道分類與描述5,5.2:信道分類與描述6,信道描述 信道可以引用三組變量來描述： 信道輸入概率空間： 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣： 即： 它可簡(jiǎn)化為：,5.2:信道分類與描述7,其中： 而,5.2:信道分類與描述8,當(dāng)K=1時(shí)，退化為單個(gè)消息（符號(hào)）信道；進(jìn)一步當(dāng)n=m=2時(shí)，退化為二進(jìn)制單個(gè)消息信道。若它滿足對(duì)稱性，即構(gòu)成最常用的二進(jìn)制單消息對(duì)稱信道BSC：,且：,5.3:離散無記憶信道及其信道容量,

6、離散無記憶信道及其信道容量 一般離散無記憶信道容量的計(jì)算 離散無記憶信道的信道容量定理 對(duì)稱的離散無記憶信道容量的計(jì)算 香農(nóng)第一定理的物理意義,5.3:離散無記憶信道及其信道容量-1,離散消息序列信道,信道中的記憶現(xiàn)象來源于物理信道中的慣性，如電纜信道中的電感電容、無線信道中電波傳布的衰落現(xiàn)象等。,5.3:離散無記憶信道及其信道容量-2,信道的任務(wù),盡可能有效且可靠地傳輸信源的信息,離散通信信道 X=x1,x2,xr,信息流,信息流通過特定信道（信道容量和噪聲特性已定）,傳輸可靠性 信道噪聲,信道容量 傳輸有效性,5.3:離散無記憶信道及其信道容量-3,H(X/Y) 信道疑義度/損失熵。 Y關(guān)

7、于X的后驗(yàn)不確定度。表示收到變量Y后，對(duì)隨機(jī)變量X仍然存在的不確定度。代表了在信道中損失的信息。 H(X) X的先驗(yàn)不確定度/無條件熵。 I(X;Y)收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。 H(Y/X)噪聲熵。表示發(fā)出隨機(jī)變量X后，對(duì)隨機(jī)變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對(duì)應(yīng)關(guān)系，發(fā)出X后必能確定對(duì)應(yīng)的Y，而現(xiàn)在不能完全確定對(duì)應(yīng)的Y，這顯然是由信道噪聲所引起的。,5.3:離散無記憶信道及其信道容量-4,5.3:離散無記憶信道及其信道容量-5,如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存

8、在，一般只能接收到I(X;Y)。 信道的信息傳輸率： 就是平均互信息 R=I(X;Y)。 輸出端Y往往只能獲得關(guān)于輸入X的部分信息，這是由于平均互信息性質(zhì)決定的：I(X;Y)H(X)。,引出數(shù)據(jù)處理定理,信道容量,數(shù)據(jù)處理定理,串聯(lián)信道 數(shù)據(jù)處理定理,串聯(lián)信道,在一些實(shí)際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如 微波中繼接力通信就是一種串聯(lián)信道。 信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。 下圖表示兩個(gè)單符號(hào)離散信道串聯(lián)的情況。,信道1 P(Y/X),信道2 P(Z/Y),串聯(lián)信道,信道1的輸出Y與其輸入X統(tǒng)計(jì)相關(guān)，信道2的輸出Z與其輸入Y統(tǒng)計(jì)相關(guān)

9、，一般來講，Z與X統(tǒng)計(jì)相關(guān)。 級(jí)聯(lián)的結(jié)構(gòu)決定了Z的取值在給定Y以后與X將不再有關(guān) 在概率論中稱XYZ的這種關(guān)系為XYZ組成馬爾科夫鏈。,信道1 P(Y/X),信道2 P(Z/Y),串聯(lián)信道,信道1 P(Y/X),信道2 P(Z/Y),數(shù)據(jù)處理定理,數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。即 I(X;Z)I(X;Y) I(X;Z)I(Y;Z),結(jié)論： 兩級(jí)串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會(huì)超過第級(jí)信道輸入與輸出消息之間的平均互信息量，也不會(huì)超過第級(jí)信道輸入與輸出消息之間的平均互信息量。 當(dāng)對(duì)信號(hào)/數(shù)據(jù)/消息進(jìn)行多級(jí)處理時(shí)

10、，每處理一次，就有可能損失一部分信息，也就是說數(shù)據(jù)處理會(huì)把信號(hào)/數(shù)據(jù)/消息變成更有用的形式，但是絕不會(huì)創(chuàng)造出新的信息。這就是所謂的信息不增原理。 當(dāng)已用某種方式取得Y后，不管怎樣對(duì)Y進(jìn)行處理，所獲得的信息不會(huì)超過I(X;Y)。每處理一次，只會(huì)使信息量減少，至多不變。也就是說在任何信息流通系統(tǒng)中，最后獲得的信息量，至多是信源提供的信息。一旦在某一過程中丟失了一些信息，以后的系統(tǒng)不管怎樣處理，如果不能接觸到丟失信息的輸入端，就不能再恢復(fù)已丟失的信息。,5.3:離散無記憶信道及其信道容量-5,I(X;Y)是信源無條件概率p(xi)和信道轉(zhuǎn)移概率p(yj /xi)的二元函數(shù)：,當(dāng)信道特性p(yj /x

11、i)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。 調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。,5.3:離散無記憶信道及其信道容量-6,信道容量C：在信道中最大的信息傳輸速率， 單位： 比特/信道符號(hào)。 單位時(shí)間的信道容量Ct： 若信道平均傳輸一個(gè)符號(hào)需要t秒鐘，則單位時(shí)間的信道容量為 Ct實(shí)際是信道的最大信息傳輸速率。,5.3:離散無記憶信道及其信道容量-7,C和Ct都是求平均互信息I(X;Y)的條件極大值問題，當(dāng)輸入信源概率分布p(x

12、i)調(diào)整好以后， C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)； 信道容量是完全描述信道特性的參量； 信道容量是信道能夠傳送的最大信息量。,5.3:離散無記憶信道及其信道容量-8,離散無記憶信道及其信道容量,由消息序列互信息 性質(zhì),對(duì)離散無記憶信道，有： （性質(zhì)4）,則,當(dāng)且僅當(dāng)信源(信道入)無記憶時(shí)，“等號(hào)”成立（性質(zhì)3、4推論）,5.3:離散無記憶信道及其信道容量-9,離散無記憶信道及其信道容量的進(jìn)一步理解 Cmax存在互信息性質(zhì)1，上凸函數(shù)極值存在 達(dá)到Cmax時(shí)的兩個(gè)條件： 信道輸入（信源）是離散無記憶的 信道輸入的概率分布是使I(X,Y)達(dá)到最大的分布

13、,C的值不是由信源的p(x)決定的，而是由 決定的,C是信道作為信息傳輸通道的性能度量 只有信道輸入（信源）X（x1x2xn)滿足一定條件時(shí)，才能充分利用信道傳輸信息的能力,5.3:離散無記憶信道及其信道容量-10,一般離散無記憶信道容量的計(jì)算 思路：將問題轉(zhuǎn)化為：有界閉區(qū)域上求約束極值 方法：1、求區(qū)域內(nèi)極值 2、求邊界極值 3、求前兩者的最大值 具體實(shí)現(xiàn)： 1、簡(jiǎn)單情況下直接求解（如單符號(hào)信道、對(duì)稱信道） 2、解方程 3、迭代法（見朱雪龍2001版p124頁(yè)）,信道容量 約束條件：,求信道容量轉(zhuǎn)化為求 對(duì)信源概率分布 的條件極值。,5.3:離散無記憶信道及其信道容量-11,解：,引入輔助函

14、數(shù),用拉格朗日乘子法求解,5.3:離散無記憶信道及其信道容量-12,5.3:離散無記憶信道及其信道容量-13,令,則,5.3:離散無記憶信道及其信道容量-14,在某些條件下利用這個(gè)方法可以計(jì)算C：,令,5.3:離散無記憶信道及其信道容量-15,這是一個(gè)含有s個(gè)未知數(shù)、由r個(gè)方程組成的方程組。 當(dāng)r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。,5.3:離散無記憶信道及其信道容量-16,5.3:離散無記憶信道及其信道容量-17,一般離散信道容量的計(jì)算步驟（傅祖蕓第二版p107）,注意： 在第步信道容量C被求出后，計(jì)算并沒有結(jié)束，必須解出相應(yīng)的p(xi) ，并確認(rèn)所有的p(xi)0時(shí)，所求的C才

15、存在。 在對(duì)I(X;Y)求偏導(dǎo)時(shí)，僅限制 ，并沒有限制p(xi)0 ，所以求出的p(xi)有可能為負(fù)值，此時(shí)C就不存在，必須對(duì)p(xi)進(jìn)行調(diào)整，再重新求解C。 近年來人們一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。,5.3:離散無記憶信道及其信道容量-18,定理：(Kuhn-Tucker條件),設(shè) 是定義在N維無窮凸集S,則 在 達(dá)到S上極大值的充要條件是：,上的可微上凸函數(shù)，設(shè),5.3:離散無記憶信道及其信道容量-19,5.3:離散無記憶信道及其信道容量-20,離散無記憶信道的信道容量定理 定理5.1：對(duì)前向轉(zhuǎn)移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充

16、要條件是,其中：,是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。,5.3:離散無記憶信道及其信道容量-21,是 的平均值。即：,但提高 ，又使 降低,反復(fù)調(diào)整 ，使 相等且都等于C,定理只給出了可使 的p(x)的充要條件 ，并無具體分布及C的值，但可以幫助求解簡(jiǎn)單情況部分信道的C,求解信道容量過程實(shí)際信源的概率分布進(jìn)行調(diào)節(jié)的過程。 通過不斷調(diào)節(jié)信源的概率分布，找到信道對(duì)應(yīng)的最大信息傳輸速率,找到 最大的 ，提高,5.3:離散無記憶信道及其信道容量-22,對(duì)稱的離散無記憶信道信道容量 對(duì)稱的離散無記憶信道 矩陣中的每一行都是第一行的重排列； 矩陣中的每一列都是第一列的重排列。,定理5

17、.2：對(duì)于對(duì)稱的離散無記憶信道，當(dāng)信道輸入字母為等概率分布時(shí)達(dá)到信道容量。,5.3:離散無記憶信道及其信道容量-23,對(duì)稱信道,對(duì)稱信道性質(zhì),對(duì)于對(duì)稱信道，當(dāng)信道輸入概率分布為等概分布時(shí)，輸出概率分布必為等概分布。,5.3:離散無記憶信道及其信道容量-24,5.3:離散無記憶信道及其信道容量-25,行對(duì)稱信道,5.3:離散無記憶信道及其信道容量-26,BSC信道信道容量的計(jì)算,5.3:離散無記憶信道及其信道容量-27,由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即：p(a1)=p(a2)=1/2；有：,于是：,這里：,5.3:離散無記憶信道及其信道容量-28,r個(gè)輸入s個(gè)輸出的對(duì)稱離散

18、信道的信道容量：,其中 是信道矩陣中的任意一行中的元素。,若r=s，且對(duì)于每一個(gè)輸入符號(hào)，正確傳輸概率都相等，且錯(cuò)誤傳輸概率 p 均勻地分配到 r-1 個(gè)符號(hào)，則稱此信道為強(qiáng)對(duì)稱信道或均勻信道。,5.3:離散無記憶信道及其信道容量-29,強(qiáng)對(duì)稱離散信道的信道容量：,強(qiáng)對(duì)稱信道具備四個(gè)特征： 1. 矩陣中的每一行都是第一行的排列；(行對(duì)稱) 矩陣中的每一列都是第一列的排列。(列對(duì)稱) 2. 信道輸入與輸出消息（符號(hào)）數(shù)相等，即 r=s。 3. 錯(cuò)誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯(cuò)誤傳輸概率均勻地分配到r-1個(gè)符號(hào)上。 4. 不僅每一行元素之和為1，每一列元素之和也為1。 顯然，對(duì)

19、稱性的基本條件是1，而2、3、4是加強(qiáng)條件。,5.3:離散無記憶信道及其信道容量-30,5.3:離散無記憶信道及其信道容量-31,二元?jiǎng)h除信道信道容量的計(jì)算,a1,a2,b1,b3,b2,5.3:離散無記憶信道及其信道容量-32,由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即：p(a1)=p(a2)=1/2；有：,于是：,5.3:離散無記憶信道及其信道容量-33,準(zhǔn)對(duì)稱離散信道的信道容量：,設(shè)信道矩陣可劃分為n個(gè)子矩陣，其中Nk是第k個(gè)子矩陣中某行元素之和，Mk是第k個(gè)子矩陣中某列元素之和。,5.3:離散無記憶信道及其信道容量-34,5.3:離散無記憶信道及其信道容量-35,0.5,1

20、.0,0,0.5,1.0,c,b,a,Ca= Cb=,a:BSC信道的信道容量曲線 b:二進(jìn)制刪除信道的信道容量曲線,例1、已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。 YX 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3,解：由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即：p(a1)=p(a2)=1/2；有：,5.3:離散無記憶信道及其信道容量-36,香農(nóng)第一定理（變長(zhǎng)無失真信源編碼定理）的物理意義,從信道編碼的角度看，用 個(gè)碼元表示一個(gè)原始信源符號(hào)，信道的信息傳輸率為：,5.3:離散無記憶信道及其信道容量-37,香農(nóng)第一定理（無失真信源編碼

21、定理）的物理意義 無噪無損信道的信道容量：C=H(X)=H(Y)=logs 再看當(dāng)平均碼長(zhǎng)達(dá)到極限值時(shí)R=logs 此時(shí)信道的信息傳輸率R無噪信道的信道容量C 無失真信源編碼的實(shí)質(zhì)： 對(duì)離散信源進(jìn)行適當(dāng)變換，使變換后新的碼符號(hào)信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個(gè)碼符號(hào)平均所含的信息量達(dá)到最大，從而使信道的信息傳輸率R達(dá)到信道容量C，實(shí)現(xiàn)信源與信道理想的統(tǒng)計(jì)匹配。 又稱：無噪信道編碼定理 若信道的信息傳輸率R不大于信道容量C，總能對(duì)信源的輸出進(jìn)行適當(dāng)?shù)木幋a，使得在無噪無損信道上能無差錯(cuò)地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯(cuò)地傳輸信息則是不可能的。

22、,5.3:離散無記憶信道及其信道容量-38,達(dá)到信道容量C的時(shí)候，輸入字母分布唯一嗎？,反例：,令,則,輸入任何分布， 輸出都達(dá)到C,又一例：,令輸入分布(0.5,0,0.5,0）,令輸入分布(0.25,0.25,0.25,0.25）,5.3:離散無記憶信道及其信道容量-39,輸出字母的唯一性 定理：達(dá)到信道容量時(shí)的輸出分布是唯一的。任何導(dǎo)致這一輸出分布的輸入分布都是最佳分布，可以使互信息達(dá)到信道容量。,證明見朱雪龍2001版信息論p132頁(yè)。,例如：對(duì)稱信道，達(dá)到信道容量時(shí)輸出唯一（等概）,5.3:離散無記憶信道及其信道容量-40,輸入字母在什么條件下唯一？ 定理：在達(dá)到信道容量時(shí)，如果輸入

23、概率分布中具有零概率的字母總數(shù)達(dá)到最大，則此時(shí)非零概率可被唯一地確定，且非零概率分量的數(shù)目不超過輸出字母的總數(shù)。,定理不是說具有最大數(shù)目零概率的最佳分布是唯一的。 定理只說明概率分布由同一組包含零的數(shù)字的不同排列構(gòu)成。,證明見朱雪龍2001版信息論p134頁(yè)。,5.4:并聯(lián)信道及其信道容量,5.4:并聯(lián)信道及其信道容量,輸入并接信道可以看成一個(gè)單輸入多輸出的,輸出為,信道,其輸入為,性質(zhì)：輸入并聯(lián)信道的容量大于任何一個(gè)單獨(dú)的信道，小于max H(X)。,5.4:并聯(lián)信道及其信道容量,思考：N個(gè)二元對(duì)稱信道輸入并聯(lián)之后的信道容量，N越大，CN越大，越接近H(X) 通信中的分集，就是典型的輸入并聯(lián)

24、信道,5.4:并聯(lián)信道及其信道容量,并用信道是多輸入，多輸出。X和Y由彼此獨(dú)立的N個(gè)信道傳輸。,性質(zhì)并用信道的容量,通信中的復(fù)用，就是典型的并用信道,5.4:并聯(lián)信道及其信道容量,現(xiàn)代通信技術(shù)：MIMO和CMIMO(Cooperative MIMO ),SISO 單入單出,“真正的自利行為就是協(xié)作” 無線網(wǎng)絡(luò)的協(xié)作,Frank,MIMO多入多出,CMIMO 節(jié)點(diǎn)通過協(xié)同形成MIMO,5.4:并聯(lián)信道及其信道容量,和信道隨機(jī)應(yīng)用N 個(gè)信道中的一個(gè)，構(gòu)成一輸入/一輸出信道。,性質(zhì)：和信道的容量是，,Vision 一種新型的通信技術(shù)機(jī)會(huì)通信（Opportunistic Comm.）,信道的使用概率,

25、5.4:并聯(lián)信道及其信道容量,機(jī)會(huì)通信（David Tse, 2001）,衰落是無線信道的固有特征，需要克服 但是在無線網(wǎng)絡(luò)中，衰落可能帶來增益,多用戶廣播信道,廣播信道容量,5.4:并聯(lián)信道及其信道容量,衰落信道為什么會(huì)提高容量？,在一個(gè)多用戶獨(dú)立衰落信道里，每一時(shí)刻總可能找到一個(gè)擁有較好信道的用戶 如果總是服務(wù)較好的用戶，總體容量會(huì)增加 傳統(tǒng)分集技術(shù)的主要目的是改善慢衰落信道中通信的可靠性 多用戶分集的作用是增加快衰落信道中總的吞吐量 事實(shí)上，當(dāng)衰落不足的時(shí)候，還可以人為引入衰落制造出隨機(jī)波動(dòng)范圍大的信道，來提高系統(tǒng)總的吞吐量,5.5：連續(xù)信道,連續(xù)信道 時(shí)間依舊離散 但是取值：離散連續(xù)

26、引發(fā)的問題 離散隨機(jī)變量的互信息非負(fù)、有限 取I(p,Q)最大值得到離散信道的容量 連續(xù)隨機(jī)變量互信息非負(fù)，但不一定有限 這樣互信息最大值為信道容量的定義就失去了意義,5.5：連續(xù)信道,問題出在什么地方？,連續(xù)隨機(jī)變量的信息量無窮大（無理數(shù)具有無窮多的細(xì)節(jié)） 但是實(shí)際上我們無法生成信息量為無窮大的變量 總存在物理的約束：能量受限b(x)=x2 因此，連續(xù)信道輸入輸出互信息的優(yōu)化是在這些約束前提下進(jìn)行的。,定義：設(shè)對(duì)于連續(xù)無記憶信道 ，有一個(gè)函數(shù) ，對(duì)每一個(gè)輸入序列 。稱 為 的費(fèi)用。設(shè)隨機(jī)矢量 的聯(lián)合分布為 ，則平均費(fèi)用為：,5.5:連續(xù)信道及其容量1回顧,連續(xù)隨機(jī)變量的熵微分熵 連續(xù)隨機(jī)變量

27、最大熵分布依賴于約束條件 峰值功率受限條件下均勻分布的隨機(jī)變量具有最大微分熵 平均功率受限條件下高斯分布的隨機(jī)變量具有最大微分熵 連續(xù)信道的輸入所取的值域不足以完全表示對(duì)信道輸入的限制還有約束條件 Cmaxh(Y)-h(n) C取決于信道的統(tǒng)計(jì)特性（加性信道即噪聲的統(tǒng)計(jì)特性） 輸入隨機(jī)矢量X所受的限制條件（一般考慮平均功率受限時(shí)） C的單位為：比特/N個(gè)自由度 連續(xù)信道信道容量容量費(fèi)用函數(shù)描述,5.5:連續(xù)信道及其容量2,研究連續(xù)信道容量的方法 基本、簡(jiǎn)單的信道：無記憶加性噪聲信道 信道噪聲為高斯時(shí) 何種分布輸入能達(dá)到對(duì)信道的充分利用 信道輸入為高斯時(shí) 何種分布噪聲對(duì)信道傳輸信息影響最大,5.

28、5:連續(xù)信道及其容量3,一些基礎(chǔ)知識(shí)： 對(duì)于加性信道Y=X+N X：信道輸入 N：信道噪聲 Y：信道輸出 信道的轉(zhuǎn)移概率分布函數(shù)就是N的分布函數(shù) b(x)是信道輸入為x時(shí)對(duì)應(yīng)的費(fèi)用 如果X、Y、N中有兩個(gè)是高斯分布，另一個(gè)也是高斯分布的 高斯分布的隨機(jī)變量的微分熵h(XG) 高斯分布的連續(xù)隨機(jī)變量的微分熵h(XG)的值只與方差 有關(guān)，與均值無關(guān),5.5:連續(xù)信道及其容量4,在費(fèi)用約束的前提下，求輸入輸出互信息的最大值，得到容量-費(fèi)用函數(shù)。,連續(xù)信道的“容量-費(fèi)用函數(shù)”,定義：設(shè)連續(xù)信道的N維聯(lián)合輸入輸出分別為X和Y，則其容量-費(fèi)用函數(shù)定義為：,若 存在最大值時(shí),5.5:連續(xù)信道及其容量5,當(dāng)輸

29、入和信道無記憶穩(wěn)恒時(shí)，因?yàn)?5.5:連續(xù)信道及其容量6,無記憶加性噪聲信道的信道容量費(fèi)用函數(shù) 無記憶加性噪聲信道的前向轉(zhuǎn)移概率密度函數(shù)就是噪聲N的概率密度函數(shù)，即： 其中,5.5:連續(xù)信道及其容量7,于是有： 取信道輸入信號(hào)的平均功率E(X2)作為信息傳輸?shù)馁M(fèi)用 則有：無記憶加性噪聲信道的信道容量費(fèi)用函數(shù)為： 因h(N)與px(x)無關(guān)，求解C(PS)問題轉(zhuǎn)化為只需對(duì)h(Y)進(jìn)行,5.5:連續(xù)信道及其容量8,無記憶加性高斯噪聲信道的信道容量費(fèi)用函數(shù)（朱雪龍p139） 條件：NZG 問題：求使C(PS)最大時(shí)的X的概密分布函數(shù) 求解步驟：,因?yàn)椋?要使C(PS) 最大使h(Y)最大,在PS約束條

30、件下，當(dāng)YYG時(shí)h(Y)達(dá)到最大,XXG，則：,5.5:連續(xù)信道及其容量9,結(jié)論：當(dāng)信道輸入信號(hào)為高斯分布信號(hào)時(shí)，無記憶加性高斯噪聲信道的信道容量可以得到充分利用。,換句話說：在無記憶加性高斯噪聲信道中傳輸信息時(shí)，高斯分布的信號(hào)是最有效的-即在同樣信號(hào)功率下，信道可以傳輸最多的信息,5.5:連續(xù)信道及其容量10,無記憶加性噪聲信道對(duì)高斯分布的輸入信號(hào)的影響 條件：XXG，約束條件PS 問題：考察何種概密分布的N使I(X;Y)最小 求解步驟： 因?yàn)?而當(dāng)NNG時(shí)，YYG 此時(shí)： 可以證明：朱雪龍p140頁(yè) 結(jié)論：無記憶加性高斯噪聲信道對(duì)高斯分布的輸入信號(hào)具有 最大的破壞力。,高斯分布特性：,-作

31、為信道輸入信號(hào)的概密分布時(shí)，有利于信息傳輸 -作為加性信道噪聲概密分布時(shí)，不利于信息傳輸 -共同說明高斯分布的隨機(jī)變量具有最大微分熵,5.5:連續(xù)信道及其容量11,一般無記憶加性噪聲信道的信道容量費(fèi)用函數(shù),- 無法給出解析形式的解，但可以給出其上下界表達(dá)式,-下界：根據(jù)前面的討論很容易得,-上界：,當(dāng)輸入信號(hào)功率限制在PS以下，噪聲功率限制在PN以下 則輸出信號(hào)功率將= PS PN。 此時(shí) 所以有：,5.5連續(xù)信道及其容量12,輸入輸出均正態(tài),輸入為正態(tài)分布,最佳輸入分布,5.5連續(xù)信道及其容量13,無記憶加性高斯噪聲信道的并聯(lián),等號(hào)是在各分量統(tǒng)計(jì)獨(dú)立時(shí)才成立,5.5連續(xù)信道及其容量14,這又

32、是凸函數(shù)在約束下求極值的問題,若極值不發(fā)生在邊緣上，,5.5連續(xù)信道及其容量15,若極值發(fā)生在邊緣上，,注水功率,5.6:模擬信道及其容量,模擬信道：在時(shí)間和取值上都連續(xù)的信道 光纖，電纜，電磁波空間傳播 我們僅研究非常特殊的一類模擬信道：AWGN 帶寬有限：W 加性噪聲：y(t) = x(t)+z(t) 白色噪聲：平穩(wěn)遍歷隨機(jī)過程，功率譜密度均勻分布于整個(gè)頻域，即功率譜密度（單位帶寬噪聲功率）為一常數(shù) 高斯噪聲：平穩(wěn)遍歷隨機(jī)過程，瞬時(shí)值的概率密度函數(shù)服從高斯分布,5.6:模擬信道及其容量4,廣義平穩(wěn)的限頻(F)、限時(shí)(T)、限功率(P)白色高斯信道及其容量C 對(duì)限頻(F)、限時(shí)(T)的連續(xù)過

33、程信源可展成下列取樣函數(shù)序列：參見傅祖蕓第二版p140頁(yè) 現(xiàn)將2FT個(gè)樣值序列通過一個(gè)功率受限(P)的白色高斯信道并求其容量值C。,5.6:模擬信道及其容量,Shannon公式 定理5.3：滿足限頻(F)、限時(shí)(T)的廣義平穩(wěn)隨機(jī)過程信源X(t,f)，當(dāng)它通過一個(gè)功率受限(P)的白色高斯信道，其容量為： 這就是著名的Shannon公式。 則單位時(shí)間T=1時(shí)的容量為：,5.6:模擬信道及其容量,證明：前面已求得單個(gè)連續(xù)消息（第k個(gè)）通過高斯信道以后的容量值為：,同時(shí)，在消息序列的互信息中已證明當(dāng)信源、信道滿足無記憶時(shí)，下列結(jié)論成立：,由信道容量定義，有,例2、在圖片傳輸中，每幀約為2.25106

34、個(gè)像素，為了能很好地重現(xiàn)圖像，需分16個(gè)亮度電平，并假設(shè)亮度電平等概率分布。試計(jì)算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。,高斯白噪聲加性信道單位時(shí)間的信道容量：,Ct= 2.25106log1630=2.7108（bit/s),Ct=F log(1+S/N),而：10lg(S/N)=30dBS/N=103,F=(2.7108 )/log(1+103) 2.7107 (HZ ),5.6:模擬信道及其容量,它給出了在信道中傳輸信號(hào)的三個(gè)物理參量：F、T、 之間的辯證關(guān)系。,Shannon公式的物理意義,T,t,F,f,三者的乘積是一個(gè)“可塑”性體積（三維）。,三者間可以互換。

35、,5.6:模擬信道及其容量 信道與信息傳輸要求的匹配 1,預(yù)處理器 （）,限帶加性白色 高斯噪聲信道 （）,后處理器 （）,5.6:模擬信道及其容量 信道與信息傳輸要求的匹配 2,在相同頻帶下用時(shí)間換取信噪比,若,則,重傳、弱信號(hào)累積接收基于這一原理。,5.6:模擬信道及其容量 信道與信息傳輸要求的匹配 3,用時(shí)間換取頻帶或用頻帶換取時(shí)間,擴(kuò)頻縮短時(shí)間：通信電子對(duì)抗、潛艇通信 窄帶增加時(shí)間：電話線路傳準(zhǔn)活動(dòng)圖象,5.6:模擬信道及其容量 信道與信息傳輸要求的匹配 4,用頻帶換取信噪比：擴(kuò)頻通信原理。,當(dāng),雷達(dá)信號(hào)設(shè)計(jì)中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強(qiáng)。 數(shù)字通信中，偽碼(PN)直擴(kuò)與時(shí)頻編碼等，帶寬越寬，擴(kuò)頻增益越大，抗干擾性就越強(qiáng)。 深空通信中（功率受能源限制，頻譜資源相對(duì)豐富），采用兩電平數(shù)字通信方式有效利用信道容量。,用信噪比換取頻帶 多進(jìn)制多電平多維星座調(diào)制方式的基本原理 衛(wèi)星、數(shù)