信息論與編碼技術(shù)：第三章 信道及其容量

1、 第三章 信道及其容量 1 研究信道的目的是研究信道能傳輸?shù)淖畲笮畔⒘?，即信道的最大傳輸能力?、如何描述在信道中傳輸?shù)南⒌男畔⒘看笮∑骄バ畔?信息傳輸率2、信道的最大信息傳輸率是多少？信道容量/傳信能力2 第三章 信道及其容量 3.1 信道的數(shù)學(xué)模型與分類 3.2 信道疑義度與平均互信息 3.3 離散無(wú)記憶的擴(kuò)展信道 3.4 離散信道的信道容量 3.5 連續(xù)信道的信道容量 3.6 信源與信道的匹配 3.7 信道編碼定理3 信道是信息傳送的載體信號(hào)通過(guò)信道傳送。信道的作用是以信號(hào)方式傳輸信息和存儲(chǔ)信息。 在通信系統(tǒng)中研究信道，是為描述、度量、分析不同類型的信道，計(jì)算其能夠傳輸?shù)淖畲笮畔⒘?

2、信道容量)，認(rèn)識(shí)并利用其特點(diǎn)。本章重點(diǎn)內(nèi)容 信道的分類 離散信道的統(tǒng)計(jì)特性和數(shù)學(xué)模型 平均互信息及其性質(zhì) 信道容量的概念及幾種典型信道的信道容量計(jì)算方法 信源與信道的匹配 有噪信道編碼定理香農(nóng)第二定理43.1 信道的數(shù)學(xué)模型與分類5 一、描述依據(jù) 什么是信道？ 信道是傳輸信息的載體或媒介，也可以說(shuō)信道是信號(hào)所通過(guò)的通道。信息是抽象的，信道則是具體的。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽(tīng)收音機(jī)，收、發(fā)間的空間就是信道。信道的作用信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。在通信系統(tǒng)中信道主要用于傳輸信息。6研究信道的目的信息熵解決了定量估算信源每發(fā)出一個(gè)符號(hào)提供

3、的平均信息量這個(gè)信源的核心問(wèn)題。但對(duì)于由信源、信道和信宿組成的通信系統(tǒng)來(lái)說(shuō)，最根本的問(wèn)題，還在于如何定量估算信宿收到消息后，從消息中獲取多少信息量的問(wèn)題，也就是信息傳輸問(wèn)題。在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算信道容量，即信道中能夠傳送或存儲(chǔ)的最大信息量，并分析其特性。7狹義信道狹義信道：傳輸信息的物理媒介。廣義信道：除傳輸媒介外，還包括相關(guān)的變換裝置(發(fā) 送與接收設(shè)備、饋線與天線、調(diào)制解調(diào)器等)。8廣義信道又可按其功能劃分為： 調(diào)制信道(實(shí)際信道) 編碼信道 等效信道幾種信道如下圖所示。本課程關(guān)注編碼信道。 9二、信道的一般模型* 數(shù)字通信系統(tǒng)的一般模型輸入端：

4、接收信源發(fā)出的消息符號(hào)。輸出端：向信宿輸出消息符號(hào)。10 調(diào)制信道是數(shù)字通信系統(tǒng)中從調(diào)制器輸出端到解調(diào)器輸入端之間的部分，調(diào)制信道也叫實(shí)際信道，是信號(hào)傳輸?shù)奈锢砻浇?包括干擾源在內(nèi)) 。 編碼信道是數(shù)字通信系統(tǒng)中從編碼器輸出端到譯碼器輸入端之間的部分。其中的編碼器包括信源編碼器和信道編碼器，而譯碼器則包括信道譯碼器和信源譯碼器。 等效信道則是數(shù)字通信系統(tǒng)中從信源輸出端到信宿輸入端之間的部分。等效信道包括了信源編碼器、信道編碼器、編碼信道、信道譯碼器和信源譯碼器。11 信道研究的內(nèi)容包括： 研究編碼信道的特性。 研究由信道編譯碼器和信源編譯碼器組成的等效信道的特性。 從編譯碼的角度來(lái)看編碼信道：

5、編碼器的輸出是某一數(shù)字序列，譯碼器的輸入也是某一數(shù)字序列。故在數(shù)字通信系統(tǒng)中，編碼信道(從編碼器輸出端到譯碼器輸入端)可表示為對(duì)一數(shù)字序列進(jìn)行變換的結(jié)點(diǎn)。 由于存在噪聲干擾，信道的輸入|輸出信號(hào)之間呈現(xiàn)統(tǒng)計(jì)依賴關(guān)系，而非確定的函數(shù)關(guān)系。因此，如果已知信道輸入、輸出信號(hào)特性，以及它們之間的統(tǒng)計(jì)依賴關(guān)系，則可以確定信道的全部特性。123.1.1 信道的分類13 (1)根據(jù)載荷消息的媒體不同將信道分為 ：郵遞信道電信道光信道聲信道 (2)根據(jù)輸入|輸出信號(hào)的時(shí)間特性和取值特性將信道分為：離散信道 輸入、輸出隨機(jī)變量的取值均離散。 連續(xù)信道 輸入、輸出隨機(jī)變量的取值均連續(xù)。半離散或半連續(xù)信道 輸入與輸

6、出中一個(gè)為離散隨機(jī)變量，另一個(gè)為連續(xù)隨機(jī)變量。波形信道 輸入與輸出是時(shí)間上連續(xù)的隨機(jī)信號(hào)x(t),y(t) 即輸入、輸出隨機(jī)變量均為連續(xù)，且隨時(shí)間連續(xù)變化。14(3)根據(jù)信道的統(tǒng)計(jì)特性將信道分為：恒參信道 信道的統(tǒng)計(jì)特性不隨時(shí)間變化(衛(wèi)星信道)。隨參信道 信道的統(tǒng)計(jì)特性隨時(shí)間變化(微波信道) 。(4)根據(jù)信道用戶數(shù)量的不同將信道分為：兩端(單用戶)信道 一個(gè)輸入端和一個(gè)輸出端的單向信道。多端(多用戶)信道 輸入端和輸出端中至少一端有兩個(gè)以上用 戶，并且可以雙向通信的信道(大多數(shù)實(shí)際信道)。(5)根據(jù)信道是否存在干擾將信道分為：無(wú)擾信道 信道上沒(méi)有噪聲(干擾較小時(shí)，近似作為無(wú)擾信道。如計(jì)算機(jī)與其

7、外設(shè)間的數(shù)據(jù)傳輸信道)。有擾信道 存在干擾的信道(大多數(shù)實(shí)際信道)。15* 干擾源干擾源是對(duì)系統(tǒng)中所有噪聲和干擾來(lái)源的總稱。為了分析方便起見(jiàn)，把在系統(tǒng)其他部分產(chǎn)生的干擾和噪聲都等效地折合成信道干擾，看成是由一個(gè)噪聲源產(chǎn)生的，它將作用于所傳輸?shù)男盘?hào)上。加性干擾：它是由外界原因產(chǎn)生的隨機(jī)干擾，它與信道的輸入信號(hào)統(tǒng)計(jì)無(wú)關(guān)，因而信道的輸出是輸入和干擾的疊加?！局饕芯康母蓴_】乘性干擾：信道的輸出信號(hào)可看成輸入信號(hào)和某些隨機(jī)參量相乘的結(jié)果。16(6)根據(jù)信道有無(wú)記憶特性將信道分為：無(wú)記憶信道 輸出僅與當(dāng)前輸入有關(guān)，而與過(guò)去的輸入和輸 出無(wú)關(guān)。有記憶信道 輸出不僅與當(dāng)前輸入有關(guān)，而且與過(guò)去的輸入 和輸出有

8、關(guān)。 本章的討論基于無(wú)記憶、恒參、單用戶離散信道，它是進(jìn)一步研究其它各類信道的基礎(chǔ)。 173.1.2 信道的數(shù)學(xué)模型18信道的數(shù)學(xué)描述 設(shè)離散信道的輸入序列為 ，其中 XN 符號(hào)集A=(a1,a2,ar) 相應(yīng)的輸出序列為 ，其中 YN 符號(hào)集B=(b1,b2,bs)。19 信道的特性可用條件概率來(lái)描述： 條件概率 稱為信道的傳遞概率或轉(zhuǎn)移概率。 信道的數(shù)學(xué)模型可以用數(shù)學(xué)符號(hào)表示為：一般信道的模型信道描述的物理意義傳遞概率 描述了輸入信號(hào)和輸出信號(hào)之間統(tǒng)計(jì)依賴關(guān)系，集中體現(xiàn)了信道對(duì)輸入符號(hào) 的傳遞作用，反映了信道的統(tǒng)計(jì)特性。信道不同，傳遞概率不同。 根據(jù)信道的統(tǒng)計(jì)特性即條件概率 的不同，離散信

9、道又可分成以下三種： 無(wú)干擾信道(無(wú)噪信道) 有干擾無(wú)記憶信道 有干擾有記憶信道(1)無(wú)干擾(噪聲)信道 信道中沒(méi)有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)與輸入信號(hào) 之間有確定的、一 一對(duì)應(yīng)的關(guān)系。即： y = f (x)22(2)有干擾無(wú)記憶信道 該信道為實(shí)際常用信道，信道中存在干擾。 信道輸入和輸出符號(hào)之間不存在確定的對(duì)應(yīng)關(guān)系，接收到Y(jié)后不能完全消除對(duì)X的不確定性。信道輸入和輸出間的條件概率是一般的概率分布。 信道任一時(shí)刻的輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱為無(wú)記憶信道，其條件概率滿足23(3) 有干擾(噪聲)有記憶信道 實(shí)際信道往往是既有干擾(噪聲)又有記憶的。 例如在數(shù)字

10、信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號(hào)不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)，這樣的信道稱為有記憶信道。 此時(shí)24 處理有記憶有干擾信道的兩種常用方法： 把記憶較強(qiáng)的N個(gè)符號(hào)當(dāng)作一個(gè)N維矢量，認(rèn)為各矢量間無(wú)記憶，由此轉(zhuǎn)換成無(wú)記憶信道的問(wèn)題。這樣處理會(huì)引入誤差，但隨著N的增加，引入的誤差會(huì)減小。 把 看成馬爾科夫鏈的形式，即有限記憶信道。此時(shí)，信道的統(tǒng)計(jì)特性可用在已知時(shí)刻的輸入符號(hào)和前一時(shí)刻所處的狀態(tài)與信道的輸出符號(hào)和當(dāng)時(shí)所處狀態(tài)的聯(lián)合條件概率來(lái)描述，即用p(ynSn|xnSn-1)來(lái)描述，這里Sn

11、表示信道在n時(shí)刻所處的狀態(tài)(Sn-1表示信道在n-1時(shí)刻所處的狀態(tài))， xn表示信道在n時(shí)刻的輸入， yn表示信道在n時(shí)刻的輸出。253.1.3 單符號(hào)離散信道26 單符號(hào)信道是最簡(jiǎn)單的信道，其輸入與輸出都是單個(gè)符號(hào)。單符號(hào)離散信道： 輸入符號(hào)為X，取值于輸入符號(hào)集A=a1,a2, ,ar。 輸出符號(hào)為Y，取值于輸出符號(hào)集B=b1,b2, ,bs。 條件概率：P(y|x)P(y=bj|x=ai)P(bj|ai) i=1,2,r；j=1,2,s 并滿足： 這一組條件概率稱為單符號(hào)離散信道的傳遞概率(轉(zhuǎn)移概率)，可以用來(lái)描述干擾對(duì)信道影響的大小。27 由于信道中有干擾(噪聲)存在，可以用rs個(gè)傳遞

12、概率 P(bj|ai)組成的傳遞(轉(zhuǎn)移)概率矩陣P來(lái)描述干擾對(duì)符號(hào)傳遞的具體影響(隨后給出)。 傳遞概率滿足 當(dāng) 等于0，表示輸入符號(hào)ai的前提下，信道不可能輸出bj 當(dāng) 等于0，表示輸入符號(hào)ai的前提下，信道輸出bj是一個(gè)確定事件 28 一般簡(jiǎn)單的單符號(hào)離散信道的數(shù)學(xué)模型可以用概率空間 加以描述，也可用下圖來(lái)描述：29 一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為信道轉(zhuǎn)移矩陣。 30傳遞概率矩陣的表示：P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為信道轉(zhuǎn)移矩陣。 化簡(jiǎn) 由于噪聲的隨

13、機(jī)干擾，信道輸入某符號(hào)ai的前提下，信道輸出哪一種符號(hào)雖然是不確定的，但一定是信道輸出符號(hào)集B:(b1,b2,bs)中的某一種符號(hào)，絕對(duì)不可能是符號(hào)集B以外的任何其他符號(hào)，即矩陣中每一行之和必等于1。傳遞概率矩陣的含義單符號(hào)離散信道的傳遞特性圖信道矩陣P所描述的信道傳遞特性也可以用傳遞特性圖來(lái)描述。 左右兩側(cè)的點(diǎn)集合分別表示輸入符號(hào)集A和輸出符號(hào)集B單符號(hào)離散信道的傳遞特性圖 輸出為ai 時(shí)，接收為bj單符號(hào)離散信道的傳遞特性圖 由ai到bj的連線旁的數(shù)值，表示信道輸入ai到bj的傳遞概率p(bj|ai)。單符號(hào)離散信道的傳遞特性圖從每一個(gè)輸入符號(hào)ai出發(fā)的所有連線旁標(biāo)出的數(shù)值之和均等于1。

14、例1 二元對(duì)稱信道，BSC，Binary Symmetrical Channel解 此時(shí)，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。 傳遞概率:p是單個(gè)符號(hào)傳輸發(fā)生錯(cuò)誤的概率。 表示是傳輸無(wú)錯(cuò)誤的概率。二元對(duì)稱信道的信道轉(zhuǎn)移矩陣:1p a1=0 0=b11p a2=1 1=b2pp37對(duì)稱信道若信道的傳遞概率矩陣P中每一行都是由同一集合中的諸元素不同排列組成，且每一列也都是由中的諸元素不同排列組成。具有這種對(duì)稱信道矩陣的信道稱為對(duì)稱離散信道?！緦?duì)稱信道的特點(diǎn)】對(duì)稱信道傳輸矩陣的各行都是一些相同元素的重排，各列也是一些相同元素的重排。 對(duì)稱信道 0 2 101

15、符號(hào)“2”表示接收到了“0”、“1”以外的特殊符號(hào)。p，q含義如上圖所示，它們都是無(wú)錯(cuò)誤傳輸概率。p0 01p1 1q1q2例2 在信道受干擾不嚴(yán)重的情況下，在接收端增加一個(gè)中間狀態(tài)2(刪除符號(hào))。由于發(fā)送1接收0和發(fā)送0接收1的可能性比發(fā)送0接收2或發(fā)送1接收2的可能性小得多，故可設(shè)p(y=1|x=0)=0,p(y=0|x=1)=0。這種情況相當(dāng)于r=2，s=3，該信道稱為二元?jiǎng)h除信道。BEC，Binary Eliminated Channel解 X=0，1 Y=0，1，2此時(shí)，r 2，s 3，傳遞矩陣(信道轉(zhuǎn)移矩陣)為：403.2信道疑義度與平均互信息413.2.1 信道疑義度 信道輸入的

16、信息量: H(X)是在接收端收到Y(jié)以前，關(guān)于輸入X的先驗(yàn)不 確定性，稱為先驗(yàn)熵。信道無(wú)干擾：y=f(x)，接收的平均信息為H(X) 信道的輸出符號(hào)與輸入符號(hào)一一對(duì)應(yīng)。這時(shí)，接收到傳送過(guò)來(lái)的符號(hào)后就消除了對(duì)發(fā)送符號(hào)的先驗(yàn)不確定性。 信道有干擾： ？ XY3.2 信道疑義度與平均互信息42 收到bj后關(guān)于ai的不確定性： 它表示收到bj后關(guān)于各輸入符號(hào)的平均不確定性后驗(yàn)熵。 43信道疑義度信道疑義度表示收到Y(jié)后關(guān)于X還存在的平均不確定性由于信道中存在干擾而對(duì)于輸入端X存在的不確定性(疑義度)。表示損失在信道中的信息量損失熵性質(zhì)： 對(duì)于無(wú)噪無(wú)損信道(一一對(duì)應(yīng)信道)，收到符號(hào)Y后，對(duì)于X的不確定性可以

17、完全消除，這時(shí)信道疑義度H(X|Y)=0 一般有H(X|Y)H(X)，說(shuō)明收到符號(hào)集Y后，關(guān)于符號(hào)集X的平均不確定性減少了，即通過(guò)信息傳輸總能消除一些信源的不確定性，從而獲得一定的信息，這也是信息傳輸?shù)哪康摹?4含義：平均從Y獲得的關(guān)于X的信息量 （又稱為信道的信息傳輸率R，表示平均每一個(gè)消息符號(hào)在信道中傳輸會(huì)給收端帶來(lái)的信息量）。 互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。 對(duì)于無(wú)干擾信道，I(xi ; yj) = I(xi)； 對(duì)于全損信道，I(xi ; yj) = 0； 平均互信息I(X;Y)定義為互信息 I(xi;yj)的統(tǒng)計(jì)平均:3.2.2 平均互信息/

18、信息傳輸率45互信息： 表示由隨機(jī)事件y中 獲得關(guān)于事件x的信息 I(X;Y)與熵： 互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。 對(duì)于無(wú)干擾信道，I(xi ; yj) = I(xi)； 對(duì)于全損信道，I(xi ; yj) = 0； 平均互信息I(X;Y)定義為互信息 I(xi;yj)的統(tǒng)計(jì)平均:3.2.2 平均互信息/信息傳輸率46注意： 互信息互信息 I(xi ; yj)表示收到消息yj后獲得關(guān)于xi的信息量 互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。 對(duì)于無(wú)干擾信道，I(xi ; yj) = I(xi)； 對(duì)于全損信道，I(xi

19、; yj) = 0； 平均互信息I(X;Y)定義為互信息 I(xi;yj)的統(tǒng)計(jì)平均:3.2.2 平均互信息47 平均互信息I(X;Y)代表接收到符號(hào)集Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。關(guān)于平均互信息I(X;Y)的結(jié)論 互信息I(x;y)代表收到某消息y后獲得關(guān)于某事件x的信息量。它可取正值，也可取負(fù)值。 若互信息I(x;y)0，說(shuō)明在未收到信息量y以前對(duì)消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息y后，反而對(duì)x是否出現(xiàn)的不確定程度增加了。 平均互信息I(X;Y)是I(x;y)的統(tǒng)計(jì)平均，所以I(X;Y)0。 若I(X;Y)=

20、0，表示在信道輸出端接收到輸出符號(hào)Y后不獲得任何關(guān)于輸入符號(hào)X的信息量。此時(shí)對(duì)應(yīng)的信道為全損信道。 48 平均互信息與無(wú)條件熵、條件熵和聯(lián)合熵的關(guān)系： I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)又由于H(X|Y)=H(XY)-H(Y)；H(Y|X)=H(XY)-H(X)，所以有 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) 50平均互信息與各類熵的關(guān)系 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY)其中：

21、51對(duì)平均互信息與各類熵之間關(guān)系的說(shuō)明： I(X;Y)=H(X)-H(X|Y)表示從Y獲得關(guān)于X的平均互信息，等于接收到輸出Y的前后關(guān)于X的平均不確定性的消除。 I(X;Y)=H(Y)-H(Y|X)表示信源發(fā)出X的前后關(guān)于Y的平均不確定性的消除。 熵只是平均不確定性的描述，I(X;Y)才是接收端所獲得的信息量(不確定性的消除量)。 平均互信息I(X;Y)確定了通過(guò)信道的信息量的多少，故又稱為信息傳輸率。 H(X|Y)=H(X)-I(X;Y)為信道疑義度(損失熵)，表示信源符號(hào)通過(guò)有噪信道傳輸所引起的信息量損失。 H(Y|X)=H(Y)-I(X;Y)為散布度(噪聲熵)，反映了信道中噪聲源的不確定

22、性。52平均互信息與各類熵之間關(guān)系的集合圖(維拉圖)表示： 損失熵 H(X|Y)=H(X)-I(X;Y) 噪聲熵 H(Y|X)=H(Y)-I(X;Y) 聯(lián)合熵 H(XY)=H(X)+H(Y)-I(X;Y) 圖中，左邊的圓代表隨機(jī)變量X的熵，右邊的圓代表隨機(jī)變量Y的熵，兩個(gè)圓重疊部分是平均互信息I(X;Y)。兩個(gè)圓分別減去I(X;Y)后剩余的部分代表信道疑義度和散布度。53 兩種特殊信道(離散無(wú)干擾信道和輸入|輸出獨(dú)立信道)的損失熵和噪聲熵與各類熵之間的關(guān)系：(1)、離散無(wú)干擾信道 ( 無(wú)噪無(wú)損信道 ) 若信道的輸入和輸出一一對(duì)應(yīng)，信息無(wú)損傳輸，稱為無(wú)噪無(wú)損信道。 信道無(wú)損時(shí)，H(X|Y) =

23、H(Y|X) = 0，即離散無(wú)干擾信道(離散無(wú)噪無(wú)損信道)的損失熵和噪聲熵都等于0，因此，輸出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y) 54第一種極端信道無(wú)噪無(wú)損信道集合圖： H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y) 描述I(X;Y)、 H(X)和H(Y)的三個(gè)集合完全重疊。55 (2) 輸入|輸出獨(dú)立信道(全損信道) 信道輸入端X與輸出端Y完全統(tǒng)計(jì)獨(dú)立 將上述關(guān)系帶入熵的計(jì)算公式，得 H(X|Y) = H(X) , H(Y|X) = H(Y)從而有 I(X;Y) = H(X)-H(X|Y)=H(Y)-H(Y|X)=0即當(dāng)信道的輸入和輸出

24、沒(méi)有依賴關(guān)系時(shí)，信息將無(wú)法傳輸。因而輸入|輸出獨(dú)立信道又稱為全損信道。 56 在全損信道中，接收到Y(jié)后不可能消除有關(guān)輸入端X的任何不確定性，所以獲得的信息量等于0。同樣，在全損信道中也不能從X中獲得任何關(guān)于Y的信息量。 全損信道的平均互信息I(X;Y)等于零，表明了信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零。第二種極端信道全損信道的集合圖 H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 描述I(X;Y)、 H(X)和H(Y)的三個(gè)集合完全獨(dú)立(I(X;Y)為空集)。 573.2 平均互信息的性質(zhì)(1)非負(fù)性 即 I(X;Y) 0 當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。 證法1 根

25、據(jù)詹森不等式Ef(x)f(Ex)，有 58證法2 由于H(XY)H(X)+H(Y)，故 I(X;Y)=H(X)+H(Y)-H(XY)0 I(X;Y)=0在p(xy)=p(x)p(y)時(shí)，即X與Y統(tǒng)計(jì)獨(dú)立時(shí)成立。 平均互信息的非負(fù)性說(shuō)明： 通過(guò)信道傳輸信息，獲得的平均互信息量必然是正的，即從平均角度來(lái)說(shuō)，觀察信道的輸出，總能接收到一定的信息。 但當(dāng)信道的輸入和輸出統(tǒng)計(jì)獨(dú)立，則不能在信道的輸出端接收到任何有關(guān)輸入的信息。59(2)極值性 I(X;Y)H(X) 或 I(X;Y)H(Y) 證 60對(duì)平均互信息的極值性說(shuō)明： 當(dāng)損失熵H(X|Y)=0時(shí)，對(duì)應(yīng)無(wú)損信道。 I(X;Y)H(X)表明通過(guò)一般信

26、道獲得的信息量不可能超過(guò)信源本身固有的信息量。只有使用無(wú)損信道傳送，才能獲得信源中的全部信息量。 同樣，當(dāng)H(Y|X)=0時(shí)，對(duì)應(yīng)無(wú)噪信道。 I(X;Y)H(Y)表明通過(guò)一般信道傳送的信息量不會(huì)超過(guò)信宿的信息量。只有使用無(wú)噪信道時(shí)傳送的信息量才等價(jià)于信宿的信息量。61(3)對(duì)稱性(交互性) I(X;Y) = I(Y;X) 當(dāng) X、Y統(tǒng)計(jì)獨(dú)立時(shí)，I(X;Y)=I(Y;X)=0 當(dāng)信道無(wú)干擾(無(wú)噪無(wú)損)時(shí)，I(X;Y)=I(Y;X)=H(X)=H(Y) 對(duì)稱性說(shuō)明：從Y中獲得的關(guān)于X的信息量與從X中獲得的關(guān)于Y的信息量相等。62(4)凸?fàn)钚?所以，平均互信息I(X;Y)是信源X的概率分布p(x)和

27、信道的傳傳遞概率p(y|x)的函數(shù)，即： I(X;Y) = f p(x), p(y|x) 平均互信息I(X;Y)是輸入信源的概率分布p(x)的型凸函數(shù)。對(duì)固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。對(duì)于每一個(gè)固定信道，一定存在有一種信源(某一種概率分布P(x)，使輸出端獲得的平均信息量為最大。63 平均互信息I(X;Y)是信道傳遞的概率P(y|x)的型凸函數(shù)。當(dāng)信源固定后，選擇不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。對(duì)每一種信源都存在一種最差的信道，此時(shí)干擾(噪聲)最大，而輸出端獲得的信息量最小。例 二

28、元對(duì)稱信道BSC的輸入概率空間為 ， 討論信道和信源變化對(duì)平均互信息的影響。解 BSC信道的轉(zhuǎn)移概率矩陣為 先計(jì)算平均互信息：646566因此，若信源固定(給定)則I(X;Y)是p的型函數(shù)，如下圖所示：673.3離散無(wú)記憶信道的擴(kuò)展信道683.3 離散無(wú)記憶信道的擴(kuò)展信道 前述最簡(jiǎn)單的單符號(hào)離散信道的輸入和輸出都是單個(gè)隨機(jī)變量。 更常見(jiàn)的離散信道的輸入和輸出為一系列時(shí)間(空間)上離散的隨機(jī)變量(隨機(jī)序列)，并且輸入或輸出隨機(jī)序列中每個(gè)隨機(jī)變量都取值于同一輸入符號(hào)集或輸出符號(hào)集，這種離散信道的數(shù)學(xué)模型可用概率空間 描述。 在一般離散信道中，重點(diǎn)討論離散無(wú)記憶信道(DMC，Discrete Mem

29、oryless Channel) ，其傳遞概率滿足：69 DMC仍用概率空間 來(lái)描述。 設(shè)離散無(wú)記憶信道的輸入符號(hào)集A=a1, , ar，輸出符號(hào)集B=b1, , bs，信道轉(zhuǎn)移矩陣為:70則此離散無(wú)記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如下所示:而信道轉(zhuǎn)移矩陣：其中： 71例 求二元無(wú)記憶對(duì)稱信道(BSC)的二次擴(kuò)展信道。解 BSC的輸入、輸出變量X和Y的都在0,1中取值，因此，二次擴(kuò)展信道的輸入符號(hào)集A和輸出符號(hào)集B均有224個(gè)符號(hào)A=B=00，01，10，11。 由于是無(wú)記憶信道，可求得二次擴(kuò)展信道的傳遞概率：72所以，BSC的二次擴(kuò)展信道的信道轉(zhuǎn)移矩陣為73 根據(jù)平均互信息的定義，可得無(wú)記憶

30、信道的N次擴(kuò)展信道的平均互信息： 若信道的輸入隨機(jī)序列為 ，通過(guò)信道傳輸,接收到的隨機(jī)序列為 。信道轉(zhuǎn)移概率為 ，則傳輸長(zhǎng)度為N的隨機(jī)序列后，所獲得的平均互信息為 。74關(guān)于平均互信息的重要結(jié)論： 若信道是無(wú)記憶的，即信道傳遞概率滿足： 上式中，若信源是無(wú)記憶的，則等式成立。直觀分析：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少。 若信源是無(wú)記憶的，則有直觀分析：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。75 若信道和信源都是無(wú)記憶的，且 上式表明，信源無(wú)記憶時(shí)，則無(wú)記憶信道的N次擴(kuò)展信道的平均互信息等于單符號(hào)信道平均

31、互信息的N倍。76【例】信源X的概率測(cè)度為 ， 通過(guò)下圖所示的二元?jiǎng)h除信道，計(jì)算H(X) 、H(Y) 和H(X|Y)?！纠啃旁碭的概率測(cè)度為 ， 通過(guò)下圖所示的二元?jiǎng)h除信道，計(jì)算H(X) 、H(Y) 和H(X|Y)。由信道的傳遞特性圖可得：01【例】信源X的概率測(cè)度為 ， 通過(guò)下圖所示的二元?jiǎng)h除信道，計(jì)算H(X) 、H(Y) 和H(X|Y)。由信道的傳遞特性圖可得：01利用全概率公式，輸出符號(hào)概率測(cè)度為：信宿接收到的符號(hào)熵：【例】信源X的概率測(cè)度為 ， 通過(guò)下圖所示的二元?jiǎng)h除信道，計(jì)算H(X) 、H(Y) 和H(X|Y)。由信道的傳遞特性圖可得：01利用概率乘法公式，得聯(lián)合概率：利用概率乘法

32、公式，得后向概率：同理，得：信道疑義度：【例】 擲一個(gè)骰子，如果結(jié)果是1，2，3或4，則拋一次硬幣；如果結(jié)果是5或6，則拋兩次硬幣。試計(jì)算從拋硬幣的結(jié)果可以得到多少關(guān)于擲骰子的信息量。 解：擲骰子和拋硬幣都可以看成是無(wú)記憶過(guò)程。設(shè)擲骰子結(jié)果為1，2，3或4時(shí)為信源X=0的情況；擲骰子結(jié)果為5或6時(shí)為信源X=1的情況。信源的概率空間為：設(shè)當(dāng)Y=0時(shí)，表示拋硬幣為0次正面；當(dāng)Y=1時(shí)，表示拋硬幣為1次正面；當(dāng)Y=2時(shí)，表示拋硬幣為2次正面。離散無(wú)記憶信道的傳遞特性圖為：輸出符號(hào)概率：信宿接收到的符號(hào)熵：信道的疑義度：信道的平均互信息：3.4離散信道的信道容量863.4.1 離散信道的信道容量 研究

33、信道的目的是要討論對(duì)給定信道，能得到盡可能高的信息傳輸率，因此需要了解給定的信道到底能傳輸多少信息量，即信道容量。 定義;信息傳輸率R 信道中平均每個(gè)符號(hào)所能傳送的信息量，又稱為傳碼率、碼元傳輸速率或波特率，單位是比特/符號(hào)或波特(baud)。 平均互信息I(X;Y)就是在輸出端接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于輸入端符號(hào)X的信息量。 87一、信息傳輸率【數(shù)學(xué)描述】如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)。但是，由于干擾的存在，一般只能接收到I(X;Y)。平均互信息量I(X;Y)是接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。因此，信道的信息傳輸率就是平均互信息量，即

34、 R=I(X;Y)=H(X)-H(X|Y)二、信息傳輸速率【定義】信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘繛樾畔鬏斔俾蔙t，又稱為傳信率、信息速率或比特率，單位是比特/秒(bit/s或bps)?！緮?shù)學(xué)描述】如果信道平均傳輸一個(gè)符號(hào)需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘縍t，即為單位：比特/秒【定義】對(duì)于固定的信道，總存在一種信源（某種輸入概率分布），使信道平均傳輸一個(gè)符號(hào)在接收端獲得的信息量最大，也就是說(shuō)對(duì)于每個(gè)固定信道都有一個(gè)最大的信息傳輸率，這個(gè)最大的信息傳輸率即為信道容量C。信道容量的定義【數(shù)學(xué)描述】 單位：比特/符號(hào)【物理意義】信道容量C只是信道傳遞概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)，而與輸

35、入信源的概率分布無(wú)關(guān)。即對(duì)于一個(gè)特定的信道，其信道容量C是確定的，是不隨輸入信源的概率分布變化而改變的。信道容量C取值的大小，直接反映了信道質(zhì)量的高低。 信道容量是完全描述信道特性的參量，是信道能夠傳輸?shù)淖畲笮畔⒘俊Ｐ诺缹?shí)際傳送的信息量必然不大于信道容量?！咀罴哑ヅ湫旁吹亩x】【條件】能使平均互信息量達(dá)到信道容量C。相應(yīng)的輸入概率分布為最佳信源分布。相應(yīng)的信源稱為最佳匹配信源。關(guān)于信道容量的一般結(jié)論： 特定信道的信息傳輸率R只有取最佳信源分布時(shí)，才能達(dá)到這個(gè)極大值C。 雖然在取最佳信源分布時(shí)信道的信息傳輸率R可達(dá)到信道容量C，但在信息傳輸過(guò)程中，由于信道傳輸特性的影響，仍會(huì)出現(xiàn)差錯(cuò)。例 BSC

36、信道容量的計(jì)算。解 對(duì)于BSC，I(X;Y)因此，二元對(duì)稱信道的信道容量為 信道容量C是信道中能傳輸?shù)淖畲笮畔鬏斄?單位為bit/symbol)，而信道最大信息傳輸率是在信源取某一特定概率分布時(shí)得到的，稱該特定信源概率分布為最佳信源分布。 對(duì)BSC，其最佳信源分布為等概分布，其信道容量為 C=1-H(p) (bit/symbol)即BSC的信道容量只與信道轉(zhuǎn)移概率有關(guān)。93關(guān)于信道容量的一般結(jié)論： 對(duì)于一個(gè)特定信道，信道容量C是確定的，不隨信源分布而變。 信道容量C取值的大小，直接反映了信道質(zhì)量的高低。 特定信道的信息傳輸率R只有取最佳信源分布時(shí)，才能達(dá)到這個(gè)極大值C。 雖然在取最佳信源分布

37、時(shí)信道的信息傳輸率R可達(dá)到信道容量C，但在信息傳輸過(guò)程中，由于信道傳輸特性的影響，仍會(huì)出現(xiàn)差錯(cuò)。94 若信道傳輸錯(cuò)誤量超過(guò)了可靠性容限，則須采用信道編碼方法，將特定冗余碼元加入信源符號(hào)，以便在接收端發(fā)現(xiàn)并糾正錯(cuò)誤，從而提高傳輸?shù)目煽啃?。但這樣做勢(shì)必降低信道的信息傳輸率。這就是信息傳輸有效性與可靠性的基本矛盾。 有噪信道編碼定理(香農(nóng)第二定理)可以解決信息傳輸有效性與可靠性的矛盾：總存在最佳信道編碼，保證在信道的信息傳輸率不超過(guò)信道容量C時(shí)能獲得盡可能高的傳輸可靠性。 從數(shù)學(xué)角度來(lái)說(shuō)，求信道容量就是求平均互信息I(X;Y)的最大值。一般信道的信道容量C的計(jì)算非常復(fù)雜。以下討論一些特殊信道的信道容

38、量的求法。95 對(duì)于離散無(wú)記憶信道，當(dāng)輸入信源是平穩(wěn)時(shí)，如果已知其輸入字符概率p(a)=(p(a1),p(a2),p(ar)和信道轉(zhuǎn)移矩陣Q=p(bj|ak)rs，則該信道容量可定義為：根據(jù)上述定義求信道容量C，只需求I(p(a),Q)的最大值即可。 96帶約束的多元函數(shù)極值問(wèn)題 簡(jiǎn)單離散信道定義：輸入|輸出之間為確定關(guān)系或簡(jiǎn)單依賴關(guān)系的離散信道。 無(wú)噪無(wú)損信道 簡(jiǎn)單離散信道 有噪無(wú)損信道 無(wú)噪有損信道1. 無(wú)噪無(wú)損信道 右圖所示的無(wú)噪無(wú)損信道的輸入|輸出符號(hào)之間存在著確定的一一對(duì)應(yīng)關(guān)系，其信道轉(zhuǎn)移概率為3.4.2 簡(jiǎn)單離散信道的信道容量97 由上述概率關(guān)系可知，無(wú)噪無(wú)損信道的轉(zhuǎn)移矩陣是單位矩

39、陣： 無(wú)噪無(wú)損信道的信道疑義度H(X|Y)=0，散布度H(Y|X)=0 (?)，所以 I(X;Y)=H(X)=H(Y) 。 上式表示接收端收到符號(hào)Y后獲得的信息量，等于信源發(fā)出每個(gè)符號(hào)所包含的平均信息量，在信道傳輸過(guò)程中沒(méi)有產(chǎn)生任何信息損失(r=s)。 由于其損失熵H(X|Y)為0，并且噪聲熵H(Y|X)也等于0。因此這類信道稱為無(wú)噪無(wú)損信道，其信道容量為982. 有噪無(wú)損信道 信道如右圖所示，其信道轉(zhuǎn)移概率(前向概率)為其信道轉(zhuǎn)移矩陣為99由于后向概率 該信道在接收到符號(hào)Y后，信源符號(hào)X是完全確定的，因此損失熵H(X|Y)=0。 100 有噪無(wú)損信道的損失熵H(X|Y)=0，但噪聲熵H(Y|

40、X)0 (rs)，所以有噪無(wú)損信道的平均互信息：I(X;Y)=H(X)0。 信道的每一個(gè)輸入符號(hào)都確定的轉(zhuǎn)變成某一個(gè)輸出符號(hào)，因此其噪聲熵(散布度) H(Y|X)=0，rs，所以平均互信息 I(X;Y)=H(Y)s，每行有且僅有一個(gè)非零元素，則該信道一定是無(wú)噪有損信道。 一般的離散信道是有噪有損的，其信道轉(zhuǎn)移矩陣中至少有一行存在一個(gè)以上的非零元素，而且同時(shí)至少有一列存在一個(gè)以上的非零元素。在這種情況下信道容量的計(jì)算非常復(fù)雜。但可以討論一類較為簡(jiǎn)單的有噪有損信道對(duì)稱與準(zhǔn)對(duì)稱離散信道的信道容量。104小結(jié)： 無(wú)噪信道 無(wú)損信道 105性質(zhì)：106 如果信道轉(zhuǎn)移矩陣P(r行，s列，一般sr)中每一行

41、都是第一行元素的不同排列，則此信道關(guān)于輸入對(duì)稱；若P中每一列都是第一列的不同排列，則此信道關(guān)于輸出對(duì)稱。 若一個(gè)離散無(wú)記憶信道關(guān)于輸入和輸出都對(duì)稱，則該信道為對(duì)稱DMC信道。 或說(shuō)對(duì)稱DMC信道是指信道轉(zhuǎn)移矩陣中每一行都是由同一集合p1，p2，pr中的諸元素不同排列組成，且每一列也都是由q1，q2，qs 中的諸元素不同排列組成。 具有這種結(jié)構(gòu)的信道轉(zhuǎn)移矩陣所描述的的信道稱為對(duì)稱離散信道。3.4.3 對(duì)稱與準(zhǔn)對(duì)稱離散信道的信道容量107例其信道轉(zhuǎn)移矩陣為 由于Pa和Pb滿足信道轉(zhuǎn)移矩陣P中每一行都是第一行的重新排列，且每一列都是第一列的重新排列，因而上圖給出的離散信道均為對(duì)稱離散信道。108 而

42、信道轉(zhuǎn)移矩陣所代表的信道都不是對(duì)稱離散信道。 當(dāng)輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移矩陣P的每一行都包含同樣的元素而各列的元素不同時(shí)，則稱該矩陣是準(zhǔn)對(duì)稱信道。 如果可把信道輸出字符集劃分成幾個(gè)子集，每個(gè)子集對(duì)應(yīng)的信道轉(zhuǎn)移矩陣中各行(列)組成的子矩陣滿足每行(列)都是第一行(列)的同一組元素的不同排列，則稱該信道是準(zhǔn)對(duì)稱信道。109110對(duì)稱離散信道的信道容量：H(Y|X=x )是固定X=x時(shí)對(duì)Y求和，即對(duì)信道矩陣的列求和。111 由于信道具有對(duì)稱性，每一行(第i行)都是第一行的重排列，由信息熵的對(duì)稱性知H(Y|X=x )與行序號(hào)i無(wú)關(guān)，為一常數(shù)。這時(shí)H(Y|X=x)=H(p1,p2,ps)。因此，對(duì)稱

43、DMC信道的信道容量為 112 在這個(gè)信道中，每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮畔?.0817比特。只有當(dāng)信道的輸入符號(hào)是等概率分布時(shí)才能達(dá)到這個(gè)最大值。例 某對(duì)稱離散信道的信道矩陣如下，求其信道容量。解 s=4, r=2113例 K元離散無(wú)記憶對(duì)稱信道如圖所示，其轉(zhuǎn)移概率為 求該信道的容量。114 K元離散無(wú)記憶對(duì)稱信道的輸入|輸出符號(hào)個(gè)數(shù)相同，都等于K，且信道轉(zhuǎn)移矩陣滿足對(duì)稱性要求此信道也稱為強(qiáng)對(duì)稱信道或均勻信道(P為K階對(duì)稱方陣) 。 115 這類信道中輸出符號(hào)總的錯(cuò)誤概率為p ，對(duì)稱地平均分配給K-1個(gè)輸出符號(hào)。均勻信道是對(duì)稱離散信道的特例。其信道容量為116其中l(wèi)ogK為輸入的最大信息量

44、， 是傳輸過(guò)程中由于干擾而損失的信息量，因而兩者之差為信道實(shí)際傳送的最大信息量信道容量C。 當(dāng)K=2時(shí)，即為BSC的信道容量C=1-H(p)(BSC是K元離散無(wú)記憶對(duì)稱信道的特例) 。117例 求下圖所示的無(wú)噪二進(jìn)信道的容量 0 0 X Y 1 1解法1 顯然轉(zhuǎn)移概率矩陣是一個(gè)二階的單位矩陣。由于信源只有兩個(gè)符號(hào)，設(shè)p(0)=p,則p(1)=1-p,問(wèn)題就變?yōu)榍蟪龊线m的p使I(X;Y)最大。 設(shè)輸入空間A為 輸出空間B為118119所以無(wú)噪二進(jìn)信道的信道容量并且在輸入空間等概率分布時(shí)，即p(a1)=p(a2)=1/2時(shí)達(dá)到信道容量。 120例 求下圖所示的無(wú)噪二進(jìn)信道的容量 0 0 X Y 1

45、 1解法2 利用對(duì)稱信道容量計(jì)算公式 輸入符號(hào)個(gè)數(shù)r=2,輸出符號(hào)個(gè)數(shù)s=2 概率轉(zhuǎn)移矩陣： 信道容量：121且在輸入空間等概率分布時(shí)，即p(a1)=p(a2)=1/2時(shí)達(dá)到信道容量。 設(shè)輸入概率空間為 對(duì)稱信道是準(zhǔn)對(duì)稱信道的特例。 準(zhǔn)對(duì)稱DMC信道的容量： 122123或求I(X;Y)，再求其最大值，即為信道容量 準(zhǔn)對(duì)稱DMC信道的容量： 例 已知一個(gè)信道的信道轉(zhuǎn)移矩陣如下，求該信道的容量。解1 該信道為準(zhǔn)對(duì)稱信道。設(shè)信道輸入符號(hào)有兩個(gè)，p(x1)= , p(x2)=1-，設(shè)信道輸出符號(hào)有三個(gè)，用y1,y2,y3表示。由p(xi,yj)=p(xi)p(yj|xi)得聯(lián)合概率的矩陣為 由 得

46、p(y1)=0.5+0.3(1-)=0.3+0.2 p(y2)=0.3+0.5(1-)=0.5-0.2 p(y3)=0.2+0.2(1-)=0.2其中p(y3)恒定，與xi的分布無(wú)關(guān)。124由 得 -0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0解得=l/2，即輸入符號(hào)分布等概率時(shí)I(X;Y)達(dá)到極大值。所以信道容量為 C=max I(X;Y)=0.036 (比特/符號(hào))此時(shí)輸出符號(hào)的概率為 p(y1)=p(y2)=0.4，p(y3)=0.2。125例 已知一個(gè)信道的信道轉(zhuǎn)移矩陣如下，求該信道的容量。解2 利用準(zhǔn)對(duì)稱信道的信道容量公式。設(shè)信道輸入符號(hào)有兩個(gè)，

47、p(x1)= , p(x2)=1-，設(shè)信道輸出符號(hào)有三個(gè)，用y1,y2,y3表示。126當(dāng)輸入符號(hào)分布等概率時(shí)，即=1/2時(shí)，達(dá)到信道容量。例 (復(fù)制信道) 英文26個(gè)字母中每一個(gè)以0.5的概率復(fù)制成自己，以0.5的概率變成下一個(gè)字母(如下圖所示)，求該信道的容量。 127解1 注意到轉(zhuǎn)移概率的特性 既然轉(zhuǎn)移概率的特性已明確，問(wèn)題也歸結(jié)為尋求信源的一種分布使I(X;Y)最大。容易求出H(Y|X)，利用互信息的性質(zhì)I(X;Y)=H(Y)-H(Y|X)；再利用信道發(fā)送端符號(hào)a的分布確定信道接收端b的分布，進(jìn)而求出H(Y)(它應(yīng)是關(guān)于p(a)的函數(shù))。128由于則 I(p(a),Q)=I(X;Y)=

48、H(Y) -H(Y|X)=H(Y)-1129由于因此當(dāng)輸入p(a)=(p(a1),p(a2),p(a26)為等概率分布時(shí)，輸出p(b)=(p(b1),p(b2),p(b26)也為等概率分布，所以 130解2 公式法 1313.4.4 離散無(wú)記憶N次擴(kuò)展信道的信道容量 一般離散無(wú)記憶信道的N次擴(kuò)展信道的平均互信息滿足 當(dāng)信源也是離散無(wú)記憶時(shí)，上式等號(hào)成立。 對(duì)于一般的離散無(wú)記憶信道的N次擴(kuò)展信道，其信道容量為 若已求得單符號(hào)離散無(wú)記憶信道的信道容量C，由于離散無(wú)記憶N次擴(kuò)展信道的輸入序列 中的各分量在同一信道中傳輸，因此有 Ci=C i=1,2,N132 上述結(jié)果表明任何時(shí)刻通過(guò)離散無(wú)記憶信道的

49、最大信息量都一樣， CN = NC說(shuō)明 離散無(wú)記憶信道的N次擴(kuò)展信道的信道容量為原單符號(hào)離散無(wú)記憶信道容量的N倍，且只有在輸入信源無(wú)記憶，每一個(gè)輸入變量Xi的分布都達(dá)到最佳分布時(shí)才能達(dá)到該信道容量。 一般情況下，消息序列在離散無(wú)記憶的N次擴(kuò)展信道中傳輸?shù)男畔⒘浚?333.5連續(xù)信道的信道容量134 連續(xù)信源的絕對(duì)熵： 可見(jiàn)連續(xù)信源的熵?zé)o限大。無(wú)法確切地定義。 連續(xù)信源的相對(duì)熵： 條件熵(連續(xù)信源條件相對(duì)熵)為 說(shuō)明相對(duì)熵和相對(duì)條件熵的差值與普通的熵和條件熵的差值 一樣，仍然等于平均互信息量。 同理可以導(dǎo)出： 一、平均互信息二、 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個(gè)相對(duì)熵之差，則連

50、續(xù)信源具有與離散信源一致的信息特征。 互信息就是兩個(gè)熵的差值，與離散信道類似，可定義互信息的最大值為信道容量。 因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。1、 連續(xù)單符號(hào)加性高斯噪聲信道的信道容量（平均功率受限） 單符號(hào)連續(xù)信道的輸入輸出都是取值連續(xù)的一維隨機(jī)變量。137它是由外界原因產(chǎn)生的隨機(jī)干擾，它與信道中傳送的信號(hào)的統(tǒng)計(jì)特性無(wú)關(guān)，因而信道的輸出是輸入和干擾的疊加 設(shè)信道迭加的噪聲n是均值為零，方差為2的一維加性高斯白噪聲，則高斯白噪聲信源的差熵為： 單符號(hào)連續(xù)信道的平均互信息為 I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)=h(X)+h(Y)-h(X

51、Y) 信息傳輸率為 R= I(X;Y) (bit/symbol) 信道容量為其中的條件熵(噪聲熵|散布度)是由信道的噪聲引起的不確定性，因而條件熵h(Y|X)等于噪聲信源的熵h(n)。 138 如果信道輸出信號(hào)Y為正態(tài)分布時(shí)，h(Y)為最大。這時(shí)其概率密度函數(shù)P(y)=N(0,P)，P為Y的平均功率。 由于信道的輸入X與信道噪聲n統(tǒng)計(jì)獨(dú)立，且信道為加性信道，即Y=X+n，所以有P=S+2，S為信道輸入X的平均功率。 由于輸出Y和信道噪聲n的概率密度函數(shù)分別為 p(y)=N(0,P)，p(n)=N(0,2)，且Y=X+n所以輸入X的概率密度函數(shù)為 p(x)=N(0,S)139 即當(dāng)信道的輸入X是

52、均值為0，方差為S的高斯分布時(shí)，信道容量達(dá)到最大值。 因此，平均功率受限的高斯加性信道的信道容量(每個(gè)自由度)為說(shuō)明 式中S/2是信號(hào)功率與噪聲功率的比值，簡(jiǎn)稱信噪比，記作 SNR= S/2。 單符號(hào)高斯加性連續(xù)信道的信道容量?jī)H取決于信道的信噪比，只有當(dāng)信道的輸入信號(hào)是均值為0、平均功率為S的高斯分布變量時(shí)，信道容量才能達(dá)到該最大值。140平均功率受限的高斯加性信道的信道容量(每個(gè)樣點(diǎn))為當(dāng)信道的輸入X是均值為0，方差為S的高斯分布時(shí)，信道容量達(dá)到最大值。說(shuō)明： 式中S/2是信號(hào)功率與噪聲功率的比值，簡(jiǎn)稱信噪比，記作 SNR= S/2。 單符號(hào)高斯加性連續(xù)信道的信道容量?jī)H取決于信道的信噪比，只

53、有當(dāng)信道的輸入信號(hào)是均值為0、平均功率為S的高斯分布變量時(shí)，信道容量才能達(dá)到該最大值。 實(shí)際上的各種電磁干擾屬于加性干擾，但為非高斯型分布。141 信道中的噪聲為乘性時(shí)，則難以定量分析。 若通信系統(tǒng)中的噪聲為加性，則可根據(jù)上式求出均值為0、平均功率為2的非高斯型噪聲信道的信道容量的上下限說(shuō)明 式中h(n)為噪聲熵，P為輸出信號(hào)的平均功率，P=S+2。 是均值為0、方差為P的高斯輸出信號(hào)熵，由于信道噪聲是非高斯型的，如果輸入信號(hào)X的分布能使Y(Y=X+n)呈高斯分布，則 中的 h(Y)達(dá)到最大值，此時(shí)信道容量達(dá)到上限值 1422、 連續(xù)單符號(hào)加性非高斯噪聲信道的信道容量的上下限143輸出信號(hào)序列

54、 =Y1Y2YN輸入信號(hào)序列 =X1X2XN3. 多維無(wú)記憶高斯加性連續(xù)信道加性信道高斯噪聲 = n1n2nNX1Y1=X1 +n1n1XNYN=XN +nNnN144多維無(wú)記憶加性連續(xù)信道示意圖145146既是多維無(wú)記憶高斯加性連續(xù)信道的信道容量，同時(shí)也是N個(gè)獨(dú)立、并聯(lián)組合的單符號(hào)高斯加性連續(xù)信道的信道容量。 對(duì)此，可分兩種情況討論：(1) 若各單元時(shí)刻(i1,N，對(duì)應(yīng)于輸入和輸出序列的各個(gè)分量)上的噪聲都是均值為零、方差為2的高斯噪聲，得 當(dāng)且僅當(dāng)輸入隨機(jī)序列 中各分量統(tǒng)計(jì)獨(dú)立，且都是均值為0，方差為S的高斯變量時(shí)，信道容量(信息傳輸率)才能達(dá)到該最大值。(比特N個(gè)自由度)147(2) 若

55、各單元時(shí)刻(i1,N)的噪聲是均值為0，方差為不同 的高斯噪聲，但輸入信號(hào)的總平均功率受限，其約束條件為：此時(shí)各單元時(shí)刻的信號(hào)平均功率應(yīng)合理分配，才能使信道容量最大。 為此，需在上述約束條件下求Pi的分布。這是一個(gè)求極大值的問(wèn)題，可用拉格朗日乘子法求解。 作輔助函數(shù) 148這表明，各單元時(shí)刻的信號(hào)平均功率與噪聲平均功率之和應(yīng)為常數(shù)，即各個(gè)時(shí)刻信道的輸出功率相等。設(shè)各個(gè)時(shí)刻信道的輸出功率為，則則每單元時(shí)刻信號(hào)的平均功率為149此時(shí)信道容量為 該結(jié)論說(shuō)明，N個(gè)獨(dú)立并聯(lián)組合的高斯加性信道(或N維無(wú)記憶高斯加性連續(xù)信道)，當(dāng)各分信道(或各時(shí)刻)的噪聲平均功率不相等時(shí)，為達(dá)到最大的信息傳輸率(信道容量)

56、，要對(duì)輸入信號(hào)的總能量適當(dāng)?shù)剡M(jìn)行分配。 150 當(dāng)常數(shù) 時(shí)，不對(duì)此子信道(或此時(shí)刻信號(hào)分量) 分配能量，這時(shí)由于噪聲太大而不傳送任何信息。 當(dāng) 時(shí)，在這些子信道可分配能量，并使之滿足 ，這樣得到的信道容量為最大。 這與實(shí)際情況也相符：人們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。151注水法原理(子信道信號(hào)功率分配方法) 將各單元時(shí)刻或并聯(lián)子信道看作盛水的容器，將信號(hào)總功率P看作水，向容器內(nèi)倒入水，最后的水平面是平的(平均輸出功率)，而每個(gè)子信道中裝的水即為分配的信號(hào)功率( )。152例 設(shè)有一并聯(lián)高斯加性信道，各子信道的噪聲均值為0，方差為 輸入信號(hào)X是10個(gè)相互統(tǒng)計(jì)

57、獨(dú)立、均值為零、方差為Pi的高斯變量，且 。求各子信道的信號(hào)功率分配方案。解 由常數(shù)的約束條件，得平均輸出功率為153再次計(jì)算常數(shù)(此時(shí)N = 6)，得：第三次計(jì)算常數(shù)(此時(shí)N = 5)，得：第五個(gè)子信道也應(yīng)排除，令P5=0。第四次計(jì)算(N = 5)154 本例結(jié)果表明，噪聲分量平均功率小的子信道分配得到的相應(yīng)信號(hào)分量的平均功率要大一些，不使用那些太壞的子信道(噪聲太大的子信道噪聲功率超過(guò)平均功率的子信道) ，可使總的信道容量最大。 若提高信號(hào)的總平均功率，對(duì)同樣的信道，可使有些子信道相應(yīng)也分配到一些輸入信號(hào)的能量，從而提高總的信道容量。155(比特10個(gè)自由度)若提高信號(hào)的總平均功率，使：功

58、率分配為： P1=0.725， P2=0.625 ， P3=0.525 ，P4=0.425， P5=0.325， P6=0.225 ， P7=0.125 ，P8=0.025信道容量：比較得最后兩個(gè)信道應(yīng)排除，令： P9 =0，P10 =0，則156說(shuō)明 用注水法分配功率是一種最佳策略。 噪聲小的子信道分配到的輸入平均功率大，信噪比也大，因而抵抗噪聲的能力就強(qiáng)，可以傳輸?shù)谋忍財(cái)?shù)就多。 噪聲大的子信道分配到的輸入平均功率小，信噪比也小，因而抵抗噪聲的能力就弱，可以傳輸?shù)谋忍財(cái)?shù)就少。 用注水法給子信道分配信號(hào)功率實(shí)際上采用了擇優(yōu)分配原則：噪聲小的，分配的信號(hào)功率就大；噪聲大的，分配的信號(hào)功率就小。1

59、574. 限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為W，在這樣的波形信道中，滿足限頻(F) 、限時(shí)(T)和限功率(Ps)的條件約束，所以可通過(guò)取樣將輸入和輸出信號(hào)轉(zhuǎn)化為L(zhǎng)維的隨機(jī)序列： 。這時(shí)波形信道的平均互信息為 通常，關(guān)注波形信道單位時(shí)間內(nèi)的信息傳輸率Rt:相應(yīng)的單位時(shí)間內(nèi)的信道容量為 158 在通信系統(tǒng)中，經(jīng)常碰到的噪聲之一就是白噪聲。所謂白噪聲是指它的功率譜密度函數(shù)在整個(gè)頻域內(nèi) 是常數(shù)，即 服從均勻分布。之所以稱它為“白”噪聲，是因?yàn)樗愃朴诠鈱W(xué)中包括全部可見(jiàn)光頻率在內(nèi)的白光。凡是不符合上述條件的噪聲就稱為有色噪聲。 白噪聲的功率譜密度函數(shù)

60、通常被定義為式中，是一個(gè)常數(shù)，單位為W/Hz。 白噪聲是根據(jù)噪聲的功率譜密度是否均勻來(lái)定義的，而高斯噪聲則是根據(jù)它的概率密度函數(shù)呈正態(tài)分布來(lái)定義的。高高斯白噪聲，是指噪聲的概率密度函數(shù)滿足正態(tài)分布統(tǒng)計(jì)特性，同時(shí)它的功率譜密度函數(shù)是常數(shù)的一類噪聲，二者缺一不可。 在通信系統(tǒng)的理論分析中，特別是在分析、計(jì)算系統(tǒng)抗噪聲性能時(shí)，經(jīng)常假定系統(tǒng)中信道噪聲（即前述的起伏噪聲）為高斯型白噪聲。其原因在于，一是高斯型白噪聲可用具體的數(shù)學(xué)表達(dá)式表述（比如，只要知道了均值 和方差 ，則高斯白噪聲的一維概率密度函數(shù)便可確定；只要知道了功率譜密度值，高斯白噪聲的功率譜密度函數(shù)便可決定），便于推導(dǎo)分析和運(yùn)算；二是高斯型白