第三章 信道模型和信道容量.ppt

1、信息論基礎(chǔ)Fundaments of Information Theory,武漢科技大學(xué)信息科學(xué)與工程學(xué)院,第三章 信道模型和信道容量,信道的基本概念 信道的數(shù)學(xué)模型 平均互信息量、損失熵、噪音熵 信道容量 離散對(duì)稱(chēng)信道的信道容量計(jì)算,信息傳輸系統(tǒng),第二章:信息量,第三章信道與信道容量,信道的基本概念,信道的基本概念,信道的任務(wù)：以信號(hào)的方式傳輸信息和存儲(chǔ)信息,信道中存在隨機(jī)噪聲,輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴(lài)的關(guān)系,例：信源輸出二元符號(hào)(0,1)調(diào)制時(shí)如采用正負(fù)方波的傳輸，正負(fù)方波分別表示0和1,信道的基本概念,信道的基本概念,. 無(wú)噪聲干擾,P(0|0)=P(

2、1|1)=1 P(1|0)=P(0|1)=0,信道的基本概念,2. 微小噪聲干擾,P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0,信道的基本概念,3. 一般噪聲干擾,P(0|0) P(1|1) 1 P(1|0) P(0|1) 0,信道的基本概念,信道的任務(wù)：以信號(hào)的方式傳輸信息和存儲(chǔ)信息,信道中存在隨機(jī)噪聲,輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴(lài)的關(guān)系,研究信道的目的：信道能夠傳輸或存儲(chǔ)的最大信息量，即信道容量,信道的基本概念信道分類(lèi),根據(jù)信道用戶的多少，可以分為： 單用戶信道：只有一個(gè)輸入、一個(gè)輸出的單向信道 多用戶信道：輸入、輸出至少有一端有兩個(gè)以上的

3、用戶，還有可能是雙向信道,信道的基本概念信道分類(lèi),根據(jù)信道的記憶特性 無(wú)記憶信道：信道輸出只與當(dāng)前的輸入有關(guān) 有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去的輸入有關(guān),信道的基本概念信道分類(lèi),根據(jù)輸入、輸出信號(hào)的取值特點(diǎn)： 離散輸入：輸入輸出的隨機(jī)序列取值都是離散的 連續(xù)信道：輸入輸出的隨機(jī)序列取值都是連續(xù)的 半離散半連續(xù)信道：輸入序列取值離散而輸出序列取值連續(xù)，或者反之。 波形信道：輸入輸出信號(hào)在時(shí)間上和取值上都是連續(xù)的，不能用隨機(jī)序列，而需要用隨機(jī)過(guò)程表示,信道的基本概念信道分類(lèi),根據(jù)信道參數(shù)與時(shí)間的關(guān)系，可以分為： 固定參數(shù)信道：信道參數(shù)（統(tǒng)計(jì)特性）不隨時(shí)間變化而變化 時(shí)變參數(shù)信道：信

4、道參數(shù)（統(tǒng)計(jì)特性）隨時(shí)間變化而變化,我們?cè)谶@門(mén)課程中，主要研究的是 單用戶、固定參數(shù)的離散信道,信道的數(shù)學(xué)模型,X和Y分別是輸入和輸出隨機(jī)序列,信道的數(shù)學(xué)模型,是條件概率分布，或稱(chēng)為條件概率 矩陣 描述了輸入信號(hào)、輸出信號(hào)之間的 統(tǒng)計(jì)依賴(lài)關(guān)系，反映了信道的統(tǒng)計(jì)特性.,信道的數(shù)學(xué)模型,根據(jù)信道的統(tǒng)計(jì)特性，即 的不同， 離散信道可以分成三種情況： 無(wú)干擾信道 有干擾無(wú)記憶信道 有干擾有記憶信道,無(wú)干擾信道,最理想的信道，信道中沒(méi)有隨機(jī)性的干 擾，輸出信號(hào)和輸入信號(hào)有一一對(duì)應(yīng)的函數(shù) 關(guān)系,有干擾無(wú)記憶信道,一般信道中都存在著干擾和噪聲，所以輸出符號(hào)和輸入符號(hào)之間沒(méi)有確定的對(duì)應(yīng)關(guān)系，而是統(tǒng)計(jì)依賴(lài)關(guān)系。

5、,有干擾無(wú)記憶信道,不僅僅是有干擾信道，而且是無(wú)記憶的。 無(wú)記憶的信道指的是在任一時(shí)刻的輸出符 號(hào)只統(tǒng)計(jì)依賴(lài)于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，而 與其它時(shí)刻的輸入符號(hào)和其它時(shí)刻的輸出 符號(hào)無(wú)關(guān)。,有干擾無(wú)記憶信道,滿足離散無(wú)記憶信道的充要條件是,因?yàn)闊o(wú)記憶信道的輸出只與對(duì)應(yīng)時(shí)刻的輸 入有關(guān)，所以已知輸入序列條件下輸出序 列的條件概率等于輸入輸出序列中，各對(duì) 應(yīng)分量的條件概率之積,有干擾無(wú)記憶信道模型簡(jiǎn)化,一般的信道輸入模型：,對(duì)于有干擾無(wú)記憶信道：,離散無(wú)記憶信道模型簡(jiǎn)化,輸入輸出隨機(jī)序列間的隨機(jī)特性可以用一對(duì) 輸入輸出分量間的隨機(jī)特性來(lái)表示，數(shù)學(xué)模型中 的隨機(jī)序列可以用隨機(jī)變量來(lái)表示,信道,離散無(wú)記憶信

6、道(DMC)的模型為,單符號(hào)離散信道（DMC）,輸入變量 的樣本空間 輸出變量 的樣本空間 有 個(gè)條件概率,傳遞矩陣 (信道矩陣),傳遞矩陣性質(zhì),滿足 且,相關(guān)概率,研究信道的過(guò)程中，一般輸入信號(hào)的概 率 、信道的傳遞概率 是已知 的，其它的概率未知，但可以求出：,輸入符號(hào)的先驗(yàn)概率,輸出符號(hào)的先驗(yàn)概率,傳遞概率、轉(zhuǎn)移概率、前向概率,后向概率、后驗(yàn)概率,聯(lián)合概率,相關(guān)概率計(jì)算,聯(lián)合概率(根據(jù)乘法公式）,輸出符號(hào)概率(根據(jù)全概率公式),相關(guān)概率計(jì)算,后向概率(根據(jù)Beyas公式),可見(jiàn)：已知輸入先驗(yàn)概率、信道傳遞概率 后，聯(lián)合概率、輸出先驗(yàn)概率、后向概率 都可以求出來(lái),相關(guān)概率例題,設(shè)信源 ，通

7、過(guò)一干擾信道 接收符號(hào)為 ，信道傳輸矩陣 為 ， 求各種概率分布,)聯(lián)合概率,2)輸出概率,2)輸出概率(或者),3)后向概率,離散單符號(hào)信道舉例,二元對(duì)稱(chēng)信道（BSC） 輸入、輸出的取值都為0、1，定義錯(cuò)誤概 率p，傳遞概率為：,離散單符號(hào)信道舉例,信道矩陣,信道線圖,離散單符號(hào)信道舉例,二元?jiǎng)h除信道（BEC） 輸入的取值有2個(gè)為0、1，輸出的取值有3 個(gè)為0、1、2(或者?)，定義正確概率p,離散單符號(hào)信道舉例,二元?jiǎng)h除信道（BEC） BEC在實(shí)際應(yīng)用中也經(jīng)常用到，如正負(fù)方波的傳輸，正負(fù)方波分別表示0和1 由于碼間串?dāng)_，輸出端可能是,離散單符號(hào)信道舉例,二元?jiǎng)h除信道（BEC） 在輸出端判決

8、準(zhǔn)則：對(duì)輸出信號(hào)求積分,互信息量定義,回顧： 自信息量 條件自信息量 聯(lián)合信息量,互信息量定義,互信息量：通信過(guò)程中所獲得的信息量.,以單符號(hào)離散信道為例,輸入信號(hào)的概率空間是,輸出信號(hào)的概率空間是,互信息量定義,后驗(yàn)概率 條件自信息量,收到輸出信號(hào)前后，不確定性發(fā)生了變化,通信過(guò)程中所獲得的信息量，即通過(guò)信 道所傳輸?shù)男畔⒘?互信息量定義,定義為事件 和 間的互信息量，表示通信過(guò) 程中所獲得的信息量,信道,),(,1,log,),(,i,i,a,p,a,I,=,),|,(,1,log,),|,(,j,i,j,i,b,a,p,b,a,I,=,),|,(,),(,),;,(,j,i,i,j,i,

9、b,a,I,a,I,b,a,I,-,=,通信前,通信后,互信息量定義,舉例：,發(fā)出0后，接收端收到的卻是1,互信息量可以為負(fù)數(shù)。,互信息量舉例,例題：某地三月份天氣構(gòu)成的信源為 有一天有人告訴你，“三月某天的天氣不是 晴天”，將此作為 事件 求,互信息量舉例,收到 ，有,互信息量三種理解方式,經(jīng)過(guò)概率互換，可以變化為另外兩種形式。,互信息量三種理解方式,第一種方式：從接收端的角度觀察，得到的是關(guān)于 的信息量 第二種方式：從發(fā)送端的角度觀察，得到的是關(guān)于 的信息量 第三種方式：從通信系統(tǒng)總體角度觀察 通信前 通信后 傳輸信息量,平均互信息量定義,互信息量也只能描述發(fā)生具體輸入輸出消息 時(shí)流經(jīng)信道

10、的信息量，隨著輸入輸出消息的不 同，互信息量也不同。 自信息量不能用來(lái)從整體上，描述信源發(fā)出 信息量的能力，不能作為信源發(fā)出信息量的測(cè) 度。 同理，互信息量不能從整體上，作為信道中 信息流通的測(cè)度,平均互信息量定義,每對(duì)輸入輸出消息的互信息量,發(fā)生的概率是,平均互信息量:,平均互信息量與各種熵的關(guān)系,定義： 為已知輸出Y的情況下，輸入 信號(hào)X的信息熵，稱(chēng)為后驗(yàn)熵. 后驗(yàn)熵是條件熵。,平均互信息量與各種熵的關(guān)系,收到輸出信號(hào)以前輸入信號(hào)的信息熵 收到輸出信號(hào)以后輸入信號(hào)的信息熵 代表了收到輸出信號(hào)后，獲得的關(guān)于輸入 信號(hào)的平均信息量,平均互信息量與各種熵的關(guān)系,平均互信息量與各種熵的關(guān)系,另外根

11、據(jù) 有,平均互信息量與各種熵的關(guān)系,平均互信息量與各種熵的關(guān)系,輸入信號(hào)原本有 的平均信息量，經(jīng)過(guò)信道傳輸?shù)膮s只有 的平均信息量，還有 損失在信道中，所以稱(chēng)為損失熵。,是信道疑義度、后驗(yàn)熵，也稱(chēng)為損失熵。,平均互信息量與各種熵的關(guān)系,損失熵也是條件自信息量的平均值,平均互信息量與各種熵的關(guān)系,通過(guò)信道傳輸?shù)钠骄畔⒘渴?， 而輸出信號(hào)的平均信息量是 ，多出 了 的平均信息量，多出來(lái)的平均 信息量是由信道噪聲引起的，所以稱(chēng)之 為噪聲熵,是信道的散布度，也稱(chēng)為信道的噪聲熵。,平均互信息量與各種熵的關(guān)系,噪音熵也是條件自信息量的平均值,平均互信息量與各種熵的關(guān)系,平均互信息量與各種熵的關(guān)系,平均互信

12、息量計(jì)算,平均互信息的求解：一般情況下，知道輸 入信號(hào)的概率分布 ，信道傳遞概率分 布 ，求解 有三種方法：,平均互信息量計(jì)算,第一種方法： 已知 ，很容易求 求損失熵 要求 個(gè)后驗(yàn)概率 第二種方法：用的較少,平均互信息量計(jì)算,第三種方法： 求輸出信號(hào)的熵，要求s個(gè)輸出概率 結(jié)論：第三種方法計(jì)算量更小一些,平均互信息量例題,設(shè)信源 ，通過(guò)一干擾信道 接收符號(hào)為 ，信道傳輸矩陣 為 ， 求,平均互信息量,平均互信息量課堂作業(yè),設(shè)信源X的符號(hào)集0,1,2，其概率分布為 Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通過(guò)一 信道，其信道線圖為：,平均互信息量性質(zhì),平均互信息量性質(zhì),數(shù)學(xué)

13、證明如下：,平均互信息量性質(zhì),凸?fàn)钚裕?平均互信息量性質(zhì),凸?fàn)钚裕?定理1：當(dāng)信道給定(即P(Y|X)給定),平均互信 息量I(X;Y)是輸入信號(hào)先驗(yàn)概率分布P(X)的上 凸函數(shù)。,定理2：當(dāng)信源給定(即P(X)給定),平均互信 息量I(X;Y)是信道傳遞概率分布P(Y|X)的下 凸函數(shù)。,平均互信息量性質(zhì),這兩個(gè)定理非常重要，是研究信道容量， 率失真信源編碼的理論基礎(chǔ)。 在信道容量的研究中，信道是固定的，平 均互信息 是輸入信號(hào)概率分布 的函數(shù)，總存在最佳的概率分布， 使平均互信息達(dá)到最大值，這個(gè)最大值就 是信道容量,平均互信息量性質(zhì),在率失真信源編碼的研究中，把編碼過(guò)程 看作信道，輸入的信

14、號(hào)是固定的，平均互 信息 只是傳遞概率分布 的函 數(shù)，這時(shí)在滿足失真度的情況下，要壓縮 的更多，就是要平均互信息盡量小,信道容量的定義,研究信道的目的就是研究信道所能夠傳輸 的最大信息量，即信道容量 定義平均互信息量，即信道的信息率： 定義信息傳輸速率： (單位：bit/s),信道容量的定義,根據(jù)定理一：對(duì)于特定信道， 是輸入 信號(hào)的概率分布 的上凸型凸函數(shù)，存 在一種輸入信號(hào)的概率分布，使 最大。 定義最大的信息傳輸率或信息傳輸速率為信 道容量 相應(yīng)的輸入概率分布稱(chēng)為最佳輸入分布,信道容量的計(jì)算,求信道容量是本章的重點(diǎn) 從數(shù)學(xué)的角度上分析，求信道容量是對(duì)一 個(gè)特定的信道，調(diào)整輸入信號(hào)的概率分

15、 布，求 的最大值的問(wèn)題 對(duì)于一般的信道，信道容量的計(jì)算非常復(fù) 雜，我們僅研究一些特殊的信道容量,離散無(wú)噪確定信道的信道容量,信道中沒(méi)有干擾，輸入符號(hào)和輸出符號(hào)之間 有一一對(duì)應(yīng)的函數(shù)關(guān)系,離散無(wú)噪確定信道的信道容量,離散無(wú)噪確定信道的信道容量的最佳輸入分 布是等概分布。,有噪無(wú)損信道的信道容量,有噪無(wú)損信道的信道容量,最佳輸入分布是等概分布,無(wú)噪有損信道的信道容量,無(wú)噪有損信道的信道容量,對(duì)稱(chēng)信道的信道容量,信道的傳遞概率矩陣中，每一行都是另一 行的置換，每一列也都是另一列的置換， 這樣的信道稱(chēng)為對(duì)稱(chēng)信道,對(duì)稱(chēng)信道的信道容量,作為對(duì)稱(chēng)信道的一個(gè)特殊形式，我們定義了強(qiáng) 對(duì)稱(chēng)信道或稱(chēng)均勻信道 對(duì)角

16、線上的元素是正確概率 ，錯(cuò)誤概率平均 分配給其它個(gè)符號(hào)，每個(gè)符號(hào)的概率,對(duì)稱(chēng)信道的信道容量,要求信道容量，先求平均互信息： 首先看 是傳遞矩陣某一行的傳遞概率,對(duì)稱(chēng)信道的信道容量,因?yàn)槭菍?duì)稱(chēng)矩陣，每一行都是其他行的置 換，根據(jù)熵的對(duì)稱(chēng)性，有： 所以有,對(duì)稱(chēng)信道的信道容量,要得到信道容量，就要求 最大，根據(jù) 離散熵定理，就要 等概率分布,因?yàn)槭菍?duì)稱(chēng)矩陣，每一列都是其它列的置換，只要輸入信號(hào)的概率分布 為等概率分布，那么輸出信號(hào)就是等概率分布,對(duì)稱(chēng)信道的信道容量,對(duì)于輸入等概率，輸出信號(hào)的概率,對(duì)稱(chēng)信道的信道容量,可以看到，只要輸入信號(hào)等概率分布，那 么輸出信號(hào)也是等概率分布,對(duì)稱(chēng)信道的信道容量,

17、舉例：對(duì)稱(chēng)信道,對(duì)稱(chēng)信道的信道容量,舉例：強(qiáng)對(duì)稱(chēng)信道,對(duì)稱(chēng)信道的信道容量,舉例：二元對(duì)稱(chēng)信道,準(zhǔn)對(duì)稱(chēng)信道的信道容量,信道的傳遞概率矩陣可按輸出符號(hào)集Y分成 幾個(gè)子矩陣，每個(gè)子矩陣表示的信道都是對(duì) 稱(chēng)，則稱(chēng)這個(gè)信道是準(zhǔn)對(duì)稱(chēng)信道,準(zhǔn)對(duì)稱(chēng)信道的信道容量,準(zhǔn)對(duì)稱(chēng)信道的信道容量,【例】信道的轉(zhuǎn)移概率矩陣如下，求信道 容量,準(zhǔn)對(duì)稱(chēng)信道的信道容量,分解為：,準(zhǔn)對(duì)稱(chēng)信道的信道容量,這樣轉(zhuǎn)換為：已知了輸入概率分布、轉(zhuǎn)移 概率分布，求平均互信息的問(wèn)題,準(zhǔn)對(duì)稱(chēng)信道的最佳輸入分布是等概分布,準(zhǔn)對(duì)稱(chēng)信道的信道容量,2元輸入信道的信道容量,信道的輸入信號(hào)的樣本只有2個(gè)，我們可以 設(shè)概率空間為： 只有一個(gè)變量p，信道傳遞矩陣也已知，這 樣可以求出平均互信息 ，是一個(gè)包 含一個(gè)變量p的表達(dá)式,2元輸入信道的信道容量,現(xiàn)在就是要求這個(gè)表達(dá)式的最大值. 高等數(shù)學(xué)中講過(guò)極值的算法：對(duì)函數(shù)求導(dǎo) 數(shù)，令導(dǎo)數(shù)等于0，根據(jù)此等式求出變量的 值。再把此值帶回到函數(shù)中，即可得到函 數(shù)的極值,2元輸入信道的信道容量,【例】