信息論基礎(chǔ)：第三章 信道模型和信道容量

1、第三章 信道模型和信道容量信道的基本概念信道的數(shù)學(xué)模型平均互信息量、損失熵、噪音熵信道容量離散對(duì)稱(chēng)信道的信道容量計(jì)算信息傳輸系統(tǒng)消息消息第二章:信息量第三章信道與信道容量信道的基本概念信道的基本概念信道的任務(wù)：以信號(hào)的方式傳輸信息信道中存在隨機(jī)噪聲輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴(lài)的關(guān)系 例：信源輸出二元符號(hào)(0,1)調(diào)制時(shí)如采用正負(fù)方波的傳輸，正負(fù)方波分別表示0和1 信道的基本概念信道的基本概念. 無(wú)噪聲干擾P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0信道的基本概念2. 微小噪聲干擾P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0信道

2、的基本概念3. 一般噪聲干擾P(0|0) P(1|1) 1 P(1|0) P(0|1) 0信道的基本概念信道的任務(wù)：以信號(hào)的方式傳輸信息和存儲(chǔ)信息信道中存在隨機(jī)噪聲輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴(lài)的關(guān)系 研究信道的目的：信道能夠傳輸或存儲(chǔ)的最大信息量，即信道容量信道的基本概念信道分類(lèi)根據(jù)信道用戶(hù)的多少，可以分為：?jiǎn)斡脩?hù)信道：只有一個(gè)輸入、一個(gè)輸出的單向信道多用戶(hù)信道：輸入、輸出至少有一端有兩個(gè)以上的用戶(hù)，還有可能是雙向信道信道的基本概念信道分類(lèi)根據(jù)信道的記憶特性無(wú)記憶信道：信道輸出只與當(dāng)前的輸入有關(guān)有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去的輸入有關(guān)信道的基本

3、概念信道分類(lèi)根據(jù)輸入、輸出信號(hào)的取值特點(diǎn)：離散輸入：輸入輸出的隨機(jī)序列取值都是離散的連續(xù)信道：輸入輸出的隨機(jī)序列取值都是連續(xù)的半離散半連續(xù)信道：輸入序列取值離散而輸出序列取值連續(xù)，或者反之。波形信道：輸入輸出信號(hào)在時(shí)間上和取值上都是連續(xù)的，不能用隨機(jī)序列，而需要用隨機(jī)過(guò)程表示信道的基本概念信道分類(lèi)根據(jù)信道參數(shù)與時(shí)間的關(guān)系，可以分為：固定參數(shù)信道：信道參數(shù)（統(tǒng)計(jì)特性）不隨時(shí)間變化而變化時(shí)變參數(shù)信道：信道參數(shù)（統(tǒng)計(jì)特性）隨時(shí)間變化而變化 在這門(mén)課程中，主要研究的是單用戶(hù)、固定參數(shù)的離散信道 信道的數(shù)學(xué)模型X和Y分別是輸入和輸出隨機(jī)序列 信道的數(shù)學(xué)模型 是條件概率分布，或稱(chēng)為條件概率矩陣 描述了輸入

4、信號(hào)、輸出信號(hào)之間的統(tǒng)計(jì)依賴(lài)關(guān)系，反映了信道的統(tǒng)計(jì)特性.信道的數(shù)學(xué)模型根據(jù)信道的統(tǒng)計(jì)特性，即 的不同，離散信道可以分成三種情況：無(wú)干擾信道 有干擾無(wú)記憶信道 有干擾有記憶信道無(wú)干擾信道 最理想的信道，信道中沒(méi)有隨機(jī)性的干擾，輸出信號(hào)和輸入信號(hào)有一一對(duì)應(yīng)的函數(shù)關(guān)系有干擾無(wú)記憶信道 一般信道中都存在著干擾和噪聲，所以輸出符號(hào)和輸入符號(hào)之間沒(méi)有確定的對(duì)應(yīng)關(guān)系，而是統(tǒng)計(jì)依賴(lài)關(guān)系。有干擾無(wú)記憶信道 不僅僅是有干擾信道，而且是無(wú)記憶的。無(wú)記憶的信道指的是在任一時(shí)刻的輸出符號(hào)只統(tǒng)計(jì)依賴(lài)于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，而與其它時(shí)刻的輸入符號(hào)和其它時(shí)刻的輸出符號(hào)無(wú)關(guān)。有干擾無(wú)記憶信道 滿(mǎn)足離散無(wú)記憶信道的充要條件是 因?yàn)?/p>

5、無(wú)記憶信道的輸出只與對(duì)應(yīng)時(shí)刻的輸入有關(guān)，所以已知輸入序列條件下輸出序列的條件概率等于輸入輸出序列中，各對(duì)應(yīng)分量的條件概率之積有干擾無(wú)記憶信道模型簡(jiǎn)化 一般的信道輸入模型：對(duì)于有干擾無(wú)記憶信道：離散無(wú)記憶信道模型簡(jiǎn)化 輸入輸出隨機(jī)序列間的隨機(jī)特性可以用一對(duì)輸入輸出分量間的隨機(jī)特性來(lái)表示，數(shù)學(xué)模型中的隨機(jī)序列可以用隨機(jī)變量來(lái)表示信道()NXXXXK21=()NYYYYK21=)|(11NNXXYYPKK)|(iiXYPiXiY離散無(wú)記憶信道(DMC)的模型為 單符號(hào)離散信道（DMC） 輸入變量 的樣本空間輸出變量 的樣本空間有 個(gè)條件概率 傳遞矩陣 (信道矩陣)傳遞矩陣性質(zhì) 滿(mǎn)足且相關(guān)概率 研究信

6、道的過(guò)程中，一般輸入信號(hào)的概率 、信道的傳遞概率 是已知的，其它的概率未知，但可以求出：輸入符號(hào)的先驗(yàn)概率輸出符號(hào)的先驗(yàn)概率傳遞概率、轉(zhuǎn)移概率、前向概率后向概率、后驗(yàn)概率聯(lián)合概率相關(guān)概率計(jì)算 聯(lián)合概率(根據(jù)乘法公式）輸出符號(hào)概率(根據(jù)全概率公式)相關(guān)概率計(jì)算 后向概率(根據(jù)Beyas公式)可見(jiàn)：已知輸入先驗(yàn)概率、信道傳遞概率后，聯(lián)合概率、輸出先驗(yàn)概率、后向概率都可以求出來(lái) 相關(guān)概率例題設(shè)信源 ，通過(guò)一干擾信道 接收符號(hào)為 ，信道傳輸矩陣 為 ，求各種概率分布)聯(lián)合概率 2)輸出概率2)輸出概率(或者) 3)后向概率離散單符號(hào)信道舉例 二元對(duì)稱(chēng)信道（BSC）輸入、輸出的取值都為0、1，定義錯(cuò)誤概

7、率p，傳遞概率為：離散單符號(hào)信道舉例 信道矩陣信道線圖離散單符號(hào)信道舉例 二元?jiǎng)h除信道（BEC） 輸入的取值有2個(gè)為0、1，輸出的取值有3個(gè)為0、1、2(或者?)，定義正確概率p 離散單符號(hào)信道舉例 二元?jiǎng)h除信道（BEC） BEC在實(shí)際應(yīng)用中也經(jīng)常用到，如正負(fù)方波的傳輸，正負(fù)方波分別表示0和1 由于碼間串?dāng)_，輸出端可能是 離散單符號(hào)信道舉例 二元?jiǎng)h除信道（BEC） 在輸出端判決準(zhǔn)則：對(duì)輸出信號(hào)求積分 互信息量定義 回顧： 自信息量 條件自信息量聯(lián)合信息量 互信息量定義 互信息量：通信過(guò)程中所獲得的信息量.以單符號(hào)離散信道為例輸入信號(hào)的概率空間是輸出信號(hào)的概率空間是 信源信道信宿XYaibj互信

8、息量定義先驗(yàn)概率 自信息量后驗(yàn)概率 條件自信息量 收到輸出信號(hào)前后，不確定性發(fā)生了變化 通信過(guò)程中所獲得的信息量，即通過(guò)信道所傳輸?shù)男畔⒘炕バ畔⒘慷x 定義為事件 和 間的互信息量，表示通信過(guò)程中所獲得的信息量信道)|(XYP)(:21raaaXK)(:21sbbbYK)(1log)(iiapaI=)|(1log)|(jijibapbaI=)|()();(jiijibaIaIbaI-=通信前通信后互信息量定義舉例：發(fā)出0后，接收端收到的卻是1互信息量可以為負(fù)數(shù)?；バ畔⒘颗e例 例題：某地三月份天氣構(gòu)成的信源為有一天有人告訴你，“三月某天的天氣不是晴天”，將此作為 事件求 互信息量舉例 收到 ，有

9、互信息量三種理解方式 經(jīng)過(guò)概率互換，可以變化為另外兩種形式。 互信息量三種理解方式 第一種方式：從接收端的角度觀察，得到的是關(guān)于 的信息量第二種方式：從發(fā)送端的角度觀察，得到的是關(guān)于 的信息量第三種方式：從通信系統(tǒng)總體角度觀察通信前通信后傳輸信息量平均互信息量定義 互信息量也只能描述發(fā)生具體輸入輸出消息時(shí)流經(jīng)信道的信息量，隨著輸入輸出消息的不同，互信息量也不同。 自信息量不能用來(lái)從整體上，描述信源發(fā)出信息量的能力，不能作為信源發(fā)出信息量的測(cè)度。 同理，互信息量不能從整體上，作為信道中信息流通的測(cè)度平均互信息量定義每對(duì)輸入輸出消息的互信息量發(fā)生的概率是平均互信息量:平均互信息量與各種熵的關(guān)系定義

10、： 為已知輸出Y的情況下，輸入信號(hào)X的信息熵，稱(chēng)為后驗(yàn)熵.后驗(yàn)熵是條件熵。平均互信息量與各種熵的關(guān)系收到輸出信號(hào)以前輸入信號(hào)的信息熵收到輸出信號(hào)以后輸入信號(hào)的信息熵代表了收到輸出信號(hào)后，獲得的關(guān)于輸入信號(hào)的平均信息量 平均互信息量與各種熵的關(guān)系平均互信息量與各種熵的關(guān)系另外根據(jù)有 平均互信息量與各種熵的關(guān)系平均互信息量與各種熵的關(guān)系 輸入信號(hào)原本有 的平均信息量，經(jīng)過(guò)信道傳輸?shù)膮s只有 的平均信息量，還有 損失在信道中，所以稱(chēng)為損失熵。是信道疑義度、后驗(yàn)熵，也稱(chēng)為損失熵。平均互信息量與各種熵的關(guān)系損失熵也是條件自信息量的平均值 平均互信息量與各種熵的關(guān)系 通過(guò)信道傳輸?shù)钠骄畔⒘渴?， 而輸出信

11、號(hào)的平均信息量是 ，多出 了 的平均信息量，多出來(lái)的平均 信息量是由信道噪聲引起的，所以稱(chēng)之 為噪聲熵是信道的散布度，也稱(chēng)為信道的噪聲熵。平均互信息量與各種熵的關(guān)系噪音熵也是條件自信息量的平均值 平均互信息量與各種熵的關(guān)系平均互信息量與各種熵的關(guān)系平均互信息量計(jì)算平均互信息的求解：一般情況下，知道輸入信號(hào)的概率分布 ，信道傳遞概率分布 ，求解 有三種方法：平均互信息量計(jì)算第一種方法：已知 ，很容易求求損失熵 要求 個(gè)后驗(yàn)概率第二種方法：用的較少平均互信息量計(jì)算第三種方法： 求輸出信號(hào)的熵，要求s個(gè)輸出概率 結(jié)論：第三種方法計(jì)算量更小一些平均互信息量例題設(shè)信源 ，通過(guò)一干擾信道 接收符號(hào)為 ，信

12、道傳輸矩陣 為 ，求平均互信息量平均互信息量課堂作業(yè)設(shè)信源X的符號(hào)集0,1,2，其概率分布為Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通過(guò)一信道，其信道線圖為：平均互信息量性質(zhì)平均互信息量性質(zhì)凸?fàn)钚裕浩骄バ畔⒘啃再|(zhì)凸?fàn)钚裕憾ɡ?：當(dāng)信道給定(即P(Y|X)給定),平均互信息量I(X;Y)是輸入信號(hào)先驗(yàn)概率分布P(X)的上凸函數(shù)。定理2：當(dāng)信源給定(即P(X)給定),平均互信息量I(X;Y)是信道傳遞概率分布P(Y|X)的下凸函數(shù)。平均互信息量性質(zhì)這兩個(gè)定理非常重要，是研究信道容量，率失真信源編碼的理論基礎(chǔ)。在信道容量的研究中，信道是固定的，平均互信息 是輸入信號(hào)概率分布 的

13、函數(shù)，總存在最佳的概率分布，使平均互信息達(dá)到最大值，這個(gè)最大值就是信道容量 平均互信息量性質(zhì)在率失真信源編碼的研究中，把編碼過(guò)程看作信道，輸入的信號(hào)是固定的，平均互信息 只是傳遞概率分布 的函數(shù)，這時(shí)在滿(mǎn)足失真度的情況下，要壓縮的更多，就是要平均互信息盡量小 信道容量的定義 研究信道的目的就是研究信道所能夠傳輸?shù)淖畲笮畔⒘?，即信道容量定義平均互信息量，即信道的信息率：定義信息傳輸速率： (單位：bit/s)信道容量的定義 根據(jù)定理一：對(duì)于特定信道， 是輸入信號(hào)的概率分布 的上凸型凸函數(shù)，存在一種輸入信號(hào)的概率分布，使 最大。定義最大的信息傳輸率或信息傳輸速率為信道容量相應(yīng)的輸入概率分布稱(chēng)為最佳

14、輸入分布信道容量的計(jì)算 求信道容量是本章的重點(diǎn)從數(shù)學(xué)的角度上分析，求信道容量是對(duì)一個(gè)特定的信道，調(diào)整輸入信號(hào)的概率分布，求 的最大值的問(wèn)題對(duì)于一般的信道，信道容量的計(jì)算非常復(fù)雜，我們僅研究一些特殊的信道容量離散無(wú)噪確定信道的信道容量 信道中沒(méi)有干擾，輸入符號(hào)和輸出符號(hào)之間有一一對(duì)應(yīng)的函數(shù)關(guān)系離散無(wú)噪確定信道的信道容量離散無(wú)噪確定信道的信道容量的最佳輸入分布是等概分布。有噪無(wú)損信道的信道容量有噪無(wú)損信道的信道容量最佳輸入分布是等概分布無(wú)噪有損信道的信道容量無(wú)噪有損信道的信道容量對(duì)稱(chēng)信道的信道容量 信道的傳遞概率矩陣中，每一行都是另一行的置換，每一列也都是另一列的置換，這樣的信道稱(chēng)為對(duì)稱(chēng)信道對(duì)稱(chēng)信

15、道的信道容量 作為對(duì)稱(chēng)信道的一個(gè)特殊形式，我們定義了強(qiáng)對(duì)稱(chēng)信道或稱(chēng)均勻信道對(duì)角線上的元素是正確概率 ，錯(cuò)誤概率平均分配給其它個(gè)符號(hào)，每個(gè)符號(hào)的概率對(duì)稱(chēng)信道的信道容量要求信道容量，先求平均互信息：首先看是傳遞矩陣某一行的傳遞概率對(duì)稱(chēng)信道的信道容量因?yàn)槭菍?duì)稱(chēng)矩陣，每一行都是其他行的置換，根據(jù)熵的對(duì)稱(chēng)性，有：所以有對(duì)稱(chēng)信道的信道容量要得到信道容量，就要求 最大，根據(jù)離散熵定理，就要 等概率分布因?yàn)槭菍?duì)稱(chēng)矩陣，每一列都是其它列的置換，只要輸入信號(hào)的概率分布 為等概率分布，那么輸出信號(hào)就是等概率分布對(duì)稱(chēng)信道的信道容量對(duì)于輸入等概率，輸出信號(hào)的概率對(duì)稱(chēng)信道的信道容量可以看到，只要輸入信號(hào)等概率分布，那么輸

16、出信號(hào)也是等概率分布對(duì)稱(chēng)信道的信道容量舉例：對(duì)稱(chēng)信道對(duì)稱(chēng)信道的信道容量舉例：強(qiáng)對(duì)稱(chēng)信道對(duì)稱(chēng)信道的信道容量舉例：二元對(duì)稱(chēng)信道準(zhǔn)對(duì)稱(chēng)信道的信道容量 準(zhǔn)對(duì)稱(chēng)信道的每一行是置換的。信道的傳遞概率矩陣可按輸出符號(hào)集Y分成幾個(gè)子矩陣，每個(gè)子矩陣表示的信道都是對(duì)稱(chēng)，則稱(chēng)這個(gè)信道是準(zhǔn)對(duì)稱(chēng)信道。準(zhǔn)對(duì)稱(chēng)信道的信道容量準(zhǔn)對(duì)稱(chēng)信道的信道容量【例】信道的轉(zhuǎn)移概率矩陣如下，求信道容量 準(zhǔn)對(duì)稱(chēng)信道的信道容量 分解為：準(zhǔn)對(duì)稱(chēng)信道的信道容量這樣轉(zhuǎn)換為：已知了輸入概率分布、轉(zhuǎn)移概率分布，求平均互信息的問(wèn)題準(zhǔn)對(duì)稱(chēng)信道的最佳輸入分布是等概分布準(zhǔn)對(duì)稱(chēng)信道的信道容量2元輸入信道的信道容量 信道的輸入信號(hào)的樣本只有2個(gè)，我們可以設(shè)概率空間為：只有一個(gè)變量p，信道傳遞矩陣也已知，這樣可以求出平均互信息 ，是一個(gè)包含一個(gè)變量p的表達(dá)式 2元輸入信道的信道容量 現(xiàn)在就是要求這個(gè)表達(dá)式的最大值.高等數(shù)學(xué)中講過(guò)極值的算法：對(duì)函數(shù)求導(dǎo)數(shù)，令導(dǎo)數(shù)等于0，根據(jù)此等式求出變量的值。再把此值帶回到函數(shù)中，即可得到函數(shù)的極值2元輸入信道的信道容量 【例】二元?jiǎng)h除信道，輸入的取