信息量和熵2.1離散信源的數(shù)學(xué)模型和信息測(cè)度要求

1、信息量和熵2.1 離散信源的數(shù)學(xué)模型和信息測(cè)度要求信源信道信宿噪聲源編碼器譯碼器消息干擾接收信號(hào)消息數(shù)字通信系統(tǒng)模型有效性、可靠性Review發(fā)送信號(hào)信源的數(shù)學(xué)描述 通信系統(tǒng)中收信者在未收到消息以前對(duì)信源發(fā)出什么消息是不確定的,是隨機(jī)的可用隨機(jī)變量、隨機(jī)序列或隨機(jī)過(guò)程來(lái)描述信源輸出的消息,或者說(shuō)用一個(gè)樣本空間及其概率測(cè)度概率空間來(lái)描述信源。 不同的信源輸出的消息的隨機(jī)性質(zhì)不同，可以根據(jù)消息的不同的隨機(jī)性質(zhì)來(lái)對(duì)信源進(jìn)行分類：按照某時(shí)刻信源輸出消息的取值集合的離散性和連續(xù)性, 信源可分為離散信源和連續(xù)信源。按照信源輸出消息的所對(duì)應(yīng)的隨機(jī)序列中隨機(jī)變量前后之間有無(wú)依賴關(guān)系, 信源可分為無(wú)記憶信源和有

2、記憶信源。 按照信源輸出消息的所對(duì)應(yīng)的隨機(jī)序列的平穩(wěn)性, 信源可分為平穩(wěn)信源和非平穩(wěn)信源。信源的分類離散信源：可能輸出的消息是有限的或可數(shù)的，每次只輸出一個(gè)消息，即兩兩不相容。數(shù)學(xué)模型：注：X代表隨機(jī)變量，指的是信源整體；ai代表信源的某個(gè)元素。簡(jiǎn)單信源數(shù)學(xué)模型：注：這里的p(x)代表概率密度函數(shù)。簡(jiǎn)單信源 連續(xù)信源：可能輸出的消息數(shù)是無(wú)限的或不可數(shù)的，每次只輸出一個(gè)消息。離散信源在不同時(shí)刻發(fā)出的符號(hào)之間是無(wú)依賴的彼此統(tǒng)計(jì)獨(dú)立的。其中，且離散無(wú)記憶信源由離散無(wú)記憶信源輸出N長(zhǎng)的隨機(jī)序列構(gòu)成的信源。離散無(wú)記憶信源N次擴(kuò)展信源擲兩枚硬幣擲一枚硬幣離散平穩(wěn)信源：輸出的隨機(jī)序列 中每個(gè)隨機(jī)變量 取值是

3、離散的，并且隨機(jī)矢量X的各維概率分布不隨時(shí)間平移而改變。連續(xù)平穩(wěn)信源：輸出的隨機(jī)序列 中每個(gè)隨機(jī)變量 取值是連續(xù)的，并且隨機(jī)矢量X的各維概率密度函數(shù)不隨時(shí)間平移而改變離散無(wú)記憶信源：離散信源在不同時(shí)刻發(fā)出的符號(hào)之間是彼此統(tǒng)計(jì)獨(dú)立的。其它幾種常見(jiàn)信源有記憶信源：輸出的隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，但記憶長(zhǎng)度有限。m階馬爾可夫信源：信源每次發(fā)出的符號(hào)只與前m個(gè)符號(hào)有關(guān)，與更前面的符號(hào)無(wú)關(guān)。隨機(jī)波形信源：信源輸出的消息在時(shí)間上和取值上都是連續(xù)的。其它幾種常見(jiàn)信源 設(shè)單符號(hào)離散信源的概率空間為自信息量定義 如果知道事件xi已發(fā)生，則該事件所給出的信息量稱為自信息，定義為:對(duì)數(shù)換底關(guān)系：自信息量

4、定義I (xi) 含義當(dāng)事件xi發(fā)生以前,表示事件xi 發(fā)生的不確定性當(dāng)事件xi發(fā)生以后,表示事件xi所含有的信息量I (xi)單位常用對(duì)數(shù)底是2,信息量的單位為比特(bits)；若取自然對(duì)數(shù),則信息量的單位為奈特(nats); 1 natlog2e l.433 bit，或(1) I (xi)是非負(fù)值(2) 當(dāng)p(xi) = 1時(shí)，I(xi) = 0(3) 當(dāng)p(xi) = 0時(shí)，I(xi) = (4) I(xi)是先驗(yàn)概率p(xi)的單調(diào)遞減函數(shù)，即 當(dāng)p(x1)p(x2)時(shí)，I (x1)I (x2)(5)兩個(gè)獨(dú)立事件的聯(lián)合信息量等于它們分別的信息量之和，即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的

5、信息量之和。自信息的性質(zhì)二進(jìn)制碼元0,1,當(dāng)符號(hào)概率為p(0)=1/4, p(1)=3/4,則這兩個(gè)符號(hào)的自信息量為： I(0) =-log2 (1/4)=log24= 2 bits I(1) =-log2 (3/4) =0.4151 bits一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元(0,1)所包含的自信息量為： 自信息量例題I(0)= I(1)= -log2 (1/2)=log22=1 bits自信息量例題一次擲兩個(gè)色子，求下列事件發(fā)生后提供的信息量。a.僅有一個(gè)為3；b.至少有一個(gè)為4；c.兩個(gè)之和為偶數(shù)。解：一個(gè)色子有6個(gè)符號(hào)，X=1,2,3,4,5,6，兩個(gè)色子的總數(shù)為36。a. 事件概率為5*2

6、/36=5/18b. 事件概率為（52+1）/36=11/36c. 事件概率為63/36=1/2則： I(a)=log(18/5)=1.848 (bits) I(b)=log(36/11)=1.7105 (bits) I(c)=log2=1 (bits)考慮兩個(gè)隨機(jī)事件，其聯(lián)合概率空間為聯(lián)合自信息與條件自信息 在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的 條件自信息量 條件自信息量 聯(lián)合自信息量聯(lián)合自信息量和條件自信息量關(guān)系當(dāng)X和Y獨(dú)立時(shí)， 信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望（即概率加權(quán)的統(tǒng)計(jì)平均值）為信源的平均信息量，稱為信源的信息熵，也叫信源熵或香農(nóng)熵，簡(jiǎn)稱熵。熵函數(shù)的自變量是X表示信源整

7、體，實(shí)質(zhì)上是離散無(wú)記憶信源平均不確定度的度量。與自信息不同,自信息表示某一消息所含有的信息量，它是一個(gè)隨機(jī)變量,不能用它來(lái)作為整個(gè)信源的信息測(cè)度。 信源熵定義信源熵H(X)的物理含義 信源輸出后，每個(gè)離散消息所提供的平均信息量； 信源輸出前，信源的平均不確定度； （反映了隨機(jī)變量X的隨機(jī)性） 對(duì)該信源輸出進(jìn)行無(wú)錯(cuò)編碼所需的最小編碼長(zhǎng)度; 消除信源不確定度所需要的信息的量度.信源熵理解注意: 電視屏上約有 500 600= 3105個(gè)格點(diǎn)，按每格點(diǎn)有8個(gè)不同的灰度等級(jí)考慮，則共能組成 個(gè)不同的畫(huà)面。= 9 105 bits信源熵例題按等概率計(jì)算，平均每個(gè)畫(huà)面可提供的信息量為 有一篇千字文章，假定

8、每字可從萬(wàn)字表中任選，則共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000計(jì)算，平均每篇千字文可提供的 信息量為 H(X) log2N 1.3 104 bits “一個(gè)電視畫(huà)面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過(guò)“一篇千字文”提供的信息量。 信源熵例題例如有兩個(gè)信源，其概率空間分別為:因?yàn)镠(Y) H(X) 所以信源Y比信源X的平均不確定性要大。 信源熵例題 該信源X輸出符號(hào)只有兩個(gè),設(shè)為0和1輸出符號(hào)發(fā)生的概率分別為p和q，pq=l，即信源的概率空間為 則二元信源熵為 H(X)= -plogp-qlogq = -plogp- (1- p)log(1-p) =

9、H(p) 信源熵例題0 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)H(p) = -plogp- (1- p)log(1-p)條件熵是在聯(lián)合符號(hào)集合XY上的條件自信息量的數(shù)學(xué)期望。在已知隨機(jī)變量Y的條件下，隨機(jī)變量X的條件熵定義為：要用聯(lián)合概率加權(quán)條件熵是一個(gè)確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時(shí)稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。條件熵聯(lián)合離散符號(hào)集合XY上的每個(gè)元素對(duì) 的聯(lián)合自信息量的數(shù)學(xué)期望。聯(lián)合熵進(jìn)一步擴(kuò)展熵、條件熵、聯(lián)合熵關(guān)系當(dāng)Ui相互獨(dú)立時(shí)當(dāng)X和Y相互獨(dú)立時(shí)一個(gè)二進(jìn)信源X發(fā)出符號(hào)集

10、0,1,經(jīng)過(guò)離散無(wú)記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確定符號(hào)“2”已知: X的先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3, 符號(hào)轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵H(X)例 題得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 =

11、 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6由例 題 噪聲熵 H(Y|X)XY0101 23/41/21/21/4聯(lián)合熵 H(XY) H(XY)H(X)H(Y|X)=1.8 bits得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x

12、0y2) +p(x1y2) = 1/6+1/6=1/3 由例 題信道輸出熵H(Y)由得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 信道疑義度 H(X|Y)例 題或 H(X|Y)= 熵的基本性質(zhì)概率矢量熵函數(shù)非負(fù)性 非負(fù)性 H(X)0 由于0pk1,所以logpk0，-logpk0，則總有H(X)0。 對(duì)稱性根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變, 即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)。 對(duì)稱性確定性當(dāng)信源X的信源空間X，P中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分

13、量必為0，這時(shí)信源為一個(gè)確知信源，其熵為0。 確定性這說(shuō)明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重， ，使信源熵保持不變。 擴(kuò)展性擴(kuò)展性 可加性證明:可加性 極值性最大離散熵定理 信源X中包含K個(gè)不同離散消息時(shí)，信源熵 ，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。 表明等概信源的不確定性最大，具有最大熵，為 極值性H(p) 0 0.5 1 p 二元離散信源H(p) = -plogp- (1- p)log(1-p)引理1（常用對(duì)數(shù)不等式）：lnx x-1,當(dāng)且僅當(dāng)x=1時(shí)等號(hào)成立。令f(x)=lnx(x-1)

14、 ,則 可見(jiàn)，f(x)是x的上凸函數(shù)，且當(dāng)x=1時(shí)，f(x)有極大值。故 即 lnx(x-1)f(x)=lnx-(x-1) 0 證明： 令 ，可得 即等概時(shí)熵最大，為 。證明：引理2香農(nóng)輔助定理 極值性最大離散熵定理 信源X中包含K個(gè)不同離散消息時(shí)，信源熵 ，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。 表明等概信源的不確定性最大，具有最大熵，為 極值性定理：1. H(X/Y) H(X) （條件熵不大于無(wú)條件熵） 2. H(XY) H(X)+H(Y)證明：基本定理由定理1，得基本定理推廣H(X/Y) H(X)H(XY) H(X)+H(Y)相互獨(dú)立時(shí)等號(hào)成立 唯一性 香農(nóng)指出，存在這樣的不確定性的度量，它是概率 分布 的函數(shù) ，且該函數(shù)應(yīng)滿足：對(duì)稱性 極值性可加性擴(kuò)展性 它的形式是唯一的。唯一性本節(jié)小結(jié)信源的數(shù)學(xué)模型及分類信源的平均自信息量-信源熵 定義：自信息的數(shù)學(xué)期望 含義：幾種解釋 與聯(lián)合熵、條件熵之間