無失真信源與信息熵課件

1、1普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著第2章 信源與信息熵2.1 信源的描述與分類2.2 離散信源熵和互信息2.3 離散序列信源熵2.4 連續(xù)信源熵和互信息2.5 冗余度2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1 信源的描述與分類信源是產(chǎn)生具體消息的來源；從數(shù)學(xué)上，這些消息符號具有不確定性， 因此可用隨機(jī)變量或隨機(jī)矢量表示信源；信源的基本特性是具有隨機(jī)性和概率統(tǒng)計 特性3普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1 信源的描述與分類信源的分類離散信源：時間和幅度都是離散分布；連續(xù)信源：時間或幅度是連續(xù)分布；按照信源發(fā)出的符

2、號之間的關(guān)系分為： 發(fā)出單個符號的無記憶信源； 發(fā)出符號序列的無記憶信源； 發(fā)出符號序列的有記憶信源； 發(fā)出符號序列的馬爾可夫信源；4普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.1 無記憶信源描述：通過符號集和概率空間描述1、無記憶單符號離散信源顯然有 p(ai)0，例如：對二進(jìn)制數(shù)字 與數(shù)據(jù)信源5普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.1 無記憶信源2、無記憶單符號連續(xù)信源顯然應(yīng)滿足PX(x) 0， 6普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.1 無記憶信源3、無記憶離散序列信源：每次發(fā)出一組包含2個離散符號以上的

3、符號序列來代表一個消息的信源以3位二元離散序列信源為例7普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.1 無記憶信源 當(dāng) p0=1/5； p1=4/58普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.1 無記憶信源4、無記憶連續(xù)序列信源：每次發(fā)出一組包含2個連續(xù)符號以上的符號序列來代表一個消息的信源顯然有 p(ai，aj)0，9普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 5、獨立同分布信源 在離散無記憶信源中，信源輸出的每個符號是統(tǒng)計獨立的，且具有相同的概率空間，即有 p1(X1)=p(X2)=p(Xi),則該信源是離散平穩(wěn)無記憶信源

4、，亦稱為獨立同分布(independently identical distribution，i.i.d.)信源。 2.1.1 無記憶信源10普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著有記憶離散信源：當(dāng)信源輸出的隨機(jī)符號中 各個分量之間不相互獨立而可以是任意相關(guān) 的,則稱此類信源為有記憶信源。 布袋摸球?qū)嶒?，袋中?00個球，80個紅 球，20個白球，每次取出一個球；若先取 出一個球，記下顏色不放回布袋，再取第 二個球2.1.2 有記憶信源11普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著隨機(jī)波形信源（模擬信號）： 用采樣定理將模擬信號轉(zhuǎn)換成離散信號:時域采樣：

5、 頻帶受限fm的時間連續(xù)函數(shù)f(t),不失真采樣頻率fs 2fm，若時間上受限0 t tB，采樣點數(shù)為tB(1/2fm)2fmtB。可見，頻率受限fm、時間受限tB的任何時間連續(xù)函數(shù)，完全可以由2fmtB個采樣值來描述。 2.1.2 有記憶信源12普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著頻域采樣： 若頻率受限fm，時間受限于tB的頻域連續(xù)函數(shù)，在02的數(shù)字頻域上要采L點的條件是頻域的采樣點數(shù)LM，則采樣點數(shù)L M=2fmtB。但是，從理論上說任何時間受限的函數(shù)，其頻譜是無限的；反之，任何頻帶受限的函數(shù)，其時間上是無限的。實際中，可認(rèn)為函數(shù)在頻帶fm、時間tB以外的取值很小，

6、不至于引起函數(shù)的嚴(yán)重失真。 2.1.2 有記憶信源13普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著所以，波形信號只要是時間上或頻率上有限，都可通過采樣變成時域離散的符號序列；如果原來的隨機(jī)過程是平穩(wěn)的，那么采樣后的隨機(jī)序列也是平穩(wěn)的；一般情況下，采樣得到的2fmtB個隨機(jī)變量之間是線性相關(guān)的，即是有記憶的；因此隨機(jī)波形信源也是一種有記憶信源。2.1.2 有記憶信源14普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著馬爾可夫信源當(dāng)信源的記憶長度為m+1時，該時刻發(fā)出的符號與前m個符號有關(guān)聯(lián)性，而與更前面的符號無關(guān)。齊次馬爾可夫信源：與時間起點無關(guān)。2.1.3 馬爾可夫

7、信源15普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著馬爾可夫信源對m階馬爾可夫信源，可將以前出現(xiàn)的m個符號組成的序列定義為狀態(tài)si：Si共有Q=nm種可能的取值，即狀態(tài)集 2.1.3 馬爾可夫信源16普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.3 馬爾可夫信源信源在某一時刻出現(xiàn)符號xj的概率與信源此時 所處狀態(tài)si有關(guān)，用符號條件概率表示p(xj/si)， 即：狀態(tài)轉(zhuǎn)移概率表示為p(sj/si)17普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著系統(tǒng)在任一時刻可處于狀態(tài)空間的任意一狀態(tài)，狀態(tài)轉(zhuǎn)移時，轉(zhuǎn)移概率是一個矩陣， 轉(zhuǎn)移概率矩陣為2.1.

8、3 馬爾可夫信源每行的概率之和為118普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.1.3 馬爾可夫信源對于齊次馬爾可夫鏈，一步轉(zhuǎn)移概率完全決定 了k步轉(zhuǎn)移概率：對于馬爾可夫鏈來說，最終每種狀態(tài)都會達(dá)到 一個相對穩(wěn)定的狀態(tài)，即穩(wěn)定分布概率為W；19普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.1.3 馬爾可夫信源遍歷性：指的是每種狀態(tài)都能達(dá)到一個穩(wěn)定狀態(tài)；不可約性：指的是從一種狀態(tài)總能到達(dá)另外一個狀態(tài).如何求解：每種狀態(tài)最終的穩(wěn)態(tài)概率：20普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例2-120sos10.60.30.4s20.20.80.

9、7 2.1.3 馬爾可夫信源21普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.1.3 馬爾可夫信源例2-2. 已知二階馬氏鏈，X0,1,求平穩(wěn)分布起始狀態(tài)000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)22普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著解：令各狀態(tài)的穩(wěn)態(tài)分布概率為W1，W2， W3，W4，可得方程組 解得穩(wěn)態(tài)分布的概率為：23普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2離散信源熵與互信息2.2.1 信息量自信息量聯(lián)合自信息量條件自信息量2.2.

10、2 離散信源熵符號熵條件熵聯(lián)合熵24普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.1 自信息量信息的特點：不確定性發(fā)送者發(fā)送該符號的概率越大，那么不確定性越小，那么接收者獲得信息量越小，反之概率越小，信息量越大。結(jié)論：發(fā)送信號的概率與信息量之間呈反比。25普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.1 自信息量定義：對于給定的離散概率空間表示的信 源，當(dāng)發(fā)送符號ai事件所對應(yīng)的自信 息量為以2為底，單位為比特（bit)以e為底，單位為奈特（nat) 1nat=1.433bit以10為底，單位為笛特（det) 1det=3.322bit26普通高等教

11、育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.1 自信息量綜上所述： 自信息量是指該符號出現(xiàn)后，提供給接收者的信息量。自信息量具有以下特征：（1）p(xi)=1，I(xi)=0（2）p(xi)=0，I(xi)=（3）非負(fù)性；（4）單調(diào)遞減性；27普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.1 自信息量（5）可加性： 如果信源同時發(fā)出xi、yj這兩個符號，可用聯(lián)合 概率p(xi、yj)來表示，那么這時的信息量稱為聯(lián) 合自信息量： 若這兩個信號之間相互獨立，那么聯(lián)合自信息 量變?yōu)椋?8普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.1 自信息

12、量若兩個符號之間互相關(guān)聯(lián)，那么聯(lián)合概率空間 中，必然存在事件xi在事件yi給定條件下的條件 自信息量; 那么此時的聯(lián)合自信息量為：29普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.1 自信息量其中，條件自信息量的定義為：例2-3 英文字母中“e”出現(xiàn)的概率為0.105，“c” 出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為 0.001，分別計算它們的自信息量。30普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例: 設(shè)在一正方形棋盤上共有64個方格，如果甲將 一粒棋子隨意地放在棋盤中的某方格內(nèi)，讓乙 猜測棋子所在的位置： （1）將方格按順序編號，令乙猜測棋子所在方

13、 格的順序號 （2）將方格按行和列編號，甲將棋子所在的方 格的行（或列）編號告訴乙，再令乙猜測 棋子所在列（或行）所在的位置。2.2.1 自信息量31普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著解：由于甲將一粒棋子隨意地放在棋盤中的某方格 內(nèi)，因此棋子在棋盤中所處位置為二維等概率分 布 （1）聯(lián)合（自）信息量為 （2）條件（自）信息量為2.2.1 自信息量32普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵問題引出： 自信息量的含義是每個符 號出現(xiàn)所含有的信息量； 那么對于信源來說，它包 含多個符號，并且每個符 號出現(xiàn)的概率不同；那么 如何來計

14、算整個信源所能 夠提供的信息量是多少？33普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵例2-4 一個布袋內(nèi)放100個球，其中80個球為紅 色，20球為白色。若隨機(jī)摸取一個球，猜測其顏 色，求平均摸取一次球所獲得的自信息量。解：假設(shè)摸出的球是紅球表示為x1，摸出的球是白 球表示為x2，首先可以寫出概率空間為： 那么如果摸出的是紅球，此時獲得的信息量是34普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵那如果摸出的是白球，那么獲得的信息量是：平均自信息量即信源熵35普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2

15、.2.2 離散信源熵對于給定離散概率空間表示的信源，它的隨機(jī)變 量I的數(shù)學(xué)期望，即平均隨機(jī)符號的自信息量，稱 為信源的信息熵，單位為比特/符號信源熵的性質(zhì)：（1）信源熵H(X)是非負(fù)量；（2）信源中如果只出現(xiàn)一個符號，那么此時 的信源熵為0.36普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵例2-5 設(shè)信源符號集X=x1,x2,x3,每個符號 發(fā)生的概率分別為 那么該信源熵為：37普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例2-6 電視屏上約有 500 600= 3105個格 點，按每點有 10個不同的灰度等級考 慮，則共能組成 個不同的畫

16、面。 按等概率 計算，平均每個畫 面可提供的信息量為 37 3 105 3.32 比特/畫面 2.2.2 離散信源熵38普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著38例2-7 該信源X輸出符號只有兩個,設(shè)為0和 1輸出符號發(fā)生的概率分別為p和q， pq=l。即信源的概率空間為 則二元信源熵為 H(X)= plogpqlogq = plogp (1 p)log(1p) =H(p) 2.2.2 離散信源熵39普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著390 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)信源信息熵H(X)是概率p的函數(shù),通

17、常用H(p)表 示p取值于0，1區(qū)間。 H(p)函數(shù)曲線如圖所示。 當(dāng)二元信源符號0和1以等概率發(fā)生時,信源熵達(dá) 到極大值,等于1比特信息量。 40普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵在給定yj條件下，xi的條件自信息量為I(xi/yj) 那么X集合的條件熵為： 那么進(jìn)一步再給定Y（各個yj）條件下， X集合的條件熵為： 41普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵經(jīng)過上述的推導(dǎo)過程給出，離散信源條件熵的公式為：條件熵H(X/Y)表示已知Y后，X的不確定度。同理可以得到:42普通高等教育“十五”國家級規(guī)劃教

18、材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵離散信源聯(lián)合熵：對于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵，單位為比特/序列聯(lián)合熵H(X,Y)表示X和Y同時發(fā)生的不確定度。聯(lián)合熵H(X/Y)與熵H(X)以及條件熵H(Y/X)三者之間的關(guān)系：43普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著單符號離散信源熵2.2.2 離散信源熵符號熵條件熵聯(lián)合熵三者之間的關(guān)系：44普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例2-8: 一個二元信源X發(fā)出符號集0,1,經(jīng)過離散無記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲

19、,接收端除收到0和1的符號外,還有不確定符號“2”已知X的先驗概率: p(x0)=2/3, p(x1)= 1/3,符號轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4（1）信源熵45普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著由得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/246普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例2-9 二進(jìn)制通信系統(tǒng)用符號“0”和“1”,由于存在 失真,傳

20、輸時會產(chǎn)生誤碼,用符號表示下列事 件： u0：一個“0”發(fā)出：u1：一個“1”發(fā)出 v0：一個“0”收到；v1：一個“1”收到 給定下列概率： p(u0)1/2, p(v0 |u0)3/4，p(v0 |u1)=1/2 求： 已知發(fā)出一個“0”,求收到符號后得到的信息量； 已知發(fā)出的符號,求收到符號后得到的信息量 知道發(fā)出的和收到的符號,求能得到的信息量； 已知收到的符號，求被告知發(fā)出的符號得到的 信息量。47普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著解： p(v1 |u0) =1p(v0 |u0) =1/4聯(lián)合概率： p(u0v0) = p(v0 |u0) p(u0) = 3

21、/41/2 = 3/8 p(u0v1) = p(v1 |u0) p(u0) = 1/41/2 = 1/8 p(u1v0) = p(v0 |u1) p(u1) = 1/21/2 = 1/4 p(u1v1) = p(v1 |u1) p(u1) = 1/21/2 = 1/448普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 解法1：解法2: H(UV) = H(U) + H(V|U) = 1.91比特/符號49普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2 離散信源熵（4）可求出：解法1：50普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.2

22、 離散信源熵解法2：利用貝葉斯公式：同理: p(u1|v0)=2/5，p(u0|v1)=1/3，p(u1|v1)=2/351普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息設(shè)有兩個隨機(jī)事件X和Y ,X取值于信源發(fā)出的離散消息集合, Y取值于信宿收到的離散符號集合有擾信道干擾源信源X信宿Y52普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息如果信道是無噪的,當(dāng)信源發(fā)出消息xi后,信宿必能準(zhǔn)確無誤地收到該消息xi ;一般而言,信道中總是存在著噪聲和干擾,信源發(fā)出消息xi,通過信道后信宿只可能收到由于干擾作用引起的某種變型yj 。信宿收到y(tǒng)

23、j 后推測信源發(fā)出xi的概率p(xi|yj)稱為后驗概率。信源發(fā)出消息xi的概率p(xi) 稱為先驗概率。53普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息定義為事件 xi的后驗概率與先驗概率比值的對數(shù)互信息I(xi;yj)的物理意義：表示接收到某消息yj后獲得的關(guān)于事件xi的信息量；表示信源發(fā)出事件xi后，通過信道傳遞給信宿的信息量；54普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息公式可得：55普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著互信息量在I(xi;yj)在X集合上的統(tǒng)計平均互信息量為：互信息量I(X;

24、Y)為上述I(X;yj)在Y集合上的概率加權(quán)統(tǒng)計平均互信息量為：2.2.3 互信息接收端收到Y(jié)后所獲得的關(guān)于X的信息量56普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息互信息量的第二個定義：H(X)：信源發(fā)出信號X的平均不確定度；也即 信源平均發(fā)出一個信號所能提供的信息量；H(X|Y)：表示信宿收到符號Y 后猜測信源發(fā)出符號X的平均不確定度；也即信宿收到符號Y 后猜測信源發(fā)出符號X所需要的信息量；I(X;Y)：實際在信道中傳送給信宿Y的關(guān)于信源X的信息量；57普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息58普通高等教育“十五”國

25、家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息I(X;Y) H(X) H(Y) H(X/Y)疑義度或損失熵 H(Y/X)噪聲熵互信息中的物理意義59普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息信道疑義度H(X|Y)：由于干擾和噪聲，使得接收端沒有完全接收到信源X的信息量，導(dǎo)致接收到Y(jié)之后，對猜測X的發(fā)出仍存有不確定性，所以稱為信道疑義度。噪聲熵H(Y|X) 由于干擾噪聲的影響，輸出端信源Y 的信息量等于接收到關(guān)于X的信息量必須再加上發(fā)送出信號X猜測其接收端出現(xiàn)的是Y所需要的信息量，所以稱為噪聲熵。60普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹

26、雪虹等編著2.2.3 互信息通信系統(tǒng)中,若發(fā)端的符號為X ,收端的符號為Y如果信道受到的干擾較大, 此時Y和X基本無關(guān),也即X和Y相互獨立，那么此時：I(X;Y) = 0，這種信道稱為全損離散信道；如果信道無干擾, 此時Y和X一一對應(yīng)，那么此時H(X/Y) = 0，也即I(X;Y) = H(X)= H(Y)，這種信道稱為無干擾離散信道。那么一般情況下，互信息量的范圍是:61普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息互信息I函數(shù)的特點62普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息整體應(yīng)該是凸性函數(shù)當(dāng)條件概率p(yj/xi)分

27、布給定時，平均互信息量是輸入概率p(xi)分布的上凸函數(shù),存在極大值；當(dāng)輸入概率p(xi)分布保持不變時，平均互信息量是條件概率p(yj/xi)分布的下凸函數(shù)，存在極小值。63普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息量有3個變量的情況下,符號xi與符號yj , zk之間的聯(lián)合互信息量定義為：定義在已知事件zk的條件下,接收到y(tǒng)j后獲得關(guān)于某事件xi的條件互信息64普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.3 互信息存在3個變量時，互信息、條件互信息以及聯(lián) 合互信息三者之間的關(guān)系：65普通高等教育“十五”國家級規(guī)劃教材信息論與編碼

28、曹雪虹等編著2.2.3 互信息三維聯(lián)合集XYZ上的平均互信息量 66普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著第一級處理器第二級處理器XYZ輸入 級聯(lián)處理器 2.2.4 數(shù)據(jù)處理中信息的變化實驗表明：假設(shè)Y條件下X和Z相互獨立，當(dāng)消息通過多級處理器時,隨著處理器數(shù)目增多,輸入消息與輸出消息間的平均互信息量趨于變小。67普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.4 數(shù)據(jù)處理中信息的變化數(shù)據(jù)處理定理說明：數(shù)據(jù)處理過程中只會丟失一些信息，絕不會創(chuàng)造出新的信息,這就是所謂的信息不增原理。 任何信息處理過程中總會丟掉信息，最多保持原來的信息。68普通高等教育“

29、十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.4 數(shù)據(jù)處理中信息的變化 一般通信系統(tǒng)編碼譯碼UXV信道Y從而所以，信息經(jīng)過編碼或譯碼處理后均不可能增加，只能減少。69普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.2.4 熵的性質(zhì)1. 非負(fù)性 H(X)H(p1，p2，pn)0式中等號只有在pi =1時成立。2. 對稱性 熵函數(shù)所有變元可以互換，不影響函數(shù)值； H(p1，p2，pn) = H(p2，p1，pn) 熵函數(shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)。70普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.4 熵的性質(zhì)3. 確定性 只要信源中有個符號出現(xiàn)的概率

30、為1，那么 該信源的熵為0。4. 香農(nóng)輔助定理 對任意兩個消息數(shù)相同的信源71普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.4 熵的性質(zhì)5. 最大熵定理 離散無記憶信源輸出M個不同的信息符號,當(dāng)且 僅當(dāng)各個符號出現(xiàn)概率相等時即( pi1/M)熵最 大。6. 條件熵小于無條件熵 當(dāng)且僅當(dāng)X和Y相互獨立時等號成立72普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.2.4 熵的性質(zhì)H(X|Y)H(X)H(Y)H(X,Y)H(Y|X)I(X;Y)維拉圖73普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著若信道輸入端X與輸出端Y完全統(tǒng)計獨立 則:2.2.

31、4 熵的性質(zhì)74普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.3離散序列信源的熵2.3.1 離散無記憶信源的序列熵2.3.2 離散有記憶信源的序列熵75普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著離散信源離散無記憶信源離散有記憶信源發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源2.3.1 離散無記憶信源的序列熵單個符號的信源：指信源每次只發(fā)出一個符號代表一個消息；符號序列的信源：指信源每次發(fā)出一組含二個以上符號的符號序列代表一個消息。76普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著發(fā)出符號序

32、列的信源發(fā)出單個符號的信源2.3.1 離散無記憶信源的序列熵77普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.3.1 離散無記憶信源的序列熵 設(shè)有一個離散無記憶L長度序列的信源X，信源中的每個事件為Xi，描述每個事件發(fā)生需要L長的單符號組成，每個單符號有n種可能；那么： 78普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.3.1 離散無記憶信源的序列熵 隨機(jī)序列的概率為 設(shè)信源X輸出的隨機(jī)序列為 Xi =(xi1xi2xilxiL)序列中的變量xilA=a1,a2, an X稱為單符號離散無記憶信源的L次擴(kuò)展信源 79普通高等教育“十五”國家級規(guī)劃教材信息論與

33、編碼 曹雪虹等編著2.3.1 離散無記憶信源的序列熵 當(dāng)信源無記憶時 信源的序列熵 組成序列的單個離散符號的信息熵80普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.3.1 離散無記憶信源的序列熵離散無記憶信源的序列熵公式81普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.3.1 離散無記憶信源的序列熵離散無記憶信源的序列熵該信源序列中平均每個符號熵組成該信源序列的單個符號的信源熵82普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著有一個無記憶信源隨機(jī)變量X(0,1),等概率分布,若以單個符號出現(xiàn)為一事件,則此時的信源熵:如果以兩個符號出現(xiàn)(L=

34、2的序列)為一事件，則隨機(jī)序列X(00,01,10,11)，信源的序列熵信源的符號熵 2.3.1 離散無記憶信源的序列熵83普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例:有一離散平穩(wěn)無記憶信源 求：二次擴(kuò)展信源的序列熵X2信源的元素 X1 X2X3X4X5X6X7X8X9對應(yīng)的消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率p(Xi) 1/4 1/81/81/81/161/161/81/161/16 2.3.1 離散無記憶信源的序列熵84普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著平均每個符號(消息)熵為 方法一：信源

35、的序列熵 2.3.1 離散無記憶信源的序列熵方法二：單個符號信源的熵85普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.3.2 離散有記憶信源的序列熵對于由兩個符號組成的聯(lián)合信源,有下列結(jié)論:當(dāng)前后符號無依存關(guān)系時,有下列推論：86普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著若信源輸出一個L長有記憶序列,則信源的序列熵為平均每個符號的熵為： 若當(dāng)信源退化為無記憶時:若進(jìn)一步又滿足平穩(wěn)性時 信源的序列熵單個符號的信源熵87普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著a0a1a2a09/112/110a11/83/41/8a202/97/9例2-12

36、 已知離散有記憶信源中各符號的概率空間為:設(shè)發(fā)出的符號只與前一個符號有關(guān),這兩個符號的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai)求離散信源的序列熵(L=2)和平均每個符號的熵? 2.3.2 離散有記憶信源的序列熵88普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著由 p(ai,aj) = p(ai) p(aj| ai) 計算得聯(lián)合概率p(ai aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36單符號信源的信息熵為：離散有記憶L=2信源的序列熵的計算過程：89普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著聯(lián)合熵

37、H(X1,X2)表示平均每二個信源符號所攜帶的信息量。那么平均每一個信源符號攜帶的信息量近似為: 符號之間存在關(guān)聯(lián)性離散有記憶L=2信源的序列熵 比較90普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.3 離散序列信源熵對于離散平穩(wěn)信源,有下列結(jié)論： 條件熵H (XL|XL-1) 隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵。91普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 HL(X)是L的單調(diào)非增函數(shù) HL(X)HL-1(X)H稱為平穩(wěn)信源的極限熵或極限信息量 H0(X)H1(X)H2(X)H(X) L給定時,平均符號

38、熵第L個條件熵： H L(X)H (XL|XL-1)2.3 離散序列信源熵等概率無記憶信源不等概率無記憶信源92普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2.3 馬爾可夫信源的極限熵 馬爾可夫信源齊次、遍歷的馬爾可夫信源的極限熵93普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.3 馬爾可夫信源的極限熵馬氏鏈極限熵的推導(dǎo)公式：94普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.3 馬爾可夫信源的極限熵95普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著例2-13 三狀態(tài)馬爾可夫信源s2s31/0.61/0.20/0.5s11/0.51/0.10/0.90/0.8 2.3 馬爾可夫信源的極限熵96普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.3 馬爾可夫信源的極限熵97普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.4 連續(xù)信源的熵與互信息2.4.1 幅度連續(xù)的單個符號信源熵98普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著 2.4 連續(xù)信源的熵與互信息2.4.1 幅度連續(xù)的單個符號信源熵 定義連續(xù)信源熵為： 此信源熵嚴(yán)格意義上應(yīng)該稱為相對熵或差熵； 幅度連續(xù)的單符號信源熵的特點： （1）連續(xù)信源的不