第2章 信源熵

1、上次課的回顧上次課的回顧 l什么是信息？信號，消息，信息的區(qū)別什么是信息？信號，消息，信息的區(qū)別？ l通信系統(tǒng)模型通信系統(tǒng)模型 lShannon信息論重點研究內(nèi)容？信息論重點研究內(nèi)容？ 通信系統(tǒng)模型通信系統(tǒng)模型 信源編碼器信道譯碼器 噪聲源 信宿 干擾 消息信號 信號干擾 消息 n對信息論的學習從對信息論的學習從信源信源開始開始 n由于信源發(fā)送什么消息預先是不可知的，只能用由于信源發(fā)送什么消息預先是不可知的，只能用概率概率 空間空間來來描述描述信源。信源。 隨機變量X、Y分別取值于集合 1212 , , , , , , injm a aaab bbb、 |1,2, , 1,2, ij ab i

2、n jm， 聯(lián)合隨機變量XY取值于集合 ()(,) ijij p abP Xa Yb 記記 概率論知識復習概率論知識復習 滿足下面一些性質(zhì)和關系： 0( )( )()()() 1 ijjiiji j papbpb apa bpab、 111 ()1,()1 nmn ijij iji p a bp ab 11 ()( ),()( ) nm ijjiji ij p abp bp abp a 111 ( ) 1 ( ) 1, () 1, nmm ijji ijj p ap bp b a ， 1 2 3 無條件概率、條件概率、聯(lián)合概率無條件概率、條件概率、聯(lián)合概率 ()( ) () ()()()( )

3、 ijij jijiji p abp a p b p bap bp a bp a ， XY當 與 相互獨立時 ()( ) ()( ) () i jjijiji pabpb pa bpa pb a 11 ()() ()() ()() ijij ijji nm ijij ij p abp ab p a bp b a p abp ab ， 4 5 6 問題的引出問題的引出 l信息論的發(fā)展是以信息可以度量為基礎的，信息論的發(fā)展是以信息可以度量為基礎的，度量信息度量信息的的 量稱為量稱為信息量。信息量。 l對于隨機出現(xiàn)的事件，它的出現(xiàn)會給人們帶來多大的信對于隨機出現(xiàn)的事件，它的出現(xiàn)會給人們帶來多大的信

4、息量？息量？ l舉例：舉例： l甲告訴乙甲告訴乙“你四級考過了你四級考過了”，那么乙是否得到信息？，那么乙是否得到信息？ 丙再次告訴乙同樣的話，那么乙是否得到信息？丙再次告訴乙同樣的話，那么乙是否得到信息？ 第第2章章 信源熵信源熵 信源信源 離離 散散 信信 源源 連連 續(xù)續(xù) 信信 源源 單符號單符號 多符號多符號 隨機變量隨機變量 隨機矢量隨機矢量 隨機過程隨機過程 信源分類信源分類 2.1 單符號離散信源單符號離散信源 單符號信源單符號信源信源每次輸出一個符號信源每次輸出一個符號, ,用離散用離散隨機變量隨機變量描述描述 多符號信源多符號信源信源每次輸出多個符號信源每次輸出多個符號( (

5、符號序列符號序列) )，用離散，用離散 隨機矢量隨機矢量描述描述 離散信源離散信源信源符號取值離散，包括單符號和多符號信源信源符號取值離散，包括單符號和多符號信源 連續(xù)信源連續(xù)信源信源符號取值連續(xù)，用信源符號取值連續(xù)，用隨機過程隨機過程描述描述 結論結論 從概率、隨機變量從概率、隨機變量( (過程過程) )來研究信息來研究信息 對事物狀態(tài)對事物狀態(tài)( (存在方式存在方式) )不確定性的描述不確定性的描述 對于離散隨機變量，取值于集合對于離散隨機變量，取值于集合 單符號離散信源的數(shù)學模型為單符號離散信源的數(shù)學模型為 12 , , , , , in aaaa ()() ii p aP Xa對任一對

6、任一X X記記 2.1.1 單符號離散信源的數(shù)學模型單符號離散信源的數(shù)學模型 12 12 , (), (), ( ), ()() in in xxxx p xp xp xp xP X X 1)(, 0)( 1 n i ii xpxp 需要注意需要注意的是：的是：大寫字母大寫字母代表代表隨機變量，隨機變量，指指 的是信源的是信源整體。整體。帶下標的帶下標的小寫字母小寫字母ai代表隨機事件代表隨機事件 的的某一結果某一結果或信源的或信源的某某個元素個元素, ,兩者不可混淆。兩者不可混淆。 一、信息量一、信息量 信息量信息量 2.1.2 自信息和信源熵自信息和信源熵 自信息量自信息量1 定義定義：

7、22 1 ( )loglog( ) ( ) ii i I xp x p x 計算信息量主要注意有關事件發(fā)生概率的計算計算信息量主要注意有關事件發(fā)生概率的計算; ; 自信息量自信息量 I(xi) 的含義的含義 當事件當事件xi發(fā)生以前，表示事件發(fā)生以前，表示事件xi發(fā)生的不確定性；發(fā)生的不確定性； 當事件當事件xi發(fā)生以后，表示事件發(fā)生以后，表示事件xi所提供的信息量；所提供的信息量； 自信息量的單位自信息量的單位 自信息量的單位取決于對數(shù)的底；自信息量的單位取決于對數(shù)的底； 底為底為2，單位為，單位為“比特（比特（bit）”； 底為底為e，單位為單位為“奈特（奈特（nat）”； 底為底為10，

8、單位為，單位為“哈特哈特(笛特笛特)（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit； u從從26個英文字母中，隨即選取一個字母，則該事件的自信個英文字母中，隨即選取一個字母，則該事件的自信 息量為息量為 I = -log2(1/26) = 4.7 比特比特 u設設m比特的二進制數(shù)中的每一個是等概率出現(xiàn)的比特的二進制數(shù)中的每一個是等概率出現(xiàn)的(這樣的數(shù)這樣的數(shù) 共有共有2m個個)，則任何一個數(shù)出現(xiàn)的自信息為，則任何一個數(shù)出現(xiàn)的自信息為: I = -log2(1/ 2m) = m 比特比特/符號符號 練習練習 u在你不知道今天是星期幾的情況下，問朋友在你不知道

9、今天是星期幾的情況下，問朋友“明天是星期幾明天是星期幾”則答則答 案中可能存在的信息量是多少？如果你知道今天是星期四提出同樣案中可能存在的信息量是多少？如果你知道今天是星期四提出同樣 的問題則答案所含信息量是多少？的問題則答案所含信息量是多少？ A事件事件-不知道今天是星期幾的情況下，問朋友不知道今天是星期幾的情況下，問朋友“明天是星期幾明天是星期幾” B事件事件-知道今天是星期四明天是星期幾知道今天是星期四明天是星期幾 1 ( ) 7 p A ( )1p B 2 log( )log 72.807 log( )log10 I Ap Abit I Bp Bbit 例例2.1.1 這四種氣候的自信

10、息量分別為這四種氣候的自信息量分別為 : : 1234 ( ), ( ), ( ), ( ) 1111 ( ), , , 2488 aaaa X P X 晴陰雨雪 某地二月份天氣的概率分布統(tǒng)計如下：某地二月份天氣的概率分布統(tǒng)計如下： 1 I(ai) 0)(1)( ii aIap時，當2 )(0)( ii aIap時，當3 )()( ii apaI是 的的函數(shù)。函數(shù)。4 自信息量的性質(zhì)自信息量的性質(zhì) n i m j jib ap 11 1)(。 )(,),(,),(,),( , , , , , , 1111 1111 mnnm mnnm bapbapbapbap babababa )( XYP

11、XY ，其中), 2 , 1;, 2 , 1( 1)(0mjnibap ji 聯(lián)合自信息量聯(lián)合自信息量 針對兩個符號離散信源針對兩個符號離散信源 ()log () 2.1.4 ijij I abp ab（） 2.1.5 )()(）（ ji bIaI ()( ) (), ijij p abp a pYbX當 與 相互有獨立時， 代入式代入式(2.1.3)就有就有 )(log)(log)( jiji bpapbaI 定義：定義： ) b6 . 1 . 2 ( )(log)( ijij abpabI ）（2.1.6a )(log)( jiji bapbaI 條件自信息量條件自信息量 定義：定義： 聯(lián)

12、合自信息量和條件自信息也滿足聯(lián)合自信息量和條件自信息也滿足非負和單調(diào)遞減性，非負和單調(diào)遞減性，同時，同時， 它們也都是隨機變量，其值隨著變量它們也都是隨機變量，其值隨著變量 的變化而變化。的變化而變化。ij ab、 三者之間的關系三者之間的關系 二、互信息量和條件互信息量二、互信息量和條件互信息量 1 信源信源X 信宿信宿Y 有擾信道有擾信道C 干干 擾擾 源源 N 離散信源X的數(shù)學模型為 1 0( )1,( )1 n ii i p ap a )(,),(,),(),( , , , , , )( 21 21 ni ni apapapap aaaa XP X 信宿信宿Y Y 的數(shù)學模型為的數(shù)學模

13、型為 m j jj bpbp 1 1)(, 1)(0 )b (,),(,),(),( b , ,b , ,b , )( 21 21 mj mj pbpbpbp b YP Y 如果如果信道理想，信道理想，發(fā)出發(fā)出ai，收到收到ai，則所獲得的信息量則所獲得的信息量ai的不確定的不確定 度度I(ai)；如果；如果信道不理想，信道不理想，發(fā)出發(fā)出ai，收到收到bj,由由bj推測推測ai的概率。的概率。 () ( ;)log 2.1.7 ( ) (1,2, ;1,2,) ij i i j i j p a b I a b p a i b j a nm 定義 對 的互信息量為 （） 互信息量的定義互信息量

14、的定義1 1 信源發(fā)出消息信源發(fā)出消息ai的概率的概率P(P(ai) )稱為稱為ai的的先驗概率先驗概率，信宿收信宿收 到到bj 后推測信源發(fā)出后推測信源發(fā)出ai的概率的概率P(P(ai/ bj) )稱為稱為ai的的后驗概率后驗概率。 例例2.1.2 繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構成的信源為繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構成的信源為 8 1 , 8 1 , 4 1 , 2 1 )( ),( ),( ),( )( 4321 雪雨陰晴aaaa XP X “今天不是晴天今天不是晴天”作為收到的信息作為收到的信息b1，計算，計算b1與各天氣之間的互信與各天氣之間的互信 息量。息量。

15、今天不是晴天。把這句話作為收到的信息今天不是晴天。把這句話作為收到的信息b1，當收到當收到b1后，各種天后，各種天 氣發(fā)生的概率變成后驗概率。其中氣發(fā)生的概率變成后驗概率。其中 。 4 1 )( 14 bap , 2 1 )( 12 bap, 0)( 11 bap , 4 1 )( 13 bap 。種天氣之間的互信息量與各，可以計算出依據(jù)式 1 )7.1.2(b 之間的互信息量。與 ，不必再考慮，因?qū)μ鞖?11 111 0)( ba bapa )(1 41 21 log )( )( log);( 2 2 12 212 bit ap bap baI 可計算出對天氣 2 a 134 baa同理可計

16、算出 對、的互信息量 。)(1);();( 1413 bitbaIbaI 1234 1234 1 1 baaabit baaa bit 這表明從 分別得到了、 、各的信息量。 也可以理解為消息 使、 、 的不確定度各 減少了。 )8 . 1 . 2( )()( jii baIaI )(log)(log);( jiiji bapapbaI (2.1.9) ), 2 , 1;, 2 , 1( )( )( )( )( log);( mjni abIbI bp abp abI ijj j ij ij ij ab同樣的道理，可定義 對 的互信息量為 互信息量的定義互信息量的定義2 2 通信前 ij ab

17、“輸入端出現(xiàn) 和輸出端出現(xiàn)”的概率 )()()( jiji bpapbap 先驗不定度（聯(lián)合自信息量） )()( 1 log)( ji ji bpap baI 發(fā)送發(fā)送 接收接收 互信息量的定義互信息量的定義3 3 輸入輸出端的聯(lián)合概率 )()()()()( jijijiji bapbpabpapbap 后驗不定度 )( 1 log)( ji ji bap baI 通信后發(fā)送發(fā)送接收接收 這樣，通信后流經(jīng)信道的信息量，等于通信前后不這樣，通信后流經(jīng)信道的信息量，等于通信前后不 定度的差定度的差 ), 2 , 1;, 2 , 1( )()( )( logmjni bpap bap ji ji )

18、( 1 log )()( 1 log jiji bapbpap (2.1.10) )()();( jijiji baIbaIbaI (2.1.11) );();( ijji abIbaI 互信息的性質(zhì)互信息的性質(zhì) 對稱性對稱性 當當X X 和和Y Y 相互獨立時，互信息為相互獨立時，互信息為0 0 1 2 2 ()() () ijij p abp a p b () ;log =log1=0 ( ) () ij ij ij p ab I a b p a p b （） )()/( iji apbap )()/( iji apbap 互信息量可為互信息量可為正值正值或或負值負值 3 互信息量為正，互

19、信息量為正，bj使使ai的不確定度減小，的不確定度減小， 上例中，上例中，“今天不是晴天今天不是晴天” 互信息量為互信息量為0，二者相互獨立，二者相互獨立， “今天我很高興今天我很高興” 互信息量為負，互信息量為負，bj沒有使沒有使ai的不確定度減小，的不確定度減小， “今天有風今天有風”。 )()/( iji apbap 條件互信息量條件互信息量 )( )( log);( ki kji kji cap cbap cbaI (2.1.13) 3 聯(lián)合集聯(lián)合集XYZ中中,給定條件給定條件ck下，下，ai與與bj之間的互信息量，之間的互信息量， 其其 定義式如下所示：定義式如下所示： (2.1.1

20、4) 小結小結 l信源類型信源類型 l信息量及性質(zhì)信息量及性質(zhì) l互信息量及性質(zhì)互信息量及性質(zhì) 問題的引出問題的引出 1212 ( )( ) , ( )( )0.990.010.50.5 XYaabb P XPY 晴（雨）晴（雨） X與與Y哪個信源的不確定度小？哪個信源的不確定度??？ 通常通常研究單獨一個事件研究單獨一個事件或或單獨一個符號單獨一個符號的信息量是的信息量是不夠不夠 的，往往需要的，往往需要研究整個事件集合或符號序列研究整個事件集合或符號序列( (如信源如信源) )的平均的平均 信息量信息量( (總體特征總體特征) )，這就需要引入新的概念。，這就需要引入新的概念。 三、信源熵三

21、、信源熵 已知單符號離散無記憶信源的數(shù)學模型已知單符號離散無記憶信源的數(shù)學模型 n i ii apniap 1 1)(, 2 , 1, 1)(0 且其中 )(,),(,),(),( , , , , , )( 21 21 ni ni apapapap aaaa XP X 信源熵信源熵 信源熵信源熵 各離散消息各離散消息自信息量的數(shù)學期望，自信息量的數(shù)學期望，即即 信源的信源的平均信息量。平均信息量。 )(log)( )( 1 log)()( 2 1 2i n i i i i apap ap EaIEXH （2.1.16） 信源的信息熵；香農(nóng)熵；無條件熵；熵函數(shù)；信源的信息熵；香農(nóng)熵；無條件熵；熵

22、函數(shù)；熵。熵。 單位：比特單位：比特/ /符號。（底數(shù)不同，單位不同）符號。（底數(shù)不同，單位不同） 例例2.1.3 由式由式(2.1.16)的定義，該信源的熵為的定義，該信源的熵為 )(75.1 2) 8 1 log 8 1 ( 2 1 log 4 1 2 1 log 2 1 )( 222 符號bit XH 繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構成的信源為繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構成的信源為 8 1 , 8 1 , 4 1 , 2 1 )( ),( ),( ),( )( 4321 雪雨陰晴aaaa XP X 信源熵信源熵H(X)表示表示，離散消息所提供的離散消息所提供的。 信源

23、熵信源熵H(X)表示表示，信源的信源的。 信源熵信源熵H(X)反映了反映了。 1 2 3 信源熵的意義信源熵的意義 1212 ()() , ()( )0.990.010.50.5 XYaabb P XP Y 晴（雨）晴（雨） H(X)=0.08bit/sign,H(Y)=1bit/sign,說明說明X的不確定小。的不確定小。 例：天氣預報，有兩個信源例：天氣預報，有兩個信源 1,21 ( )1/4,3/4 aaX p x 1,22 ( )1/2,1/2 aaX p x 1 134 ()log4log0.809 443 H X 2 11 ()log2log21 22 H X 則：則： 說明第二個

24、信源的平均不確定性更大一些說明第二個信源的平均不確定性更大一些 例：電視屏上約有例：電視屏上約有 500 600= 3105個格點，按每點有個格點，按每點有10個不同個不同 的灰度等級考慮，則共能組成的灰度等級考慮，則共能組成n=103x105個不同的畫面。按等概率個不同的畫面。按等概率 1/103x105計算，平均每個畫面可提供的信息量為計算，平均每個畫面可提供的信息量為 5 103 2 1 2 10log)(log)()( n i ii xpxpXH =31053.32 比特比特/畫面畫面 例：有一篇千字文章，假定每字可從萬字表中任選，則共有不同的例：有一篇千字文章，假定每字可從萬字表中任

25、選，則共有不同的 千字文千字文N=100001000=104000篇。仍按等概率篇。仍按等概率1/100001000計算，平均每計算，平均每 篇千字文可提供的信息量為篇千字文可提供的信息量為 H（X）log2N4103332=1.3104 比特千字文比特千字文 “一個電視畫面一個電視畫面”平均提供的信息量遠遠超過平均提供的信息量遠遠超過“一篇千字文一篇千字文”提供提供 的信息量。的信息量。 信源熵與信息量的比較信源熵與信息量的比較 信源的平均不確定度信源的平均不確定度消除不定度得到信息消除不定度得到信息 與信源是否輸出無關與信源是否輸出無關 接收后才得到信息接收后才得到信息 確定值確定值 一般

26、為隨機量一般為隨機量 有限值有限值 可為無窮大可為無窮大 () () ij H X YE I ab 11 () () mn ijij ji p ab I ab 11 ()log() (2.1.17) mn ijij ji p abp a b 條件熵條件熵 2 信道疑義度信道疑義度,損失熵損失熵 思考：求條思考：求條 件熵時為什件熵時為什 么要用聯(lián)合么要用聯(lián)合 概率加權？概率加權？ 條件熵條件熵是在聯(lián)合符號集合是在聯(lián)合符號集合XY上的上的條件自信息量條件自信息量的的數(shù)學期望。數(shù)學期望。 在已知隨機變量在已知隨機變量X的條件下，隨機變量的條件下，隨機變量Y的條件熵定義為：的條件熵定義為： 條件熵條

27、件熵H(X/Y)是一個確定值，表示信宿在收到是一個確定值，表示信宿在收到Y后，信源后，信源X仍然仍然 存在的不確定度。這是信道干擾所造成的。有時稱存在的不確定度。這是信道干擾所造成的。有時稱H(X/Y)為為信道疑信道疑 義度，義度，也稱也稱損失熵。損失熵。 如果沒有干擾，如果沒有干擾，H(X/Y)=0,一般情括下一般情括下H(X/Y)小于小于H(X)，說明經(jīng)，說明經(jīng) 過信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。過信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。 () () ji H Y XE I ba 11 ()log() (2.1.18) nm ijji ij p ab

28、p ba 噪聲熵噪聲熵 條件熵條件熵H(Y/X)也是一個確定值也是一個確定值,表示信源發(fā)出表示信源發(fā)出X后，信宿仍后，信宿仍 然存在的不確定度。這是由于噪聲引起的。也稱為然存在的不確定度。這是由于噪聲引起的。也稱為噪聲熵。噪聲熵。 11 ()() () nm ijij ij H XYp abI ab 11 ()log() (2.1.19) nm ijij ij p abp ab 聯(lián)合熵（共熵）聯(lián)合熵（共熵） 聯(lián)合離散符號集合聯(lián)合離散符號集合XY上的每個元素對上的每個元素對aibj的的聯(lián)合自信息量聯(lián)合自信息量的的數(shù)數(shù) 學期望。學期望。 說明說明: 聯(lián)合熵聯(lián)合熵H（XY）表示）表示X和和Y同時發(fā)生

29、的不確定度。同時發(fā)生的不確定度。 u非負性非負性 H(X) 0 0p(ai)1，當取對數(shù)的底大于，當取對數(shù)的底大于1時，時，log p(ai)0，- p(ai) log p(ai) 0，即得到的熵為正值。只有當隨機變量是一確知量，即得到的熵為正值。只有當隨機變量是一確知量 時熵才等于零。時熵才等于零。 2.1.3 信息熵的基本性質(zhì)和定理信息熵的基本性質(zhì)和定理 u對稱性對稱性 X中的中的n個消息概率改變順序，不影響熵的值。個消息概率改變順序，不影響熵的值。 123123123 , , ( )1/3 1/6 1/2( )1/6 1/2 1/3( )1/3 1/2 1/6 xxxxyxxxzyyy

30、PxPyPz 123 123 xxx yyy 紅 ，黃 ，藍 晴 ，霧 ，雨 )/(459. 1) 2 1 , 6 1 , 3 1 ()(SymbolBitHXH )/(459. 1) 3 1 , 2 1 , 6 1 ()(SymlobBitHYH )/(459. 1) 6 1 , 2 1 , 3 1 ()(SymbolBitHZH )()()(ZHYHXH X與與Z信源的差別：信源的差別：它們所選擇的具體消息它們所選擇的具體消息/符號含義不同符號含義不同 X與與Y信源的差別：信源的差別：選擇的同一消息選擇的同一消息,概率不同概率不同 三者的信源熵是相同的，三者的信源熵是相同的，總體統(tǒng)計特性相

31、同總體統(tǒng)計特性相同 信源中包含n個不同離散消息時，信源熵H(X)有 2 ( ) log (2.1.21) H Xn 當且僅當X中各個消息出現(xiàn)的概率全相等時，上式取等號。 u 最大離散熵定理最大離散熵定理 1 ,ln1,0 () i xxxx np a 令引用(自然對數(shù)的性質(zhì)) 得并注意,loglnlogexx 2 1 1 ()log () n i i i p a np a 22 11 1 ()log()log () nn ii ii i p ap an p a 2 ()logH Xn 證明：證明： log)(nXH故有 , 1 )( 1 1)( 1 i n i i anp xap。當且僅當式中

32、 時，上式等號成立。即 n ap i 1 )( 對于單符號離散信源，當信源呈等概率分布時具有最大熵。對于單符號離散信源，當信源呈等概率分布時具有最大熵。 0 )( 1 11 n i i n i ap n nXHlog)( n i i eap n 1 log)( 1 二進制信源是離散信源的一個特例。二進制信源是離散信源的一個特例。 H(X) = - log (1- ) log(1- ) =H( ) 1 10 )(xp x 即信息熵即信息熵H(x)是是 的函數(shù)。的函數(shù)。 取值于取值于0，1區(qū)間，可畫出熵函區(qū)間，可畫出熵函 數(shù)數(shù)H( ) 的曲線來，如右圖所示。的曲線來，如右圖所示。 舉例舉例 u擴展

33、性擴展性 11212 0 (,., )(,.,) lim qqqq Hp ppHp pp 性質(zhì)說明：性質(zhì)說明：由由n個消息增加到個消息增加到n+1個，若它的個，若它的概率很小，可概率很小，可 忽略對熵的貢獻，忽略對熵的貢獻，雖然概率很小的事件出現(xiàn)后，給予接收雖然概率很小的事件出現(xiàn)后，給予接收 者的信息量很大，但對熵的貢獻很小，可以忽略不計。者的信息量很大，但對熵的貢獻很小，可以忽略不計。 u確定性確定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=0 性質(zhì)說明：性質(zhì)說明：從總體來看，信源雖然有不同的輸出符號，從總體來看，信源雖然有不同的輸出符號， 但它只有一個符號幾乎必然出現(xiàn)，而其它

34、符號則是幾乎但它只有一個符號幾乎必然出現(xiàn)，而其它符號則是幾乎 不可能出現(xiàn)，那么，不可能出現(xiàn)，那么，這個信源是一個確知信源，其熵等這個信源是一個確知信源，其熵等 于零。于零。 u可加性可加性 H(XY) = H(X)+ H(Y) X和和Y獨立獨立 H(XY)=H(X)+ H(Y/X) H(XY)=H(Y)+ H(X/Y) , 1,2, ()( ) XY in P XP Y 有 12 1 ( ), (), ()( )log () n nnij i Hp ap ap ap ap b ()( ) H X YH X 已知Y后，從中得到了一些關于X的信息，從而使X 的不確定度下降。 u 極值性極值性 可以

35、證明可以證明 u上凸性上凸性 熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，熵函數(shù)具有上凸性，所以熵函數(shù)具有極值， 其最大值存在。其最大值存在。 1 (2.1.32)()()log () n iii i HXp ap a 加權熵加權熵定義信息的 例例下雪對于南北方人的意義 2.1.4 加權熵的概念及基本性質(zhì)加權熵的概念及基本性質(zhì)( (了解了解) ) 平均互信息平均互信息 一、平均互信息量的定義一、平均互信息量的定義 11 () ()log () nm ij ij ij i p a b p ab p a 互信息量在聯(lián)合概率空間互信息量在聯(lián)合概率空間P(XY)統(tǒng)計平均。統(tǒng)計平均。 平均交互信息量；交互熵

36、);();( ji baIEYXI n i m j jiji baIbap 11 );()( 2.1.5 平均互信息量平均互信息量 同理，X對Y的平均互信息： n i m j j ij ji bp abp bapXYI 11 )( )( log)();( )()()( jijji bapbpbap n i m j ji ji ji bpap bap bapYXI 11 )()( )( log)();( (2.1.45) 二、平均互信息的物理意義二、平均互信息的物理意義 n i m j ijiji apbapbap YXI 11 )(log)(log)( );( )()(YXHXH 1 損失熵損

37、失熵 表示收到表示收到Y后，對后，對X仍存在不確定度，代表信道中損失仍存在不確定度，代表信道中損失 的信息。的信息。 ()H X Y 平均互信息量是發(fā)送平均互信息量是發(fā)送X前、后，前、后，關于關于Y的平均不確定度減少的量。的平均不確定度減少的量。 ( ;)( )()I Y XH YH Y X 2 ()H Y X 噪聲熵噪聲熵 表示發(fā)出表示發(fā)出X后，對后，對Y仍存在不確定度，由于信道中的仍存在不確定度，由于信道中的 噪聲引起的。噪聲引起的。 ()( )H XYH XH Y通信前： （） ()()H XYH XH Y X通信后： （） 平均互信息量等于通信前、后，平均互信息量等于通信前、后，整個系

38、統(tǒng)不確定度減少的量。整個系統(tǒng)不確定度減少的量。 ( ;)I Y X 11 () log ()log ( )log () nm ijijij ij p abp abp ap b ()( )()H XH YH XY 3 例例2.1.5信源X接入圖示信道 5 . 05 . 0)( 21 aa XP X 98. 0)( 1 1 a b p 02. 0)( 1 2 a b p 2 . 0)( 2 1 a b p8 . 0)( 2 2 a b p 0.98 0. 8 0. 2 0. 02 1 a 2 a 1 b 2 b 49. 098. 05 . 0)()()( 1 1 111 a b papbap 01

39、. 002. 05 . 0)( 21 bap同理： 4 . 08 . 05 . 0)( 22 bap 1 . 02 . 05 . 0)( 12 bap )()()( ijiji abpapbap 1 59. 049. 01 . 0)()()( 12111 bapbapbp 41. 04 . 001. 0)()()( 22212 bapbapbp 2 1 )()( i jij bapbp 2 831. 0 59. 0 49. 0 )( )( )( 1 11 1 1 bp bap b a p 169. 0)(1)( 1 1 1 2 b a p b a p )( )( )( j ji ji bp b

40、ap bap 3 024.0 41.0 01.0 )( )( )( 2 21 2 1 bp bap b a p 976.0)(1)( 2 1 2 2 b a p b a p )( 15 . 0log5 . 05 . 0log5 . 0)( 符號符號 bit XH )(98. 041. 0log41. 059. 0log59. 0)( 符號 bit YH )(43. 1 符號 bit )(XYH 4 . 0log4 . 01 . 0log1 . 001. 0log01. 049. 0log49. 0 等概率信源的熵最大。 4 )( )( log)()( 2 1 2 1 i ji ij ji ap

41、 bap bap Y X H )(45. 0 符號 bit )()(YHXYH 024. 0log01. 0831. 0log49. 0 976. 0log4 . 0169. 0log1 . 0 5 ( ; )()() X I X YH XH Y 10.450.55() bit 符號 ()()() Y HH XYH X X 1.43 10.43() bit 符號 6 7 三、平均互信息的性質(zhì)三、平均互信息的性質(zhì) (; )( ;)I X YI Y X對稱性對稱性1 非負性非負性2(; )0I X Y 說明：從說明：從X中提取關于中提取關于Y的信息量與由的信息量與由Y中提取到中提取到X的的 信息量

42、是相同的，是信息流通的總體測度。信息量是相同的，是信息流通的總體測度。 說明：通過一個信道總能傳遞一些信息，最差的條件下，說明：通過一個信道總能傳遞一些信息，最差的條件下， 輸入輸出完全獨立，不傳遞任何信息，互信息等于輸入輸出完全獨立，不傳遞任何信息，互信息等于0，但，但 決不會失去已知的信息。決不會失去已知的信息。 (; )()I X YH X( ;)( )I Y XH Y (; )()() X I X YH XH Y ji ji b a p j i 0 1 )(0)( Y X H (; )()I X YH X 極值性極值性 XY、 一一對應 1 3 ()( ) i i j a pp a b

43、 ()()0H XH X (; )()() X I X YH XH Y 111 ( )log( )()log( ) nnm iiiji iij p ap ap abp a XY、 相互獨立 2 凸函數(shù)性凸函數(shù)性4 的是信源)();( i apYXI1 這就是說，對于一定的信道轉(zhuǎn)移概率分布這就是說，對于一定的信道轉(zhuǎn)移概率分布p(y|x)，總可以找到某，總可以找到某 一個先驗概率分布的信源一個先驗概率分布的信源X，使平均交互信息量，使平均交互信息量I(X;Y)達到相應的最達到相應的最 大值大值Imax，這時稱這個信源為，這時稱這個信源為可以說，不同的信可以說，不同的信 道轉(zhuǎn)移概率對應不同的道轉(zhuǎn)移概

44、率對應不同的Imax。 的是 )();( i j a b pYXI2 這就是說，對于一個已知先驗概率為這就是說，對于一個已知先驗概率為p的離散信源，總的離散信源，總 可以找到某一個轉(zhuǎn)移概率分布的信道可以找到某一個轉(zhuǎn)移概率分布的信道q，使平均互信息量達，使平均互信息量達 到相應的最小值到相應的最小值Imin。 YXZ假定 條件下 、 相互獨立 );();(ZYIZXI );();(YXIZXI 數(shù)據(jù)處理定理數(shù)據(jù)處理定理5 意義意義 信息不增原理信息不增原理:每經(jīng)過一次處理，可能丟失一部分信息每經(jīng)過一次處理，可能丟失一部分信息 P(Y/X)P(Z/Y) XYZ 信道中熵的信息流圖信道中熵的信息流圖

45、 H(Y|X) :噪聲熵；噪聲熵； H(X|Y) :信道疑義度信道疑義度(損失熵損失熵); 它們都是由于噪聲干擾的存在而存在的。信道中存在噪聲干擾，它們都是由于噪聲干擾的存在而存在的。信道中存在噪聲干擾， 是減低信道傳信能力的基本原因。是減低信道傳信能力的基本原因。 H(X)H(Y)I(X;Y) H(X|Y) H(Y|X) 2.1.6 各種熵之間的關系各種熵之間的關系 平均互信息量平均互信息量 無條件熵無條件熵 名稱名稱 符號符號 關關 系系 圖圖 示示 無無 條條 件件 熵熵 )(XH )(YH ()()(;) () ()()() X H XHI X Y Y X H Y Y H XH XYH

46、 X ( )()(; ) () ( )()() Y H YHI X Y X Y H X X H YH XYH Y YX YX 條條 件件 熵熵 條條 件件 熵熵 )/(YXH )/(XYH );()( )()()( YXIYH XHXYH X Y H );()( )()()( YXIXH YHXYH Y X H YX YX 聯(lián)聯(lián) 合合 熵熵 交交 互互 熵熵 )()(YXHXYH );();(XYIYXI ()()() ( )() ()( )(; ) ()()(; ) Y H XYH XH X X H YH Y H XH YI X Y XY HHI X Y YX )()()( )()()( )

47、()( )()();( X Y H Y X HXYH XYHYHXH X Y HYH Y X HXHYXI YX YX 信源分類信源分類 連連 續(xù)續(xù) 信信 源源 隨機變量隨機變量 信源信源 離離 散散 信信 源源 單符號單符號 多符號多符號 隨機矢量隨機矢量 隨機過程隨機過程 離散無記憶信源離散無記憶信源 離散有記憶信源離散有記憶信源 平穩(wěn)序列信源平穩(wěn)序列信源 馬爾可夫信源馬爾可夫信源 輸出的消息序列中輸出的消息序列中各符號之間無相互依賴關系各符號之間無相互依賴關系的信源。亦稱為的信源。亦稱為 單符號離散平穩(wěn)無記憶信源的擴展信源。單符號離散平穩(wěn)無記憶信源的擴展信源。序列長度就是擴展次數(shù)。序列長

48、度就是擴展次數(shù)。 例例: :單符號信源單符號信源00，1,1,經(jīng)過二次擴展經(jīng)過二次擴展 變成了：變成了：0000，0101，1010，1111 經(jīng)過三次擴展，形成的信源？經(jīng)過三次擴展，形成的信源？ 經(jīng)過經(jīng)過N次擴展，形成的信源？次擴展，形成的信源？ 2.2 多符號離散平穩(wěn)信源多符號離散平穩(wěn)信源 p 無記憶信源的擴展信源無記憶信源的擴展信源 2.2.1 序列信息的熵序列信息的熵 n 離散無記憶信源離散無記憶信源 發(fā)出單個符號的無記憶信源（最簡單的離散信源）發(fā)出單個符號的無記憶信源（最簡單的離散信源） )()()( 21 21 n n xpxpxp xxx P X 1)(, 0)( 1 n i i

49、i xpxp 自信息量自信息量 信源熵信源熵 22 1 ( ) loglog( ) ( ) ii i I xp x p x 1 1 ( )log( )log ( ) ( ) q ii i i H XEp xp x p x n 離散無記憶信源的擴展信源離散無記憶信源的擴展信源 實際信源輸出的消息往往是時間上或空間上的一系列符號，實際信源輸出的消息往往是時間上或空間上的一系列符號， 如電報系統(tǒng)，序列中前后符號間一般是有統(tǒng)計依賴關系的。如電報系統(tǒng)，序列中前后符號間一般是有統(tǒng)計依賴關系的。 離散無記憶二進制信源離散無記憶二進制信源X的二次擴展信源的二次擴展信源 我們先討論離散無記憶信源，此時，信源序列

50、的前后符號之我們先討論離散無記憶信源，此時，信源序列的前后符號之 間是統(tǒng)計獨立的間是統(tǒng)計獨立的. . 01 1 X Ppp 1234 1234 ()()()() aaaaX p ap ap ap aP 如在二元系統(tǒng)中，我們可以把兩個二元數(shù)字看成一組，如在二元系統(tǒng)中，我們可以把兩個二元數(shù)字看成一組， 會出現(xiàn)四種可能情況：會出現(xiàn)四種可能情況：00、01、10和和11，我們可以把這四，我們可以把這四 種情況看成一個新的信源稱為種情況看成一個新的信源稱為二元無記憶信源的二次擴展二元無記憶信源的二次擴展 信源，信源，相應的，如果把相應的，如果把N個二元數(shù)字看成一組，則新的信個二元數(shù)字看成一組，則新的信

51、源稱為源稱為二元無記憶信源的二元無記憶信源的N次擴展信源。次擴展信源。 則該信源的則該信源的N次擴展信源為：次擴展信源為： 一般情況下，設一個離散無記憶信源為：一般情況下，設一個離散無記憶信源為： 離散無記憶信源離散無記憶信源X的的N次擴展信源次擴展信源 12 12 , ,( )1 (), (), ( ), ()() in i i in xxxx p x p xp xp xp xP X X 12 12 12 12 , , (),(),(),() () (,.,) ()() (). () N N N iq N N iq iiii iiii qn pppp P xxx pp xp xp x X X

52、 根據(jù)信息熵的定義：根據(jù)信息熵的定義： ( )()()log () N NNN X HH XP XP XX 可以證明，對于可以證明，對于離散無記憶離散無記憶的擴展信源的擴展信源 ()( ) N H XNH X N次擴展信源的熵次擴展信源的熵 (1)單位單位:bit/sign,但含義不同但含義不同 (2)N次擴展信源的熵等于各符號熵之和次擴展信源的熵等于各符號熵之和 注意注意 單符號信源如下單符號信源如下, ,求二次擴展信源熵求二次擴展信源熵 4 1 , 4 1 , 2 1 , )( 321 aaa XP X 123456789 12132122233132331 1 111111111 888

53、1616816164 a a a a a a a a a a a a a a a aa a 擴展信源： 2 3 2 1 ()()log()3() ii i bit H Xpp 符號 3 1 2() ()()log()1.5/ ii i H X H Xp ap abit sign 信源在某一時刻發(fā)出什么樣的值取決于兩方面信源在某一時刻發(fā)出什么樣的值取決于兩方面 1、這一時刻該變量的概率分布、這一時刻該變量的概率分布 2、這一時刻以前發(fā)出的消息、這一時刻以前發(fā)出的消息 我們現(xiàn)在討論我們現(xiàn)在討論平穩(wěn)的平穩(wěn)的隨機序列，隨機序列，所謂平穩(wěn)是指序列的統(tǒng)計性質(zhì)與時所謂平穩(wěn)是指序列的統(tǒng)計性質(zhì)與時 間的推移無關

54、間的推移無關（兩個任意時刻信源發(fā)出符號的概率分布完全相同）。（兩個任意時刻信源發(fā)出符號的概率分布完全相同）。 信源所發(fā)符號序列的信源所發(fā)符號序列的概率分布與時間的起點無關概率分布與時間的起點無關，這種信源我們稱，這種信源我們稱 之為之為離散平穩(wěn)信源。離散平穩(wěn)信源。 2.2.2 離散平穩(wěn)信源的數(shù)學模型離散平穩(wěn)信源的數(shù)學模型 二維信源二維信源1 2.2.3 離散平穩(wěn)信源的信源熵和極限熵離散平穩(wěn)信源的信源熵和極限熵 最簡單的平穩(wěn)信源最簡單的平穩(wěn)信源二維平穩(wěn)信源，信源發(fā)出序列中只有前二維平穩(wěn)信源，信源發(fā)出序列中只有前 后兩個符號間有依賴關系，我們可以對其二維擴展信源進行分析。后兩個符號間有依賴關系，我

55、們可以對其二維擴展信源進行分析。 信源的概率空間信源的概率空間: : 12 12 , ,( ) 1 ( )( ), (), () n n i i n Xaaa p a P Xp ap ap a =1 12 XX X 1212 , n XXa aa nnnnn aaaaaaaaaaaaX,;, 2112111 12 12 ,1,2, iii a ai in 2 2 12 12 () () () () () i n i n X pppp P X 假定假定X=X1X2 , ,則可得到一個新的信源則可得到一個新的信源 n i n i iiii aapaap 11 12 2121 )(log)( n i

56、 n i i i iii n i n i ii a a paapapaap 1111 12 1 2 211 12 21 )(log)()(log)( n i n i i i ii n i ii a a paapapap 111 12 1 2 21 1 11 )(log)()(log)( 2 1 ()()log() n ii i H Xpp )()( 1 2 1 X X HXH p 二維信源的信源熵二維信源的信源熵 : 21 統(tǒng)計獨立時、當XX )()( 2 1 2 XH X X H )(2)()()( 21 XHXHXHXH )()()( 1 2 1 X X HXHXH )()( 21 XHX

57、H 1 X 2 X 一般地 p 信源熵的說明信源熵的說明 結論：離散無記憶信源的二次擴展信源可以看作二維離散平穩(wěn)信源結論：離散無記憶信源的二次擴展信源可以看作二維離散平穩(wěn)信源 的特例的特例 例例2.2.2 原始信源： 36 11 9 4 4 1 321 aaa 條件概率： 11 9 11 2 3 8 1 4 3 8 1 2 9 2 9 7 1 321 0 0 a a a aaa X1X2 平均符號熵： )(206. 1)( 2 1 )( 2 符號符號 bit XHXH )(542. 1)( 符號符號 bit XH 121 ()()(/)2.412() bit H XH XH XX 符號 信源熵

58、： )()()()( )()( 12121 3 1 2 1 21 N N N XXX X H XX X H X X HXH XXXHXH 1211 N XXXY證證：令令 2212 N XXXY 212 XXYN N N維信源維信源2 )()()( 1 11 Y X HYHXYH N N )()()()( 2 1 2121 Y X HYHXYHYH N N )()()( 1 2 12 X X HXHYH N )()()()()( 12121 3 1 2 1 N N XXX X H XX X H X X HXHXH p N N維信源的信源熵維信源的信源熵 HXH N N ）（lim )( 1 )

59、 21NN XXXH N XH（ 平均符號熵： 極限熵： 121 lim N N NXXX X HH p 平均符號熵與極限熵平均符號熵與極限熵 對離散平穩(wěn)信源若對離散平穩(wěn)信源若H1(X) ，則有以下，則有以下性質(zhì)：性質(zhì)： (1) 多維離散有記憶信源的熵是起始時刻隨機變量多維離散有記憶信源的熵是起始時刻隨機變量X1的熵與各階條的熵與各階條 件熵之和；件熵之和； (2)條件熵條件熵H(XN/X1X2XN-1)隨隨N的增加是遞減的；的增加是遞減的； p 一些性質(zhì)一些性質(zhì) )()()()( 1 1 2 21 1 121 XH X X H XX X H XXX X H N N N N )()()()()

60、( 12121 3 1 2 1 N N XXX X H XX X H X X HXHXH (3) 平均符號熵平均符號熵HN (X)也是隨也是隨N增加而遞減的；增加而遞減的； (4) H 存在，并且存在，并且: ).|(lim)(lim 121 NN N N N XXXXHXHH 對于一般信源，求出極限熵是很困難的，對于一般信源，求出極限熵是很困難的，然而，一般來說，然而，一般來說， 取取N不大時就可以得到與極限熵非常接近的條件熵和平均符不大時就可以得到與極限熵非常接近的條件熵和平均符 號熵，因此可以用號熵，因此可以用條件熵條件熵和和平均符號熵平均符號熵來來近似極限熵。近似極限熵。 p 小結小結