第2章 信源熵

1、上次課的回顧上次課的回顧 l什么是信息？信號(hào)，消息，信息的區(qū)別什么是信息？信號(hào)，消息，信息的區(qū)別？ l通信系統(tǒng)模型通信系統(tǒng)模型 lShannon信息論重點(diǎn)研究內(nèi)容？信息論重點(diǎn)研究內(nèi)容？ 通信系統(tǒng)模型通信系統(tǒng)模型 信源編碼器信道譯碼器 噪聲源 信宿 干擾 消息信號(hào) 信號(hào)干擾 消息 n對(duì)信息論的學(xué)習(xí)從對(duì)信息論的學(xué)習(xí)從信源信源開始開始 n由于信源發(fā)送什么消息預(yù)先是不可知的，只能用由于信源發(fā)送什么消息預(yù)先是不可知的，只能用概率概率 空間空間來來描述描述信源。信源。 隨機(jī)變量X、Y分別取值于集合 1212 , , , , , , injm a aaab bbb、 |1,2, , 1,2, ij ab i

2、n jm， 聯(lián)合隨機(jī)變量XY取值于集合 ()(,) ijij p abP Xa Yb 記記 概率論知識(shí)復(fù)習(xí)概率論知識(shí)復(fù)習(xí) 滿足下面一些性質(zhì)和關(guān)系： 0( )( )()()() 1 ijjiiji j papbpb apa bpab、 111 ()1,()1 nmn ijij iji p a bp ab 11 ()( ),()( ) nm ijjiji ij p abp bp abp a 111 ( ) 1 ( ) 1, () 1, nmm ijji ijj p ap bp b a ， 1 2 3 無條件概率、條件概率、聯(lián)合概率無條件概率、條件概率、聯(lián)合概率 ()( ) () ()()()( )

3、 ijij jijiji p abp a p b p bap bp a bp a ， XY當(dāng) 與 相互獨(dú)立時(shí) ()( ) ()( ) () i jjijiji pabpb pa bpa pb a 11 ()() ()() ()() ijij ijji nm ijij ij p abp ab p a bp b a p abp ab ， 4 5 6 問題的引出問題的引出 l信息論的發(fā)展是以信息可以度量為基礎(chǔ)的，信息論的發(fā)展是以信息可以度量為基礎(chǔ)的，度量信息度量信息的的 量稱為量稱為信息量。信息量。 l對(duì)于隨機(jī)出現(xiàn)的事件，它的出現(xiàn)會(huì)給人們帶來多大的信對(duì)于隨機(jī)出現(xiàn)的事件，它的出現(xiàn)會(huì)給人們帶來多大的信

4、息量？息量？ l舉例：舉例： l甲告訴乙甲告訴乙“你四級(jí)考過了你四級(jí)考過了”，那么乙是否得到信息？，那么乙是否得到信息？ 丙再次告訴乙同樣的話，那么乙是否得到信息？丙再次告訴乙同樣的話，那么乙是否得到信息？ 第第2章章 信源熵信源熵 信源信源 離離 散散 信信 源源 連連 續(xù)續(xù) 信信 源源 單符號(hào)單符號(hào) 多符號(hào)多符號(hào) 隨機(jī)變量隨機(jī)變量 隨機(jī)矢量隨機(jī)矢量 隨機(jī)過程隨機(jī)過程 信源分類信源分類 2.1 單符號(hào)離散信源單符號(hào)離散信源 單符號(hào)信源單符號(hào)信源信源每次輸出一個(gè)符號(hào)信源每次輸出一個(gè)符號(hào), ,用離散用離散隨機(jī)變量隨機(jī)變量描述描述 多符號(hào)信源多符號(hào)信源信源每次輸出多個(gè)符號(hào)信源每次輸出多個(gè)符號(hào)( (

5、符號(hào)序列符號(hào)序列) )，用離散，用離散 隨機(jī)矢量隨機(jī)矢量描述描述 離散信源離散信源信源符號(hào)取值離散，包括單符號(hào)和多符號(hào)信源信源符號(hào)取值離散，包括單符號(hào)和多符號(hào)信源 連續(xù)信源連續(xù)信源信源符號(hào)取值連續(xù)，用信源符號(hào)取值連續(xù)，用隨機(jī)過程隨機(jī)過程描述描述 結(jié)論結(jié)論 從概率、隨機(jī)變量從概率、隨機(jī)變量( (過程過程) )來研究信息來研究信息 對(duì)事物狀態(tài)對(duì)事物狀態(tài)( (存在方式存在方式) )不確定性的描述不確定性的描述 對(duì)于離散隨機(jī)變量，取值于集合對(duì)于離散隨機(jī)變量，取值于集合 單符號(hào)離散信源的數(shù)學(xué)模型為單符號(hào)離散信源的數(shù)學(xué)模型為 12 , , , , , in aaaa ()() ii p aP Xa對(duì)任一對(duì)

6、任一X X記記 2.1.1 單符號(hào)離散信源的數(shù)學(xué)模型單符號(hào)離散信源的數(shù)學(xué)模型 12 12 , (), (), ( ), ()() in in xxxx p xp xp xp xP X X 1)(, 0)( 1 n i ii xpxp 需要注意需要注意的是：的是：大寫字母大寫字母代表代表隨機(jī)變量，隨機(jī)變量，指指 的是信源的是信源整體。整體。帶下標(biāo)的帶下標(biāo)的小寫字母小寫字母ai代表隨機(jī)事件代表隨機(jī)事件 的的某一結(jié)果某一結(jié)果或信源的或信源的某某個(gè)元素個(gè)元素, ,兩者不可混淆。兩者不可混淆。 一、信息量一、信息量 信息量信息量 2.1.2 自信息和信源熵自信息和信源熵 自信息量自信息量1 定義定義：

7、22 1 ( )loglog( ) ( ) ii i I xp x p x 計(jì)算信息量主要注意有關(guān)事件發(fā)生概率的計(jì)算計(jì)算信息量主要注意有關(guān)事件發(fā)生概率的計(jì)算; ; 自信息量自信息量 I(xi) 的含義的含義 當(dāng)事件當(dāng)事件xi發(fā)生以前，表示事件發(fā)生以前，表示事件xi發(fā)生的不確定性；發(fā)生的不確定性； 當(dāng)事件當(dāng)事件xi發(fā)生以后，表示事件發(fā)生以后，表示事件xi所提供的信息量；所提供的信息量； 自信息量的單位自信息量的單位 自信息量的單位取決于對(duì)數(shù)的底；自信息量的單位取決于對(duì)數(shù)的底； 底為底為2，單位為，單位為“比特（比特（bit）”； 底為底為e，單位為單位為“奈特（奈特（nat）”； 底為底為10，

8、單位為，單位為“哈特哈特(笛特笛特)（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit； u從從26個(gè)英文字母中，隨即選取一個(gè)字母，則該事件的自信個(gè)英文字母中，隨即選取一個(gè)字母，則該事件的自信 息量為息量為 I = -log2(1/26) = 4.7 比特比特 u設(shè)設(shè)m比特的二進(jìn)制數(shù)中的每一個(gè)是等概率出現(xiàn)的比特的二進(jìn)制數(shù)中的每一個(gè)是等概率出現(xiàn)的(這樣的數(shù)這樣的數(shù) 共有共有2m個(gè)個(gè))，則任何一個(gè)數(shù)出現(xiàn)的自信息為，則任何一個(gè)數(shù)出現(xiàn)的自信息為: I = -log2(1/ 2m) = m 比特比特/符號(hào)符號(hào) 練習(xí)練習(xí) u在你不知道今天是星期幾的情況下，問朋友在你不知道

9、今天是星期幾的情況下，問朋友“明天是星期幾明天是星期幾”則答則答 案中可能存在的信息量是多少？如果你知道今天是星期四提出同樣案中可能存在的信息量是多少？如果你知道今天是星期四提出同樣 的問題則答案所含信息量是多少？的問題則答案所含信息量是多少？ A事件事件-不知道今天是星期幾的情況下，問朋友不知道今天是星期幾的情況下，問朋友“明天是星期幾明天是星期幾” B事件事件-知道今天是星期四明天是星期幾知道今天是星期四明天是星期幾 1 ( ) 7 p A ( )1p B 2 log( )log 72.807 log( )log10 I Ap Abit I Bp Bbit 例例2.1.1 這四種氣候的自信

10、息量分別為這四種氣候的自信息量分別為 : : 1234 ( ), ( ), ( ), ( ) 1111 ( ), , , 2488 aaaa X P X 晴陰雨雪 某地二月份天氣的概率分布統(tǒng)計(jì)如下：某地二月份天氣的概率分布統(tǒng)計(jì)如下： 1 I(ai) 0)(1)( ii aIap時(shí)，當(dāng)2 )(0)( ii aIap時(shí)，當(dāng)3 )()( ii apaI是 的的函數(shù)。函數(shù)。4 自信息量的性質(zhì)自信息量的性質(zhì) n i m j jib ap 11 1)(。 )(,),(,),(,),( , , , , , , 1111 1111 mnnm mnnm bapbapbapbap babababa )( XYP

11、XY ，其中), 2 , 1;, 2 , 1( 1)(0mjnibap ji 聯(lián)合自信息量聯(lián)合自信息量 針對(duì)兩個(gè)符號(hào)離散信源針對(duì)兩個(gè)符號(hào)離散信源 ()log () 2.1.4 ijij I abp ab（） 2.1.5 )()(）（ ji bIaI ()( ) (), ijij p abp a pYbX當(dāng) 與 相互有獨(dú)立時(shí)， 代入式代入式(2.1.3)就有就有 )(log)(log)( jiji bpapbaI 定義：定義： ) b6 . 1 . 2 ( )(log)( ijij abpabI ）（2.1.6a )(log)( jiji bapbaI 條件自信息量條件自信息量 定義：定義： 聯(lián)

12、合自信息量和條件自信息也滿足聯(lián)合自信息量和條件自信息也滿足非負(fù)和單調(diào)遞減性，非負(fù)和單調(diào)遞減性，同時(shí)，同時(shí)， 它們也都是隨機(jī)變量，其值隨著變量它們也都是隨機(jī)變量，其值隨著變量 的變化而變化。的變化而變化。ij ab、 三者之間的關(guān)系三者之間的關(guān)系 二、互信息量和條件互信息量二、互信息量和條件互信息量 1 信源信源X 信宿信宿Y 有擾信道有擾信道C 干干 擾擾 源源 N 離散信源X的數(shù)學(xué)模型為 1 0( )1,( )1 n ii i p ap a )(,),(,),(),( , , , , , )( 21 21 ni ni apapapap aaaa XP X 信宿信宿Y Y 的數(shù)學(xué)模型為的數(shù)學(xué)模

13、型為 m j jj bpbp 1 1)(, 1)(0 )b (,),(,),(),( b , ,b , ,b , )( 21 21 mj mj pbpbpbp b YP Y 如果如果信道理想，信道理想，發(fā)出發(fā)出ai，收到收到ai，則所獲得的信息量則所獲得的信息量ai的不確定的不確定 度度I(ai)；如果；如果信道不理想，信道不理想，發(fā)出發(fā)出ai，收到收到bj,由由bj推測(cè)推測(cè)ai的概率。的概率。 () ( ;)log 2.1.7 ( ) (1,2, ;1,2,) ij i i j i j p a b I a b p a i b j a nm 定義 對(duì) 的互信息量為 （） 互信息量的定義互信息量

14、的定義1 1 信源發(fā)出消息信源發(fā)出消息ai的概率的概率P(P(ai) )稱為稱為ai的的先驗(yàn)概率先驗(yàn)概率，信宿收信宿收 到到bj 后推測(cè)信源發(fā)出后推測(cè)信源發(fā)出ai的概率的概率P(P(ai/ bj) )稱為稱為ai的的后驗(yàn)概率后驗(yàn)概率。 例例2.1.2 繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構(gòu)成的信源為繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構(gòu)成的信源為 8 1 , 8 1 , 4 1 , 2 1 )( ),( ),( ),( )( 4321 雪雨陰晴aaaa XP X “今天不是晴天今天不是晴天”作為收到的信息作為收到的信息b1，計(jì)算，計(jì)算b1與各天氣之間的互信與各天氣之間的互信 息量。息量。

15、今天不是晴天。把這句話作為收到的信息今天不是晴天。把這句話作為收到的信息b1，當(dāng)收到當(dāng)收到b1后，各種天后，各種天 氣發(fā)生的概率變成后驗(yàn)概率。其中氣發(fā)生的概率變成后驗(yàn)概率。其中 。 4 1 )( 14 bap , 2 1 )( 12 bap, 0)( 11 bap , 4 1 )( 13 bap 。種天氣之間的互信息量與各，可以計(jì)算出依據(jù)式 1 )7.1.2(b 之間的互信息量。與 ，不必再考慮，因?qū)μ鞖?11 111 0)( ba bapa )(1 41 21 log )( )( log);( 2 2 12 212 bit ap bap baI 可計(jì)算出對(duì)天氣 2 a 134 baa同理可計(jì)

16、算出 對(duì)、的互信息量 。)(1);();( 1413 bitbaIbaI 1234 1234 1 1 baaabit baaa bit 這表明從 分別得到了、 、各的信息量。 也可以理解為消息 使、 、 的不確定度各 減少了。 )8 . 1 . 2( )()( jii baIaI )(log)(log);( jiiji bapapbaI (2.1.9) ), 2 , 1;, 2 , 1( )( )( )( )( log);( mjni abIbI bp abp abI ijj j ij ij ij ab同樣的道理，可定義 對(duì) 的互信息量為 互信息量的定義互信息量的定義2 2 通信前 ij ab

17、“輸入端出現(xiàn) 和輸出端出現(xiàn)”的概率 )()()( jiji bpapbap 先驗(yàn)不定度（聯(lián)合自信息量） )()( 1 log)( ji ji bpap baI 發(fā)送發(fā)送 接收接收 互信息量的定義互信息量的定義3 3 輸入輸出端的聯(lián)合概率 )()()()()( jijijiji bapbpabpapbap 后驗(yàn)不定度 )( 1 log)( ji ji bap baI 通信后發(fā)送發(fā)送接收接收 這樣，通信后流經(jīng)信道的信息量，等于通信前后不這樣，通信后流經(jīng)信道的信息量，等于通信前后不 定度的差定度的差 ), 2 , 1;, 2 , 1( )()( )( logmjni bpap bap ji ji )

18、( 1 log )()( 1 log jiji bapbpap (2.1.10) )()();( jijiji baIbaIbaI (2.1.11) );();( ijji abIbaI 互信息的性質(zhì)互信息的性質(zhì) 對(duì)稱性對(duì)稱性 當(dāng)當(dāng)X X 和和Y Y 相互獨(dú)立時(shí)，互信息為相互獨(dú)立時(shí)，互信息為0 0 1 2 2 ()() () ijij p abp a p b () ;log =log1=0 ( ) () ij ij ij p ab I a b p a p b （） )()/( iji apbap )()/( iji apbap 互信息量可為互信息量可為正值正值或或負(fù)值負(fù)值 3 互信息量為正，互

19、信息量為正，bj使使ai的不確定度減小，的不確定度減小， 上例中，上例中，“今天不是晴天今天不是晴天” 互信息量為互信息量為0，二者相互獨(dú)立，二者相互獨(dú)立， “今天我很高興今天我很高興” 互信息量為負(fù)，互信息量為負(fù)，bj沒有使沒有使ai的不確定度減小，的不確定度減小， “今天有風(fēng)今天有風(fēng)”。 )()/( iji apbap 條件互信息量條件互信息量 )( )( log);( ki kji kji cap cbap cbaI (2.1.13) 3 聯(lián)合集聯(lián)合集XYZ中中,給定條件給定條件ck下，下，ai與與bj之間的互信息量，之間的互信息量， 其其 定義式如下所示：定義式如下所示： (2.1.1

20、4) 小結(jié)小結(jié) l信源類型信源類型 l信息量及性質(zhì)信息量及性質(zhì) l互信息量及性質(zhì)互信息量及性質(zhì) 問題的引出問題的引出 1212 ( )( ) , ( )( )0.990.010.50.5 XYaabb P XPY 晴（雨）晴（雨） X與與Y哪個(gè)信源的不確定度小？哪個(gè)信源的不確定度小？ 通常通常研究單獨(dú)一個(gè)事件研究單獨(dú)一個(gè)事件或或單獨(dú)一個(gè)符號(hào)單獨(dú)一個(gè)符號(hào)的信息量是的信息量是不夠不夠 的，往往需要的，往往需要研究整個(gè)事件集合或符號(hào)序列研究整個(gè)事件集合或符號(hào)序列( (如信源如信源) )的平均的平均 信息量信息量( (總體特征總體特征) )，這就需要引入新的概念。，這就需要引入新的概念。 三、信源熵三

21、、信源熵 已知單符號(hào)離散無記憶信源的數(shù)學(xué)模型已知單符號(hào)離散無記憶信源的數(shù)學(xué)模型 n i ii apniap 1 1)(, 2 , 1, 1)(0 且其中 )(,),(,),(),( , , , , , )( 21 21 ni ni apapapap aaaa XP X 信源熵信源熵 信源熵信源熵 各離散消息各離散消息自信息量的數(shù)學(xué)期望，自信息量的數(shù)學(xué)期望，即即 信源的信源的平均信息量。平均信息量。 )(log)( )( 1 log)()( 2 1 2i n i i i i apap ap EaIEXH （2.1.16） 信源的信息熵；香農(nóng)熵；無條件熵；熵函數(shù)；信源的信息熵；香農(nóng)熵；無條件熵；熵

22、函數(shù)；熵。熵。 單位：比特單位：比特/ /符號(hào)。（底數(shù)不同，單位不同）符號(hào)。（底數(shù)不同，單位不同） 例例2.1.3 由式由式(2.1.16)的定義，該信源的熵為的定義，該信源的熵為 )(75.1 2) 8 1 log 8 1 ( 2 1 log 4 1 2 1 log 2 1 )( 222 符號(hào)bit XH 繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構(gòu)成的信源為繼續(xù)討論上一節(jié)的例題，即某地二月份天氣構(gòu)成的信源為 8 1 , 8 1 , 4 1 , 2 1 )( ),( ),( ),( )( 4321 雪雨陰晴aaaa XP X 信源熵信源熵H(X)表示表示，離散消息所提供的離散消息所提供的。 信源

23、熵信源熵H(X)表示表示，信源的信源的。 信源熵信源熵H(X)反映了反映了。 1 2 3 信源熵的意義信源熵的意義 1212 ()() , ()( )0.990.010.50.5 XYaabb P XP Y 晴（雨）晴（雨） H(X)=0.08bit/sign,H(Y)=1bit/sign,說明說明X的不確定小。的不確定小。 例：天氣預(yù)報(bào)，有兩個(gè)信源例：天氣預(yù)報(bào)，有兩個(gè)信源 1,21 ( )1/4,3/4 aaX p x 1,22 ( )1/2,1/2 aaX p x 1 134 ()log4log0.809 443 H X 2 11 ()log2log21 22 H X 則：則： 說明第二個(gè)

24、信源的平均不確定性更大一些說明第二個(gè)信源的平均不確定性更大一些 例：電視屏上約有例：電視屏上約有 500 600= 3105個(gè)格點(diǎn)，按每點(diǎn)有個(gè)格點(diǎn)，按每點(diǎn)有10個(gè)不同個(gè)不同 的灰度等級(jí)考慮，則共能組成的灰度等級(jí)考慮，則共能組成n=103x105個(gè)不同的畫面。按等概率個(gè)不同的畫面。按等概率 1/103x105計(jì)算，平均每個(gè)畫面可提供的信息量為計(jì)算，平均每個(gè)畫面可提供的信息量為 5 103 2 1 2 10log)(log)()( n i ii xpxpXH =31053.32 比特比特/畫面畫面 例：有一篇千字文章，假定每字可從萬字表中任選，則共有不同的例：有一篇千字文章，假定每字可從萬字表中任

25、選，則共有不同的 千字文千字文N=100001000=104000篇。仍按等概率篇。仍按等概率1/100001000計(jì)算，平均每計(jì)算，平均每 篇千字文可提供的信息量為篇千字文可提供的信息量為 H（X）log2N4103332=1.3104 比特千字文比特千字文 “一個(gè)電視畫面一個(gè)電視畫面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過平均提供的信息量遠(yuǎn)遠(yuǎn)超過“一篇千字文一篇千字文”提供提供 的信息量。的信息量。 信源熵與信息量的比較信源熵與信息量的比較 信源的平均不確定度信源的平均不確定度消除不定度得到信息消除不定度得到信息 與信源是否輸出無關(guān)與信源是否輸出無關(guān) 接收后才得到信息接收后才得到信息 確定值確定值 一般

26、為隨機(jī)量一般為隨機(jī)量 有限值有限值 可為無窮大可為無窮大 () () ij H X YE I ab 11 () () mn ijij ji p ab I ab 11 ()log() (2.1.17) mn ijij ji p abp a b 條件熵條件熵 2 信道疑義度信道疑義度,損失熵?fù)p失熵 思考：求條思考：求條 件熵時(shí)為什件熵時(shí)為什 么要用聯(lián)合么要用聯(lián)合 概率加權(quán)？概率加權(quán)？ 條件熵條件熵是在聯(lián)合符號(hào)集合是在聯(lián)合符號(hào)集合XY上的上的條件自信息量條件自信息量的的數(shù)學(xué)期望。數(shù)學(xué)期望。 在已知隨機(jī)變量在已知隨機(jī)變量X的條件下，隨機(jī)變量的條件下，隨機(jī)變量Y的條件熵定義為：的條件熵定義為： 條件熵條

27、件熵H(X/Y)是一個(gè)確定值，表示信宿在收到是一個(gè)確定值，表示信宿在收到Y(jié)后，信源后，信源X仍然仍然 存在的不確定度。這是信道干擾所造成的。有時(shí)稱存在的不確定度。這是信道干擾所造成的。有時(shí)稱H(X/Y)為為信道疑信道疑 義度，義度，也稱也稱損失熵。損失熵。 如果沒有干擾，如果沒有干擾，H(X/Y)=0,一般情括下一般情括下H(X/Y)小于小于H(X)，說明經(jīng)，說明經(jīng) 過信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。過信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。 () () ji H Y XE I ba 11 ()log() (2.1.18) nm ijji ij p ab

28、p ba 噪聲熵噪聲熵 條件熵條件熵H(Y/X)也是一個(gè)確定值也是一個(gè)確定值,表示信源發(fā)出表示信源發(fā)出X后，信宿仍后，信宿仍 然存在的不確定度。這是由于噪聲引起的。也稱為然存在的不確定度。這是由于噪聲引起的。也稱為噪聲熵。噪聲熵。 11 ()() () nm ijij ij H XYp abI ab 11 ()log() (2.1.19) nm ijij ij p abp ab 聯(lián)合熵（共熵）聯(lián)合熵（共熵） 聯(lián)合離散符號(hào)集合聯(lián)合離散符號(hào)集合XY上的每個(gè)元素對(duì)上的每個(gè)元素對(duì)aibj的的聯(lián)合自信息量聯(lián)合自信息量的的數(shù)數(shù) 學(xué)期望。學(xué)期望。 說明說明: 聯(lián)合熵聯(lián)合熵H（XY）表示）表示X和和Y同時(shí)發(fā)生

29、的不確定度。同時(shí)發(fā)生的不確定度。 u非負(fù)性非負(fù)性 H(X) 0 0p(ai)1，當(dāng)取對(duì)數(shù)的底大于，當(dāng)取對(duì)數(shù)的底大于1時(shí)，時(shí)，log p(ai)0，- p(ai) log p(ai) 0，即得到的熵為正值。只有當(dāng)隨機(jī)變量是一確知量，即得到的熵為正值。只有當(dāng)隨機(jī)變量是一確知量 時(shí)熵才等于零。時(shí)熵才等于零。 2.1.3 信息熵的基本性質(zhì)和定理信息熵的基本性質(zhì)和定理 u對(duì)稱性對(duì)稱性 X中的中的n個(gè)消息概率改變順序，不影響熵的值。個(gè)消息概率改變順序，不影響熵的值。 123123123 , , ( )1/3 1/6 1/2( )1/6 1/2 1/3( )1/3 1/2 1/6 xxxxyxxxzyyy

30、PxPyPz 123 123 xxx yyy 紅 ，黃 ，藍(lán) 晴 ，霧 ，雨 )/(459. 1) 2 1 , 6 1 , 3 1 ()(SymbolBitHXH )/(459. 1) 3 1 , 2 1 , 6 1 ()(SymlobBitHYH )/(459. 1) 6 1 , 2 1 , 3 1 ()(SymbolBitHZH )()()(ZHYHXH X與與Z信源的差別：信源的差別：它們所選擇的具體消息它們所選擇的具體消息/符號(hào)含義不同符號(hào)含義不同 X與與Y信源的差別：信源的差別：選擇的同一消息選擇的同一消息,概率不同概率不同 三者的信源熵是相同的，三者的信源熵是相同的，總體統(tǒng)計(jì)特性相

31、同總體統(tǒng)計(jì)特性相同 信源中包含n個(gè)不同離散消息時(shí)，信源熵H(X)有 2 ( ) log (2.1.21) H Xn 當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。 u 最大離散熵定理最大離散熵定理 1 ,ln1,0 () i xxxx np a 令引用(自然對(duì)數(shù)的性質(zhì)) 得并注意,loglnlogexx 2 1 1 ()log () n i i i p a np a 22 11 1 ()log()log () nn ii ii i p ap an p a 2 ()logH Xn 證明：證明： log)(nXH故有 , 1 )( 1 1)( 1 i n i i anp xap。當(dāng)且僅當(dāng)式中

32、 時(shí)，上式等號(hào)成立。即 n ap i 1 )( 對(duì)于單符號(hào)離散信源，當(dāng)信源呈等概率分布時(shí)具有最大熵。對(duì)于單符號(hào)離散信源，當(dāng)信源呈等概率分布時(shí)具有最大熵。 0 )( 1 11 n i i n i ap n nXHlog)( n i i eap n 1 log)( 1 二進(jìn)制信源是離散信源的一個(gè)特例。二進(jìn)制信源是離散信源的一個(gè)特例。 H(X) = - log (1- ) log(1- ) =H( ) 1 10 )(xp x 即信息熵即信息熵H(x)是是 的函數(shù)。的函數(shù)。 取值于取值于0，1區(qū)間，可畫出熵函區(qū)間，可畫出熵函 數(shù)數(shù)H( ) 的曲線來，如右圖所示。的曲線來，如右圖所示。 舉例舉例 u擴(kuò)展

33、性擴(kuò)展性 11212 0 (,., )(,.,) lim qqqq Hp ppHp pp 性質(zhì)說明：性質(zhì)說明：由由n個(gè)消息增加到個(gè)消息增加到n+1個(gè)，若它的個(gè)，若它的概率很小，可概率很小，可 忽略對(duì)熵的貢獻(xiàn)，忽略對(duì)熵的貢獻(xiàn)，雖然概率很小的事件出現(xiàn)后，給予接收雖然概率很小的事件出現(xiàn)后，給予接收 者的信息量很大，但對(duì)熵的貢獻(xiàn)很小，可以忽略不計(jì)。者的信息量很大，但對(duì)熵的貢獻(xiàn)很小，可以忽略不計(jì)。 u確定性確定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=0 性質(zhì)說明：性質(zhì)說明：從總體來看，信源雖然有不同的輸出符號(hào)，從總體來看，信源雖然有不同的輸出符號(hào)， 但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其它

34、符號(hào)則是幾乎但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其它符號(hào)則是幾乎 不可能出現(xiàn)，那么，不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其熵等這個(gè)信源是一個(gè)確知信源，其熵等 于零。于零。 u可加性可加性 H(XY) = H(X)+ H(Y) X和和Y獨(dú)立獨(dú)立 H(XY)=H(X)+ H(Y/X) H(XY)=H(Y)+ H(X/Y) , 1,2, ()( ) XY in P XP Y 有 12 1 ( ), (), ()( )log () n nnij i Hp ap ap ap ap b ()( ) H X YH X 已知Y后，從中得到了一些關(guān)于X的信息，從而使X 的不確定度下降。 u 極值性極值性 可以

35、證明可以證明 u上凸性上凸性 熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，熵函數(shù)具有上凸性，所以熵函數(shù)具有極值， 其最大值存在。其最大值存在。 1 (2.1.32)()()log () n iii i HXp ap a 加權(quán)熵加權(quán)熵定義信息的 例例下雪對(duì)于南北方人的意義 2.1.4 加權(quán)熵的概念及基本性質(zhì)加權(quán)熵的概念及基本性質(zhì)( (了解了解) ) 平均互信息平均互信息 一、平均互信息量的定義一、平均互信息量的定義 11 () ()log () nm ij ij ij i p a b p ab p a 互信息量在聯(lián)合概率空間互信息量在聯(lián)合概率空間P(XY)統(tǒng)計(jì)平均。統(tǒng)計(jì)平均。 平均交互信息量；交互熵

36、);();( ji baIEYXI n i m j jiji baIbap 11 );()( 2.1.5 平均互信息量平均互信息量 同理，X對(duì)Y的平均互信息： n i m j j ij ji bp abp bapXYI 11 )( )( log)();( )()()( jijji bapbpbap n i m j ji ji ji bpap bap bapYXI 11 )()( )( log)();( (2.1.45) 二、平均互信息的物理意義二、平均互信息的物理意義 n i m j ijiji apbapbap YXI 11 )(log)(log)( );( )()(YXHXH 1 損失熵?fù)p

37、失熵 表示收到表示收到Y(jié)后，對(duì)后，對(duì)X仍存在不確定度，代表信道中損失仍存在不確定度，代表信道中損失 的信息。的信息。 ()H X Y 平均互信息量是發(fā)送平均互信息量是發(fā)送X前、后，前、后，關(guān)于關(guān)于Y的平均不確定度減少的量。的平均不確定度減少的量。 ( ;)( )()I Y XH YH Y X 2 ()H Y X 噪聲熵噪聲熵 表示發(fā)出表示發(fā)出X后，對(duì)后，對(duì)Y仍存在不確定度，由于信道中的仍存在不確定度，由于信道中的 噪聲引起的。噪聲引起的。 ()( )H XYH XH Y通信前： （） ()()H XYH XH Y X通信后： （） 平均互信息量等于通信前、后，平均互信息量等于通信前、后，整個(gè)系

38、統(tǒng)不確定度減少的量。整個(gè)系統(tǒng)不確定度減少的量。 ( ;)I Y X 11 () log ()log ( )log () nm ijijij ij p abp abp ap b ()( )()H XH YH XY 3 例例2.1.5信源X接入圖示信道 5 . 05 . 0)( 21 aa XP X 98. 0)( 1 1 a b p 02. 0)( 1 2 a b p 2 . 0)( 2 1 a b p8 . 0)( 2 2 a b p 0.98 0. 8 0. 2 0. 02 1 a 2 a 1 b 2 b 49. 098. 05 . 0)()()( 1 1 111 a b papbap 01

39、. 002. 05 . 0)( 21 bap同理： 4 . 08 . 05 . 0)( 22 bap 1 . 02 . 05 . 0)( 12 bap )()()( ijiji abpapbap 1 59. 049. 01 . 0)()()( 12111 bapbapbp 41. 04 . 001. 0)()()( 22212 bapbapbp 2 1 )()( i jij bapbp 2 831. 0 59. 0 49. 0 )( )( )( 1 11 1 1 bp bap b a p 169. 0)(1)( 1 1 1 2 b a p b a p )( )( )( j ji ji bp b

40、ap bap 3 024.0 41.0 01.0 )( )( )( 2 21 2 1 bp bap b a p 976.0)(1)( 2 1 2 2 b a p b a p )( 15 . 0log5 . 05 . 0log5 . 0)( 符號(hào)符號(hào) bit XH )(98. 041. 0log41. 059. 0log59. 0)( 符號(hào) bit YH )(43. 1 符號(hào) bit )(XYH 4 . 0log4 . 01 . 0log1 . 001. 0log01. 049. 0log49. 0 等概率信源的熵最大。 4 )( )( log)()( 2 1 2 1 i ji ij ji ap

41、 bap bap Y X H )(45. 0 符號(hào) bit )()(YHXYH 024. 0log01. 0831. 0log49. 0 976. 0log4 . 0169. 0log1 . 0 5 ( ; )()() X I X YH XH Y 10.450.55() bit 符號(hào) ()()() Y HH XYH X X 1.43 10.43() bit 符號(hào) 6 7 三、平均互信息的性質(zhì)三、平均互信息的性質(zhì) (; )( ;)I X YI Y X對(duì)稱性對(duì)稱性1 非負(fù)性非負(fù)性2(; )0I X Y 說明：從說明：從X中提取關(guān)于中提取關(guān)于Y的信息量與由的信息量與由Y中提取到中提取到X的的 信息量

42、是相同的，是信息流通的總體測(cè)度。信息量是相同的，是信息流通的總體測(cè)度。 說明：通過一個(gè)信道總能傳遞一些信息，最差的條件下，說明：通過一個(gè)信道總能傳遞一些信息，最差的條件下， 輸入輸出完全獨(dú)立，不傳遞任何信息，互信息等于輸入輸出完全獨(dú)立，不傳遞任何信息，互信息等于0，但，但 決不會(huì)失去已知的信息。決不會(huì)失去已知的信息。 (; )()I X YH X( ;)( )I Y XH Y (; )()() X I X YH XH Y ji ji b a p j i 0 1 )(0)( Y X H (; )()I X YH X 極值性極值性 XY、 一一對(duì)應(yīng) 1 3 ()( ) i i j a pp a b

43、 ()()0H XH X (; )()() X I X YH XH Y 111 ( )log( )()log( ) nnm iiiji iij p ap ap abp a XY、 相互獨(dú)立 2 凸函數(shù)性凸函數(shù)性4 的是信源)();( i apYXI1 這就是說，對(duì)于一定的信道轉(zhuǎn)移概率分布這就是說，對(duì)于一定的信道轉(zhuǎn)移概率分布p(y|x)，總可以找到某，總可以找到某 一個(gè)先驗(yàn)概率分布的信源一個(gè)先驗(yàn)概率分布的信源X，使平均交互信息量，使平均交互信息量I(X;Y)達(dá)到相應(yīng)的最達(dá)到相應(yīng)的最 大值大值Imax，這時(shí)稱這個(gè)信源為，這時(shí)稱這個(gè)信源為可以說，不同的信可以說，不同的信 道轉(zhuǎn)移概率對(duì)應(yīng)不同的道轉(zhuǎn)移概

44、率對(duì)應(yīng)不同的Imax。 的是 )();( i j a b pYXI2 這就是說，對(duì)于一個(gè)已知先驗(yàn)概率為這就是說，對(duì)于一個(gè)已知先驗(yàn)概率為p的離散信源，總的離散信源，總 可以找到某一個(gè)轉(zhuǎn)移概率分布的信道可以找到某一個(gè)轉(zhuǎn)移概率分布的信道q，使平均互信息量達(dá)，使平均互信息量達(dá) 到相應(yīng)的最小值到相應(yīng)的最小值Imin。 YXZ假定 條件下 、 相互獨(dú)立 );();(ZYIZXI );();(YXIZXI 數(shù)據(jù)處理定理數(shù)據(jù)處理定理5 意義意義 信息不增原理信息不增原理:每經(jīng)過一次處理，可能丟失一部分信息每經(jīng)過一次處理，可能丟失一部分信息 P(Y/X)P(Z/Y) XYZ 信道中熵的信息流圖信道中熵的信息流圖

45、 H(Y|X) :噪聲熵；噪聲熵； H(X|Y) :信道疑義度信道疑義度(損失熵?fù)p失熵); 它們都是由于噪聲干擾的存在而存在的。信道中存在噪聲干擾，它們都是由于噪聲干擾的存在而存在的。信道中存在噪聲干擾， 是減低信道傳信能力的基本原因。是減低信道傳信能力的基本原因。 H(X)H(Y)I(X;Y) H(X|Y) H(Y|X) 2.1.6 各種熵之間的關(guān)系各種熵之間的關(guān)系 平均互信息量平均互信息量 無條件熵?zé)o條件熵 名稱名稱 符號(hào)符號(hào) 關(guān)關(guān) 系系 圖圖 示示 無無 條條 件件 熵熵 )(XH )(YH ()()(;) () ()()() X H XHI X Y Y X H Y Y H XH XYH

46、 X ( )()(; ) () ( )()() Y H YHI X Y X Y H X X H YH XYH Y YX YX 條條 件件 熵熵 條條 件件 熵熵 )/(YXH )/(XYH );()( )()()( YXIYH XHXYH X Y H );()( )()()( YXIXH YHXYH Y X H YX YX 聯(lián)聯(lián) 合合 熵熵 交交 互互 熵熵 )()(YXHXYH );();(XYIYXI ()()() ( )() ()( )(; ) ()()(; ) Y H XYH XH X X H YH Y H XH YI X Y XY HHI X Y YX )()()( )()()( )

47、()( )()();( X Y H Y X HXYH XYHYHXH X Y HYH Y X HXHYXI YX YX 信源分類信源分類 連連 續(xù)續(xù) 信信 源源 隨機(jī)變量隨機(jī)變量 信源信源 離離 散散 信信 源源 單符號(hào)單符號(hào) 多符號(hào)多符號(hào) 隨機(jī)矢量隨機(jī)矢量 隨機(jī)過程隨機(jī)過程 離散無記憶信源離散無記憶信源 離散有記憶信源離散有記憶信源 平穩(wěn)序列信源平穩(wěn)序列信源 馬爾可夫信源馬爾可夫信源 輸出的消息序列中輸出的消息序列中各符號(hào)之間無相互依賴關(guān)系各符號(hào)之間無相互依賴關(guān)系的信源。亦稱為的信源。亦稱為 單符號(hào)離散平穩(wěn)無記憶信源的擴(kuò)展信源。單符號(hào)離散平穩(wěn)無記憶信源的擴(kuò)展信源。序列長度就是擴(kuò)展次數(shù)。序列長

48、度就是擴(kuò)展次數(shù)。 例例: :單符號(hào)信源單符號(hào)信源00，1,1,經(jīng)過二次擴(kuò)展經(jīng)過二次擴(kuò)展 變成了：變成了：0000，0101，1010，1111 經(jīng)過三次擴(kuò)展，形成的信源？經(jīng)過三次擴(kuò)展，形成的信源？ 經(jīng)過經(jīng)過N次擴(kuò)展，形成的信源？次擴(kuò)展，形成的信源？ 2.2 多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)信源 p 無記憶信源的擴(kuò)展信源無記憶信源的擴(kuò)展信源 2.2.1 序列信息的熵序列信息的熵 n 離散無記憶信源離散無記憶信源 發(fā)出單個(gè)符號(hào)的無記憶信源（最簡單的離散信源）發(fā)出單個(gè)符號(hào)的無記憶信源（最簡單的離散信源） )()()( 21 21 n n xpxpxp xxx P X 1)(, 0)( 1 n i i

49、i xpxp 自信息量自信息量 信源熵信源熵 22 1 ( ) loglog( ) ( ) ii i I xp x p x 1 1 ( )log( )log ( ) ( ) q ii i i H XEp xp x p x n 離散無記憶信源的擴(kuò)展信源離散無記憶信源的擴(kuò)展信源 實(shí)際信源輸出的消息往往是時(shí)間上或空間上的一系列符號(hào)，實(shí)際信源輸出的消息往往是時(shí)間上或空間上的一系列符號(hào)， 如電報(bào)系統(tǒng)，序列中前后符號(hào)間一般是有統(tǒng)計(jì)依賴關(guān)系的。如電報(bào)系統(tǒng)，序列中前后符號(hào)間一般是有統(tǒng)計(jì)依賴關(guān)系的。 離散無記憶二進(jìn)制信源離散無記憶二進(jìn)制信源X的二次擴(kuò)展信源的二次擴(kuò)展信源 我們先討論離散無記憶信源，此時(shí)，信源序列

50、的前后符號(hào)之我們先討論離散無記憶信源，此時(shí)，信源序列的前后符號(hào)之 間是統(tǒng)計(jì)獨(dú)立的間是統(tǒng)計(jì)獨(dú)立的. . 01 1 X Ppp 1234 1234 ()()()() aaaaX p ap ap ap aP 如在二元系統(tǒng)中，我們可以把兩個(gè)二元數(shù)字看成一組，如在二元系統(tǒng)中，我們可以把兩個(gè)二元數(shù)字看成一組， 會(huì)出現(xiàn)四種可能情況：會(huì)出現(xiàn)四種可能情況：00、01、10和和11，我們可以把這四，我們可以把這四 種情況看成一個(gè)新的信源稱為種情況看成一個(gè)新的信源稱為二元無記憶信源的二次擴(kuò)展二元無記憶信源的二次擴(kuò)展 信源，信源，相應(yīng)的，如果把相應(yīng)的，如果把N個(gè)二元數(shù)字看成一組，則新的信個(gè)二元數(shù)字看成一組，則新的信

51、源稱為源稱為二元無記憶信源的二元無記憶信源的N次擴(kuò)展信源。次擴(kuò)展信源。 則該信源的則該信源的N次擴(kuò)展信源為：次擴(kuò)展信源為： 一般情況下，設(shè)一個(gè)離散無記憶信源為：一般情況下，設(shè)一個(gè)離散無記憶信源為： 離散無記憶信源離散無記憶信源X的的N次擴(kuò)展信源次擴(kuò)展信源 12 12 , ,( )1 (), (), ( ), ()() in i i in xxxx p x p xp xp xp xP X X 12 12 12 12 , , (),(),(),() () (,.,) ()() (). () N N N iq N N iq iiii iiii qn pppp P xxx pp xp xp x X X

52、 根據(jù)信息熵的定義：根據(jù)信息熵的定義： ( )()()log () N NNN X HH XP XP XX 可以證明，對(duì)于可以證明，對(duì)于離散無記憶離散無記憶的擴(kuò)展信源的擴(kuò)展信源 ()( ) N H XNH X N次擴(kuò)展信源的熵次擴(kuò)展信源的熵 (1)單位單位:bit/sign,但含義不同但含義不同 (2)N次擴(kuò)展信源的熵等于各符號(hào)熵之和次擴(kuò)展信源的熵等于各符號(hào)熵之和 注意注意 單符號(hào)信源如下單符號(hào)信源如下, ,求二次擴(kuò)展信源熵求二次擴(kuò)展信源熵 4 1 , 4 1 , 2 1 , )( 321 aaa XP X 123456789 12132122233132331 1 111111111 888

53、1616816164 a a a a a a a a a a a a a a a aa a 擴(kuò)展信源： 2 3 2 1 ()()log()3() ii i bit H Xpp 符號(hào) 3 1 2() ()()log()1.5/ ii i H X H Xp ap abit sign 信源在某一時(shí)刻發(fā)出什么樣的值取決于兩方面信源在某一時(shí)刻發(fā)出什么樣的值取決于兩方面 1、這一時(shí)刻該變量的概率分布、這一時(shí)刻該變量的概率分布 2、這一時(shí)刻以前發(fā)出的消息、這一時(shí)刻以前發(fā)出的消息 我們現(xiàn)在討論我們現(xiàn)在討論平穩(wěn)的平穩(wěn)的隨機(jī)序列，隨機(jī)序列，所謂平穩(wěn)是指序列的統(tǒng)計(jì)性質(zhì)與時(shí)所謂平穩(wěn)是指序列的統(tǒng)計(jì)性質(zhì)與時(shí) 間的推移無關(guān)

54、間的推移無關(guān)（兩個(gè)任意時(shí)刻信源發(fā)出符號(hào)的概率分布完全相同）。（兩個(gè)任意時(shí)刻信源發(fā)出符號(hào)的概率分布完全相同）。 信源所發(fā)符號(hào)序列的信源所發(fā)符號(hào)序列的概率分布與時(shí)間的起點(diǎn)無關(guān)概率分布與時(shí)間的起點(diǎn)無關(guān)，這種信源我們稱，這種信源我們稱 之為之為離散平穩(wěn)信源。離散平穩(wěn)信源。 2.2.2 離散平穩(wěn)信源的數(shù)學(xué)模型離散平穩(wěn)信源的數(shù)學(xué)模型 二維信源二維信源1 2.2.3 離散平穩(wěn)信源的信源熵和極限熵離散平穩(wěn)信源的信源熵和極限熵 最簡單的平穩(wěn)信源最簡單的平穩(wěn)信源二維平穩(wěn)信源，信源發(fā)出序列中只有前二維平穩(wěn)信源，信源發(fā)出序列中只有前 后兩個(gè)符號(hào)間有依賴關(guān)系，我們可以對(duì)其二維擴(kuò)展信源進(jìn)行分析。后兩個(gè)符號(hào)間有依賴關(guān)系，我

55、們可以對(duì)其二維擴(kuò)展信源進(jìn)行分析。 信源的概率空間信源的概率空間: : 12 12 , ,( ) 1 ( )( ), (), () n n i i n Xaaa p a P Xp ap ap a =1 12 XX X 1212 , n XXa aa nnnnn aaaaaaaaaaaaX,;, 2112111 12 12 ,1,2, iii a ai in 2 2 12 12 () () () () () i n i n X pppp P X 假定假定X=X1X2 , ,則可得到一個(gè)新的信源則可得到一個(gè)新的信源 n i n i iiii aapaap 11 12 2121 )(log)( n i

56、 n i i i iii n i n i ii a a paapapaap 1111 12 1 2 211 12 21 )(log)()(log)( n i n i i i ii n i ii a a paapapap 111 12 1 2 21 1 11 )(log)()(log)( 2 1 ()()log() n ii i H Xpp )()( 1 2 1 X X HXH p 二維信源的信源熵二維信源的信源熵 : 21 統(tǒng)計(jì)獨(dú)立時(shí)、當(dāng)XX )()( 2 1 2 XH X X H )(2)()()( 21 XHXHXHXH )()()( 1 2 1 X X HXHXH )()( 21 XHX

57、H 1 X 2 X 一般地 p 信源熵的說明信源熵的說明 結(jié)論：離散無記憶信源的二次擴(kuò)展信源可以看作二維離散平穩(wěn)信源結(jié)論：離散無記憶信源的二次擴(kuò)展信源可以看作二維離散平穩(wěn)信源 的特例的特例 例例2.2.2 原始信源： 36 11 9 4 4 1 321 aaa 條件概率： 11 9 11 2 3 8 1 4 3 8 1 2 9 2 9 7 1 321 0 0 a a a aaa X1X2 平均符號(hào)熵： )(206. 1)( 2 1 )( 2 符號(hào)符號(hào) bit XHXH )(542. 1)( 符號(hào)符號(hào) bit XH 121 ()()(/)2.412() bit H XH XH XX 符號(hào) 信源熵

58、： )()()()( )()( 12121 3 1 2 1 21 N N N XXX X H XX X H X X HXH XXXHXH 1211 N XXXY證證：令令 2212 N XXXY 212 XXYN N N維信源維信源2 )()()( 1 11 Y X HYHXYH N N )()()()( 2 1 2121 Y X HYHXYHYH N N )()()( 1 2 12 X X HXHYH N )()()()()( 12121 3 1 2 1 N N XXX X H XX X H X X HXHXH p N N維信源的信源熵維信源的信源熵 HXH N N ）（lim )( 1 )

59、 21NN XXXH N XH（ 平均符號(hào)熵： 極限熵： 121 lim N N NXXX X HH p 平均符號(hào)熵與極限熵平均符號(hào)熵與極限熵 對(duì)離散平穩(wěn)信源若對(duì)離散平穩(wěn)信源若H1(X) ，則有以下，則有以下性質(zhì)：性質(zhì)： (1) 多維離散有記憶信源的熵是起始時(shí)刻隨機(jī)變量多維離散有記憶信源的熵是起始時(shí)刻隨機(jī)變量X1的熵與各階條的熵與各階條 件熵之和；件熵之和； (2)條件熵條件熵H(XN/X1X2XN-1)隨隨N的增加是遞減的；的增加是遞減的； p 一些性質(zhì)一些性質(zhì) )()()()( 1 1 2 21 1 121 XH X X H XX X H XXX X H N N N N )()()()()

60、( 12121 3 1 2 1 N N XXX X H XX X H X X HXHXH (3) 平均符號(hào)熵平均符號(hào)熵HN (X)也是隨也是隨N增加而遞減的；增加而遞減的； (4) H 存在，并且存在，并且: ).|(lim)(lim 121 NN N N N XXXXHXHH 對(duì)于一般信源，求出極限熵是很困難的，對(duì)于一般信源，求出極限熵是很困難的，然而，一般來說，然而，一般來說， 取取N不大時(shí)就可以得到與極限熵非常接近的條件熵和平均符不大時(shí)就可以得到與極限熵非常接近的條件熵和平均符 號(hào)熵，因此可以用號(hào)熵，因此可以用條件熵條件熵和和平均符號(hào)熵平均符號(hào)熵來來近似極限熵。近似極限熵。 p 小結(jié)小結(jié)