《通信技術(shù)基礎》課件-任務3 信息及其度量

項目一

通信技術(shù)概論

任務3信息及其度量信息可被理解為消息中包含的有效內(nèi)容。消息可以有各種各樣的形式,但消息的內(nèi)容可統(tǒng)一用信息來表述。數(shù)字信息通?？梢杂脭?shù)字代碼表示,稱為信碼。信息及其度量通信的目的在于傳輸消息中所包含的信息（傳遞和交換信息）信息是指消息中所包含的有效內(nèi)容或者說是收信者預先不知而待知的內(nèi)容。信息的多少可用“信息量來度量”，消息中所包含的信息量與消息發(fā)生的概率密切相關。消息出現(xiàn)的概率越小，其不確定性越大，消息中所包含的信息量就越大。45讓我們從常識的角度感知以下三條消息：1.太陽從東方升起；2.太陽比往日大兩倍；3.太陽將從西方升起

可知：第一條消息幾乎沒有帶來任何信息；

第二條帶來了大量信息；

第三條帶來的信息多于第二條這是因為第一個事件是一個必然事件，不足為奇；

第三個事件幾乎不可能發(fā)生，它使人感到驚奇和意外。也就是說，它帶來更多的信息，越是不可預測的事件，越會使人感到驚奇，帶來的信息就越多。6

概率論告訴我們，事件的不確定程度可以用其出現(xiàn)的概率來表描述。因此，消息中包含的信息量多少與消息所表達事件的出現(xiàn)概率密切相關。事件出現(xiàn)的概率越小，則消息中包含的信息量就越大，反之則越小。

根據(jù)以上認知，消息中所含的信息量I與消息發(fā)生的概率P(x)的關系應當反映如下規(guī)律：(1)消息X中所含的信息量I是該消息出現(xiàn)概率

的函數(shù)，即

(2)消息出現(xiàn)的概率

越小，I越大；反之，I越小。且當

7

（3）若干個互相獨立事件構(gòu)成的消息

，

所含信息量等于各獨立事件

信息量之和，也就是說，信息具有相加性，即：

可以看出，若I與P(x)間的關系式為：

（1.4-1）則可滿足上述三項要求，所以我們定義公式（1.4-1）為消息x所含的信息量。8信息量I的單位取決于式（1.4-1）中對數(shù)的底a的取值：a=2單位為比特（bit），可簡寫為ba=e單位為奈特（nat），可簡寫為na=10單位為哈特萊（Hartley）通常廣泛使用單位比特，即

（1.4-2）

例題1-1：設二進制離散信源，數(shù)字0和數(shù)字1以相等的概率出現(xiàn)，試計算每個符號的信息量。9例題1-2：若是四進制信源（0，1，2，3），符號0、1、2、3等概率出現(xiàn)是時，試計算信息源輸出的每個符號的信息量。10

同理，對于離散信源，若N個符號等概率（P=1/N），且每一個符號的出現(xiàn)是相互獨立的，即信源是無記憶的，則每個符號所含的信息量相等，為：

（1.4-3）

式中，P為每一個符號出現(xiàn)的概率；N為信源中所包含的符號數(shù)目。若N是2的整冪次，比如

則式（1.4-3）可寫為：

（1.4-4）11

12

（1.4-4）式中，K是二進制符號數(shù)目，也就是說，傳送每一個N（

）進制符號的信息量就等于用二進制符號表示該N進制符號所需的符號數(shù)目。例題2：試計算二進制符號不等概率時的信息量[設P（0）=P]。根據(jù)式（1.4-2），有

可見，不等概率時，每個符號所含的信息量不同。13

計算消息的信息量，常用到平均信息量的概念。平均信息量H(x)定義為每個符號所含信息量的統(tǒng)計平均值，即等于每個符號的信息量乘以各自的出現(xiàn)概率再相加。

設離散信源是由N個符號組成的集合，其中每個符號按一定的概率

獨立出現(xiàn)，即

14

則每個符號所含信息量的平均值為

（）

（1.4-5）

由于H同熱力學中的熵形式相似，故通常又稱他為信息源的熵，其單位為b/符號。

顯然，當每個符號等概率獨立出現(xiàn)時，式（1.4-5）即為（1.4-3），此時信源的熵有最大值。15

信源熵H(X)有三種物理含義：(1)在信源輸出前，H(X)表示信源的平均不確定性。(2)在信源輸出后，H(X)表示每個離散消息所提供的平均信息量。(3)H(X)反映了隨機變量X的隨機性和無序性。16

信源熵有如下性質(zhì)：(1)非負性。信息熵不能小于零，即H(X)≥0。(2)確定性。若信源某一符號以概率1出現(xiàn)，而其他符號均不可能出現(xiàn)時，這個信源就是一個確知信源，其熵等于零。(3)對稱性。信息熵的取值與各概率分量P1、P2、...Pn的順序無關。(4)極值性。對于離散信源，當各個符號等概出現(xiàn)時，其熵最大，這稱為最大離散定理，用公式表示如下：17【擴展閱讀：不要把所有的雞蛋放在同一個籃子里】

近年來，隨著人們生活水平的提高，特色菜肴慢慢變成了搶手貨。一位投資者看到此景，毅然拋開了一直處于考察中的其它投資項目，一心一意搞起了特色養(yǎng)殖。這位自稱相信“風險與機遇并存”的投資者，力排眾議，傾其所有，將全部資金都投入到他選定的特色養(yǎng)殖項目上，并堅信在自己的苦心經(jīng)營下，一定能夠從這個項目獲取豐厚回報。但一場突如其來的“禽流感”疫情，確使其夢想破滅。

18【擴展閱讀：不要把所有的雞蛋放在同一個籃子里】

雖然單一投資因為資源和資金的集中，在項目選擇正確的情況下，常常會給企業(yè)帶來好的收益，但單一投資的風險也是顯而易見的，放大的風險只要發(fā)生一次，就可能使投資者多年積累起來的財富毀于一旦。形象地講，投資過于單一，就像是把所有雞蛋放在同一個籃子里，一旦籃子打翻，雞蛋也就全部摔破了。而由多項目結(jié)構(gòu)構(gòu)成的組合性投資，可以大大減少單一投資所帶來的投資風險。19例題3：某信源符號集由A、B、C、D、E5個符號組成，設每個符號獨立出現(xiàn)，其概率分別為1/2、1/4、1/8、1/16、1/16，試求該信息源的平均信息量。20例題4：某信源符號集由A、B、C、D、E、F組成，設每個符號獨立出現(xiàn)，其概率分別為1/4、1/4、1/16、1/8、1/16、1/4，試求該信息源的平均信息量。答案：H=......=2.375(b/符號)21例題5：某信源符號集由A、B、C、D、E組成，設每個符號獨立出現(xiàn)，其概率分別為1/4、1/8、1/8、3/16、5/16，試求該信息源的平均信息量。答案：H=2.23（b/符號）22例題6：一離散信源由0、1、2、3四個符號組成，它們出現(xiàn)的概率分別為3/8、1/4、1/4、1/8，且每個符號的出現(xiàn)都是獨立的。試求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。可用兩種不同的方法計算：1.累計每個符號所出現(xiàn)次數(shù)*信息量2.平均信息量*符號數(shù)23例題6：一離散信源由0、1、2、3四個符號組成，它們出現(xiàn)的概率分別為3/8、1/4、1/4、1/8，且每個符號的出現(xiàn)都是獨立的。試求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。方法1：此信息中0出現(xiàn)23次，1出現(xiàn)15次，2出現(xiàn)15次，3出現(xiàn)7次，共有60個符號。則該消息的信息量為：I=23*I（0）+15*I（1）+15*I（2）+7*I（3）

24例題6：一離散信源由0、1、2、3四個符號組成，它們出現(xiàn)的概率分別為3/8、1/4、1/4、1/8，且每個符號的出現(xiàn)都是獨立的。試求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。方法2：用熵的概念計算平均信息量：則該消息的信息量為：I=60H=60*1.906=114.36比特。25

26

可見，兩種方法的計算結(jié)果有一定的誤差，前一種方法是按算數(shù)平均的方法，后一種是按統(tǒng)計平均的方法。但當消息很長時，用熵的概念來計算比較方便，而且隨著消息序列長度的增加，兩種計算誤差將趨于0。小結(jié)通信技術(shù)概論

任務1：通信的基本概念、組成1.掌握通信的目的、基本概念；2.了解通