信息論基礎自信息量

信息論基礎自信息量第1頁，課件共48頁，創(chuàng)作于2023年2月（1）信息是可以識別的（2）信息的載體是可以轉換的（3）信息是可以存貯的（4）信息是可以傳遞的（5）信息是可以加工的（6）信息是可以共享的信息具有以下特征第2頁，課件共48頁，創(chuàng)作于2023年2月1.1自信息

通信系統(tǒng)模型信源的分類概率論基礎信息的可度量性自信息熵第3頁，課件共48頁，創(chuàng)作于2023年2月信源：產生消息和消息序列的來源。通常信源的消息序列是隨機發(fā)生的，因此要用隨機變量來描述。通信系統(tǒng)模型第4頁，課件共48頁，創(chuàng)作于2023年2月編碼器：把消息變換成適合于信道傳輸的信號。信源編碼器：將信源的輸出進行適當的變換，以提高信息傳輸的有效性。信道編碼器：對信源編碼器的輸出進行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信息傳輸的可靠性。通信系統(tǒng)模型第5頁，課件共48頁，創(chuàng)作于2023年2月調制器：將信道編碼器輸出的數字序列變換為振幅、頻率或相位受到調制控制的形式，以適合在信道中進行較長距離的傳輸。通信系統(tǒng)模型第6頁，課件共48頁，創(chuàng)作于2023年2月解調器：從載波中提取信號，是調制的逆過程

MODEM通信系統(tǒng)模型第7頁，課件共48頁，創(chuàng)作于2023年2月信道：信號由發(fā)送端傳輸到接收端的媒介。典型的傳輸信道有電纜、高頻無線信道光纖通道等；典型的存儲媒介有磁芯、磁盤、磁帶等。通信系統(tǒng)模型第8頁，課件共48頁，創(chuàng)作于2023年2月干擾源：對傳輸信道或存儲媒介構成干擾的來源的總稱。干擾和噪聲往往具有隨機性，所以信道的特征也可以用概率空間來描述；通信系統(tǒng)模型第9頁，課件共48頁，創(chuàng)作于2023年2月信道譯碼器：利用信道編碼時所提供的多余度，檢查或糾正數字序列中的錯誤。信源譯碼器：把經過信道譯碼器核對過的信息序列轉換成適合接收者接收的信息形式。通信系統(tǒng)模型第10頁，課件共48頁，創(chuàng)作于2023年2月信宿：消息傳送的對象

（人或機器）。通信系統(tǒng)模型第11頁，課件共48頁，創(chuàng)作于2023年2月在通信系統(tǒng)中形式上傳輸的是消息，但實質上傳輸的是信息。消息只是表達信息的工具、載荷信息的客體。顯然，在通信中被利用的(亦即攜帶信息的)實際客體是不重要的，而重要的是信息。通信的結果是消除或部分消除不確定性從而獲得信息。通信系統(tǒng)模型第12頁，課件共48頁，創(chuàng)作于2023年2月信源的分類按照信源發(fā)出的消息在時間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類

{信源離散信源連續(xù)信源第13頁，課件共48頁，創(chuàng)作于2023年2月連續(xù)信源連續(xù)信源是指發(fā)出在時間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語言、圖像、圖形等都是連續(xù)消息。

離散信源離散信源是指發(fā)出在時間和幅度上都是離散分布的離散消息的信源，如文字、數字、數據等符號都是離散消息。

信源的分類第14頁，課件共48頁，創(chuàng)作于2023年2月{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源信源的分類離散無記憶信源所發(fā)出的各個符號是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。離散有記憶信源所發(fā)出的各個符號的概率是有關聯(lián)的。第15頁，課件共48頁，創(chuàng)作于2023年2月{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源信源的分類信源每次只發(fā)出一個符號代表一個消息；信源每次發(fā)出一組含二個以上符號的符號序列代表一個消息。第16頁，課件共48頁，創(chuàng)作于2023年2月{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源信源的分類用信源發(fā)出的一個符號序列的整體概率（即聯(lián)合概率）反映有記憶信源的特征某一個符號出現(xiàn)的概率只與前面一個或有限個符號有關，而不依賴更前面的那些符號第17頁，課件共48頁，創(chuàng)作于2023年2月?

符號

的先驗概率：

一個離散信源發(fā)出的各個符號消息的集合為

，它們的概率分別為

，

為符號

的先驗概率。

知識回顧--概率論基礎第18頁，課件共48頁，創(chuàng)作于2023年2月,

顯然有

通常把它們寫到一起，稱為概率空間：

?

概率空間知識回顧--概率論基礎第19頁，課件共48頁，創(chuàng)作于2023年2月設X取值{x1,x2,…,xi,…,xn}，

Y取值{y1,y2,…,yj,…,ym}，則＊聯(lián)合概率p(xiyj)——X取值xi

,Y取值yj同時成立的概率＊條件概率p(yj/xi)——X取值xi

條件下,Y取值yj的概率＊條件概率p(xi/yj)——Y取值yj條件下,X取值xi的概率知識回顧--概率論基礎第20頁，課件共48頁，創(chuàng)作于2023年2月[性質]知識回顧--概率論基礎第21頁，課件共48頁，創(chuàng)作于2023年2月1.1自信息

通信系統(tǒng)模型信源的分類概率論基礎信息的可度量性自信息熵第22頁，課件共48頁，創(chuàng)作于2023年2月通信系統(tǒng)模型{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源離散信源第23頁，課件共48頁，創(chuàng)作于2023年2月,

其中

離散無記憶信源—數學模型集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對應消息的概率密度，各個消息的輸出概率總和應該為1。第24頁，課件共48頁，創(chuàng)作于2023年2月〉1）中國女子乒乓球隊奪取亞運會冠軍。2）中國男子足球隊奪取世界杯賽冠軍。信息的可度量性（1）既然不確定性的大小能夠度量，所以信息是可以度量的某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數目以及各狀態(tài)出現(xiàn)的概率大小有關第25頁，課件共48頁，創(chuàng)作于2023年2月設有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？信息的可度量性（2）第26頁，課件共48頁，創(chuàng)作于2023年2月討論題一般的方法是，在天平的兩端各放一個硬幣：如果平衡，則都不是假幣；如果不平衡，則有一個是假幣，再與別的任一硬幣比較。第27頁，課件共48頁，創(chuàng)作于2023年2月將12枚硬幣平分為3堆；在天平的兩端各放一堆：如果平衡，則假幣在剩余一堆；通過這步操作，可消除一些不確定性，獲得一定的信息量：

存在的不確定性是的函數：前存在的不確定性是的函數：后討論題第28頁，課件共48頁，創(chuàng)作于2023年2月信息量的直觀定義：收到某消息獲得的信息量=不確定性減少的量=（收到該消息前關于某事件的不確定性）-

（收到該消息后關于某事件的不確定性）

<事件的發(fā)生所提供的信息>討論題第29頁，課件共48頁，創(chuàng)作于2023年2月特殊情況：①發(fā)生概率為1的必然事件，無不確定性；②發(fā)生概率為0的不可能事件，確定性無限大③獨立事件發(fā)生包含的信息量為各事件信息量的和。信息的可度量性（3）某事件發(fā)生所含有的信息量應是該事件發(fā)生先驗概率的函數：xi的自信息第30頁，課件共48頁，創(chuàng)作于2023年2月（3）當時（4）當時（5）兩個獨立事件的聯(lián)合信息量應等于它們分別的信息量之和。(2)應是先驗概率的單調遞減函數，即當時根據客觀事實和人們的習慣概念，應滿足以下條件：自信息(1)非負性：第31頁，課件共48頁，創(chuàng)作于2023年2月根據上述條件可以從數學上證明這種函數形式是對數函數，即：有兩個含義：1、當事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當事件發(fā)生后，標是該事件所提供的信息量．自信息第32頁，課件共48頁，創(chuàng)作于2023年2月

自信息量的單位取決于對數所取的底，若以2為底，單位為比特，以e為底，單位為奈特，以10為底，單位為哈特,通常取比特為單位。自信息第33頁，課件共48頁，創(chuàng)作于2023年2月例題（1）設有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？

（用信息論方法證明）第34頁，課件共48頁，創(chuàng)作于2023年2月設“在12枚同值硬幣中，某一枚為假幣’這事件為a。其出現(xiàn)的概率為設“假幣重量比真幣重量重，或輕’這事件為b。其出現(xiàn)的概率為

事件a,b的不確定性為

要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量是消除這兩事件的不確定性。這兩事件是統(tǒng)計獨立事件．所以所需獲得的信息量

例題（1）--解答第35頁，課件共48頁，創(chuàng)作于2023年2月而在天平上稱—次能判斷出三鐘情況：重、輕和相等。這三種情況是等概率的

所以，天平測一次能獲得的信息量(即消除的不確定性)為則至少必須稱的次數為例題（1）--解答第36頁，課件共48頁，創(chuàng)作于2023年2月如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾?”則答案中含有多少信息量?如果你在已知今天是星期四的情況下提出同樣的問題．則答案中你能獲得多少信息量？(假設已知星期一至星期日的排序)例題（2）第37頁，課件共48頁，創(chuàng)作于2023年2月設事件A知道今天是星期幾的悄況下，問明天是星期幾的答案；事件B為已知今天是星期四的情況，問明天是星期幾的答案。則從而，從事件A中獲得的信息量從事件B中獲得的信息量由此可看出，必然事件出現(xiàn)的概率為1，從中獲得的信息量為零。例題（2）--解答第38頁，課件共48頁，創(chuàng)作于2023年2月設天氣預報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來表示晴天，以來表示雨天，則我們的信源模型如下：例題（3）第39頁，課件共48頁，創(chuàng)作于2023年2月一個以等概率出現(xiàn)的二進制碼元（0，1）所包含的自信息量為：

I（0）=I（1）=-log2（1/2）=log22=1bit

若是一個m位的二進制數，因為該數的每一位可從0,1兩個數字中任取一個，因此有2m個等概率的可能組合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息來指明這樣的二進制數。

例題（4）第40頁，課件共48頁，創(chuàng)作于2023年2月某電子廠共能生產四種儀器A,B,C,D、其中，A因技術落后停產了，B占全部產量的20％，C占30％，D占50％。有兩個消息“現(xiàn)在完成1臺儀器B”，和“現(xiàn)在完成1臺儀器C”，試確定哪一種消息提供的信息量大些?其中有什么規(guī)律?例題（5）第41頁，課件共48頁，創(chuàng)作于2023年2月解：因為以及消息提供的信息量與其出現(xiàn)概率倒數的對數成正比，所以，即”現(xiàn)在完成一臺儀器B”提供的信息量大于”現(xiàn)在完成一臺儀器C”提供的信息量。規(guī)律：

(1)出現(xiàn)概率為零的消息可略去。

(2)概