信息及自信息

關(guān)于信息及自信息第1頁，課件共18頁，創(chuàng)作于2023年2月一、認識信息第2頁，課件共18頁，創(chuàng)作于2023年2月一、認識信息第3頁，課件共18頁，創(chuàng)作于2023年2月消息就是信息嗎？用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來就成為消息。消息中包含信息，是信息的載體。一、認識信息第4頁，課件共18頁，創(chuàng)作于2023年2月香農(nóng)在1948年發(fā)表的《通信的數(shù)學理論》中對信息做了科學的定義：

信息是事物運動狀態(tài)或存在方式的不確定性的描述。香農(nóng)——信息論的奠基人?！锻ㄐ诺臄?shù)學理論》——信息論的理論基礎(chǔ)。二、信息的定義第5頁，課件共18頁，創(chuàng)作于2023年2月消息傳遞過程有何特點？對于收信者來說：不知→知知之甚少→知之甚多不確定→部分確定或全部確定信源信道信宿消息（發(fā)送者）（接收者）噪聲通信系統(tǒng)形式上傳輸?shù)氖窍?，實質(zhì)上傳輸?shù)氖切畔?。二、信息的定義第6頁，課件共18頁，創(chuàng)作于2023年2月通信的結(jié)果是消除或部分消除不確定性從而獲得信息。作為消息的發(fā)送者，信源輸出一則消息攜帶多少信息量?如何計算?二、信息的定義第7頁，課件共18頁，創(chuàng)作于2023年2月研究對象：單符號離散信源數(shù)學模型：三、自信息第8頁，課件共18頁，創(chuàng)作于2023年2月信息量，在數(shù)量上等于通信前后不確定性的消除。

例1：二元信源發(fā)送0和1概率不同時，不

確定性大小不同。

例2：擲一個質(zhì)地均勻的骰子，不確定性

較大。

例3：信源只發(fā)送一種消息，不確定性為

零。三、自信息第9頁，課件共18頁，創(chuàng)作于2023年2月收到某消息獲得的信息量

=不確定性減少的量

=（收到此信息前關(guān)于某事件發(fā)生的不確定性）－（收到此信息后關(guān)于某事件發(fā)生的不確定性）

=信源輸出的某消息中所含有的信息量

（無噪情況下，后項為0）三、自信息第10頁，課件共18頁，創(chuàng)作于2023年2月某事件發(fā)生所含有的信息量應該是該事件發(fā)生的先驗概率的函數(shù)

——事件發(fā)生的先驗概率；

——事件發(fā)生所含有的信息量，

稱為的自信息量。三、自信息第11頁，課件共18頁，創(chuàng)作于2023年2月根據(jù)客觀事實和人們的習慣，應滿足

(1)應是先驗概率的單調(diào)遞減函數(shù)，即當

時

(2)當時，；(3)當時，；(4)兩個獨立事件的聯(lián)合信息量應等于它們分別的信息

量之和，即統(tǒng)計獨立信源的信息量等于它們分別的

信息量之和。三、自信息第12頁，課件共18頁，創(chuàng)作于2023年2月因此，可從數(shù)學上證明這種函數(shù)形式是對數(shù)形式，即代表兩種含義：當事件發(fā)生以前，表示事件發(fā)生的不確定性；當事件發(fā)生以后表示事件所含有（或所提供）的信息量。三、自信息第13頁，課件共18頁，創(chuàng)作于2023年2月自信息單位：取決于對數(shù)所選取的底。三、自信息第14頁，課件共18頁，創(chuàng)作于2023年2月例：假設(shè)一次擲兩個各自均勻、互相不可區(qū)分又互

不相關(guān)的骰子。如事件A、B、C分別表示：A僅

有一個骰子是1；B至少有一個骰子是4；C骰子

上點數(shù)的總和是偶數(shù)。試計算事件A、B、C發(fā)

生后所提供的信息量。1比特信息量就是兩個互不相容的等概事件之一發(fā)生時所提供的信息量。三、自信息第15頁，課件共18頁，創(chuàng)作于2023年2月

1.信息

信息是事物運動狀態(tài)或存在方式的不確定性的描述。

2.自信息四、小結(jié)第16頁，課件共18頁，創(chuàng)作于2023年2月思考題：

信源整體