信息以及自信息

1、關(guān)于信息及自信息第1頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四一、認(rèn)識(shí)信息第2頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四一、認(rèn)識(shí)信息第3頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四消息就是信息嗎？ 用文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來就成為消息。 消息中包含信息，是信息的載體。一、認(rèn)識(shí)信息第4頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 香農(nóng)在1948年發(fā)表的通信的數(shù)學(xué)理論中對(duì)信息做了科學(xué)的定義： 信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。 香農(nóng)信息論的奠基

2、人。 通信的數(shù)學(xué)理論信息論 的理論基礎(chǔ)。 二、信息的定義第5頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四消息傳遞過程有何特點(diǎn)？對(duì)于收信者來說：不知知知之甚少知之甚多不確定部分確定或全部確定信源信道信宿消息（發(fā)送者）（接收者）噪聲 通信系統(tǒng)形式上傳輸?shù)氖窍?，?shí)質(zhì)上傳輸?shù)氖切畔ⅰ６?、信息的定義第6頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 通信的結(jié)果是消除或部分消除不確定性從而獲得信息。 作為消息的發(fā)送者，信源輸出一則消息攜帶多少信息量?如何計(jì)算?二、信息的定義第7頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 研究對(duì)象：單符號(hào)離散信源 數(shù)學(xué)模型：三、自信息第

3、8頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 信息量，在數(shù)量上等于通信前后不確定性的消除。 例1：二元信源發(fā)送0和1概率不同時(shí)，不 確定性大小不同。 例2：擲一個(gè)質(zhì)地均勻的骰子，不確定性 較大。 例3：信源只發(fā)送一種消息，不確定性為 零。三、自信息第9頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四收到某消息獲得的信息量 = 不確定性減少的量 = （收到此信息前關(guān)于某事件發(fā)生的不確定性） （收到此信息后關(guān)于某事件發(fā)生的不確定性） = 信源輸出的某消息中所含有的信息量 （無噪情況下，后項(xiàng)為0）三、自信息第10頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 某事件發(fā)

4、生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù) 事件 發(fā)生的先驗(yàn)概率； 事件 發(fā)生所含有的信息量， 稱為 的自信息量。三、自信息第11頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 根據(jù)客觀事實(shí)和人們的習(xí)慣， 應(yīng)滿足 (1) 應(yīng)是先驗(yàn)概率 的單調(diào)遞減函數(shù)，即當(dāng) 時(shí) (2)當(dāng) 時(shí)， ； (3)當(dāng) 時(shí)， ； (4)兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別的信息 量之和，即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的 信息量之和。三、自信息第12頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 因此，可從數(shù)學(xué)上證明這種函數(shù)形式是對(duì)數(shù)形式，即 代表兩種含義：當(dāng)事件 發(fā)生以前，表示事件 發(fā)生的不

5、確定性；當(dāng)事件 發(fā)生以后表示事件 所含有（或所提供）的信息量。三、自信息第13頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四自信息單位：取決于對(duì)數(shù)所選取的底。三、自信息第14頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四例：假設(shè)一次擲兩個(gè)各自均勻、互相不可區(qū)分又互 不相關(guān)的骰子。如事件A、B、C分別表示：A僅 有一個(gè)骰子是1；B至少有一個(gè)骰子是4；C骰子 上點(diǎn)數(shù)的總和是偶數(shù)。試計(jì)算事件A、B、C發(fā) 生后所提供的信息量。1比特信息量就是兩個(gè)互不相容的等概事件之一發(fā)生時(shí)所提供的信息量。三、自信息第15頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四 1. 信息 信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不 確定性的描述。 2. 自信息四、小結(jié)第16頁，共18頁，2022年，5月20日，8點(diǎn)39分，星期四思考題： 信源整體平均攜帶多少信息量?如何測量？作業(yè)題：