信息論 第一章

1、信息論 第一章第1頁，共19頁，2022年，5月20日，1點11分，星期一參考書目 1 朱雪龍 清華大學(xué)出版社 2001 2 常 迥 清華大學(xué)出版社 TP 14/33 3 吳偉陵 人民郵電出版社 4 章照止 林須端 上海科學(xué)技術(shù)出版社 1993 TN911 2/2 5 信息論基礎(chǔ) TN 911/1.2第2頁，共19頁，2022年，5月20日，1點11分，星期一第一章 緒 論1.1 信息的概念1.2 信息論研究的對象 目的和內(nèi)容1.3 信息論發(fā)展簡史與信 息科學(xué)第3頁，共19頁，2022年，5月20日，1點11分，星期一1.1 信息的概念1.1.1 信息的概念1.1.2 概念區(qū)別：信息、情報、知

2、識、消息1.1.3 統(tǒng)計信息的測度 1.1.4 香農(nóng)信息定義的優(yōu)缺點1.1.5 信息的屬性第4頁，共19頁，2022年，5月20日，1點11分，星期一1.1 信息的概念1.1.1 信息的概念統(tǒng)計信息定義：信息是事物運動狀態(tài)或存在方式的 不確定性的描述。1.1.2 概念區(qū)別：信息、情報、知識、消息 廣義信息已包含了情報、知識、消息 消息是把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來。第5頁，共19頁，2022年，5月20日，1點11分，星期一 消息表達方式 文字書信 符號電報 數(shù)據(jù)股市 語言漢語 音符歌曲 圖象電視節(jié)目第6頁，共19頁，2022年，5月20日，1點11分，星期一信息量不確定性消除程

3、度概率不確定性隨機性 隨機事件 概率論隨機過程 1.1.3 統(tǒng)計信息的測度 第7頁，共19頁，2022年，5月20日，1點11分，星期一舉例1：三個隨機變量 X,Y,Z的密度矩陣為等概率分布時，隨機變量的不確定性程度最大。第8頁，共19頁，2022年，5月20日，1點11分，星期一舉例2：兩個隨機變量 X,Y 的密度矩陣為均等概率分布時，樣本數(shù)多的不確定性程度最大。第9頁，共19頁，2022年，5月20日，1點11分，星期一 自信息樣本空間：某事物所有可能選擇的消息集合概率空間：樣本空間和它的概率測度。先驗概率：某消息 的自信息：后驗概率：條件概率第10頁，共19頁，2022年，5月20日，1

4、點11分，星期一收到消息 后，發(fā)送端是否是 的不確定性： 互信息表示收信者收到消息 后，已知消除的不確定性，即先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。第11頁，共19頁，2022年，5月20日，1點11分，星期一（1）如果信道無干擾（2）若 ，則 ，無信息（3）若 ，則 ， 信息量大第12頁，共19頁，2022年，5月20日，1點11分，星期一1.1.4 香農(nóng)信息定義的優(yōu)缺點 優(yōu)點：(1) 科學(xué)的定義，有明確的數(shù)學(xué)模 型，可進行定量計算； (2) 與日常信息的含義一致； (3) 計算結(jié)果客觀。缺點：(1) 有些事物取值的概率模型難以 建立； (2) 未考慮信息的主觀性和實用

5、性。第13頁，共19頁，2022年，5月20日，1點11分，星期一 物質(zhì)、能量和信息是物質(zhì)世界的三大支柱,是科學(xué)歷史上三個最重要的基本概念. 特征: (1) 信息、物質(zhì)、能量統(tǒng)一于事物一身.(2)信息的存在具有普遍性、無限性、動態(tài)性、時效性和相對獨立性.(3)信息具有可傳遞性、可轉(zhuǎn)換性、可擴散性、可復(fù)制性、可存儲性,因而具有共享性.(4)信息具有可度量性.1.1.5 信息的屬性第14頁，共19頁，2022年，5月20日，1點11分，星期一1.2 信息論研究的對象、目的和內(nèi)容1.2.1 研究對象通信系統(tǒng)模型1.2.2 目的信息傳輸系統(tǒng)最優(yōu)化1.2.3 信息論研究的內(nèi)容第15頁，共19頁，2022

6、年，5月20日，1點11分，星期一1.2.1 研究對象通信系統(tǒng)模型信 源編碼器信 道譯碼器噪聲源信 宿消息信號干擾消息第16頁，共19頁，2022年，5月20日，1點11分，星期一1.2.2 目的信息傳輸系統(tǒng)最優(yōu)化1 可靠性高 使信源發(fā)出的消息經(jīng)過信道傳輸后，盡 可能準確地、不失真地再現(xiàn)在接收端。2 有效性高 經(jīng)濟效果好，用盡可能短的時間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。 往往提高可靠性和提高有效性是矛盾的。 保密性、認證性第17頁，共19頁，2022年，5月20日，1點11分，星期一1.2.3 信息論研究的內(nèi)容 1. 狹義信息論 經(jīng)典信息論：香農(nóng)主要研究信息的測度、信道容量、信源編碼、信道編碼理論等。 2. 一般信息論 維納（美）、柯爾莫哥洛夫（蘇），除上述內(nèi)容，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測與估計理論、調(diào)制理論、信息處理理論、保密理論。3. 廣義信息論 第18頁，共19頁，2022年，5月20日，1點11分，星期一1.3 信息論發(fā)展簡史與信息科學(xué)信息論是在長期的通信工程實踐和理論研究基礎(chǔ)上發(fā)展起來的。