信息論 第一章

信息論第一章第一頁，共十九頁，2022年，8月28日參考書目1朱雪龍<<應用信息理論基礎(chǔ)>>

清華大學出版社20012常迥<<信息理論基礎(chǔ)>>

清華大學出版社TP14/333吳偉陵<<信息處理與編碼>>

人民郵電出版社

4章照止林須端<<信息論與最優(yōu)編碼>>

上?？茖W技術(shù)出版社1993TN9112/25信息論基礎(chǔ)TN911/1.2第二頁，共十九頁，2022年，8月28日第一章緒論1.1信息的概念1.2信息論研究的對象

目的和內(nèi)容1.3信息論發(fā)展簡史與信

息科學第三頁，共十九頁，2022年，8月28日1.1信息的概念1.1.1信息的概念1.1.2概念區(qū)別：信息、情報、知識、消息1.1.3統(tǒng)計信息的測度1.1.4香農(nóng)信息定義的優(yōu)缺點1.1.5信息的屬性第四頁，共十九頁，2022年，8月28日1.1信息的概念1.1.1信息的概念統(tǒng)計信息定義：信息是事物運動狀態(tài)或存在方式的

不確定性的描述。1.1.2概念區(qū)別：信息、情報、知識、消息廣義信息已包含了情報、知識、消息消息是把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來。第五頁，共十九頁，2022年，8月28日消息表達方式文字—書信符號—電報數(shù)據(jù)—股市語言—漢語音符—歌曲圖象—電視節(jié)目第六頁，共十九頁，2022年，8月28日信息量不確定性消除程度概率不確定性隨機性隨機事件概率論隨機過程1.1.3統(tǒng)計信息的測度第七頁，共十九頁，2022年，8月28日舉例1：三個隨機變量X,Y,Z的密度矩陣為等概率分布時，隨機變量的不確定性程度最大。第八頁，共十九頁，2022年，8月28日舉例2：兩個隨機變量X,Y的密度矩陣為均等概率分布時，樣本數(shù)多的不確定性程度最大。第九頁，共十九頁，2022年，8月28日自信息樣本空間：某事物所有可能選擇的消息集合概率空間：樣本空間和它的概率測度。先驗概率：某消息的自信息：后驗概率：條件概率第十頁，共十九頁，2022年，8月28日收到消息后，發(fā)送端是否是的不確定性：互信息表示收信者收到消息后，已知消除的不確定性，即先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。第十一頁，共十九頁，2022年，8月28日（1）如果信道無干擾（2）若，則，無信息（3）若，則，信息量大第十二頁，共十九頁，2022年，8月28日1.1.4香農(nóng)信息定義的優(yōu)缺點

優(yōu)點：(1)科學的定義，有明確的數(shù)學模型，可進行定量計算；

(2)與日常信息的含義一致；

(3)

計算結(jié)果客觀。缺點：(1)有些事物取值的概率模型難以建立；

(2)未考慮信息的主觀性和實用性。第十三頁，共十九頁，2022年，8月28日

物質(zhì)、能量和信息是物質(zhì)世界的三大支柱,是科學歷史上三個最重要的基本概念.特征:(1)信息、物質(zhì)、能量統(tǒng)一于事物一身.(2)信息的存在具有普遍性、無限性、動態(tài)性、時效性和相對獨立性.(3)信息具有可傳遞性、可轉(zhuǎn)換性、可擴散性、可復制性、可存儲性,因而具有共享性.(4)信息具有可度量性.1.1.5信息的屬性第十四頁，共十九頁，2022年，8月28日1.2信息論研究的對象、

目的和內(nèi)容1.2.1研究對象——通信系統(tǒng)模型1.2.2目的——信息傳輸系統(tǒng)最優(yōu)化1.2.3信息論研究的內(nèi)容第十五頁，共十九頁，2022年，8月28日1.2.1研究對象——通信系統(tǒng)模型信源編碼器信道譯碼器噪聲源信宿消息信號干擾消息第十六頁，共十九頁，2022年，8月28日1.2.2目的——信息傳輸系統(tǒng)最優(yōu)化1

可靠性高使信源發(fā)出的消息經(jīng)過信道傳輸后，盡可能準確地、不失真地再現(xiàn)在接收端。2有效性高經(jīng)濟效果好，用盡可能短的時間和盡可能少的設備來傳送一定數(shù)量的信息。往往提高可靠性和提高有效性是矛盾的。

保密性、認證性第十七頁，共十九頁，2022年，8月28日1.2.3信息論研究的內(nèi)容1.狹義信息論—

經(jīng)典信息論：香農(nóng)主要研究信息的測度、信道容量、信源編碼、信道編碼理論等。2.一般信息論—

維納（美）、柯爾莫哥洛夫（蘇），除上述內(nèi)容，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測與估計理論、調(diào)制理論、信息處理理論、保密理論。3.廣義信息論第十八頁，共十九頁，2022年，8月28日1.3信息論發(fā)展簡史與信息科學信息論是在長期的通信工程實踐和理論研究基礎(chǔ)上發(fā)展起來的。電磁理論和電子學理論促進了電信系統(tǒng)的發(fā)展。由信息論研究形