信息論 第一章

信息論第一章第一頁，共十九頁，2022年，8月28日參考書目1朱雪龍<<應(yīng)用信息理論基礎(chǔ)>>

清華大學(xué)出版社20012常迥<<信息理論基礎(chǔ)>>

清華大學(xué)出版社TP14/333吳偉陵<<信息處理與編碼>>

人民郵電出版社

4章照止林須端<<信息論與最優(yōu)編碼>>

上?？茖W(xué)技術(shù)出版社1993TN9112/25信息論基礎(chǔ)TN911/1.2第二頁，共十九頁，2022年，8月28日第一章緒論1.1信息的概念1.2信息論研究的對象

目的和內(nèi)容1.3信息論發(fā)展簡史與信

息科學(xué)第三頁，共十九頁，2022年，8月28日1.1信息的概念1.1.1信息的概念1.1.2概念區(qū)別：信息、情報(bào)、知識、消息1.1.3統(tǒng)計(jì)信息的測度1.1.4香農(nóng)信息定義的優(yōu)缺點(diǎn)1.1.5信息的屬性第四頁，共十九頁，2022年，8月28日1.1信息的概念1.1.1信息的概念統(tǒng)計(jì)信息定義：信息是事物運(yùn)動狀態(tài)或存在方式的

不確定性的描述。1.1.2概念區(qū)別：信息、情報(bào)、知識、消息廣義信息已包含了情報(bào)、知識、消息消息是把客觀物質(zhì)運(yùn)動和主觀思維活動的狀態(tài)表達(dá)出來。第五頁，共十九頁，2022年，8月28日消息表達(dá)方式文字—書信符號—電報(bào)數(shù)據(jù)—股市語言—漢語音符—歌曲圖象—電視節(jié)目第六頁，共十九頁，2022年，8月28日信息量不確定性消除程度概率不確定性隨機(jī)性隨機(jī)事件概率論隨機(jī)過程1.1.3統(tǒng)計(jì)信息的測度第七頁，共十九頁，2022年，8月28日舉例1：三個隨機(jī)變量X,Y,Z的密度矩陣為等概率分布時，隨機(jī)變量的不確定性程度最大。第八頁，共十九頁，2022年，8月28日舉例2：兩個隨機(jī)變量X,Y的密度矩陣為均等概率分布時，樣本數(shù)多的不確定性程度最大。第九頁，共十九頁，2022年，8月28日自信息樣本空間：某事物所有可能選擇的消息集合概率空間：樣本空間和它的概率測度。先驗(yàn)概率：某消息的自信息：后驗(yàn)概率：條件概率第十頁，共十九頁，2022年，8月28日收到消息后，發(fā)送端是否是的不確定性：互信息表示收信者收到消息后，已知消除的不確定性，即先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。第十一頁，共十九頁，2022年，8月28日（1）如果信道無干擾（2）若，則，無信息（3）若，則，信息量大第十二頁，共十九頁，2022年，8月28日1.1.4香農(nóng)信息定義的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：(1)科學(xué)的定義，有明確的數(shù)學(xué)模型，可進(jìn)行定量計(jì)算；

(2)與日常信息的含義一致；

(3)

計(jì)算結(jié)果客觀。缺點(diǎn)：(1)有些事物取值的概率模型難以建立；

(2)未考慮信息的主觀性和實(shí)用性。第十三頁，共十九頁，2022年，8月28日

物質(zhì)、能量和信息是物質(zhì)世界的三大支柱,是科學(xué)歷史上三個最重要的基本概念.特征:(1)信息、物質(zhì)、能量統(tǒng)一于事物一身.(2)信息的存在具有普遍性、無限性、動態(tài)性、時效性和相對獨(dú)立性.(3)信息具有可傳遞性、可轉(zhuǎn)換性、可擴(kuò)散性、可復(fù)制性、可存儲性,因而具有共享性.(4)信息具有可度量性.1.1.5信息的屬性第十四頁，共十九頁，2022年，8月28日1.2信息論研究的對象、

目的和內(nèi)容1.2.1研究對象——通信系統(tǒng)模型1.2.2目的——信息傳輸系統(tǒng)最優(yōu)化1.2.3信息論研究的內(nèi)容第十五頁，共十九頁，2022年，8月28日1.2.1研究對象——通信系統(tǒng)模型信源編碼器信道譯碼器噪聲源信宿消息信號干擾消息第十六頁，共十九頁，2022年，8月28日1.2.2目的——信息傳輸系統(tǒng)最優(yōu)化1

可靠性高使信源發(fā)出的消息經(jīng)過信道傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。2有效性高經(jīng)濟(jì)效果好，用盡可能短的時間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。往往提高可靠性和提高有效性是矛盾的。

保密性、認(rèn)證性第十七頁，共十九頁，2022年，8月28日1.2.3信息論研究的內(nèi)容1.狹義信息論—

經(jīng)典信息論：香農(nóng)主要研究信息的測度、信道容量、信源編碼、信道編碼理論等。2.一般信息論—

維納（美）、柯爾莫哥洛夫（蘇），除上述內(nèi)容，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計(jì)檢測與估計(jì)理論、調(diào)制理論、信息處理理論、保密理論。3.廣義信息論第十八頁，共十九頁，2022年，8月28日1.3信息論發(fā)展簡史與信息科學(xué)信息論是在長期的通信工程實(shí)踐和理論研究基礎(chǔ)上發(fā)展起來的。電磁理論和電子學(xué)理論促進(jìn)了電信系統(tǒng)的發(fā)展。由信息論研究形