第一章緒論-信息論基礎(chǔ)2015

信息論

-基礎(chǔ)理論與應(yīng)用

肇慶學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院鄒小林QQ郵箱：120962985@手機(jī)移動(dòng)短號(hào)：623504課程計(jì)劃1、計(jì)劃學(xué)時(shí)54，全部為講課學(xué)時(shí)2、每周或每章結(jié)束交一次作業(yè)。3、總成績由兩部分組成：

平時(shí)成績占30％，考試成績占70％4、計(jì)劃講授教材的一至七章(除第四章)教學(xué)計(jì)劃第1章緒論2學(xué)時(shí)第2章離散信源及其信息測度10學(xué)時(shí)第3章離散信道及其信道容量10學(xué)時(shí)第4章波形信源和波形信道6學(xué)時(shí)*第5章無失真信源編碼10學(xué)時(shí)第6章有噪信道編碼8學(xué)時(shí)第7章保真度準(zhǔn)則下的信源編碼8學(xué)時(shí)打*號(hào)內(nèi)容，若時(shí)間有限可不講。

課程—重視、努力努力有時(shí)候真的無法超越天賦，但努力能讓有天賦的人看得起你。-----------------------------------------------龔偉杰寧波中一學(xué)校長的開學(xué)致辭——“天將降大任于斯人也，必先卸其QQ，封其微博，刪其微信，去其貼吧，收其電腦，奪其手機(jī)，摔其ipad，斷其wifi，剪其網(wǎng)線，使其百無聊賴，然后靜坐、喝茶、思過、鍛煉、讀書、彈琴、練字、明智、開悟、精進(jìn)，而后必成大器也。”

課程考核標(biāo)準(zhǔn)總成績=平時(shí)考核+期末考試平時(shí)考核：占總成績的30%100分=作業(yè)成績加半期考試成績的平均成績-考勤扣分期末考試：占總成績的70%100分=閉卷筆試作業(yè)和考勤的說明根據(jù)做題步驟思路是否清晰，字跡是否工整等評(píng)閱作業(yè)全對(duì)，評(píng)閱分在95-100之間。作業(yè)對(duì)3/4以上，評(píng)閱分在90-94之間。作業(yè)對(duì)2/3以上，評(píng)閱分在85-89之間。作業(yè)對(duì)1/2以上，評(píng)閱分在80-84之間。作業(yè)對(duì)1/4以上，評(píng)閱分在70-79之間。作業(yè)對(duì)1/4以下，評(píng)閱分在60-69之間。作業(yè)全錯(cuò)，評(píng)閱分為50分。作業(yè)和考勤的說明缺交作業(yè)的成績記0分。遲交作業(yè)算缺交作業(yè)。如有特殊情況，請及時(shí)出示請假條。有請假條，補(bǔ)交作業(yè)只登記，補(bǔ)交的作業(yè)前要有說明理由?？记谌毕淮?，扣6分。如有特殊情況，請及時(shí)出示請假條。根據(jù)此標(biāo)準(zhǔn)，請期末學(xué)習(xí)委員幫忙計(jì)算或校對(duì)最終平時(shí)成績?；卮饐栴}，登記次數(shù)，最后在平時(shí)總成績上加分。教學(xué)內(nèi)容掌握要求掌握內(nèi)容考試占70%~80%理解內(nèi)容考試占20%~30%了解內(nèi)容考試占0%~10%其他約定不得遲到、早退、缺課，有事請假。上課時(shí)請關(guān)閉手機(jī)。作業(yè)不得用紙片、信紙、筆記本之類，必須使用作業(yè)本，否則視為沒有交作業(yè)。上課之前交作業(yè)。信息論對(duì)現(xiàn)代社會(huì)有哪些影響?了解信息論對(duì)現(xiàn)代社會(huì)有哪些影響?了解1、在理論研究方面2、在技術(shù)應(yīng)用方面3、

在社會(huì)經(jīng)濟(jì)領(lǐng)域4、在個(gè)人生活方面5、在思維方式方面

信息論對(duì)現(xiàn)代社會(huì)的影響1、在理論研究方面

信息與物質(zhì)、能量并列為宇宙中的三個(gè)基本要素。了解信息論對(duì)現(xiàn)代社會(huì)的影響2、在技術(shù)應(yīng)用方面

信息科學(xué)與材料科學(xué)、能源科學(xué)一起成為現(xiàn)代高新技術(shù)領(lǐng)域的三大關(guān)鍵技術(shù)。沒有信息論的指導(dǎo),就不會(huì)有現(xiàn)代的無線電技術(shù),電視接收系統(tǒng),不會(huì)有現(xiàn)代的移動(dòng)通信和衛(wèi)星導(dǎo)航定位系統(tǒng),更不會(huì)有“英特網(wǎng)”和“信息高速公路”的出現(xiàn)。了解

當(dāng)代文明的三大支柱

信息科學(xué)、材料科學(xué)和能源科學(xué)一起被稱為當(dāng)代文明的“三大支柱”。是科學(xué)歷史上三個(gè)最重要的基本概念。

沒有物質(zhì)的世界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界；

了解信息論對(duì)現(xiàn)代社會(huì)的影響3、

在社會(huì)經(jīng)濟(jì)領(lǐng)域信息科學(xué)的迅速發(fā)展和信息高速公路的出現(xiàn),

有利于國際性的合作和交往,有利于市場經(jīng)濟(jì)中資源的有效配置。

信息科學(xué)的發(fā)展促進(jìn)了光纖制造業(yè)、信息傳輸、交換設(shè)備生產(chǎn)企業(yè)、計(jì)算機(jī)軟、硬件生產(chǎn)以及電信等行業(yè)的繁榮。

電子商務(wù)的迅速崛起,構(gòu)成了這個(gè)時(shí)代的新特征,并在促進(jìn)經(jīng)濟(jì)增長,方便人們生活方面發(fā)揮出了巨大的作用。了解信息論對(duì)現(xiàn)代社會(huì)的影響4、在個(gè)人生活方面

互聯(lián)網(wǎng)使整個(gè)世界聯(lián)為一體,人們似乎生活在一個(gè)地球村中。互聯(lián)網(wǎng)的普及，深刻地改變?nèi)藗兩罘绞?給人們的學(xué)習(xí)和生活帶來極大的便利,“居家購物”、“居家上班”、“居家上學(xué)”和“居家就醫(yī)”等已不再是遙遠(yuǎn)的未來。

通過英特網(wǎng)免費(fèi)享受重點(diǎn)高校甚至國外高校提供的一流的課程和教育。了解信息論對(duì)現(xiàn)代社會(huì)的影響5、在思維方式方面互聯(lián)網(wǎng)的開通大大加快了人們接受新思想、新信息的速度,促進(jìn)了不同生活方式和思維模式的溶合,使得那些原來遙不可及的事情變得唾手可得,原來不可思議的新事物變得司空見慣,原來不可接受的生活方式、思維模式和文化傳統(tǒng)變得爭相仿效。了解什么是信息論？信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。信息論的分支：光學(xué)信息論、量子信息論、生物信息論、生物信息學(xué)等重要分支。了解什么是信息科學(xué)？信息科學(xué)是研究信息運(yùn)動(dòng)規(guī)律和應(yīng)用方法的科學(xué)，是由信息論、控制論、計(jì)算機(jī)理論、人工智能理論和系統(tǒng)論相互滲透、相互結(jié)合而成的一門新興綜合性科學(xué)。其支柱為信息論、系統(tǒng)論和控制論。

了解

第1章緒論

第1節(jié)信息的概念第2節(jié)信息論研究的對(duì)象、目的和內(nèi)容第3節(jié)信息論的發(fā)展簡史與信息科學(xué)1.1信息的概念古時(shí)候，對(duì)信息傳遞的方法有哪些？

“旗幟”、“狼煙”、“飛鴿傳書”、“書信傳遞”、“信號(hào)彈”、“快馬”、“暗號(hào)”、“手語”

了解1.1信息的概念現(xiàn)在，對(duì)信息傳遞的方法有哪些？

電報(bào)、書信、電話、電子郵件、MSN、QQ、短信息、GPRS、電視、手機(jī)、廣播、報(bào)刊、飛機(jī)、火車、輪船、微信、微博、雷達(dá)、遙測等

了解1.1信息的概念承載信息的形式有哪些？

文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、活動(dòng)圖像等

了解1.1信息的概念信息這個(gè)詞平時(shí)在哪些地方使用？那么什么叫信息？

了解信息的概念之一——通俗概念

信息常常被認(rèn)為是

“消息”、“信號(hào)”、“知識(shí)”、“情報(bào)”等。這些概念并不準(zhǔn)確。如“對(duì)敵方情況的報(bào)告”

“對(duì)于最新情況的報(bào)道”等稱為情報(bào)。情報(bào)學(xué)中定義：

情報(bào)是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解而產(chǎn)生的知識(shí)。

情報(bào)是一類特定的信息，不是信息的全體。信息不等于情報(bào)理解知識(shí)是人們從自然界收集得來的數(shù)據(jù)中，整理、概括、提取得到有價(jià)值的、人們所需的信息。如公式E=mc2c2=a2+b2知識(shí)只是人類社會(huì)中客觀存在的部分信息信息不等于知識(shí)理解把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來就成為消息。例如獲得同學(xué)結(jié)婚消息。例如獲得炒股消息。消息的形式：文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、活動(dòng)圖像等消息中包含信息，消息是信息的載體。得到了消息，就獲得了信息。信息不等于消息理解平時(shí)在哪些場合用到消息？平時(shí)見到的信號(hào)有哪些？(如電信號(hào)，光倍號(hào)，聲信號(hào)，生物信號(hào)等等)。把消息變換成適合信道傳輸?shù)奈锢砹浚@種物理量稱為信號(hào)

信號(hào)攜帶著消息，它是消息的運(yùn)載工具。例拍電報(bào)一般，需先將漢字變換為莫爾斯碼，再轉(zhuǎn)換成脈沖電信號(hào)，然后經(jīng)過調(diào)制變成高頻調(diào)制電信號(hào)，才能在信道中傳輸。信息不等于信號(hào)理解信息的主要特征信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運(yùn)動(dòng)中產(chǎn)生出來，又可以脫離源物質(zhì)而相對(duì)獨(dú)立地存在；信息來源于精神世界，但又不局限于精神領(lǐng)域；信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別；信息具有知識(shí)的本性，但又比知識(shí)的內(nèi)涵更廣泛；信息可以被主體獲取和利用。了解

“信息”是當(dāng)代使用頻率很高的一個(gè)概念，也是很難說清楚的一個(gè)概念。據(jù)不完全統(tǒng)計(jì)，信息的定義有100多種，它們都從不同的側(cè)面、不同的層次揭示了信息的某些特征和性質(zhì)，但至今仍沒有統(tǒng)一的、能為各界普遍認(rèn)同的定義。信息的定義了解信息是由物質(zhì)和能量在時(shí)間和空間上的不均勻分布產(chǎn)生的。信息是可以用文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、圖像等人類可感知的消息來表達(dá)的。信息是無形的、可共享的、無限的、可度量的。信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。信息是與物質(zhì)和能量一樣重要的基本概念。信息的定義了解信息：是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。什么是不確定性？舉例：電報(bào)“母病愈”袋子里摸球A：10紅，10白；B：10紅，20白3.香農(nóng)信息的定義理解收到電報(bào)，消除了不確定性。消除多少不確定性，就獲得多少信息量。不確定性就是隨機(jī)性，具有不確定性的事件就是隨機(jī)事件。隨機(jī)事件可以計(jì)算事件發(fā)生的概率因此不確定性是可以度量的，于是信息是可以度量的。天氣預(yù)報(bào)廣東下雪4香農(nóng)信息的度量理解概率理論引用到信息論(1)樣本空間每一個(gè)消息是一個(gè)元素(2)概率測度每一個(gè)消息指定一個(gè)概率(3)概率空間先驗(yàn)概率理解隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值。事件的概率為，則它的自信息定義為：

代表兩種含義：當(dāng)事件發(fā)生以前，等于事件發(fā)生的不確定性的大小；當(dāng)事件發(fā)生以后，表示事件所含有或所能提供的信息量。自信息量(4)自信息掌握(5)互信息

一個(gè)事件所給出關(guān)于另一個(gè)事件的信息定義為互信息，用表示。

互信息是已知事件后所消除的關(guān)于事件的不確定性，它等于事件本身的不確定性減去已知事件后對(duì)仍然存在的不確定性。

互信息的引出，使信息得到了定量的表示，是信息論發(fā)展的一個(gè)重要的里程碑。

掌握設(shè)天氣預(yù)報(bào)有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來表示晴天，以來表示雨天，則我們的信源模型如下：例題（1）掌握例題（2）設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕。現(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？

（用信息論方法證明）理解設(shè)“在12枚同值硬幣中，某一枚為假幣’這事件為a。其出現(xiàn)的概率為設(shè)“假幣重量比真幣重量重，或輕’這事件為b。其出現(xiàn)的概率為

事件a,b的不確定性為

要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量是消除這兩事件的不確定性。這兩事件是統(tǒng)計(jì)獨(dú)立事件．所以所需獲得的信息量

例題（2）--解答理解而在天平上稱一次能判斷出三鐘情況：重、輕和相等。這三種情況是等概率的

所以，天平測一次能獲得的信息量(即消除的不確定性)為則至少必須稱的次數(shù)為例題（2）--解答理解1.2.1信息論研究的目的可靠性有效性保密性認(rèn)證性理解1.2.2信息論研究的內(nèi)容1、狹義信息論（香農(nóng)信息論）信息的測度、信道容量、信源和信道編碼理論2、一般信息論主要研究信息傳輸和處理問題。包括噪聲、濾波與預(yù)測、估計(jì)、保密等3、