第一部分知識課件

信息論

考試方式：期末閉卷

授課教師：李景文

核心教材：信息理論基礎(chǔ)（周蔭清）

北京航空航天大學(xué)出版社

輔助教材：工程信息論（田寶玉）

北京郵電大學(xué)出版社教學(xué)內(nèi)容安排：第一章緒論第二章信息的統(tǒng)計度量第三章離散信源第四章離散信道第五章無失真信源編碼第六章有噪信道編碼第七章限失真信源編碼第八章連續(xù)信源與波形信道要求掌握的內(nèi)容教學(xué)講授內(nèi)容安排：一、緒論信息論簡介，解決通信基本問題的方法、思路，香農(nóng)信息論。二、信源及信源編碼離散、連續(xù)信源熵，信源編碼理論和方法。三、信道及信道編碼信道容量，波形信道，數(shù)字調(diào)制波形信道容量。四、最大熵譜估計最大熵譜估計思想，AR模型，等價關(guān)系。研究生講授內(nèi)容一、緒論主要內(nèi)容1.1信息論解決的通信系統(tǒng)中具體問題1.2通信系統(tǒng)數(shù)學(xué)模型1.3信息論1.4香農(nóng)信息論研究的問題1.5香農(nóng)簡介和主要工作1.2通信系統(tǒng)數(shù)學(xué)模型1、定義：信息的傳輸系統(tǒng)稱為通信系統(tǒng)。如電報系統(tǒng)、電話系統(tǒng)、圖像系統(tǒng)、雷達系統(tǒng)。2、通信系統(tǒng)數(shù)學(xué)模型：較完整的模型一、緒論

簡化模型①、信源：定義：產(chǎn)生消息的源(消息序列)；消息：消息是文字、語言、圖像等；消息可以是離散的，或連續(xù)的；消息是隨機的，用隨機變量或隨機過程表示；信源研究的主要問題——第三章消息的統(tǒng)計特性；信源產(chǎn)生消息的速率。一、緒論②、編碼器：定義：將信源發(fā)出消息變換成適于信道傳送的設(shè)備；組成部分：信源編碼器、糾錯編碼器、調(diào)制器；信源編碼器：對信源輸出的消息進行變換提高傳輸有效性——第五章、第七章糾錯編碼器：對信源編碼器輸出的消息進行變換提高傳輸可靠性——第六章、(第九章)＊提高有效性和可靠性是通信系統(tǒng)的根本問題調(diào)制器：將糾錯編碼器輸出的消息變換成適于信道傳輸?shù)男盘?。一、緒論③、信道：定義：將信號從發(fā)端傳到收端的媒質(zhì)或通道；信道種類：電話線、電纜、光纖、電波等。信道的主要研究內(nèi)容——第四章＊數(shù)學(xué)模型：簡單、擴展、組合信道＊平均互信息＊級聯(lián)信道的信息不可增加性＊信道容量一、緒論④、干擾源：定義：系統(tǒng)所有噪聲和干擾等效成信道干擾；干擾種類：加性干擾、乘性干擾；加性干擾：與信道輸入統(tǒng)計無關(guān)如內(nèi)部噪聲等；＊輸出信號是輸入信號與加性干擾相加的結(jié)果。乘性干擾：與信道輸入信號大小或特性有關(guān)如放大器放大倍數(shù)受溫度影響；＊輸出信號是輸入信號與乘性干擾相乘的結(jié)果。一、緒論⑤、譯碼器：定義：從信道輸出的受到干擾的信號中最大限度提取信源輸出消息的信息；＊如果沒有干擾——信息無損失(如無失真信源編碼)＊如果存在干擾——信息有損失(如限失真信源編碼、有噪信道編碼)組成部分：信源譯碼器——第五章信道譯碼器——第六章⑥、信宿：信息傳送過程中的接收者，即接收信息的人或物。一、緒論1.3信息論信息論：應(yīng)用數(shù)理統(tǒng)計的方法研究信息(概率信息)的傳輸、存儲和處理的一門學(xué)科。分為經(jīng)典信息論、工程信息論、廣義信息論(信息科學(xué))。1、經(jīng)典信息論又稱為數(shù)學(xué)信息論、狹義信息論、近代信息論、香農(nóng)信息論。創(chuàng)始人：美國工程師C.E.Shannon（香農(nóng)）。1948年，《AMathematicalTheoryofCommunication》一、緒論經(jīng)典信息論主要研究通信系統(tǒng)中的數(shù)學(xué)規(guī)律。主要研究內(nèi)容：①、定量描述信源與信息量；②、信道與信道容量；③、信源與信道間的統(tǒng)計匹配；④、信源與信道的編碼定理。一、緒論2、工程信息論（又稱一般信息論）主要研究通信系統(tǒng)及系統(tǒng)中設(shè)備的最佳工作規(guī)律和最佳設(shè)計的一門科學(xué)。研究內(nèi)容涉及：①、信源編碼理論與方法；②、信道編碼理論與方法；③、信號檢測、估計理論與方法；④、保密學(xué)；⑤、通信網(wǎng)等。＊部件最優(yōu)，放在一起，系統(tǒng)不一定最優(yōu)。一、緒論3、廣義信息論（又稱信息科學(xué)）上世紀70年代后，VLSI、VHSI和計算機廣泛使用，信息存貯、處理能力不斷提高，現(xiàn)代信息的研究突破香農(nóng)信息論的框框，建立了更一般性的廣義信息論，稱為信息科學(xué)。研究內(nèi)容涉及：①、經(jīng)典信息論和工程信息論的內(nèi)容；②、模式識別；③、計算機翻譯；④、神經(jīng)網(wǎng)絡(luò)；⑤、心理學(xué)；⑥、遺傳學(xué)；⑦、語言學(xué)；⑧、語義學(xué)等。一、緒論1.4香農(nóng)信息論研究的問題1、信息的含義和度量概率信息：概率和不確定性的關(guān)系信息量：事件的不確定性大小2、信源信源：具有先驗概率的隨機變量和隨機過程熵：信源平均不確定性的度量

一、緒論一、緒論3、無失真信源編碼定理——有效性的極限信源編碼后的序列的傳輸速率不小于信源熵可以實現(xiàn)無失真信源編碼。例如：英文字母加空格27個符號信源熵1.4Bit/S。二元符號傳輸：不編碼需要5Bits，即每個符號需要5個二元符號表示；信源編碼后平均需要1.4Bits。一、緒論4、有噪信道編碼定理——可靠性的極限信息傳輸速率小于信道容量，存在編碼方法可以實現(xiàn)傳輸差錯任意小。例如：1個帶寬3kHz系統(tǒng)傳輸二元符號。直接傳輸?shù)淖畲髠鬏斔俾剩?kbps信道編碼的最大傳輸速率：在26dB信噪比下達到25.6kbps信噪比無限大時最大傳輸速率也無限大(超導(dǎo))一、緒論5、信息率失真理論——限失真信息壓縮的極限信息率失真函數(shù)是滿足失真度準則編碼最小的平均碼長。例如：等概率16個符號離散信源，二元編碼。無失真信源編碼：平均碼長4Bits/S；限失真信源編碼：平均失真不大于1/2，如果采用前7個分別編碼，后9個編成1個碼字傳輸，平均碼長2.25Bits/S；而理論最小碼長1.05Bit/S。一、緒論6、香農(nóng)信息論特點①.數(shù)學(xué)工具：概率論、隨機過程；②.前提條件：概率信息(不確定性大小)，信源由隨機變量或隨機過程描述；③.理論極限：通信系統(tǒng)最優(yōu)性能及如何達到最優(yōu)性能(不具體設(shè)計系統(tǒng))；④.關(guān)注總體：研究通信系統(tǒng)整個過程總體性能，而不是單個環(huán)節(jié)。一、緒論1.5香農(nóng)簡介和主要工作1916年4月30日生于美國密執(zhí)安州的一個小城鎮(zhèn)；1932年進入密執(zhí)安大學(xué)；1936年獲電氣工程和數(shù)學(xué)學(xué)士學(xué)位；1936年MIT任研究助理及MIT電氣工程系研究生，1937年碩士論文《繼電器和開關(guān)電路的符號分析》，首次提出了可用于設(shè)計和分析邏輯電路的系統(tǒng)方法，獲1940年諾貝爾優(yōu)秀論文獎；