信息與編碼理論 第2版 課件 1.2 信息論的研究對象、目的和內(nèi)容

1.2 信息論的研究對象、目的和內(nèi)容1.信息論研究的主要問題狹義信息論：又稱香農(nóng)信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論一般信息論狹義信息論

1.信息論研究的主要問題1）什么是信息？如何度量信息？2）怎樣確定信源輸出信息的速率？3）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？1.信息論研究的主要問題4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？

香農(nóng)第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。1.信息論研究的主要問題5）在有噪聲信道中，有沒有可能實(shí)現(xiàn)幾乎無差錯的傳輸信息？

香農(nóng)第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長時傳輸差錯任意??；否則，不存在使差錯任意小的信道編碼方式。1.信息論研究的主要問題6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？

香農(nóng)第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。

信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志:香農(nóng)于1948年發(fā)表的論文：

——AMathematicalTheoryofCommunication（通信的數(shù)學(xué)理論）2.什么是信息論2.什么是信息論以概率論、隨機(jī)過程為基本研究工具。研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點(diǎn)。關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個性能（并不具體設(shè)計系統(tǒng)）。要求信源為隨機(jī)過程，不研究信宿。信息論的特點(diǎn)信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用2.信息論的應(yīng)用（續(xù)1）

通信的基本問題是在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關(guān)，而重要的方面是實(shí)際消息是從一個可能的消息集合中選擇出的一條消息。

————

香農(nóng)2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語音信號壓縮（G.711,GSM,Vocoder…）計算機(jī)文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）語音信號的壓縮語音信號一直是通信網(wǎng)中傳輸?shù)闹饕獙ο?。自從通信網(wǎng)數(shù)字化以來，壓縮語音信號的編碼速率就成為通信中的一個重要問題。語音編碼速率進(jìn)展：1972年CCITTG.711標(biāo)準(zhǔn)64kbit/s1992年16kbit/s；1988年歐洲移動通信GSM標(biāo)準(zhǔn)13.2kbit/s；1989美國CTIA標(biāo)準(zhǔn)速率7.95kbit/s。目前在實(shí)驗(yàn)室中已經(jīng)實(shí)現(xiàn)了600bit/s的低速率語音編碼。圖像信號的壓縮圖像信號的信息量特別巨大，這對圖像信號的傳輸及存儲都帶來了巨大的不便。20世紀(jì)80年代圖像壓縮逐步進(jìn)入建立標(biāo)準(zhǔn)階段。1989年CCITT提出電視電話/會議電視的壓縮標(biāo)準(zhǔn)H.261，其壓縮比達(dá)到25:1到48:1；1991年“多灰度靜止圖像壓縮編碼