通信系統(tǒng)模型課件

1、第一章第一章 引論引論1感謝你的觀看2019年5月8日課程概況課程概況l目的目的：l了解學(xué)習(xí)信息論的作用、方法與意義作用、方法與意義，對(duì)信息論的研究方法和成果研究方法和成果有廣泛的基本認(rèn)識(shí)，學(xué)會(huì)應(yīng)用應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)l特點(diǎn)特點(diǎn)：l以信息理論信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”l以概念和物理意義為主l結(jié)合通信系統(tǒng)實(shí)際應(yīng)用應(yīng)用2感謝你的觀看2019年5月8日參考書目參考書目Cover, Elements of Information TheoryMcElice, The Theory of Information &Coding Proakis, Digital Com

2、munication 林舒，差錯(cuò)控制編碼，第二版3感謝你的觀看2019年5月8日其它有關(guān)事項(xiàng)其它有關(guān)事項(xiàng)l講課:（概念、方法）l自學(xué):（數(shù)學(xué)推導(dǎo)、定理證明）l考試：基本概念，基本計(jì)算。l微課：分組進(jìn)行微課制作，上傳至網(wǎng)絡(luò)，評(píng)分l聯(lián)系方式：l歡迎提出各種問題、意見和建議4感謝你的觀看2019年5月8日第一章第一章 引論引論l1.1 通信系統(tǒng)模型l1.2 信息論研究的中心問題及發(fā)展5感謝你的觀看2019年5月8日1.1 通信系統(tǒng)模型通信系統(tǒng)模型6感謝你的觀看2019年5月8日通信系統(tǒng)模型通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7感謝你的觀看2019年5月8日通信系統(tǒng)模型進(jìn)一步細(xì)分通信系統(tǒng)模型進(jìn)一

3、步細(xì)分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器8感謝你的觀看2019年5月8日各部件功能各部件功能l信源l產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。l研究的主要問題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率l編碼器l信源編碼器：對(duì)信源輸出進(jìn)行變換，求得有效性l信道編碼器：對(duì)信源編碼輸出變換，提高抗干擾性l調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?感謝你的觀看2019年5月8日各部件功能各部件功能l信道l信號(hào)從發(fā)端傳到接收端的介質(zhì)l干擾源l系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線

4、性失真，加性噪聲，主要是統(tǒng)計(jì)特性l信道的中心問題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量信道容量10感謝你的觀看2019年5月8日各部件功能各部件功能l譯碼器l編碼器的逆變換l中心問題是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法l信宿l信息的接收者11感謝你的觀看2019年5月8日信息、信息科學(xué)與信息論什么是信息？InformInforminformationinformation“某人被通知或告知的內(nèi)容、情報(bào)、消息” 牛津英文字典廣義的信息信息的形式、內(nèi)容最廣泛意義 技術(shù)術(shù)語(yǔ)的信息表達(dá)信息所用的形式或載體具體但無(wú)確切定義統(tǒng)計(jì)信息信息表達(dá)形式中統(tǒng)計(jì)方面的性質(zhì)明確定義的科學(xué)名詞 與內(nèi)容無(wú)關(guān)、獨(dú)立于形式12

5、感謝你的觀看2019年5月8日信息、信息科學(xué)與信息論IT -IT -計(jì)算機(jī)所涉及的各種各樣的技術(shù)計(jì)算機(jī)所涉及的各種各樣的技術(shù) 優(yōu)點(diǎn)：籠統(tǒng)、不明確 適應(yīng)種類繁多、不斷發(fā)展 統(tǒng)一的、全面的、高層次的 什么是信息技術(shù)？13感謝你的觀看2019年5月8日信息、信息科學(xué)與信息論l出現(xiàn)于圖書館學(xué)研究圖書文獻(xiàn)的檢索l計(jì)算機(jī)出現(xiàn)后新的含義l不同國(guó)家含義不盡相同l發(fā)展和長(zhǎng)遠(yuǎn)的觀點(diǎn)能與信息技術(shù)相對(duì)應(yīng)的基礎(chǔ)科學(xué)什么是信息科學(xué)？14感謝你的觀看2019年5月8日信息、信息科學(xué)與信息論信息論統(tǒng)計(jì)信息理論 四十年代末期C.E.Shannon，以客觀概率信息為研究對(duì)象，從通信的信息傳輸問題中總結(jié)和開拓出來(lái)的理論。統(tǒng)計(jì)信息理

6、論局限性不能解決一些問題 如：人工智能中啟發(fā)式 搜索和學(xué)習(xí)發(fā)展的觀點(diǎn)信息科學(xué)所不可缺少的理論 基石什么是信息理論？15感謝你的觀看2019年5月8日信息、信息科學(xué)與信息論在中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)信號(hào)、消消息息、信息信息。信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。消息：是信息的載體，相對(duì)具體的概念，如語(yǔ)言，文字，數(shù)字，圖像信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次?？梢远康拿枋?。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)

7、系。通信中的信息含義？16感謝你的觀看2019年5月8日1.2 信息論研究的中心問信息論研究的中心問題和發(fā)展題和發(fā)展17感謝你的觀看2019年5月8日Shannon信息論的基本任務(wù)信息論的基本任務(wù)l1948年shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論基礎(chǔ)l基本任務(wù)是設(shè)計(jì)有效而可靠的通信系統(tǒng)l可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端l有效是用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定量的消息18感謝你的觀看2019年5月8日信息論的研究?jī)?nèi)容信息論的研究?jī)?nèi)容l狹義信息論（經(jīng)典信息論）l研究信息測(cè)度，信道容量以及信源和信道編碼理論l一般信息論l研究信息傳輸和處

8、理問題，除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論l廣義信息論l除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)19感謝你的觀看2019年5月8日信息論的研究?jī)?nèi)容信息論的研究?jī)?nèi)容統(tǒng)計(jì)信息論Shannon信息論本課程的主要內(nèi)容主要研究通信系統(tǒng)的數(shù)學(xué)描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學(xué)上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學(xué)信息論。研究?jī)?nèi)容研究?jī)?nèi)容：1) 信源的描述，信息的定量度量、分析與計(jì)算。2) 信道的描述，信道傳輸?shù)亩慷攘?、分?/p>

9、與計(jì)算。3） 信源、信道與通信系統(tǒng)之間的統(tǒng)計(jì)匹配，以及通信系統(tǒng)的優(yōu)化。 Shannon的三個(gè)編碼定理。信息論誕生五十年來(lái)，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新新通信體制的源泉。20感謝你的觀看2019年5月8日信息論的研究?jī)?nèi)容信息論的研究?jī)?nèi)容工程信息論 以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，它以構(gòu)造性為主體，以工程上技術(shù)問題為主。研究?jī)?nèi)容主要包括：l信源編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；l信道編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；l最佳調(diào)制與解調(diào)理論與實(shí)現(xiàn)；l最佳檢測(cè)、估值與最佳接收理論與實(shí)現(xiàn)；l檢測(cè)、估值、濾波理論l最佳信息處理理論、方法與算法；l均衡、模式識(shí)別

10、、人工智能、隨機(jī)控制l21感謝你的觀看2019年5月8日狹義信息論體系結(jié)構(gòu)狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無(wú)失真編碼等長(zhǎng)編碼定理Shannon1948McMillan1953變長(zhǎng)編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼22感謝你的觀看2019年5月8日信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史l電磁理論和電子學(xué)理論對(duì)通信理論技術(shù)發(fā)展起重要的促

11、進(jìn)作用l18201830年，法拉第發(fā)現(xiàn)電磁感應(yīng)l莫爾斯18321835建立電報(bào)系統(tǒng)。1876年Bell發(fā)明電話l1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論l1895年馬可尼發(fā)明了無(wú)線電通信l微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)l激光技術(shù)使通信進(jìn)入光通信時(shí)代23感謝你的觀看2019年5月8日信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史l1832年莫爾斯電碼對(duì)shannon編碼理論的啟發(fā)l1885年凱爾文研究了一條電纜的極限傳信速率l1922年卡遜對(duì)調(diào)幅信號(hào)的頻譜結(jié)構(gòu)進(jìn)行研究l1924年奈奎斯特證明了信號(hào)傳輸速率和帶寬成正比l1928年Hartley提出信息量定義為可能消息量的對(duì)數(shù)l1939年D

12、udley發(fā)明聲碼器l1940維納將隨機(jī)過程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)24感謝你的觀看2019年5月8日信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史Claude. E. Shannon的兩篇論文 Shannon 信息論 l1948年-信息時(shí)代的里程碑!“A Mathematical Theory in Communication”Shannon第一、二定理 l1959年“Coding theorems for a discrete source with a fidelity criterion”. Shannon第三定理25感謝你的觀看2019年5月8日信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史l1952年Fano證明

13、了Fano不等式，給出了shannon信道編碼逆定理的證明l1957，Wolfowitz，1961 Fano，1968Gallager給出信道編碼定理的簡(jiǎn)介證明并描述了碼率，碼長(zhǎng)和錯(cuò)誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法l1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976 Rissanen算術(shù)編碼，1977，78 Ziv和Lempel的LZ算法26感謝你的觀看2019年5月8日信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史l1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技

14、術(shù)，1993年Turbo編譯碼技術(shù)l1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理l1961年，Shannon的“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究，目前是非?；钴S的研究領(lǐng)域。27感謝你的觀看2019年5月8日信源編碼信源編碼l1948年以后，信源編碼l Huffman, Fano Code (1950); l波形編碼：PCM, DM, DPCM; l語(yǔ)音參量編碼; l圖象編碼：DCT, 幀間預(yù)測(cè)插值, 運(yùn)動(dòng)補(bǔ)償 l數(shù)據(jù)壓縮編碼 l語(yǔ)音編碼標(biāo)準(zhǔn) l圖象編碼標(biāo)準(zhǔn)28感謝你的觀看2019年5月8日信息論發(fā)展簡(jiǎn)史與現(xiàn)狀信息論發(fā)展簡(jiǎn)史與現(xiàn)狀信息論方法的應(yīng)用及其取得的成果信息論方法的應(yīng)用

15、及其取得的成果l語(yǔ)音信號(hào)壓縮：64Kbps-100bps-(極限）l降低信息傳輸所需的功率-3-2-1012345678910111210-610-510-410-310-210-1誤碼率pb信噪比Eb/N0(dB)shanno限僅內(nèi)碼（4，1，15）未編碼僅內(nèi)碼（2，1，7）碼級(jí)連級(jí)連29感謝你的觀看2019年5月8日Claude E. Shannonl著名信息論和編碼學(xué)者 Dr. Richard Blahut 在 Shannon塑像的落成典 禮上這樣評(píng)價(jià)Shannon： 在我看來(lái)，兩三百年之后，當(dāng)人們回過頭來(lái)看我們?cè)谖铱磥?lái)，兩三百年之后，當(dāng)人們回過頭來(lái)看我們這個(gè)時(shí)代的時(shí)候，他們可能不會(huì)記得誰(shuí)曾是美國(guó)總統(tǒng)，這個(gè)時(shí)代的時(shí)候，他們可能不會(huì)記得誰(shuí)曾是美國(guó)總統(tǒng)，他們也不會(huì)記得誰(shuí)曾是影星或搖滾歌星，但是仍然會(huì)他們也不