信息論與編碼理論基礎(chǔ)(第一章)課件

*1信息論根底*2教材王育民、李暉，信息論與編碼理論〔第2版〕，高等教育出版社，2023.參考書(shū)*3ThomasM.Cover,JoyA.Thomas,ElementsofInformationTheory，2nded,WILEYPress,2023.阮吉壽張華譯信息論根底，機(jī)械工業(yè)出版社，2023.傅祖蕓，信息論與編碼學(xué)習(xí)輔導(dǎo)及習(xí)題詳解，電子工業(yè)出版社，2023.傅祖蕓,信息論—根底理論與應(yīng)用，電子工業(yè)出版社，2023.沈世鎰等，信息論與編碼理論，科學(xué)出版社，2023.姜丹，信息論與編碼，中國(guó)科學(xué)技術(shù)大學(xué)出版社，2023.*4信息是什么？Wiener(維納)：“信息既不是物質(zhì)，也不是能量，信息就是信息”。物質(zhì)和能量是客觀存在的、有形的，信息是抽象的、無(wú)形的。物質(zhì)和能量是系統(tǒng)的“軀體”，信息則系統(tǒng)的“靈魂”。信息要借助于物質(zhì)和能量才能產(chǎn)生、傳輸、存儲(chǔ)、處理和感知；物質(zhì)和能量要借助于信息來(lái)表述和掌握。*5*6信息〔英語(yǔ)：Information〕，是一個(gè)高度概括抽象概念，很難用統(tǒng)一的文字對(duì)其進(jìn)展定義[1]，這是由于其具體表現(xiàn)形式的多樣性造成的。信息是一個(gè)進(jìn)展中的動(dòng)態(tài)范疇，它隨人類(lèi)社會(huì)的演化而相應(yīng)的擴(kuò)大或收縮，總的來(lái)看從過(guò)去到現(xiàn)在信息所涵蓋的范圍是不斷擴(kuò)大的，可以斷定隨人類(lèi)社會(huì)的進(jìn)展信息范疇將進(jìn)一步擴(kuò)大。作為一個(gè)嚴(yán)謹(jǐn)?shù)目茖W(xué)術(shù)語(yǔ)，信息的定義卻不存在一個(gè)統(tǒng)一的觀點(diǎn)，這是由它的極端簡(jiǎn)單性打算的。信息的表現(xiàn)形式數(shù)不勝數(shù)：聲音、圖片、溫度、體積、顏色……信息的分類(lèi)也不計(jì)其數(shù)：電子信息、財(cái)經(jīng)信息、天氣信息、生物信息……。信息可以削減不確定性。大事的不確定性是以其發(fā)生氣率來(lái)量測(cè)，發(fā)生氣率越高，不確定性越低，大事的不確定性越高，越需要額外的信息削減其不確定性。例如投擲一個(gè)公正的硬幣，其信息為-log2(1/2)=1bit，投擲兩個(gè)公正的硬幣，其信息為-log2(1/4)=2bits。在熱力學(xué)中，信息是指任何會(huì)影響系統(tǒng)的熱力學(xué)狀態(tài)的大事。*7信息的度量信息可以被感知，但是不是全部的信息都可以定量計(jì)數(shù)，因此，我們要區(qū)分信息和信息量。從數(shù)學(xué)上來(lái)說(shuō)，關(guān)于信息量的定義，或許有100多種。假設(shè)將信息提升到科學(xué)進(jìn)展?fàn)幷?，必需要?duì)信息進(jìn)展定量，給出信息的科學(xué)測(cè)度，但是這并不是一件很簡(jiǎn)潔的事情。*8信息與信息量信息是多樣的，客觀事物是多種多樣的、五花八門(mén)的，事物的狀態(tài)和變化是多姿多彩、變幻無(wú)窮的，屬性不同就消失了不同的信息，需要給出不同的信息定義，從而可創(chuàng)立不同的信息理論。比方說(shuō)信息的不確定性，引出了概率信息，這是我們講的最多的。再如信息的模糊性，引出了模糊信息和模糊信息論，這個(gè)在70年月末提出來(lái)的。還如信息的量子屬性，引出了量子信息和量子信息論。*9信息與信息量信息的簡(jiǎn)單性引出了信息的簡(jiǎn)單度和簡(jiǎn)單度的信息理論，信息的感知屬性引出了感知信息和感知信息理論，信息的美學(xué)屬性引出美學(xué)信息和美學(xué)信息理論等等。現(xiàn)在有五花八門(mén)的信息理論，已經(jīng)提出了各式各樣的信息理論，而且得到了眾多不同的結(jié)果，都宣稱(chēng)取得了成功。動(dòng)態(tài)信息論、定性信息論、經(jīng)濟(jì)信息論、算法信息論、模糊信息論、量子信息論等等，還有信息生態(tài)學(xué)、信息代數(shù)、信息幾何等，信息物理學(xué)、信息生物學(xué)等。*10信息與信息量信息量度定義的困難性，在眾多信息中，只有少數(shù)的信息有了量，大多數(shù)的信息是可以感知的，但是無(wú)法度量，由于沒(méi)有找到適宜的信息量的定義，就建不起來(lái)一套理論。比方說(shuō)對(duì)情感信息中的喜怒哀樂(lè)，都可以感知，但是我們很難度量它們，只能用一些比較模糊的形容詞，描述不同程度的感情?！澳銌?wèn)我對(duì)你的愛(ài)有多深，我愛(ài)你有幾分，你去想一想，你去看一看，月亮代表我的心?！蔽覀冞€不能準(zhǔn)確地給出“這份愛(ài)”有多少“比特”，“那份愛(ài)”比“這份愛(ài)”又多多少“比特”。對(duì)于美學(xué)信息也是如此。*11信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設(shè)想，他將消息數(shù)的對(duì)數(shù)定義為信息量。假設(shè)信源有m種消息，且每個(gè)消息是以相等可能產(chǎn)生的，則該信源的信息量可表示為I=logm。但對(duì)信息量作深入而系統(tǒng)爭(zhēng)論，還是從1948年C.E.仙農(nóng)的奠基性工作開(kāi)頭的。在信息論中，認(rèn)為信源輸出的消息是隨機(jī)的。即在未收到消息之前，是不能確定信源究竟發(fā)送什么樣的消息。而通信的目的也就是要使接收者在接收到消息后，盡可能多的解除接收者對(duì)信源所存在的疑義〔不定度〕，因此這個(gè)被解除的不定度實(shí)際上就是在通信中所要傳送的信息量。*12信息與信息量由于客觀信息的多樣性，要想給出一個(gè)能夠包羅萬(wàn)象的統(tǒng)肯定義，在此根底上建立起一套信息理論幾乎是不大可能的。香濃(Shannon)信息論：1948年發(fā)表《通信的數(shù)學(xué)理論》，創(chuàng)立了信息論，建立了通信系統(tǒng)的模型，用概率和統(tǒng)計(jì)觀點(diǎn)描述信息，包括信源、信道、干擾等，給出了不確定的信息量度，指出了客觀有效、牢靠的信息通信之路，宣告了一門(mén)學(xué)科信息論的誕生，成為通信領(lǐng)域技術(shù)革命的思想或者理論根底。*13信息與信息量1948年發(fā)表的《通信的數(shù)學(xué)理論》文章，這是一篇20世紀(jì)少有的幾篇對(duì)科學(xué)和工程，乃至對(duì)人類(lèi)社會(huì)進(jìn)展產(chǎn)生了重要影響著作，是可與牛頓力學(xué)相媲美的不朽之作，也是他最重要的科學(xué)奉獻(xiàn)。這使他成為信息論之父，時(shí)年僅32歲。作為數(shù)學(xué)家，他為數(shù)學(xué)開(kāi)拓了一個(gè)工程應(yīng)用的新領(lǐng)域。這篇文章雖然在1947年完成，但至今仍舊閃爍著才智的光線，它將照射人類(lèi)今后的數(shù)個(gè)世紀(jì)。*14*15第一章：引論〔簡(jiǎn)介〕一、通信系統(tǒng)模型二、Shannon信息論的中心問(wèn)題三、Shannon信息的概念四、概率復(fù)習(xí)內(nèi)容*16一、通信系統(tǒng)模型信源、信道、信宿信源是消息的來(lái)源，信道是消息傳送媒介，信宿是消息的目的地。信源編碼器信道譯碼器信宿干擾源*17通信系統(tǒng)模型進(jìn)一步細(xì)分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器*18各部件功能信源產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。爭(zhēng)論的主要問(wèn)題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率編碼器信源編碼器：對(duì)信源輸出進(jìn)展變換，求得有效性信道編碼器：對(duì)信源編碼輸出變換，提高抗干擾性調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?19各部件功能信道信號(hào)從發(fā)端傳到收端的介質(zhì)信道的中心問(wèn)題是爭(zhēng)論信道的統(tǒng)計(jì)特性和傳信力量，即信道容量干擾源系統(tǒng)各局部引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計(jì)特性加性干擾和乘性干擾*20各部件功能譯碼器編碼器的逆變換中心問(wèn)題是爭(zhēng)論各種可實(shí)現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者*21信息、消息和信號(hào)信息一個(gè)抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素消息是信息的載體，相對(duì)具體的概念，如語(yǔ)言，文字，數(shù)字，圖像信號(hào)表示消息的物理量，電信號(hào)的幅度，頻率，相位等等音信消息*22南唐李中《暮春懷故人》詩(shī)：

“夢(mèng)斷美人沉信息，目穿長(zhǎng)路倚樓臺(tái)?！彼侮惲痢睹坊ā吩?shī)：

“欲傳春信息，不怕雪埋藏?！薄端疂G傳》第四四回：

宋江大喜，說(shuō)道：“只有賢弟去得快，旬日便知信息。”巴金《家》

三一：“二表哥的事情怎樣了？為什么連信息也不給我一個(gè)？”*23二、Shannon信息論的中心問(wèn)題“信息論”，又稱(chēng)為“通信的數(shù)學(xué)理論”，是爭(zhēng)論信息的傳輸、存儲(chǔ)、處理的科學(xué)。1948年Shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論根底信息論的中心問(wèn)題：為設(shè)計(jì)有效而牢靠的通信系統(tǒng)供給理論依據(jù)。中心問(wèn)題*24具體地說(shuō)，就是信源編碼和信道編碼。問(wèn)題一：信源消息常常不能夠完全發(fā)送?！卜駝t發(fā)送量巨大，比方：信源消息是一片無(wú)盡的天空。因此優(yōu)先撿有用的發(fā)送。什么是有用的？就是信息量大的。什么是信息量大的？〕問(wèn)題二：信道因干擾而消失過(guò)失，必需進(jìn)展檢錯(cuò)和糾錯(cuò)?！卜駝t所收到的消息無(wú)法識(shí)別?！?25香農(nóng)信息論的根本任務(wù)根本任務(wù)是設(shè)計(jì)有效而牢靠的通信系統(tǒng)牢靠是要使信源發(fā)出的消息經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端有效是用完可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸肯定量的消息*26信源編碼問(wèn)題信源編碼器的作用是依據(jù)失真度準(zhǔn)則對(duì)信源進(jìn)展劃分，給每一類(lèi)以不同的表示，即碼字。信源譯碼器的任務(wù)是依據(jù)收到的信源表示恢復(fù)出信源所屬的類(lèi)。*27信源編碼問(wèn)題在給定信源和失真度條件下，要多大信息速率才行？或?qū)o定信源保存肯定的信息速率下，可以到達(dá)的最小失真是多少？——信源編碼問(wèn)題，即通信“可行性”爭(zhēng)論。如何實(shí)現(xiàn)上述理論——找出實(shí)際可行的信源編碼和譯碼方法。*28信道編碼問(wèn)題爭(zhēng)論在保證信息傳輸牢靠性的條件下最有效地利用信道的傳信力量的。設(shè)送入信道的信息速率為R，信道容量為C，信道編碼根本理論告知我們：假設(shè)R<C，則可以將速率為R的信息以任意高的牢靠性送至接收端。假設(shè)R>C，則不行能。查找實(shí)際可行的編、譯碼方法。*29香農(nóng)信息論特點(diǎn)將概率統(tǒng)計(jì)的觀點(diǎn)和方法引入到通信理論爭(zhēng)論中，提醒了通信系統(tǒng)中傳送的對(duì)象是信息，并對(duì)信息給出科學(xué)的、定量的描述，指出通信系統(tǒng)設(shè)計(jì)的中心問(wèn)題是在隨機(jī)噪聲干擾下如何有效而牢靠地傳送信息，實(shí)現(xiàn)這一目標(biāo)的途徑是編碼〔信源編碼和信道編碼〕，并且從理論上證明白可以到達(dá)的最正確性能限。*30類(lèi)比對(duì)于Shannon信息論，可將通信問(wèn)題與一般的運(yùn)輸問(wèn)題做類(lèi)比。前者是傳送信息，后者是傳送貨物。傳送貨物有貨源和運(yùn)輸通道，而貨源和運(yùn)輸通道又有貨源的體積〔或噸位〕和運(yùn)輸通道的容量。當(dāng)運(yùn)輸通道的容量大于貨源的體積〔噸位〕時(shí)，就能實(shí)現(xiàn)貨物的正常運(yùn)輸。信源和信道編碼理論則是解決信息的傳輸問(wèn)題?？梢酝ㄟ^(guò)信息的度量來(lái)確定信息量〔可形象地稱(chēng)為信號(hào)體積〕和信道容量。當(dāng)信道容量大于信息體積時(shí)，就能實(shí)現(xiàn)信息的正確傳輸。*31信息論的爭(zhēng)論內(nèi)容狹義信息論〔經(jīng)典信息論〕爭(zhēng)論信息測(cè)度，信道容量以及信源和信道編碼理論一般信息論爭(zhēng)論信息傳輸和處理問(wèn)題，除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和猜測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)*32狹義信息論體系構(gòu)造Shannon信息論壓縮理論有失真編碼無(wú)失真編碼等長(zhǎng)編碼定理Shannon1948McMillan1953變長(zhǎng)編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最正確碼*33信息論進(jìn)展簡(jiǎn)史電磁理論和電子學(xué)理論對(duì)通信理論技術(shù)進(jìn)展起重要的促進(jìn)作用1820－1830年，法拉第覺(jué)察電磁感應(yīng)莫爾斯1832－1835建立電報(bào)系統(tǒng)。1876年Bell制造1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論1895年馬可尼制造了無(wú)線電通信微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時(shí)代量子力學(xué)使通信進(jìn)入量子通信領(lǐng)域*34信息論進(jìn)展簡(jiǎn)史1832年莫爾斯電碼對(duì)shannon編碼理論的啟發(fā)1885年凱爾文爭(zhēng)論了一條電纜的極限傳信速率1922年卡遜對(duì)調(diào)幅信號(hào)的頻譜構(gòu)造進(jìn)展?fàn)幷?924年奈奎斯特證明白信號(hào)傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對(duì)數(shù)1939年Dudley制造聲碼器1940維納將隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)引入通信與掌握系統(tǒng)*35信息論進(jìn)展簡(jiǎn)史1948年shannon信息論奠基1952年Fano證明白Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡(jiǎn)介證明并描述了碼率，碼長(zhǎng)和錯(cuò)誤概率的關(guān)系，1972年Arimoto和Blahut制造了信道容量的迭代算法1956McMillan證明白Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法*36信息論進(jìn)展簡(jiǎn)史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)，1999年LDPC編碼技術(shù)。1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開(kāi)拓了網(wǎng)絡(luò)信息論的爭(zhēng)論，目前是特別活潑的爭(zhēng)論領(lǐng)域。*37三、Shannon信息的概念〔直觀地生疏Shannon信息和信息量，而臨時(shí)不使用定義〕第一個(gè)重要概念：信道上傳送的是隨機(jī)變量的值。這就是說(shuō)：〔1〕我們?cè)谑盏较⒅?，并不知道將要收到的是什么消息。否則消息是沒(méi)有必要發(fā)送的?！?〕我們?cè)谑盏较⒅埃缹⒁盏降目赡苁悄男┫?，以及收到每個(gè)消息的可能性大小。換句話說(shuō)，消息隨機(jī)變量有一個(gè)的概率分布?！?〕消息隨機(jī)變量的一個(gè)可能取值就稱(chēng)為一個(gè)大事。*38三、Shannon信息的概念其次個(gè)重要概念：大事的信息量。大事發(fā)生的概率越小，此大事含有的信息量就越大?！仓庇^含義：越是不太可能發(fā)生的大事竟然發(fā)生了，越是令人震驚〕例大事A=“中國(guó)足球隊(duì)3：0力克韓國(guó)足球隊(duì)”，則大事A含有的信息量大。〔小概率大事發(fā)生了，大事信息量大〕例大事B=“中國(guó)足球隊(duì)0：1負(fù)于韓國(guó)足球隊(duì)”，則大事B含有的信息量小。〔或許率大事發(fā)生了，大事信息量小〕*39三、Shannon信息的概念第三個(gè)重要概念：消息隨機(jī)變量的信息量。消息隨機(jī)變量的隨機(jī)性越大，此消息隨機(jī)變量含有的信息量就越大。〔直觀含義：這種信息量的大小代表了不行預(yù)見(jiàn)性的大小〕例消息隨機(jī)變量X=“中國(guó)足球隊(duì)與韓國(guó)足球隊(duì)競(jìng)賽的結(jié)果”，則消息隨機(jī)變量X含有的信息量小?！搽S機(jī)性小，可預(yù)見(jiàn)性大，因此該消息隨機(jī)變量含有的信息量小。〕例消息隨機(jī)變量Y=“意大利足球隊(duì)與德國(guó)足球隊(duì)競(jìng)賽的結(jié)果”，則消息隨機(jī)變量Y含有的信息量大。〔隨機(jī)性大，可預(yù)見(jiàn)性小，因此該消息隨機(jī)變量含有的信息量大。〕*40三、Shannon信息的概念第四個(gè)重要概念：兩個(gè)大事的互信息量。兩個(gè)大事越是相互確定，它們的互信息量就越大。兩個(gè)大事越是相互否認(rèn)，它們的互信息量就越小。假設(shè)兩個(gè)大事既不相互確定，也不相互否認(rèn)，它們的互信息量就為0?！仓庇^含義：這種信息量的大小代表了相互確定性的大小〕例A=西安明日有雨,B=咸陽(yáng)明日有雨，BC=咸陽(yáng)明日無(wú)雨，C=北京明日有雨，D=紐約明日有雨。則A與B互信息量大，A與C互信息量小得多，A與D互信息量幾乎為0，A與BC互信息量小。*41三、Shannon信息的概念第五個(gè)重要概念：兩個(gè)消息隨機(jī)變量的互信息量。兩個(gè)消息隨機(jī)變量的相互關(guān)性越大，它們的互信息量就越大?！仓庇^含義：這種信息量的大小代表了相互依靠性的大小〕例X=西安明日平均氣溫,Y=咸陽(yáng)明日平均氣溫，Z=北京明日平均氣溫，W=紐約明日平均氣溫。則X與Y互信息量大，X與Z互信息量小得多，X與W互信息量幾乎為0。*42四、概率復(fù)習(xí)內(nèi)容記號(hào)P(A)表示大事A發(fā)生的概率。P(A|B)表示在大事B發(fā)生的條件下，大事A發(fā)生的條件概率。EX表示隨機(jī)變量X的數(shù)學(xué)期望。離散型隨機(jī)變量離散型隨機(jī)變量X的全部大事為{x1,x2,…,xK}，對(duì)應(yīng)的概率為P(X=xk)=qk，k=1,2,…,K。通常將此隨機(jī)變量記為{X,xk,qk,k=1~K}。又X的分布列〔分布矩陣〕記為：*43四、概率復(fù)習(xí)內(nèi)容另一個(gè)離散型隨機(jī)變量Y的全部大事為{y1,y2,…,yJ}，對(duì)應(yīng)的概率為P(Y=yj)=wj，j=1,2,…,J。通常將此隨機(jī)變量記為{Y,yj,wj,j=1~J}。又Y的分布列〔分布矩陣〕記為：*44四、概率復(fù)習(xí)內(nèi)容兩個(gè)離散型隨機(jī)變量X與Y聯(lián)立，得到了二維離散型隨機(jī)變量(X,Y)。(X,Y)的全部大事為{(xk,yj),k=1,2,…,K;j=1,2,…,J}。對(duì)應(yīng)的概率為P((X,Y)=(xk,yj))=rkj，k=1,2,…,K;j=1,2,…,J。通常將此二維隨機(jī)變量記為{(X,