信息論概述及其應(yīng)用

1、信息論概述及其應(yīng)用信息的概念人類從產(chǎn)生的那天起，就生活在信息的海洋之中。人類社會(huì)的生存和發(fā)展，無時(shí)無刻都離不開接收信息，傳遞信息，處理信息和利用信息。比如原始人的“結(jié)繩記事”也許是最初期的表達(dá)，存儲(chǔ)和傳送信息的辦法，古代的“烽火告警”是一種最早的快速，遠(yuǎn)距離的傳遞信息的方式。近現(xiàn)代以來，由于電子計(jì)算機(jī)的迅速發(fā)展和廣泛應(yīng)用，尤其個(gè)人微型計(jì)算機(jī)得以普及，大大提高了人們處理加工信息，存儲(chǔ)信息及控制和管理信息的能力。隨著計(jì)算機(jī)技術(shù)，微電子技術(shù)，傳感技術(shù)，激光技術(shù)，衛(wèi)星通訊，移動(dòng)通訊等等新技術(shù)的發(fā)展和應(yīng)用，尤其是近年來以計(jì)算機(jī)為主體的互聯(lián)網(wǎng)技術(shù)的興起與發(fā)展，他們相互結(jié)合，相互促進(jìn)，以前所未有的的威力推動(dòng)

2、著人類經(jīng)濟(jì)和社會(huì)的高速發(fā)展。這是這些現(xiàn)代新科學(xué)，新技術(shù)，將人類社會(huì)推入到高度信息化時(shí)代。信息與信號(hào)，消息的比較消息是信息的數(shù)學(xué)載體，信號(hào)是信息的物理載體。信號(hào)是具體的，物理的消息是具體的，非物理的信息是非具體的，非物理的信號(hào)最具體，它是一物理量，可測(cè)量，可顯示，可描述，同時(shí)它又是載荷信息的試題信息的物理層表達(dá)。消息是具體的，非物理的，可以描述為語言文字，符號(hào)，數(shù)據(jù)，圖片，能夠被感覺到，同時(shí)它也是信息的載荷體。是信息論中的主要描述形式。信息是抽象的，非物理的，是哲學(xué)層的表達(dá)。信息的定義關(guān)于信息的科學(xué)定義，到目前為止，國(guó)內(nèi)外已有上百種說法，他們都是從不同側(cè)面和不同的層次來揭露信息的本質(zhì)。最早對(duì)信息

3、進(jìn)行科學(xué)定義的是萊哈特。他在1928年發(fā)表的信息傳輸一文中，首先提出信息這個(gè)概念。但是哈萊特這種理解在一定程度上能夠解釋通信工程中的一些信息問題，但他存在著嚴(yán)重的局限性。1948年，控制論的創(chuàng)始人之一，美國(guó)科學(xué)家維納出版了控制論動(dòng)物和機(jī)器中通訊與控制問題一書。他指出了，信息就是信息自己，不是其他什么東西的替代物，它是與物質(zhì)，能量等同等重要的基本概念。正是維納，首先將信息上升到了最基本概念的位置。香農(nóng)在1948年發(fā)表了一篇著名的論文通信的數(shù)學(xué)理論。他從研究通信的系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息做了科學(xué)的定義，并進(jìn)行了定性和定量的描述。香農(nóng)信息論是以概率論、隨機(jī)過程為基本研究工具，研究廣義通信系統(tǒng)的整個(gè)

4、過程，而不是整個(gè)環(huán)節(jié)，并以編、譯碼器為重點(diǎn)，其關(guān)心的是最優(yōu)系統(tǒng)的性能及如何達(dá)到該性能（并不具體設(shè)計(jì)環(huán)節(jié)，也不研究信宿）。目前，香農(nóng)信息論方面值得注意的研究方向有信息概念的深化問題、信息失真理論的發(fā)展及在數(shù)據(jù)壓縮中的應(yīng)用、以計(jì)算機(jī)為中心的信息處理系統(tǒng)的基本理論等。信息論研究的對(duì)象，目的和內(nèi)容信息論研究的對(duì)象是統(tǒng)一的通信系統(tǒng)模型。通信系統(tǒng)模型主要分成下列五部分。1， 信息源：信源是產(chǎn)生消息和消息序列的源。2， 編碼器：編碼是吧消息變成信號(hào)的措施。3， 信道：信道是指通信系統(tǒng)把載荷消息的信號(hào)從甲地傳輸?shù)揭业氐拿浇榛蛲ǖ馈?， 譯碼器：譯碼就是把信道輸出的編碼信號(hào)（已疊加干擾）進(jìn)行反變換，一般認(rèn)為這種

5、變換是可逆的。譯碼器一般可以分為新源譯碼器和信道譯碼器。若在保密通信系統(tǒng)中，應(yīng)還包括解密譯碼。5， 信宿：信宿是消息傳送的對(duì)象，即接收消息的人或機(jī)器。信源和信宿可處于不同地點(diǎn)和不同時(shí)刻。 香農(nóng)信息論的建立與發(fā)展香農(nóng)于1948年10月發(fā)表于貝爾系統(tǒng)技術(shù)學(xué)報(bào)上的論文A Mathematical Theory of Communication（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。在這兩篇論文中，他用概率測(cè)度和數(shù)理統(tǒng)計(jì)的方法系統(tǒng)地討論了通訊的基本問題，首先嚴(yán)格定義了信息的度量-熵的概念，又定義了信道容量的概念，得出了幾個(gè)重要而且?guī)в衅毡橐饬x的結(jié)論，并由此奠定了現(xiàn)代信息論的基礎(chǔ)。1， 香農(nóng)信息理論

6、的數(shù)學(xué)嚴(yán)格化2， 無失真信源編碼定理和技術(shù)的發(fā)展3， 信道糾錯(cuò)編碼的發(fā)展4， 限失真信源編碼的提出和發(fā)展5， 多用戶，網(wǎng)絡(luò)信息論的發(fā)展6， 信息保密與安全理論的提出和發(fā)展香農(nóng)定義的信息仍有其局限性，存在一些缺陷。信息論在相關(guān)領(lǐng)域的應(yīng)用信息很早就被人們利用，但真正被作為一個(gè)科學(xué)概念探討，則是20世紀(jì)40年代以后的事，而被作為科學(xué)為人們普遍認(rèn)識(shí)和利用則是近幾十年的事情。當(dāng)今世界，信息技術(shù)日新月異，在經(jīng)濟(jì)社會(huì)各領(lǐng)域的應(yīng)用不斷深化，日益深刻地影響著人類社會(huì)發(fā)展。信息產(chǎn)業(yè)已經(jīng)發(fā)展成為當(dāng)前世界上最大的產(chǎn)業(yè)。今年來，逐漸形成的光學(xué)信息論，量子信息論，生物信息論都是信息科學(xué)的重要分支。信息論主要的應(yīng)用范圍：編碼學(xué) 密碼學(xué)與密碼分析學(xué) 數(shù)據(jù)傳輸 數(shù)據(jù)壓縮