信息科學基本概念

信息科學基本概念第一頁，共二十九頁，2022年，8月28日第2章：信息科學基本概念

信息的傳遞與交換能夠又多、又快、又好、又經(jīng)濟是人類活動最為普遍的愿望，并且人們希望能夠?qū)π畔⑦M行定量分析。1948年，香農(nóng)（）在發(fā)表的《通信中的數(shù)學模型》一文中建立了狹義信息論的基本理論，對信息的度量問題給出了明確的定義。狹義信息論的基本思想是把信息作為通信過程中的消息來處理，通信的內(nèi)容（符號）的傳遞具有一定的形式。第二頁，共二十九頁，2022年，8月28日通信系統(tǒng)模型第三頁，共二十九頁，2022年，8月28日通信系統(tǒng)模型信源產(chǎn)生待傳輸?shù)南ⅲ⒌男问绞嵌喾N多樣的，如字母、文字、旗語、數(shù)據(jù)、語聲、音樂和圖像等（這些都可視為符號序列）。但是消息不同于信息，它是信息的載體。發(fā)送機將消息變換為適合于信道的信號，信號成為信息的載體。變換指的是從消息轉(zhuǎn)變?yōu)樾盘柕娜^程，其中最主要的是編碼與調(diào)制。信道是信號從發(fā)送機傳輸?shù)浇邮諜C的媒質(zhì)，如導體、傳播電磁波的自由空間和光導纖維等。信號在傳輸途中總要遇到一些干擾產(chǎn)生不可預計的損害，這些干擾被稱為噪聲，系統(tǒng)各部分的噪聲的總和以噪聲源表示。接收機是發(fā)送機的對應端，它將信號再變換為消息。但是，由于接收信號受到噪聲的干擾導致輸出的消息中存在失真或錯誤而丟失部分信息。信宿是被傳輸信息的歸宿，也就是消息的接受者。第四頁，共二十九頁，2022年，8月28日信息論簡介狹義信息論認為通信對象的信息（符號序列）一般具有統(tǒng)計特性，因此研究的數(shù)學工具以概率論與數(shù)理統(tǒng)計為基礎工具；通信的目的是一種信息的交流，由于對方不知道或者本人有疑問，為了解除疑問需要通信，通信的過程是疑問解除的過程，也是信息獲取與交流的過程，在信息交流的過程中，疑問（不確定性）的解除量等價于獲取的信息量。也就是說，獲取的信息量等價于通信前后“不確定性”的消除量。由于“不確定性”代表有“多種可能的結(jié)果”，因此必須用概率來度量?！安淮_定性”是關于某一個事件x的概率P(x)的函數(shù)。即信息量I=f(P(x))。第五頁，共二十九頁，2022年，8月28日信息論簡介狹義信息論主要的研究領域為：通信的有效性、通信的可靠性、通信的保密性三個方面。通信的有效性指數(shù)據(jù)壓縮或稱信號壓縮編碼，其目的是減少通信信源的數(shù)據(jù)量，節(jié)省通信帶寬；通信的可靠性指數(shù)據(jù)傳輸失真或傳輸誤碼率的減少，使傳輸過程更準確；通信的保密性指通信過程中，通信的內(nèi)容不應當被非授權(quán)的第三方獲取。狹義信息論的主要研究內(nèi)容為：信息側(cè)度、信道容量、信源編碼和信道編碼理論等內(nèi)容。第六頁，共二十九頁，2022年，8月28日信息論簡介廣義信息論主要研究信息傳輸和信息處理問題。含香農(nóng)基本理論、噪聲理論、信號濾波和預測、統(tǒng)計檢測與估值理論、調(diào)制理論、信息處理理論、保密理論等內(nèi)容。同時廣義信息論同時包含狹義信息論研究內(nèi)容。廣義信息論還研究包含所有的有關信息的自然和社會科學領域，如：模式識別、計算機翻譯、心理學、遺傳學、語言學、神經(jīng)生物學、語義學、計算機科學等等。第七頁，共二十九頁，2022年，8月28日2.1信息的概念與描述信息定義：信息是認識主體所感知的或所表述的客觀事物運動的狀態(tài)和狀態(tài)改變方式。運動分為內(nèi)部運動與外部運動；內(nèi)部運動指事物內(nèi)部結(jié)構(gòu)狀態(tài)及其變化；外部運動指事物外部的聯(lián)系及其相互作用?？陀^事物即指外部客觀世界的實在客體，同時又指主觀世界的精神現(xiàn)象。第八頁，共二十九頁，2022年，8月28日三類基本的信息定義第一類：字典和百科全書中的解釋英國：牛津字典——信息是談論的事情、新聞和知識。韋氏字典——信息是觀察、研究過程中獲得的數(shù)據(jù)、情報、新聞和知識。日本：廣辭苑——信息是所觀察的知識等。對于上述定義的歸納可以看出人們常常把消息中有意義的內(nèi)容稱為信息。第九頁，共二十九頁，2022年，8月28日三類基本的信息定義第二類：科學家的定義香農(nóng)（）對信息的定義——信息是事物的“不確定性”的度量。因此，信息可以描述為確定性的增加，人們收到信息獲得的信息量就是確定性的增加量。1948年，美國數(shù)學家、信息論的創(chuàng)始人香農(nóng)在題為“通訊的數(shù)學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。艾什比（WilliamRossAshby）對信息的定義——信息是事物的“差異性”的度量。艾什比是控制論創(chuàng)始人之一、英國生物學家（WilliamRossAshby，1903-1972）。維納（N.Wiener）對信息的定義——信息是事物的“組織性”的度量。第十頁，共二十九頁，2022年，8月28日三類基本的信息定義周戟教授對信息的定義：信息是系統(tǒng)的組成部分，是物質(zhì)和能量的形態(tài)、結(jié)構(gòu)、屬性、和含義的表征，是人類認識客觀的紐帶。物質(zhì)表現(xiàn)為具有一定質(zhì)量、體積、形狀、顏色、溫度、強度等性能。這些物質(zhì)的屬性都是以信息的形式表達的。人們通過信息認識物質(zhì)、認識能量、認識系統(tǒng)、認識周圍世界。鄧宇2002年提出的”信息”概念與定義：“信息是事物現(xiàn)象及其屬性標識的集合。第十一頁，共二十九頁，2022年，8月28日三類基本的信息定義鈡義信教授給出的信息定義：信息是認識主體所感知的或所表述的客觀事物運動的狀態(tài)和狀態(tài)改變方式。運動分為內(nèi)部運動與外部運動；內(nèi)部運動指事物內(nèi)部結(jié)構(gòu)狀態(tài)及其變化；外部運動指事物外部的聯(lián)系及其相互作用。客觀事物即指外部客觀世界的實在客體，同時又指主觀世界的精神現(xiàn)象。第十二頁，共二十九頁，2022年，8月28日三類基本的信息定義第三類：哲學家的觀點1948年，美國著名數(shù)學家、控制論的創(chuàng)始人維納在《控制論》一書中，指出：“信息就是信息，既非物質(zhì)，也非能量?！本S納從哲學觀點出發(fā)，強調(diào)信息是獨立于物質(zhì)與能量的客觀事物的對立屬性，由此可以看出信息學科是一個獨立的與傳統(tǒng)機械、化工、農(nóng)業(yè)等學科并存的學科。能量可以載荷信息，客體（物質(zhì)）可以產(chǎn)生信息。第十三頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征定義2.1：設信源產(chǎn)生的隨機變量序列為

X=(x1,x2,…,xN)，其中，xm=ai。如果{ai，i∈[1,N]}可以完全代表信源輸出的所有符號，則集合{a1,a2,…,aN}為信源輸出的符號集合，記為A。對信源輸出符號序列X進行統(tǒng)計分析，獲得符號ai出現(xiàn)的概率為P（ai），因此，信源可以用如下數(shù)學模型表示：

=

其中：P（x）滿足完備性條件=1，稱該信源為離散無記憶信源。第十四頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征定義2.2：一個信源產(chǎn)生的符號帶來的信息量是該符號ai發(fā)生的先驗概率p(ai)的函數(shù)，即：

I(ai)=f(p(ai))，并且該函數(shù)滿足（1）f(*)是先驗概率p(ai)的單調(diào)遞減函數(shù)，即:當p(ai)>p(aj)時，有f(p(ai))<f(p(aj))；（2）當p(ai)=1時，有f(p(ai))=0；（3）當p(ai)=0時，有f(p(ai))=1；（4）兩個獨立事件的聯(lián)合信息量等于它們分別發(fā)生時的信息量之和，即：I(aiaj)=I(ai)+I(aj)。因此，符號ai發(fā)生帶來的信息量的數(shù)學形式為

I（ai）=log=-logp（ai）第十五頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征設：離散信源X的信源（概率）空間為

=

則事件ai發(fā)生所含的信息量（稱為自信息量）為

I(ai)=log=-logp(ai)自信息量的兩種含義：

（1）當事件ai發(fā)生前，I(ai)表示事件ai發(fā)生的不確定性。（2）當事件ai發(fā)生后，I(ai)表示事件ai發(fā)生所含的信息量。第十六頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征信息量的單位：當以2為底時，信息量的單位稱為比特（Bit）。當以e為底時，信息量的單位稱為奈特（Nat）。當以10為底時，信息量的單位稱為哈特（Hart）。轉(zhuǎn)換關系為：logax=logbx/logba第十七頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征定義2.3：信源的平均信息量稱為信源的信息熵，簡稱信源的熵,記為H(X)。

H(X)=E{-logp(ai)}=p(ai)I(ai)=-p(ai)logp(ai)一般信息熵用以2為底的對數(shù)表示，單位為比特。R進制信息熵與2進制信息熵的轉(zhuǎn)換關系為：

H(X)=HR(X)logR（比特）第十八頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征信息熵的物理意義：（1）信息熵H（X）表示信源的平均不確定性。（2）信息熵H（X）表示信源輸出符號后的每個符號提供的平均信息量。（3）信息熵H（X）表示信源輸出符號前信源的平均不確定性。（4）信息熵H（X）表示信源輸出符號變量X的隨機性。第十九頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征信息具有十大特征：（1）可量度：信息可采用某種度量單位進行度量，并進行信息編碼。如現(xiàn)代計算機使用的二進制編碼。信息度量可用信息量和熵的概念表示。（2）可識別：信息識別可采取直觀識別、比較識別和間接識別等多種方式來把握。（3）可轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換為另一種形態(tài)。如自然信息可轉(zhuǎn)換為語言、文字和圖像等形態(tài)，也可轉(zhuǎn)換為電磁波信號或計算機代碼。（4）可存儲：信息可以存儲。大腦就是一個天然信息存儲器。人類發(fā)明的文字、攝影、錄音、錄像以及計算機存儲器等都可以進行信息存儲。（5）可處理：人腦就是最佳的信息處理器。人腦的思維功能可以進行決策、設計、研究、寫作、改進、發(fā)明、創(chuàng)造等多種信息處理活動。計算機也具有信息處理功能。信息處理滿足信息不增原理，處理的目的是改變信息的組織形式或顯示效果。第二十頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征（6）可傳遞：信息傳遞是與物質(zhì)和能量的傳遞同時進行的。語言、表情、動作、報刊、書籍、廣播、電視、電話等是人類常用的信息傳遞方式。（7）可再生：信息經(jīng)過處理后，可以用其它形式再生。如自然信息經(jīng)過人工處理后，可用語言或圖形等方式再生成信息。輸入計算機的各種數(shù)據(jù)文字等信息，可用顯示、打印、繪圖等方式再生成信息。（8）可壓縮：信息可以進行壓縮，可以用不同的信息量來描述同一事物。人們常常用盡可能少的信息量描述一件事物的主要特征。（9）可利用：信息具有一定的實效性和可利用性。（10）可共享：信息具有擴散性，因此可共享。第二十一頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應用（1）瞬時記憶的解釋

如果你注視電燈的暈光，幾分鐘之后，當你將視線移至另一地方時，你會感覺還“看見”了這種暈光。心理學稱這種現(xiàn)象為“后像”。不僅視覺如此，其它感覺也有此現(xiàn)象。例如，用鉛筆扎一下手背，移去之后還有這種扎的感覺；優(yōu)美動聽的樂聲停止后，好似“余音繞梁”等等。這些現(xiàn)象都叫作“瞬時記憶”。第二十二頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應用瞬時記憶有三個特點：①持續(xù)性短暫，瞬息即逝。研究結(jié)果表明瞬時記憶時間按大約為0.25－2秒左右；②容量較小，如以單字為例，有人說4－5個字符，也有人說大約在7±2個字符的范圍之內(nèi)；③可在短暫的時期內(nèi)接收大量信息，猶如所謂"登高遠眺，盡收眼底"，雖然都收眼底，但不能記住。

第二十三頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應用（2）短時記憶每個人都會有這種經(jīng)驗：當你查出一個新的電話號碼，除非你特別要想記住它，否則隨著你撥完號碼盤，相應的數(shù)字也就忘掉了。這個記憶的時間，大約是5－20秒，最長也不超過一分鐘。盡管時間很短，分析起來，短時記憶已有編碼。當你用視覺記憶8866.5731的數(shù)字時，在撥電話號碼盤是，你還要口述8866.5731。顯然，從視覺接受刺激到用詞語反應并出現(xiàn)撥號碼盤的運動就是一種編碼表現(xiàn)。這與瞬時記憶的刺激痕跡只落在視網(wǎng)膜上不同。短時記憶的內(nèi)容，如果有意地復習它，就會變成長時記憶。第二十四頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應用（3）長時記憶如果在你面前呈現(xiàn)“電腦”這兩個字，開始時只有這個詞的視覺現(xiàn)象。如果你一再重復地念出這個詞的聲音，就可能回憶起許多與這個詞有關聯(lián)的事物。這種長時記憶是記憶序列中的一種真正的編碼，是記憶存儲的最高形式，時間最長，因而叫做長時記憶。第二十五頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應用第二十六頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應用記憶的信息過程如下：感覺器官完成信息輸入功能→通過感覺器官引起感知覺→進入中樞神經(jīng)進行編碼，可做短時存儲，需要時可由反應器輸出；如對短時存儲的信息給以適當?shù)闹貜?，再?jīng)過編碼存放于記憶神經(jīng)系統(tǒng)