信息科學(xué)基本概念

信息科學(xué)基本概念第一頁，共二十九頁，2022年，8月28日第2章：信息科學(xué)基本概念

信息的傳遞與交換能夠又多、又快、又好、又經(jīng)濟(jì)是人類活動(dòng)最為普遍的愿望，并且人們希望能夠?qū)π畔⑦M(jìn)行定量分析。1948年，香農(nóng)（）在發(fā)表的《通信中的數(shù)學(xué)模型》一文中建立了狹義信息論的基本理論，對(duì)信息的度量問題給出了明確的定義。狹義信息論的基本思想是把信息作為通信過程中的消息來處理，通信的內(nèi)容（符號(hào)）的傳遞具有一定的形式。第二頁，共二十九頁，2022年，8月28日通信系統(tǒng)模型第三頁，共二十九頁，2022年，8月28日通信系統(tǒng)模型信源產(chǎn)生待傳輸?shù)南?，消息的形式是多種多樣的，如字母、文字、旗語、數(shù)據(jù)、語聲、音樂和圖像等（這些都可視為符號(hào)序列）。但是消息不同于信息，它是信息的載體。發(fā)送機(jī)將消息變換為適合于信道的信號(hào)，信號(hào)成為信息的載體。變換指的是從消息轉(zhuǎn)變?yōu)樾盘?hào)的全過程，其中最主要的是編碼與調(diào)制。信道是信號(hào)從發(fā)送機(jī)傳輸?shù)浇邮諜C(jī)的媒質(zhì)，如導(dǎo)體、傳播電磁波的自由空間和光導(dǎo)纖維等。信號(hào)在傳輸途中總要遇到一些干擾產(chǎn)生不可預(yù)計(jì)的損害，這些干擾被稱為噪聲，系統(tǒng)各部分的噪聲的總和以噪聲源表示。接收機(jī)是發(fā)送機(jī)的對(duì)應(yīng)端，它將信號(hào)再變換為消息。但是，由于接收信號(hào)受到噪聲的干擾導(dǎo)致輸出的消息中存在失真或錯(cuò)誤而丟失部分信息。信宿是被傳輸信息的歸宿，也就是消息的接受者。第四頁，共二十九頁，2022年，8月28日信息論簡(jiǎn)介狹義信息論認(rèn)為通信對(duì)象的信息（符號(hào)序列）一般具有統(tǒng)計(jì)特性，因此研究的數(shù)學(xué)工具以概率論與數(shù)理統(tǒng)計(jì)為基礎(chǔ)工具；通信的目的是一種信息的交流，由于對(duì)方不知道或者本人有疑問，為了解除疑問需要通信，通信的過程是疑問解除的過程，也是信息獲取與交流的過程，在信息交流的過程中，疑問（不確定性）的解除量等價(jià)于獲取的信息量。也就是說，獲取的信息量等價(jià)于通信前后“不確定性”的消除量。由于“不確定性”代表有“多種可能的結(jié)果”，因此必須用概率來度量?！安淮_定性”是關(guān)于某一個(gè)事件x的概率P(x)的函數(shù)。即信息量I=f(P(x))。第五頁，共二十九頁，2022年，8月28日信息論簡(jiǎn)介狹義信息論主要的研究領(lǐng)域?yàn)椋和ㄐ诺挠行?、通信的可靠性、通信的保密性三個(gè)方面。通信的有效性指數(shù)據(jù)壓縮或稱信號(hào)壓縮編碼，其目的是減少通信信源的數(shù)據(jù)量，節(jié)省通信帶寬；通信的可靠性指數(shù)據(jù)傳輸失真或傳輸誤碼率的減少，使傳輸過程更準(zhǔn)確；通信的保密性指通信過程中，通信的內(nèi)容不應(yīng)當(dāng)被非授權(quán)的第三方獲取。狹義信息論的主要研究?jī)?nèi)容為：信息側(cè)度、信道容量、信源編碼和信道編碼理論等內(nèi)容。第六頁，共二十九頁，2022年，8月28日信息論簡(jiǎn)介廣義信息論主要研究信息傳輸和信息處理問題。含香農(nóng)基本理論、噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)與估值理論、調(diào)制理論、信息處理理論、保密理論等內(nèi)容。同時(shí)廣義信息論同時(shí)包含狹義信息論研究?jī)?nèi)容。廣義信息論還研究包含所有的有關(guān)信息的自然和社會(huì)科學(xué)領(lǐng)域，如：模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)、神經(jīng)生物學(xué)、語義學(xué)、計(jì)算機(jī)科學(xué)等等。第七頁，共二十九頁，2022年，8月28日2.1信息的概念與描述信息定義：信息是認(rèn)識(shí)主體所感知的或所表述的客觀事物運(yùn)動(dòng)的狀態(tài)和狀態(tài)改變方式。運(yùn)動(dòng)分為內(nèi)部運(yùn)動(dòng)與外部運(yùn)動(dòng)；內(nèi)部運(yùn)動(dòng)指事物內(nèi)部結(jié)構(gòu)狀態(tài)及其變化；外部運(yùn)動(dòng)指事物外部的聯(lián)系及其相互作用?？陀^事物即指外部客觀世界的實(shí)在客體，同時(shí)又指主觀世界的精神現(xiàn)象。第八頁，共二十九頁，2022年，8月28日三類基本的信息定義第一類：字典和百科全書中的解釋英國：牛津字典——信息是談?wù)摰氖虑?、新聞和知識(shí)。韋氏字典——信息是觀察、研究過程中獲得的數(shù)據(jù)、情報(bào)、新聞和知識(shí)。日本：廣辭苑——信息是所觀察的知識(shí)等。對(duì)于上述定義的歸納可以看出人們常常把消息中有意義的內(nèi)容稱為信息。第九頁，共二十九頁，2022年，8月28日三類基本的信息定義第二類：科學(xué)家的定義香農(nóng)（）對(duì)信息的定義——信息是事物的“不確定性”的度量。因此，信息可以描述為確定性的增加，人們收到信息獲得的信息量就是確定性的增加量。1948年，美國數(shù)學(xué)家、信息論的創(chuàng)始人香農(nóng)在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來消除隨機(jī)不定性的東西”。艾什比（WilliamRossAshby）對(duì)信息的定義——信息是事物的“差異性”的度量。艾什比是控制論創(chuàng)始人之一、英國生物學(xué)家（WilliamRossAshby，1903-1972）。維納（N.Wiener）對(duì)信息的定義——信息是事物的“組織性”的度量。第十頁，共二十九頁，2022年，8月28日三類基本的信息定義周戟教授對(duì)信息的定義：信息是系統(tǒng)的組成部分，是物質(zhì)和能量的形態(tài)、結(jié)構(gòu)、屬性、和含義的表征，是人類認(rèn)識(shí)客觀的紐帶。物質(zhì)表現(xiàn)為具有一定質(zhì)量、體積、形狀、顏色、溫度、強(qiáng)度等性能。這些物質(zhì)的屬性都是以信息的形式表達(dá)的。人們通過信息認(rèn)識(shí)物質(zhì)、認(rèn)識(shí)能量、認(rèn)識(shí)系統(tǒng)、認(rèn)識(shí)周圍世界。鄧宇2002年提出的”信息”概念與定義：“信息是事物現(xiàn)象及其屬性標(biāo)識(shí)的集合。第十一頁，共二十九頁，2022年，8月28日三類基本的信息定義鈡義信教授給出的信息定義：信息是認(rèn)識(shí)主體所感知的或所表述的客觀事物運(yùn)動(dòng)的狀態(tài)和狀態(tài)改變方式。運(yùn)動(dòng)分為內(nèi)部運(yùn)動(dòng)與外部運(yùn)動(dòng)；內(nèi)部運(yùn)動(dòng)指事物內(nèi)部結(jié)構(gòu)狀態(tài)及其變化；外部運(yùn)動(dòng)指事物外部的聯(lián)系及其相互作用?？陀^事物即指外部客觀世界的實(shí)在客體，同時(shí)又指主觀世界的精神現(xiàn)象。第十二頁，共二十九頁，2022年，8月28日三類基本的信息定義第三類：哲學(xué)家的觀點(diǎn)1948年，美國著名數(shù)學(xué)家、控制論的創(chuàng)始人維納在《控制論》一書中，指出：“信息就是信息，既非物質(zhì)，也非能量?！本S納從哲學(xué)觀點(diǎn)出發(fā)，強(qiáng)調(diào)信息是獨(dú)立于物質(zhì)與能量的客觀事物的對(duì)立屬性，由此可以看出信息學(xué)科是一個(gè)獨(dú)立的與傳統(tǒng)機(jī)械、化工、農(nóng)業(yè)等學(xué)科并存的學(xué)科。能量可以載荷信息，客體（物質(zhì)）可以產(chǎn)生信息。第十三頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征定義2.1：設(shè)信源產(chǎn)生的隨機(jī)變量序列為

X=(x1,x2,…,xN)，其中，xm=ai。如果{ai，i∈[1,N]}可以完全代表信源輸出的所有符號(hào)，則集合{a1,a2,…,aN}為信源輸出的符號(hào)集合，記為A。對(duì)信源輸出符號(hào)序列X進(jìn)行統(tǒng)計(jì)分析，獲得符號(hào)ai出現(xiàn)的概率為P（ai），因此，信源可以用如下數(shù)學(xué)模型表示：

=

其中：P（x）滿足完備性條件=1，稱該信源為離散無記憶信源。第十四頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征定義2.2：一個(gè)信源產(chǎn)生的符號(hào)帶來的信息量是該符號(hào)ai發(fā)生的先驗(yàn)概率p(ai)的函數(shù)，即：

I(ai)=f(p(ai))，并且該函數(shù)滿足（1）f(*)是先驗(yàn)概率p(ai)的單調(diào)遞減函數(shù)，即:當(dāng)p(ai)>p(aj)時(shí)，有f(p(ai))<f(p(aj))；（2）當(dāng)p(ai)=1時(shí)，有f(p(ai))=0；（3）當(dāng)p(ai)=0時(shí)，有f(p(ai))=1；（4）兩個(gè)獨(dú)立事件的聯(lián)合信息量等于它們分別發(fā)生時(shí)的信息量之和，即：I(aiaj)=I(ai)+I(aj)。因此，符號(hào)ai發(fā)生帶來的信息量的數(shù)學(xué)形式為

I（ai）=log=-logp（ai）第十五頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征設(shè)：離散信源X的信源（概率）空間為

=

則事件ai發(fā)生所含的信息量（稱為自信息量）為

I(ai)=log=-logp(ai)自信息量的兩種含義：

（1）當(dāng)事件ai發(fā)生前，I(ai)表示事件ai發(fā)生的不確定性。（2）當(dāng)事件ai發(fā)生后，I(ai)表示事件ai發(fā)生所含的信息量。第十六頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征信息量的單位：當(dāng)以2為底時(shí)，信息量的單位稱為比特（Bit）。當(dāng)以e為底時(shí)，信息量的單位稱為奈特（Nat）。當(dāng)以10為底時(shí)，信息量的單位稱為哈特（Hart）。轉(zhuǎn)換關(guān)系為：logax=logbx/logba第十七頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征定義2.3：信源的平均信息量稱為信源的信息熵，簡(jiǎn)稱信源的熵,記為H(X)。

H(X)=E{-logp(ai)}=p(ai)I(ai)=-p(ai)logp(ai)一般信息熵用以2為底的對(duì)數(shù)表示，單位為比特。R進(jìn)制信息熵與2進(jìn)制信息熵的轉(zhuǎn)換關(guān)系為：

H(X)=HR(X)logR（比特）第十八頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征信息熵的物理意義：（1）信息熵H（X）表示信源的平均不確定性。（2）信息熵H（X）表示信源輸出符號(hào)后的每個(gè)符號(hào)提供的平均信息量。（3）信息熵H（X）表示信源輸出符號(hào)前信源的平均不確定性。（4）信息熵H（X）表示信源輸出符號(hào)變量X的隨機(jī)性。第十九頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征信息具有十大特征：（1）可量度：信息可采用某種度量單位進(jìn)行度量，并進(jìn)行信息編碼。如現(xiàn)代計(jì)算機(jī)使用的二進(jìn)制編碼。信息度量可用信息量和熵的概念表示。（2）可識(shí)別：信息識(shí)別可采取直觀識(shí)別、比較識(shí)別和間接識(shí)別等多種方式來把握。（3）可轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換為另一種形態(tài)。如自然信息可轉(zhuǎn)換為語言、文字和圖像等形態(tài)，也可轉(zhuǎn)換為電磁波信號(hào)或計(jì)算機(jī)代碼。（4）可存儲(chǔ)：信息可以存儲(chǔ)。大腦就是一個(gè)天然信息存儲(chǔ)器。人類發(fā)明的文字、攝影、錄音、錄像以及計(jì)算機(jī)存儲(chǔ)器等都可以進(jìn)行信息存儲(chǔ)。（5）可處理：人腦就是最佳的信息處理器。人腦的思維功能可以進(jìn)行決策、設(shè)計(jì)、研究、寫作、改進(jìn)、發(fā)明、創(chuàng)造等多種信息處理活動(dòng)。計(jì)算機(jī)也具有信息處理功能。信息處理滿足信息不增原理，處理的目的是改變信息的組織形式或顯示效果。第二十頁，共二十九頁，2022年，8月28日2.2信息的度量與信息的基本特征（6）可傳遞：信息傳遞是與物質(zhì)和能量的傳遞同時(shí)進(jìn)行的。語言、表情、動(dòng)作、報(bào)刊、書籍、廣播、電視、電話等是人類常用的信息傳遞方式。（7）可再生：信息經(jīng)過處理后，可以用其它形式再生。如自然信息經(jīng)過人工處理后，可用語言或圖形等方式再生成信息。輸入計(jì)算機(jī)的各種數(shù)據(jù)文字等信息，可用顯示、打印、繪圖等方式再生成信息。（8）可壓縮：信息可以進(jìn)行壓縮，可以用不同的信息量來描述同一事物。人們常常用盡可能少的信息量描述一件事物的主要特征。（9）可利用：信息具有一定的實(shí)效性和可利用性。（10）可共享：信息具有擴(kuò)散性，因此可共享。第二十一頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應(yīng)用（1）瞬時(shí)記憶的解釋

如果你注視電燈的暈光，幾分鐘之后，當(dāng)你將視線移至另一地方時(shí)，你會(huì)感覺還“看見”了這種暈光。心理學(xué)稱這種現(xiàn)象為“后像”。不僅視覺如此，其它感覺也有此現(xiàn)象。例如，用鉛筆扎一下手背，移去之后還有這種扎的感覺；優(yōu)美動(dòng)聽的樂聲停止后，好似“余音繞梁”等等。這些現(xiàn)象都叫作“瞬時(shí)記憶”。第二十二頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應(yīng)用瞬時(shí)記憶有三個(gè)特點(diǎn)：①持續(xù)性短暫，瞬息即逝。研究結(jié)果表明瞬時(shí)記憶時(shí)間按大約為0.25－2秒左右；②容量較小，如以單字為例，有人說4－5個(gè)字符，也有人說大約在7±2個(gè)字符的范圍之內(nèi)；③可在短暫的時(shí)期內(nèi)接收大量信息，猶如所謂"登高遠(yuǎn)眺，盡收眼底"，雖然都收眼底，但不能記住。

第二十三頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應(yīng)用（2）短時(shí)記憶每個(gè)人都會(huì)有這種經(jīng)驗(yàn)：當(dāng)你查出一個(gè)新的電話號(hào)碼，除非你特別要想記住它，否則隨著你撥完號(hào)碼盤，相應(yīng)的數(shù)字也就忘掉了。這個(gè)記憶的時(shí)間，大約是5－20秒，最長(zhǎng)也不超過一分鐘。盡管時(shí)間很短，分析起來，短時(shí)記憶已有編碼。當(dāng)你用視覺記憶8866.5731的數(shù)字時(shí)，在撥電話號(hào)碼盤是，你還要口述8866.5731。顯然，從視覺接受刺激到用詞語反應(yīng)并出現(xiàn)撥號(hào)碼盤的運(yùn)動(dòng)就是一種編碼表現(xiàn)。這與瞬時(shí)記憶的刺激痕跡只落在視網(wǎng)膜上不同。短時(shí)記憶的內(nèi)容，如果有意地復(fù)習(xí)它，就會(huì)變成長(zhǎng)時(shí)記憶。第二十四頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應(yīng)用（3）長(zhǎng)時(shí)記憶如果在你面前呈現(xiàn)“電腦”這兩個(gè)字，開始時(shí)只有這個(gè)詞的視覺現(xiàn)象。如果你一再重復(fù)地念出這個(gè)詞的聲音，就可能回憶起許多與這個(gè)詞有關(guān)聯(lián)的事物。這種長(zhǎng)時(shí)記憶是記憶序列中的一種真正的編碼，是記憶存儲(chǔ)的最高形式，時(shí)間最長(zhǎng)，因而叫做長(zhǎng)時(shí)記憶。第二十五頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應(yīng)用第二十六頁，共二十九頁，2022年，8月28日2.3信息理論與概念的應(yīng)用記憶的信息過程如下：感覺器官完成信息輸入功能→通過感覺器官引起感知覺→進(jìn)入中樞神經(jīng)進(jìn)行編碼，可做短時(shí)存儲(chǔ)，需要時(shí)可由反應(yīng)器輸出；如對(duì)短時(shí)存儲(chǔ)的信息給以適當(dāng)?shù)闹貜?fù)，再經(jīng)過編碼存放于記憶神經(jīng)系統(tǒng)