信息論-基礎(chǔ)理論與應(yīng)用：第二章 離散信源及其信息測(cè)度

1、1第二章 離散信源及其信息測(cè)度 第一節(jié) 信源的數(shù)學(xué)模型及分類第二節(jié) 離散信源的信息熵第三節(jié) 信息熵的基本性質(zhì)第四節(jié) 離散無記憶的擴(kuò)展信源第五節(jié) 離散平穩(wěn)信源第六節(jié) 馬爾可夫信源第七節(jié) 信源剩余度與自然語言的熵2香農(nóng)信息論研究對(duì)象：信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近世代數(shù)的方法，來研究信息的傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程學(xué)科。研究目的：它的主要目的是提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。3第一節(jié) 信源的數(shù)學(xué)模型及分類 在通信系統(tǒng)中，收信者在未收到信息以前，對(duì)信源發(fā)出什么樣的消息是不確定的，是隨機(jī)的，所以可以用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過程來描述信源輸出的消息，或

2、者說用一個(gè)樣本空間及其概率測(cè)度來描述信源。 不同的信源根據(jù)其輸出消息的不同的隨機(jī)性質(zhì)進(jìn)行分類。4第一節(jié) 信源的數(shù)學(xué)模型及分類1、離散信源 數(shù)學(xué)模型如下： 集合X中，包含該信源所有可能輸出的消息，集合P中包含對(duì)應(yīng)消息的概率密度，各個(gè)消息的輸出概率總和應(yīng)該為1。這是最基本的離散信源52、連續(xù)信源 用連續(xù)性的概率空間來描述，數(shù)學(xué)模型如下： 每次只輸出一個(gè)消息，但消息的可能數(shù)目是無窮多個(gè)。 例：電壓、溫度等。6多符號(hào)離散信源可用隨機(jī)矢量/隨機(jī)變量序列描述，即 X=X1,X2,X3，若信源輸出的隨機(jī)序列中每個(gè)隨機(jī)變量都是離散型隨機(jī)變量，且隨機(jī)序列的各維概率密度函數(shù)與時(shí)間起點(diǎn)無關(guān)，即隨機(jī)變量的統(tǒng)計(jì)特性不隨

3、著時(shí)間的推移而有所變化。此時(shí)稱為離散平穩(wěn)信源。若信源輸出的消息可用N維隨機(jī)矢量來描述，其中每個(gè)隨機(jī)分量都是取值為連續(xù)型隨機(jī)變量，且隨機(jī)變量的各維概率密度函數(shù)與時(shí)間起點(diǎn)無關(guān)，即隨機(jī)變量的統(tǒng)計(jì)特性不隨著時(shí)間的推移而有所變化。此時(shí)稱為連續(xù)平穩(wěn)信源。平穩(wěn)信源又分為無記憶信源和有記憶信源。78信源分類信源離散信源連續(xù)信源單符號(hào)多符號(hào)隨機(jī)變量隨機(jī)矢量隨機(jī)過程9隨機(jī)變量X、Y分別取值于集合 聯(lián)合隨機(jī)變量 取值于集合 記概率論知識(shí)回顧 10 無條件概率、條件概率、聯(lián)合概率滿足下面一些性質(zhì)和關(guān)系：1231145612 一、信息量信源中某一消息發(fā)生的不確定性越大，一旦它發(fā)生，并為收信者收到后，消除的不確定性就越大

4、，獲得的信息也就越大。由于種種原因（例如噪聲太大），收信者接收到受干擾的消息后，對(duì)某信息發(fā)生的不確定性依然存在或者一點(diǎn)也未消除時(shí)，則收信者獲得較少的信息或者說一點(diǎn)也沒有獲得信息。第二節(jié) 離散信源的信息熵13信息量的直觀定義：收到某消息獲得的信息量不確定性減少的量 (收到此消息前關(guān)于某事件發(fā)生的不確定性) (收到此消息后關(guān)于某事件發(fā)生的不確定性)在無噪聲時(shí)，通過信道的傳輸，可以完全不失真地收到所發(fā)的消息，收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除，此項(xiàng)為零。因此得 收到某消息獲得的信息量 收到此消息前關(guān)于某事件發(fā)生的不確定性 信源輸出的某消息中所含有的信息量14 不確定性與發(fā)生概率事件發(fā)生的概

5、率越小，我們猜測(cè)它有沒有發(fā)生的困難程度就越大，不確定性就越大。概率等于1的必然事件，就不存在不確定性。某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)。15函數(shù)f p(xi)應(yīng)滿足以下4個(gè)條件（1） f p(xi)應(yīng)是p(xi)單調(diào)遞減函數(shù)，即：當(dāng)p(x1) p(x2)時(shí)， f p(x1) H，所以在傳輸手段上必然富裕，這樣做很不經(jīng)濟(jì)，特別是有時(shí)只能得到H1，甚至H0，就更不經(jīng)濟(jì)。這種浪費(fèi)是由信源符號(hào)的相關(guān)性引起的。127 信源冗余度定義及意義熵的相對(duì)率 ：為了衡量符號(hào)間的相互依賴程度，定義信源實(shí)際的信息熵與同樣符號(hào)數(shù)的最大熵的比值為信源熵的相對(duì)率：信源冗余度：1減去信源熵的相對(duì)率，即

6、128（1）對(duì)于英文字母（2）對(duì)于中文 我們可以壓縮剩余度來壓縮信源，提高通信的可靠性。129 重要結(jié)論寫英語文章時(shí)，71%是由語言結(jié)構(gòu)定好的，只有29%是寫文字的人可以自由選擇的。100頁的書，大約只傳輸29頁就可以了，其余71頁可以壓縮掉。信息的冗余度表示信源可壓縮的程度。從提高傳輸效率的觀點(diǎn)出發(fā)，總是希望減少或去掉冗余度。冗余度大的消息抗干擾能力強(qiáng)。能通過前后字之間的關(guān)聯(lián)糾正錯(cuò)誤。聽母語廣播和聽外語廣播的對(duì)比說明：聽外語費(fèi)勁是英語冗余度不夠造成的。因此，英語聽力要過關(guān)，除了多聽多練以外，其實(shí)并無多少捷徑可走。130(4) 通信效率與可靠性的關(guān)系信源編碼就是通過減少或消除冗余度來提高通信效率。信道編碼是通過增加冗余度來提高通信的抗干擾能力，即提高通信的可靠性。通信的效率問題和可靠性問題往往是一對(duì)矛盾。131第二章 作業(yè)2.4；2.