第二章 信息的度量

第一章信息科學(xué)及其發(fā)展1.1通信系統(tǒng)的基本概念1.2信息科學(xué)的有關(guān)概念1.3信息理論的研究內(nèi)容1.4香農(nóng)信息論概述通信系統(tǒng)模型信息、消息和信號信息一個抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素消息是信息的載體，相對具體的概念，如語言，文字，數(shù)字，圖像信號表示消息的物理量，電信號的幅度，頻率，相位等等通信系統(tǒng)傳輸?shù)氖切盘?，信號是消息的載體，消息中的未知成分是信息。信息的特征未知性或不確定性。又不知到知，等效為不確定性的集合的元素的減少?？梢远攘??？梢援a(chǎn)生、消失，可以被攜帶、存儲和處理。可以產(chǎn)生動作。信息論要解決的基本問題什么是信息？如何度量？在給定的信道中，信息傳輸有沒有極限？信息能否被壓縮和恢復(fù)？極限條件是什么？從實際環(huán)境（如干擾，噪聲）中抽取信息，極限條件是什么？允許一定失真的條件下，信息能否被更大程度地壓縮？極限條件是什么？設(shè)計什么樣的系統(tǒng)才能達到上述極限？現(xiàn)實中，接近極限的設(shè)備是否存在？信息量、信道容量、熵、香農(nóng)定理、香農(nóng)公式等。信息論的研究內(nèi)容狹義信息論（香農(nóng)信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除香農(nóng)信息論外還包括噪聲理論，信號濾波和預(yù)測，統(tǒng)計檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計算機翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)研究通信系統(tǒng)的目的找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認證性，以達到信息傳輸系統(tǒng)最優(yōu)化?？煽啃?使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。有效性:經(jīng)濟效果好，即用盡可能短的時間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。保密性:隱蔽和保護通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。認證性:指接收者能正確判斷所接收的消息的正確性和完整性，而不是偽造的和被篡改的。香農(nóng)信息論信息的度量信息量、熵?zé)o失真信源編碼香農(nóng)第一定理信道編碼香農(nóng)第二定理帶限信道傳輸能力信道容量公式（香農(nóng)公式）信息傳輸失真及差錯信息率失真理論、香農(nóng)第三定理、信息價值網(wǎng)絡(luò)信息傳輸網(wǎng)絡(luò)信息理論保密通信香農(nóng)信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼第二章信息的度量2.1度量信息的基本思路2.2信源熵和條件熵2.3互信息量和平均互信息量2.4多維隨機變量的熵單消息（符號）信源它是最簡單也是最基本的信源，是組成實際信源的基本單元。它可以用信源取值隨機變量的范圍X和對應(yīng)概率分布P(X)共同組成的二元序?qū)X,P(X)]來表示。當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計特性，因此有時也把這個概率空間稱為信源空間。

單符號離散信源這些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個消息。因此，可以用一個離散型隨機變量X來描述這個信源輸出的消息。這個隨機變量X的樣本空間就是符號集A；而X的概率分布就是各消息出現(xiàn)的先驗概率，信源的概率空間必定是一個完備集。在實際情況中，存在著很多這樣的信源。例如投硬幣、書信文字、計算機的代碼、電報符號、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個符號(或代碼)的消息，它們符號集的取值是有限的或可數(shù)的。我們可用一維離散型隨機變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：單符號離散信源例：對于二進制數(shù)據(jù)、數(shù)字信源：X={0,1}，則有

信息的度量信息的度量（信息量）和不確定性消除的程度有關(guān)，消除了多少不確定性，就獲得了多少信息量；不確定性就是隨機性，可以用概率論和隨機過程來測度不確定性的大小，出現(xiàn)概率小的事件，其不確定性大，反之，不確定性??；由以上兩點可知：概率小——>信息量大，即信息量是概率的單調(diào)遞減函數(shù)；此外，信息量應(yīng)該具有可加性；信息量的特點事件（或消息）輸出的信息量僅依賴于它的概率，而與它的取值無關(guān)。信息量是概率分布的連續(xù)函數(shù)。信息量是概率分布的減函數(shù)。統(tǒng)計獨立的兩個信源產(chǎn)生的兩個事件，其聯(lián)合信息量應(yīng)為各事件信息量之和。對數(shù)函數(shù)！自信息量由于信息量與概率成反比，并且具有可加性，可以證明，信息量的計算式為

其中Pk是事件Xk發(fā)生的概率，這也是先農(nóng)關(guān)于(自)信息量的度量(概率信息)；自信息量I(xk)的含義當(dāng)事件xk發(fā)生以前，表示事件xk發(fā)生的不確定性；當(dāng)事件xk發(fā)生以后，表示事件xk所提供的信息量；自信息量計算信息量主要要注意有關(guān)事件發(fā)生概率的計算；例：從26個英文字母中，隨即選取一個字母，則該事件的自信息量為

I=-log2(1/26)=4.7比特例：設(shè)m比特的二進制數(shù)中的每一個是等概率出現(xiàn)的(這樣的數(shù)共有2m個)，則任何一個數(shù)出現(xiàn)的自信息為:

I=-log2(1/2m)=m比特/符號自信息量自信息量的單位自信息量的單位取決于對數(shù)的底；底為2，單位為“比特（bit）”；底為e，單位為“奈特（nat）”；底為10，單位為“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；仙農(nóng)關(guān)于信息定義和度量的優(yōu)點優(yōu)點它是一個科學(xué)的定義，有明確的數(shù)學(xué)模型和定量計算；它與日常生活中關(guān)于信息的理解不矛盾；它排除了對信息一詞某些主觀性的含義，是純粹形式化的概念；仙農(nóng)關(guān)于信息定義和度量的局限局限這個定義的出發(fā)點是假設(shè)事物的狀態(tài)可以用一個以經(jīng)典集合論為基礎(chǔ)的概率模型來描述，然而實際存在的某些事物運動狀態(tài)很難用一個合適的經(jīng)典概率模型來描述，甚至在某些情況下不存在這樣的模型；這個定義和度量沒有考慮收信者的主觀性和主觀意義，也拋開了事物本身的具體含義、用途、重要程度和引起的后果等，這與實際不完全一致。條件自信息、聯(lián)合自信息、互信息量自信息、條件自信息和互信息I(xk)I(yj)I(xk

;yj)互信息量的性質(zhì)對稱性。值域為實數(shù)（可以小于0）。不大于其中任一事件的自信息量。條件互信息量熵(Entropy)的概念通常研究單獨一個事件或單獨一個符號的信息量是不夠的，往往需要研究整個事件集合或符號序列(如信源)的平均的信息量(總體特征)，這就需要引入新的概念；熵(Entropy)的概念（續(xù)）假設(shè)離散事件集合的概率特性由以下數(shù)學(xué)模型表示：則如果將自信息量看為一個隨機變量，其平均信息量為自信息量的數(shù)學(xué)期望，其定義為：由于這個表達式和統(tǒng)計物理學(xué)中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；熵的計算例：設(shè)某信源輸出四個符號，其符號集合的概率分布為：則其熵為：熵的含義熵是從整個集合的統(tǒng)計特性來考慮的，它是從平均意義上來表征集合的總體特征的。熵表示事件集合中事件發(fā)生后，每個事件提供的平均信息量；熵表示事件發(fā)生前，集合的平均不確定性；例：有2個集合，其概率分布分別為：

分別計算其熵，則：H(X)=0.08bit/符號,H(Y)=1bit/符號熵的性質(zhì)連續(xù)性:當(dāng)某事件Ek的概率Pk稍微變化時，H函數(shù)也只作連續(xù)的不突變的變化；對稱性:熵函數(shù)對每個Pk

對稱的。該性質(zhì)說明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與事件集合的總體統(tǒng)計特性有關(guān)；非負性:H>=0；確定性，即：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即當(dāng)某一事件為確定事件時，整個事件集合的熵為0；熵的性質(zhì)（續(xù)）極值性，即當(dāng)所有事件等概率出現(xiàn)時，平均不確定性最大，從而熵最大，即：熵的性質(zhì)（續(xù)）可加性:設(shè)有一事件的完全集合{E1,E2,…,En},其熵為H1(p1,p2,…,pn)?，F(xiàn)設(shè)其中一事件En又劃分為m個子集，即：

這時構(gòu)成的三個概率空間分別具有熵函數(shù)：

這說明對集合的進一步劃分會使它的不確定性增加，即熵總是往大增加。熵的性質(zhì)（續(xù)）例子:設(shè)事件A1,A2構(gòu)成全集，p(A1)=p1=3/15,p(A2)=p2=12/15.現(xiàn)將事件A2又進一步劃分為2個子集B和C，且p(B)=q1=4/15,p(C)=q2=8/15,則：剩余度ΔH剩余度刻畫了事件集合中符號的相關(guān)性程度，其定義為：ΔH=H0-H其中：H0為熵的最大值，H為熵的實際值；剩余度ΔH(續(xù))例：英文字母表由27個元素構(gòu)成的集合的熵的最大值為：H0=log27=4.75bit/符號(當(dāng)27個元素等概率分布時)對于實際的有意義英文來說，由于受到英語構(gòu)詞法等規(guī)則的限制，其字母不是等概率出現(xiàn)的，而呈現(xiàn)一定的分布（如下表）。由此可以計算出實際英文字母表(26字母+1空格)的熵為:H(x)=4.03bits/字母；因此，英文字母表的剩余度ΔH=4.75-4.03=0.72以上結(jié)論僅僅從英文字母的概率分布得出。一般認為，如果考慮到英語的所有特點，則實際英文字母表的熵為H=1.4bits/字母；也就是說，英語的冗余是很大的。剩余度ΔH(續(xù))正是因為原始的信息都有冗余，才有可能對信息進行壓縮，以盡量減少冗余，提高每個符號攜帶的信息量；但另一方面，冗余信息可以提高信息的抗干擾能力，如果信息的某部分在傳輸中被損壞，則通過冗余有可能將其恢復(fù)。(冗余小,有效)(冗余大,可靠)中國中華人民共和國從提高信息傳輸效率的角度出發(fā)，總是希望減少剩余度（壓縮），這是信源編碼的作用；從提高信息抗干擾能力來看，總是希望增加或保留剩余度，這是信道編碼的作用；二維離散概率量的熵二維的系統(tǒng)能表達通信系統(tǒng)發(fā)送和接收的關(guān)系，也能表達存儲系統(tǒng)的存取關(guān)系，二維的結(jié)果還可以向多維系統(tǒng)推廣，因此這個研究具有重要的意義。聯(lián)合事件集合和概率矩陣邊際概率兩個事件集合E、F的聯(lián)合事件集合用X、Y表示E、F對應(yīng)的隨機變量，則其聯(lián)合概率矩陣為邊際熵和聯(lián)合熵通過熵的定義，可以得到：邊際熵聯(lián)合熵條件概率和條件熵條件概率并且當(dāng)已知特定事件yj

出現(xiàn)時，下一個出現(xiàn)的是

xi的不確定性為：對集合X中所有元素統(tǒng)計平均，其熵為：條件概率和條件熵上述熵值再對集合Y中的元素做統(tǒng)計平均，得條件熵：同理可得：例子例：擲兩個均勻的六面體，六面體的每一面上分別有1,2,3,…,6個點，求各個熵。將兩個六面體出現(xiàn)點數(shù)的事件用X和Y表示，每個六面體有6種可能的點數(shù)，兩個共有36種組合，每種出現(xiàn)的概率為1/36，即：

p(xi,yj)=1/36,p(xi)=1/6,p(yj)=1/6.

p(yj|xi)=p(xi,yj)/p(xi)=1/6,p(xi|yj)=1/6.邊際熵聯(lián)合熵條件熵從通信系統(tǒng)角度看熵的意義H(X)：表示信源