第二章 離散信源及其信息測(cè)度

第一章內(nèi)容回顧信息論研究的對(duì)象、目的和內(nèi)容信息論發(fā)展簡(jiǎn)史與現(xiàn)狀(了解)信息論的形成與發(fā)展信息論方法的應(yīng)用及其取得的成果信息的概念信息消息、信號(hào)、信息的區(qū)別與聯(lián)系1第二章：離散信源及信息測(cè)度

孫桂萍2信息論對(duì)信源研究的內(nèi)容信源的建模與分類：根據(jù)消息的隨機(jī)性質(zhì)對(duì)信源分類離散信源的信息熵及性質(zhì)：什么是信息熵；九大性質(zhì)幾種具體信源：離散平穩(wěn)信源馬爾可夫信源3信源特性與分類信源的統(tǒng)計(jì)特性1）什么是信源？信源是信息的來源，實(shí)際通信中常見的信源有：語音、文字、圖像、數(shù)據(jù)…。在信息論中，信源是產(chǎn)生消息（符號(hào)）、消息（符號(hào)）序列以及連續(xù)消息的來源，數(shù)學(xué)上，信源是產(chǎn)生隨機(jī)變量，隨機(jī)序列和隨機(jī)過程的源。2）信源的主要特性信源的最基本的特性是具有隨機(jī)不確定性，它可用概率統(tǒng)計(jì)特性來描述。4信源特性與分類單消息（符號(hào)）信源：離散信源連續(xù)變量信源平穩(wěn)信源無/有記憶信源馬爾可夫信源隨機(jī)波形信源※5單消息（符號(hào)）信源它是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。它可以用信源取值隨機(jī)變量X和對(duì)應(yīng)的概率分布P(x)共同組成的概率空間來表示。離散信源與概率空間的一一對(duì)應(yīng)關(guān)系：當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計(jì)特性，因此有時(shí)也把這個(gè)概率空間稱為信源空間。

表示隨機(jī)現(xiàn)象各種結(jié)果的變量6單消息（符號(hào)）信源－－離散信源特點(diǎn)：這些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個(gè)消息。因此，可以用一維離散型隨機(jī)變量X來描述這個(gè)信源輸出的消息。這個(gè)隨機(jī)變量X的樣本空間就是符號(hào)集A；而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率，信源的概率空間必定是一個(gè)完備集。在實(shí)際情況中，存在著很多這樣的信源。例如投硬幣、計(jì)算機(jī)的代碼、電報(bào)符號(hào)、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個(gè)符號(hào)(或代碼)的消息，它們符號(hào)集的取值是有限的或可數(shù)的。我們可用一維離散型隨機(jī)變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：7單消息（符號(hào)）信源－－離散信源對(duì)離散信源的建模例：對(duì)于二進(jìn)制數(shù)據(jù)/數(shù)字信源：U={0,1}，則有

重點(diǎn)掌握：形式，每個(gè)符號(hào)的含義8單消息（符號(hào)）信源－－連續(xù)信源有的信源雖輸出是單個(gè)符號(hào)(代碼)的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，即輸出消息的符號(hào)集A的取值是連續(xù)的，或取值是實(shí)數(shù)集(-∞，∞)。例如，語音信號(hào)、熱噪聲信號(hào)某時(shí)間的連續(xù)取值數(shù)據(jù)，遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測(cè)得的連續(xù)數(shù)據(jù)。這些數(shù)據(jù)取值是連續(xù)的，但又是隨機(jī)的。我們可用一維的連續(xù)型隨機(jī)變量X來描述這些消息。這種信源稱為連續(xù)信源，其數(shù)學(xué)模型是連續(xù)型的概率空間：

9單消息（符號(hào)）信源－－連續(xù)信源其中：對(duì)于連續(xù)信源的建模:10隨機(jī)矢量描述的信源很多實(shí)際信源輸出的消息往往是由一系列符號(hào)序列所組成的。可以把這種信源輸出的消息看做時(shí)間上或空間上離散的一系列隨機(jī)變量，即為隨機(jī)矢量。這時(shí)，信源的輸出可用N維隨機(jī)矢量X=(X１，X２…XN)來描述，其中N可為有限正整數(shù)或可數(shù)的無限值。這N維隨機(jī)矢量X有時(shí)也稱為隨機(jī)序列。11平穩(wěn)信源一般來說，信源輸出的隨機(jī)序列的統(tǒng)計(jì)特性比較復(fù)雜，分析起來也比較困難。為了便于分析，我們假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列，也就是序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無關(guān)。很多實(shí)際信源也滿足這個(gè)假設(shè)。若信源輸出的隨機(jī)序列X=(Ｘ１，Ｘ２，…，ＸＮ)中，每個(gè)隨機(jī)變量Xi(i=1,2,…，N)都是取值離散的離散型隨機(jī)變量，即每個(gè)隨機(jī)變量Xi的可能取值是有限的或可數(shù)的。而且隨機(jī)矢量X的各維概率分布都與時(shí)間起點(diǎn)無關(guān)，也就是在任意兩個(gè)不同時(shí)刻隨機(jī)矢量X的各維概率分布都相同。這樣的信源稱為離散平穩(wěn)信源。如中文自然語言文字，離散化平面灰度圖像都是這種離散型平穩(wěn)信源。與之對(duì)應(yīng)的還有連續(xù)平穩(wěn)信源。12無記憶信源在某些簡(jiǎn)單的離散平穩(wěn)信源中，信源先后發(fā)出的一個(gè)個(gè)符號(hào)彼此是統(tǒng)計(jì)獨(dú)立的。也就是說信源輸出的隨機(jī)矢量X=(X１X２…XＮ）中，各隨機(jī)變量Xi(i=1,2,…N)之間是無依賴的、統(tǒng)計(jì)獨(dú)立的，則N維隨機(jī)矢量的聯(lián)合概率分布滿足P(X)=P１（Ｘ１）P２（Ｘ２）…PＮ（ＸＮ）由上述的信源空間［X，P(x)］描述的信源X為離散無記憶信源。這信源在不同時(shí)刻發(fā)出的符號(hào)之間是無依賴的，彼此統(tǒng)計(jì)獨(dú)立的。13離散無記憶信源X的N次擴(kuò)展信源N次擴(kuò)展信源是由離散無記憶信源輸出N長的隨機(jī)序列構(gòu)成的信源。離散無記憶信源的N次擴(kuò)展信源的數(shù)學(xué)模型是X信源空間的N重空間。14二元無記憶信源的二次擴(kuò)展信源例：一個(gè)消息是由“0”，“1”組成的一串序列：011000111000分成六組，即每兩個(gè)二元數(shù)字為一組：011000111000此時(shí)的信源可以看作是能輸出四個(gè)消息：00，01，10，11的一個(gè)新信源——也就稱其為二元無記憶信源的二次擴(kuò)展信源。15有記憶信源

一般情況下，信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的。也就是信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xi之間是有依賴的。例如，在漢字組成的中文序列中，只有根據(jù)中文的語法、習(xí)慣用語、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。其他如英文，德文等自然語言都是如此。這種信源稱為有記憶信源。我們需在N維隨機(jī)矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。16馬爾可夫信源表述有記憶信源要比表述無記憶信源困難得多。實(shí)際上信源發(fā)出的符號(hào)往往只與前若干個(gè)符號(hào)的依賴關(guān)系強(qiáng)，而與更前面的符號(hào)依賴關(guān)系弱。為此，可以限制隨機(jī)序列的記憶長度。當(dāng)記憶長度為m+1時(shí)，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號(hào)只與前m個(gè)符號(hào)有關(guān)，與更前面的符號(hào)無關(guān)。17隨機(jī)波形信源更一般地說，實(shí)際信源輸出的消息常常是時(shí)間和取值都是連續(xù)的。例如，語音信號(hào)X(t)、熱噪聲信號(hào)n(t)、電視圖像信號(hào)X(x0,y0,t)等時(shí)間連續(xù)函數(shù)。同時(shí)，在某一固定時(shí)間t０，它們的可能取值又是連續(xù)的和隨機(jī)的。對(duì)于這種信源輸出的消息，可用隨機(jī)過程來描述。稱這類信源為隨機(jī)波形信源。隨機(jī)波形信源的處理方式：在某種條件下可以轉(zhuǎn)換成隨機(jī)變量間統(tǒng)計(jì)獨(dú)立的隨機(jī)序列。如果隨機(jī)過程是平穩(wěn)的隨機(jī)過程，時(shí)間離散化后可轉(zhuǎn)換成平穩(wěn)的隨機(jī)序列。這樣，隨機(jī)波形信源可以轉(zhuǎn)換成連續(xù)平穩(wěn)信源來處理。若再對(duì)每個(gè)取樣值(連續(xù)型的)經(jīng)過分層(量化)，就可將連續(xù)的取值轉(zhuǎn)換成有限的或可數(shù)的離散值。也就可把連續(xù)信源轉(zhuǎn)換成離散信源來處理。18信息無處不在，但：信息用什么表示？如何表示？不確定性＝攜載的信息可用隨機(jī)變量的不確定性或隨機(jī)性作為信息的表示19非負(fù)性連續(xù)性可加性等概時(shí)與取值空間N的關(guān)系（單調(diào)增）與發(fā)生的概率P的關(guān)系（單調(diào)減）考察、分析信息的特征20自信息自信息消息的不確定性即為它的自信息:考慮一定的條件,得此函數(shù)為對(duì)數(shù)形式：式（2.22）21信息量的單位

自信息的單位與公式中的對(duì)數(shù)取底有關(guān)。通信與信息中最常用的是以2為底，這時(shí)單位為比特（bit）；理論推導(dǎo)中用以e為底較方便，這時(shí)單位為奈特（Nat）；工程上用以10為底較方便，這時(shí)單位為哈特（Hart）。它們之間可以引用對(duì)數(shù)換底公式進(jìn)行互換。比如：1bit=0.693Nat=0.301Hart22對(duì)于單個(gè)消息隨機(jī)變量X，出現(xiàn)某個(gè)消息，對(duì)應(yīng)概率為，這時(shí)可獲得的信息量為，則有：通過數(shù)學(xué)公式推導(dǎo)解釋：小概率事件，一旦出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。大概率事件，是預(yù)料之中的，即使發(fā)生，也沒什么信息量，特別是當(dāng)必然事件發(fā)生了，它不會(huì)給人以任何信息量。注：I－－自信息23當(dāng)事件ai發(fā)生以前，表示事件ai發(fā)生的不確定性當(dāng)事件ai發(fā)生以后表示事件ai所含有（所提供）的信息量自信息的含義24互信息(教材P7)信源發(fā)送消息,而由于干擾，在接收端收到的為消息，此時(shí)獲得的信息量——互信息，即最初的不確定性減去尚存在的不確定性。尚存在的不確定性為條件概率的函數(shù)，即：互信息消除的不確定性為先驗(yàn)的不確定性減去尚存在的不確定性。式（1.2）25例2.1:試驗(yàn)前：H(x)=log8=3(bit/符號(hào))H(x2)－H(x3)

=1－－獲得1bit信息量XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第二次測(cè)量后：X2P（x2）＝123456781/21/2000000H(x2)=log2=1(bit/符號(hào))第三次測(cè)量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符號(hào))第一次測(cè)量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號(hào))H(x)－H(x1)

=1－－獲得1bit信息量H(x1)－H(x2)

=1－－獲得1bit信息量H(X)表示在獲知哪個(gè)燈泡是壞的情況前，關(guān)于哪個(gè)燈泡已損壞的平均不確定性，即要確定哪個(gè)燈泡是壞的，至少需要獲得3個(gè)bit的信息量，才能完全消除不確定性。26熵熵的引入香農(nóng)熵與熱力學(xué)熵的關(guān)系熵可以作為信息的度量熵函數(shù)的性質(zhì)聯(lián)合熵和條件熵27熵的引入一個(gè)離散隨機(jī)變量X，以不同的取值概率有N個(gè)可能取值,

XP（x）＝a1a2…aNp1p2…pN信息論關(guān)心：X的不確定性不確定性－－大，獲取的信息－－多28熵的引入不確定性分析：隨機(jī)變量X、Y、ZXP（x）＝a1a20.010.99ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5問題：能否度量、如何度量？？小大29香農(nóng)指出：存在熵函數(shù)

滿足先驗(yàn)條件1、連續(xù)性條件：是的連續(xù)函數(shù)2、等概時(shí)為單調(diào)增函數(shù)：是N的增函數(shù)3、可加性條件：多次試驗(yàn)確定取值時(shí)，X在各次試驗(yàn)中的不確定性可加。結(jié)論：唯一的形式：C=常數(shù)>0，即：式2.2330香農(nóng)熵與熱力學(xué)中熱熵的關(guān)系熵這個(gè)名詞是香農(nóng)從物理學(xué)中的統(tǒng)計(jì)熱力學(xué)借用過來的，在物理學(xué)中稱它為熱熵是表示分子混亂程度的一個(gè)物理量，這里，香農(nóng)引用它來描述信源的平均不確定性，含義是類似的。但是在熱力學(xué)中已知任何孤立系統(tǒng)的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，一般只會(huì)減少，不會(huì)增加。所以有人稱信息熵為負(fù)熱熵。二者還有一個(gè)重大差別：熱熵是有量綱的，而香農(nóng)熵是無量綱的。31（仍有不確定性）熵可以作為信息的量度對(duì)于隨機(jī)變量而言：試驗(yàn)前－－試驗(yàn)后－－各取值的概率分布確切取值（0）（不確定性）一定的確切性多次試驗(yàn)后－－通過試驗(yàn)－－消除了不確定性－－獲得了信息－－信息的數(shù)量＝熵32例2.1:試驗(yàn)前：H(x)=log8=3(bit/符號(hào))H(x2)－H(x3)

=1－－獲得1bit信息量XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第二次測(cè)量后：X2P（x2）＝123456781/21/2000000H(x2)=log2=1(bit/符號(hào))第三次測(cè)量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符號(hào))第一次測(cè)量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號(hào))H(x)－H(x1)

=1－－獲得1bit信息量H(x1)－H(x2)

=1－－獲得1bit信息量H(X)表示在獲知哪個(gè)燈泡是壞的情況前，關(guān)于哪個(gè)燈泡已損壞的平均不確定性，即要確定哪個(gè)燈泡是壞的，至少需要獲得3個(gè)bit的信息量，才能完全消除不確定性。33例2.2:試驗(yàn)前：XP（x）＝1234561/61/61/61/61/61/6H(x)=log6=2.58bits=1.79natsX1P（x1）＝123456010000H(x1)=0H(x)－H(x1)=log6試驗(yàn)后：34熵的物理含義觀察隨機(jī)變量X、Y、ZH(X)=-0.01log0.01-0.99log0.99=0.08（比特/符號(hào)）H(Y)=-0.5log0.5-0.5log0.5=1（比特/符號(hào)）H(Z)=5(-0.2log0.2)=2.32（比特/符號(hào)）XP（x）＝a1a20.010.99ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.535熵的物理含義熵是隨機(jī)變量的隨機(jī)性的描述。變量Y、Z等概，隨機(jī)性大，變量X不等概，則隨機(jī)性小等概情況下，可取值越多，隨機(jī)性越大H（）是描述隨機(jī)變量所需的比特?cái)?shù)熵是信源輸出消息前隨機(jī)變量平均不確定性的描述X試驗(yàn)中發(fā)生a1,獲得的自信息為-log0.01=6.64(bit)Y試驗(yàn)中發(fā)生a1,獲得的自信息為-log0.5=1(bit)H（）反映的是平均的不確定性信源熵H(X)是表示信源輸出后每個(gè)消息/符號(hào)所提供的平均信息量36熵的基本性質(zhì)和定理熵函數(shù)H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函數(shù)（實(shí)際上，因Σp(xi)=1，獨(dú)立變量只有n-1個(gè)，H是(n-1)元函數(shù)）:(1)非負(fù)性(2)對(duì)稱性(3)最大離散熵定理(4)擴(kuò)展性(5)確定性(6)可加性(7)上凸性37(1)非負(fù)性H(X)≥0因?yàn)殡S機(jī)變量X的所有取值的概率分布滿足0≤p(xi)≤1；當(dāng)取對(duì)數(shù)的底大于1時(shí)logp(xi)≤0，而-

p(xi)

logp(xi)≥0，所以熵H(X)≥0；38熵函數(shù)的性質(zhì)－－非負(fù)性（證明）證明一：而：故：所以：（取底數(shù)大于1時(shí)）39熵函數(shù)的性質(zhì)－－非負(fù)性（證明）證明二：有：或：所以：40(2)

對(duì)稱性①定義：當(dāng)變量p(x1),p(x2),…,p(xn)的順序任意互換時(shí)，熵函數(shù)的值不變，即②含義：該性質(zhì)說明熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，與信源的總體統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同（含有的符號(hào)數(shù)和概率分布相同），那么這些信源的熵就相同。41(3)最大離散熵定理(極值性)定理：離散無記憶信源輸出N個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)(即p(xi)=1/N)，熵最大。H[p(x1),p(x2),…,p(xN)]≤H(1/N,1/N,…,1/N)=log2N

結(jié)論：出現(xiàn)任何一個(gè)符號(hào)的可能性相等時(shí)，信源的平均不確定性最大。42例2.3：二元熵函數(shù)是對(duì)0－1分布的隨機(jī)變量所求的熵：XP（x）＝01p1-pH(X)=-plogp-(1-p)log(1-p)=H(p)H’(X)=-logp-p/p+log(1-p)+(1-p)/(1-p)=log(1-p)/p則：H(X)對(duì)p求導(dǎo)：可以證明，p＝1/2時(shí)，H(p)取最大值，為log2=1。而p=0或1時(shí)，H(p)＝0，故二元熵函數(shù)的曲線如圖所示：431.01.00.50pH(p)/bit二元熵函數(shù)曲線等概時(shí)，p=0.5：隨機(jī)變量具有最大的不確定性，p=0,1時(shí)：隨機(jī)變量的不確定性消失。44(4)擴(kuò)展性因?yàn)樗陨鲜匠闪?。本性質(zhì)說明，信源的取值增多時(shí)，若這些取值對(duì)應(yīng)的概率很?。ń咏诹悖瑒t信源的熵不變。雖然概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出現(xiàn)，所以它在熵的計(jì)算中占的比重很小。這也是熵的總體平均性的一種體現(xiàn)。45(5)確定性H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

從總體上看，信源雖然有不同的輸出消息，但它只有一個(gè)消息幾乎必然出現(xiàn)，而其他消息都是幾乎不可能出現(xiàn)，這個(gè)信源是一個(gè)確知信源，其熵等于零。46(6)

強(qiáng)可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)

47(7)

上凸性設(shè)有一個(gè)多元矢量函數(shù)f(x1,x2,…,xn)=f(X)，對(duì)任一小于1的正數(shù)α(0＜α＜1)及f的定義域中任意兩個(gè)矢量X,Y，

若f[αX+(1-α)Y]＞αf(X)+(1-α)f(Y)，則稱f為嚴(yán)格上凸函數(shù)。設(shè)P,Q為兩組歸一的概率矢量：

P=[p(x1),p(x2),…,p(xn)]，Q=[p(y1),p(y2),…,p(yn)]0≤p(xi)≤1，0≤p(yi)≤1，有：H[αP

+(1-α)Q]＞αH(P)+(1-α)H(Q)

48離散無記憶的擴(kuò)展信源什么是平穩(wěn)離散無記憶信源？信源輸出的消息序列是平穩(wěn)隨機(jī)序列并且符號(hào)之間是無依賴的。離散無記憶信源的數(shù)學(xué)模型與離散信源的類似，也用[X，P（x）]表示，只是離散無記憶信源輸出的消息是一串符號(hào)序列，用隨機(jī)矢量表示，隨機(jī)矢量的聯(lián)合概率分布等于組成它的各個(gè)隨機(jī)變量的概率乘積(為什么？)。49離散無記憶的擴(kuò)展信源定義：一個(gè)離散無記憶信源X，其樣本空間為{a1,a2,…,aq}，信源輸出的消息可以用一組組長度為N的序列表示。此時(shí)信源X可等效成一個(gè)新信源XN=（X1,X2,…,XN），其中的每個(gè)分量Xi都是隨機(jī)變量，都取于X，分量之間統(tǒng)計(jì)獨(dú)立，這樣的新信源就是離散無記憶信源X的N次擴(kuò)展信源。結(jié)論：離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源x的熵的N倍。50ex：2.6某一離散無記憶平穩(wěn)信源：求此信源的二次擴(kuò)展信源的熵？X2信源的符號(hào)組成擴(kuò)展信源的符號(hào)概率1/41/81/81/81/161/161/81/161/1651離散平穩(wěn)信源（1）回憶：什么是離散平穩(wěn)信源？嚴(yán)格的數(shù)學(xué)定義一維離散平穩(wěn)信源：若當(dāng)t=i，t=j時(shí)，信源輸出的隨機(jī)序列滿足P(xi)=P(xj)=P(x)，即一維概率分布與時(shí)間起點(diǎn)無關(guān)，則信源稱為一維離散平穩(wěn)信源。二維離散平穩(wěn)信源：若信源輸出的隨機(jī)序列同時(shí)還滿足二維聯(lián)合概率分布也與時(shí)間起點(diǎn)無關(guān)，即P(xi，xi+1)

=P(xj，xj+1)

，則信源稱為二維離散平穩(wěn)信源。52離散平穩(wěn)信源（2）若信源輸出的隨機(jī)序列各維概率分布均與時(shí)間起點(diǎn)無關(guān)，則信源是完全平穩(wěn)的，稱為離散平穩(wěn)信源。離散平穩(wěn)信源中聯(lián)合概率滿足的等式：

P(xi)=P(xj)；P(xi，xi+1)

=P(xj，xj+1)……(2.61)推論：離散平穩(wěn)信源的條件概率也與時(shí)間起點(diǎn)無關(guān)。P(xi+1/xi)=P(xj+1/xj)；P(xi+2/xixi+1)

=P(xj+2/xjxj+1)

……(2.63)53二維離散平穩(wěn)信源特點(diǎn)：

1、信源的一維、二維概率分布均與時(shí)間起點(diǎn)無關(guān)。2、輸出的隨機(jī)序列中只有兩兩相鄰的符號(hào)之間有依賴關(guān)系。二維離散平穩(wěn)信源的概率空間：

聯(lián)合概率：二者共同描述一個(gè)二維離散平穩(wěn)信源。54二維離散平穩(wěn)信源信息測(cè)度——信源熵一、把二維離散平穩(wěn)信源輸出的隨機(jī)序列相鄰的兩個(gè)符號(hào)分成一組，每組代表新信源的一個(gè)符號(hào)。聯(lián)合熵H(X1X2)二、先求出已知前面符號(hào)確定的情況下，下一個(gè)符號(hào)的平均不確定性，再對(duì)前面的符號(hào)求統(tǒng)計(jì)平均。條件熵H(X2/X1)55結(jié)論：兩個(gè)有相互依賴關(guān)系的隨機(jī)變量X1和X2所組成的隨機(jī)矢量X=X1X2的聯(lián)合熵H(X),等于第一個(gè)隨機(jī)變量的熵H(X1)與第一個(gè)隨機(jī)變量X1已知的前提下，第二個(gè)隨機(jī)變量X2的條件熵H(X2/X1)之和。

H(X1X2)=H(X1)+H(X2/X1)聯(lián)合熵、條件熵的關(guān)系：56聯(lián)合熵、條件熵的關(guān)系：當(dāng)X1,X2相互獨(dú)立時(shí)，有：于是有：理解：當(dāng)隨機(jī)變量相互獨(dú)立時(shí)，其聯(lián)合熵等于單個(gè)隨機(jī)變量的熵之和，而條件熵等于無條件熵。57聯(lián)合熵、條件熵的關(guān)系：一般情況下理解：表明一般情形下：條件熵總是小于無條件熵。注意：這是平均意義上的58ex：2.7某一二維離散平穩(wěn)信源ajai01201/41/18011/181/31/18201/187/36聯(lián)合概率求此信源的熵？59（法一）求聯(lián)合熵H(X1X2)（法二）求條件熵H(X2/X1)ajai01209/111/8012/113/42/9201/87/960H(X)=H(X1X2…XN-1XN)/聯(lián)合熵表示平均發(fā)一個(gè)消息（由N個(gè)符號(hào)組成的序列）提供的信息量。平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為極限熵：當(dāng)N→∞時(shí)，平均符號(hào)熵取極限值稱之為極限熵或極限信息量。用H∞表示，即離散平穩(wěn)有記憶信源的極限熵61極限熵的存在性：當(dāng)離散有記憶信源是平穩(wěn)信源時(shí)，從數(shù)學(xué)上可以證明，極限熵是存在的，且等于關(guān)聯(lián)長度N→∞時(shí)，條件熵H(XN/X1X2…XN-1)的極限值，即極限熵的計(jì)算：必須測(cè)定信源的無窮階聯(lián)合概率和條件概率分布，這是相當(dāng)困難的。有時(shí)為了簡(jiǎn)化分析，往往用條件熵或平均符號(hào)熵作為極限熵的近似值。在有些情況下，即使N值并不大，這些熵值也很接近H∞，例如馬爾可夫信源。通過推導(dǎo)可知，用條件熵作為極限熵的近似值更為接近。62馬爾可夫信源（自學(xué)）63信源剩余度64信息傳輸手