信息論第2專題

第2專題離散信源及其

信息測度第2專題離散信源及其信息測度

內(nèi)容提要我們將從有效而可靠地傳輸信息的觀點出發(fā)，對組成信息傳輸系統(tǒng)的各個部分分別進(jìn)行討論。本章首先討論信源，重點研究信源的統(tǒng)計特性和數(shù)學(xué)模型，以及各類離散信源的信息測度——熵及其性質(zhì)，從而引入信息理論的一些基本概念和重要結(jié)論第2專題離散信源及其信息測度

第一節(jié)信源的數(shù)學(xué)模型及分類第二節(jié)離散信源的信息熵第三節(jié)信息熵的基本性質(zhì)第四節(jié)離散無記憶的擴展信源第五節(jié)離散平穩(wěn)信源第六節(jié)馬爾可夫信源第七節(jié)信源剩余度與自然語言的熵第一節(jié)信源的數(shù)學(xué)模型與分類本節(jié)包括以下內(nèi)容：信源的分類信源的數(shù)學(xué)模型第一節(jié)信源的數(shù)學(xué)模型及分類

不同的信源根據(jù)其輸出消息的不同的隨機性質(zhì)進(jìn)行分類。1.單消息（符號）信源：2.平穩(wěn)信源3.無/有記憶信源4.馬爾可夫信源5.隨機波形信源最簡單、最基本的信源，是組成實際信源的基本單元。根據(jù)信源符號的取值,單符號信源可以分為連續(xù)信源和離散信源。輸出符號取離散值的稱為離散信源,而輸出符號取連續(xù)值的稱為連續(xù)信源。1.單消息（符號）信源離散信源信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個消息。在實際情況中，存在著很多這樣的信源。例如投硬幣、書信文字、計算機的代碼、電報符號、阿拉伯?dāng)?shù)字碼等等。一維離散型隨機變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：數(shù)學(xué)模型如下：

集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對應(yīng)消息的概率密度，各個消息的輸出概率總和應(yīng)該為1(信源的概率空間必定是一個完備集)。

離散信源數(shù)學(xué)模型概率空間（信源空間）能表征這離散信源的統(tǒng)計特性連續(xù)變量信源有的信源雖輸出是單個符號(代碼)的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，即輸出消息的符號集A的取值是連續(xù)的，或取值是實數(shù)集(-∞，∞)?？捎靡痪S的連續(xù)型隨機變量X來描述這些消息。這種信源稱為連續(xù)信源，其數(shù)學(xué)模型是連續(xù)型的概率空間：

數(shù)學(xué)模型如下：例如，語音信號、熱噪聲信號某時間的連續(xù)取值數(shù)據(jù)，遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。這些數(shù)據(jù)取值是連續(xù)的，但又是隨機的。

連續(xù)變量信源數(shù)學(xué)模型2.平穩(wěn)信源很多實際信源輸出的消息往往是由一系列符號序列所組成的?？梢园堰@種信源輸出的消息看做時間上或空間上離散的一系列隨機變量，即為隨機矢量。信源的輸出可用N維隨機矢量X=(

X１，X２…XN)來描述，其中N可為有限正整數(shù)或可數(shù)的無限值。這N維隨機矢量X有時也稱為隨機序列。一般來說，信源輸出的隨機序列的統(tǒng)計特性比較復(fù)雜，分析起來也比較困難。為了便于分析，我們假設(shè)信源輸出的是平穩(wěn)的隨機序列，也就是序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)。若信源輸出的隨機序列X=(Ｘ1,Ｘ2,…,ＸN)中，每個隨機變量

Xi(i=1,2,…，N)都是取值離散的離散型隨機變量，即Xi的可能取值是有限的或可數(shù)的。而且隨機矢量X的各維概率分布都與時間起點無關(guān)，也就是在任意兩個不同時刻隨機矢量X的各維概率分布都相同。這樣的信源稱為離散平穩(wěn)信源。如中文自然語言文字，離散化平面灰度圖像。離散平穩(wěn)信源連續(xù)平穩(wěn)信源若信源輸出的消息可用N維隨機矢量X=(Ｘ1,Ｘ2,…,ＸN)來描述，其中每個隨機變量

Xi(i=1,2,…，N)都是取值連續(xù)的連續(xù)型隨機變量，即Xi的可能取值是不可數(shù)的無限值。并且滿足隨機矢量X的各維概率分布都與時間起點無關(guān)，也就是在任意兩個不同時刻隨機矢量X的各維概率密度函數(shù)都相同。這樣的信源稱為連續(xù)平穩(wěn)信源。如語音信號，熱噪聲信號。3.無/有記憶信源在某些簡單的離散平穩(wěn)信源情況下，信源先后發(fā)出的一個個符號彼此是統(tǒng)計獨立的。信源輸出的隨機矢量X=(X1X2…XＮ)中,各隨機變量Xi(i=1,2,…N)之間是無依賴的、統(tǒng)計獨立的,P(X)=P1(Ｘ1)P2(Ｘ2)…PN(ＸN)離散無記憶信源。

在不同時刻發(fā)出的符號之間是無依賴的，彼此統(tǒng)計獨立的。

無記憶信源離散無記憶信源X的N次擴展信源N次擴展信源是由離散無記憶信源輸出N長的隨機序列構(gòu)成的信源。離散無記憶信源的N次擴展信源的數(shù)學(xué)模型是X信源空間的N重空間。有記憶信源

一般情況下，信源在不同時刻發(fā)出的符號之間是相互依賴的。也就是信源輸出的平穩(wěn)隨機序列X中，各隨機變量Xi之間是有依賴的。這種信源稱為有記憶信源。我們需在N維隨機矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。例如，漢字組成的中文序列中，前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。4.馬爾可夫信源信源發(fā)出的符號往往只與前若干個符號的依賴關(guān)系強，而與更前面的符號依賴關(guān)系弱。為此，可以限制隨機序列的記憶長度。當(dāng)記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。時齊馬爾可夫信源設(shè)馬爾可夫信源各時刻隨機變量Ｘｋ的取值為xk，xk∈Xk，k=1,2,…，i-1,i,i+1,…N，則描述隨機序列中各隨機變量之間依賴關(guān)系的條件概率為P(xi|…xi+2xi+1xi-1xi-2xi-3…xi-m…x1)=P(xi|…xi-1xi-2x-3…xi-m)

（i=1,2,…N）

如果上述條件概率與時間起點i無關(guān)，即信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可信源。5.隨機波形信源實際信源輸出的消息常常是時間和取值都是連續(xù)的。在某一固定時間t０，它們的可能取值又是連續(xù)的和隨機的。對于這種信源輸出的消息，可用隨機過程來描述。稱這類信源為隨機波形信源。語音信號、熱噪聲信號、電視圖像信號等。分析一般隨機波形信源比較復(fù)雜和困難。

根據(jù)信源符號的取值,信源可以分為連續(xù)信源和離散信源。輸出符號取連續(xù)值的稱為連續(xù)信源,而輸出符號取離散值的稱為離散信源。離散信源輸出離散消息,如電報,文字,代碼等。根據(jù)輸出符號間的依賴關(guān)系，信源可以分為無記憶信源和有記憶信源。輸出符號間相互獨立的稱為無記憶信源,而輸出符號之間具有相關(guān)性的稱為有記憶信源。在離散信源中，如果信源符號集為有限集，則稱有限離散信源，如果信源符號集為無限可數(shù)集，則稱無限離散信源。統(tǒng)計特性不隨時間的起點改變的信源稱為平穩(wěn)信源，反之稱為非平穩(wěn)信源。通常，非平穩(wěn)且有記憶信源的特性要比平穩(wěn)無記憶信源的特性復(fù)雜得多。

離散序列信源總結(jié)概率復(fù)習(xí)試驗前：XP（x）＝123456781/81/8

1/8

1/8

1/8

1/8

1/8

1/8

12312345678第一次測量后：X1P（x1）＝123456781/41/4

1/4

1/40000－－獲得1bit信息量第二節(jié)離散信源的信息熵1、自信息根據(jù)后面分析例2.1:第二次測量后：X2P（x2）＝123456781/21/2000000－－獲得1bit信息量第三次測量后：X3P（x3）＝12345678

10000000－－獲得1bit信息量因此要從8個等可能損壞的串聯(lián)燈泡中確定哪個燈泡是壞的，至少需要獲得3個bit的信息量，否則，是無法確切知道哪個燈泡已壞了。（1）信息量的定義在信息傳輸?shù)囊话闱闆r下，收信者所獲得的信息量應(yīng)等于信息傳輸前后不確定性的減少的量。因此，我們直觀的把信息量定義為：收到此消息前關(guān)于某事件發(fā)生的不確定性-收到此消息后關(guān)于某事件發(fā)生的不確定性收到某消息獲得的信息量=不確定性減少的量=在無噪聲時，通過信道的傳輸，可以完全不失真的收到所發(fā)的消息，所以收到此消息后關(guān)于某事件的不確定性完全消除，此項為零。因此得收到某消息獲得的信息量=收到消息前關(guān)于某事件發(fā)生的不確定性=信源輸出的某消息中所含有的信息量

事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)。因此，某事件所含有的信息量應(yīng)該是事件發(fā)生的先驗概率的函數(shù)。

根據(jù)客觀事實和人們的習(xí)慣概念，應(yīng)滿足以下條件:（2）自信息（3）自信息滿足的條件（2）當(dāng)時（3）當(dāng)時（4）兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。(1)應(yīng)是先驗概率的單調(diào)遞減函數(shù)，即當(dāng)時（4）自信息的表示形式根據(jù)上述條件可以從數(shù)學(xué)上證明這種函數(shù)形式是對數(shù)函數(shù)，即：其中：1），2）？對數(shù)的底數(shù)大于1

自信息量的單位取決于對數(shù)所取的底{{關(guān)于對數(shù)底的選取：

（5）自信息的物理意義例★自信息的含義包含兩方面：

（6）例題：設(shè)天氣預(yù)報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來表示晴天，以來表示雨天，則我們的信源模型如下：例例甲袋中有n個不同阻值的電阻，從中隨機取出一個，猜測所取得的是何種阻值的困難程度是多少？解：這相當(dāng)于求事件的不確定性事件等概例甲袋中有n(n+1)/2個不同阻值的電阻，其中1Ω的1個，2Ω的2個，……，nΩ的n個，從中隨機取出一個，求“取出阻值為i（0≤i≤n）的電阻”所獲得的信息量。解：“取出阻值為i的電阻”的概率是多少？2、信息熵定義自信息的數(shù)學(xué)期望為信源的平均自信息量（信息熵）信息熵是從信源的整個統(tǒng)計特性來考慮的。它是平均意義上來表征信源的總體信息測度的。對于某特定的信源，其信息熵是一定的。不同的信源統(tǒng)計特性不同，其熵也不同。熵只與概率空間有關(guān)。單位：以2為底，比特/符號（1）定義信源熵和平均自信息量兩者在數(shù)值上是相等的，但含義并不同。信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的量度。有一布袋內(nèi)放100個球，其中80個紅色的，20個白色的。若隨意摸取一球，猜測是什么顏色的，這一事件的概率空間為：如果被告知摸出的是紅球，那么獲得的信息量是：如果被告知摸出的是白球，那么獲得的信息量是：例若每次摸出一個球后又放回去，再進(jìn)行第二次摸取。那么摸取n次中，紅球出現(xiàn)的次數(shù)為np(a1),白球出現(xiàn)的次數(shù)為np(a2),則摸取n次后總共獲得的信息量是：這樣，平均一次能獲得的信息量約為★信源輸出前

信源的平均不確定性★信源輸出后

一個信源符號所提供的平均信息量★信源隨機性大?。篐（X）大的，隨機性大★信源輸出后，不確定性就解除

解除信源不確定性所需信息量（2）熵的物理含義注意：信息熵是信源的平均不確定性的描述。一般情況下，并不等于平均獲得的信息量。只是在無噪的情況下，才相等例例：天氣預(yù)報，有兩個信源

則：說明第二個信源的平均不確定性更大一些觀察隨機變量X、Y、ZXP（x）＝a1a20.010.99ZP（y）＝a1a2a3a4a50.20.2

0.2

0.2

0.2YP（z）＝a1a2

0.50.5H(X)=-0.01log0.01-0.99log0.99=0.08（比特/符號）H(Y)=-0.5log0.5-0.5log0.5=1（比特/符號）H(Z)=5(-0.2log0.2)=2.32（比特/符號）變量Y、Z等概，隨機性大，變量X不等概，則隨機性小等概情況下，可取值越多，隨機性越大H（）是描述隨機變量所需的比特數(shù)一個信源X的符號集為{0，1}，其中“0”符號出現(xiàn)的概率為p，求信源的熵例解：出現(xiàn)“1”的概率是多少？（1-p）那么，直接使用公式就可以求出來：一電視屏幕的格點數(shù)為500×600=300000，每點有10個灰度等級，若每幅畫面等概率出現(xiàn)，求每幅畫面平均所包含的信息量例解：可能的畫面數(shù)是多少？代入公式：解：甲地天氣預(yù)報構(gòu)成的信源空間為：例題2.4設(shè)某甲地的天氣預(yù)報為：晴（4/8）、陰（2/8）、大雨（1/8）、小雨（1/8）。又設(shè)某乙地的天氣預(yù)報為：晴（7/8）、小雨（1/8）。則其提供的平均信息量即信源的信息熵為

乙地天氣預(yù)報構(gòu)成的信源空間為：則其提供的平均信息量即信源的信息熵為可見，甲地提供的平均信息量大于乙地，因為乙地比甲地的平均不確定性小。甲地極端情況極端情況1：晴天概率＝1極端情況2：各種天氣等概率分布結(jié)論：等概率分布時信源的不確定性最大，所以信息熵（平均信息量）最大乙地極端情況極端情況1：晴天概率＝1極端情況2：各種天氣等概率分布結(jié)論：同樣在極端情況2下，甲地比乙地提供更多的信息量。這是因為，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。第三節(jié)信息熵的基本性質(zhì)熵函數(shù)可以表示為：H（P）是概率矢量P的函數(shù)，我們稱為H（P）為熵函數(shù)熵函數(shù)的性質(zhì)：1.非負(fù)性2.對稱性3.確定性4.擴展性5.可加性6.強可加性7.遞增性8.極值性9.上凸性10.唯一性性質(zhì)1：非負(fù)性H(X)≥0由于0≤pi≤1,所以logpi≤0，-logpi≥0，則總有H(X)≥0。注意：非負(fù)性是對于離散信源的熵是合適的，但對于連續(xù)信源來說這一性質(zhì)不存在。性質(zhì)2：對稱性根據(jù)加法交換律可以證明，當(dāng)變量交換順序時熵函數(shù)的值不變。注意：信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對應(yīng)的狀態(tài)順序無關(guān)；性質(zhì)3：確定性當(dāng)信源X的信源空間[X，P]中。任一個概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時信源為一個確知信源，其熵為0。注：如果一個信源的輸出符號幾乎必然為某一狀態(tài)，那么這個信源沒有不確定性，信源輸出符號后不提供任何信息量。性質(zhì)4：擴展性說明信源空間中增加某些概率很小的符號，雖然當(dāng)發(fā)出這些符號時，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重，使信源熵保持不變。

性質(zhì)5.可加性統(tǒng)計獨立信源X和Y的聯(lián)合信源的熵等于分別熵之和。H（XY）=H（X）+H（Y）即其中證明根據(jù)熵函數(shù)的表達(dá)式，性質(zhì)6：強可加性兩個互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上X已知條件下信源Y的熵。即H(XY)=H(X)+H(Y/X)（1）條件熵條件概率如果有兩個隨機變量X和Y，它們彼此有關(guān)聯(lián)，用條件概率來描述它們之間的關(guān)聯(lián)。信源X取值為xi的條件下，信源Y的信息熵條件熵（2）證明令p(xi)=pi,p(yj|xi)=pij

，則性質(zhì)7：遞增性其中表明：若信源X（n個符號的概率分布為p1,p2,…pn)中有一元素劃分成m個符號，而這m個元素的概率之和等于原元素的概率，則新信源的熵增加了。熵增加了一項由于劃分而產(chǎn)生的不確定性量。證明：利用其定義式思考并證明補充1．凸集合與凸函數(shù)定義是n維實矢量空間集合R中任意兩個n維矢量，對實數(shù)θ，0

θ

1，有θα+（1-θ）β∈R則稱R為凸集合。

一維和二維凸集合的例子凸集合非凸集合從幾何上來看，若α，β是集合R中的任意兩點，θα+（1-θ）β表示這兩點間的連線，若該連線也在集合R中，則稱為R凸集。下面給出了幾個凸集和非凸集合的例子。定義設(shè)f(x)=f(x1,x2,…,xn)為一個n元函數(shù)，若對任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0

θ

1，有θf

(x1)+（1-θ）f(x2)

f[θx1+（1-θ）x2]x0x1

θx1+(1-θ)x2

x2

圖一元∩型凸函數(shù)f(x1)θf(x1)+(1-θ)f(x2)

f[θx1+(1-θ)x2]

f(x)f(x2)則稱f(x)為定義域上的∩型凸函數(shù)。一元∩型凸函數(shù)可用圖所示的幾何圖形表示。定義設(shè)f(x)=f(x1,x2,…,xn)為一個n元函數(shù)，若對任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0

θ

1，有f[θx1

+（1-θ）x2]θf(x1)+（1-θ）f(x2)圖一元∪型凸函數(shù)x1

θx1+(1-θ)x2

x2

x

f(x1)f[θx1+(1-θ)x2θf(x1)+(1-θ)f(x2)f(x)

f(x2)則稱f(x)為定義域上的∪型凸函數(shù)，一元∪型凸函數(shù)可用圖所示的幾何圖形表示。（2）詹森不等式設(shè)K是n維歐式空間的凸域，并設(shè)隨機矢量x，若隨機矢量的數(shù)學(xué)期望E[x]存在，而且f(x)在凸域K內(nèi)是∪形凸函數(shù)，則有若f(x)是∩形凸函數(shù)，則不等號相反，得此式稱為詹森不等式同理，對于離散隨機變量X，上述兩式應(yīng)分別寫成和性質(zhì)8：極值性上式表明，對于具有q個符號的離散信源，只有在q個信源符號等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這也表明等概分布的信源的平均不確定性最大，這是一個很重要得結(jié)論，稱為最大離散熵定理例：對于一個二元信源

H(X)=H(1/2,1/2)=log2=1bit證明：利用logx的∩型凸函數(shù)性質(zhì),根據(jù)詹森不等式得：

=log1=0

證畢H(X)-logq

H2(p)

00.51p圖2-2H2(p)與p關(guān)系熵函數(shù)H(P)是概率矢量P=（p1,p2,…,pn)的嚴(yán)格n型凸函數(shù)。對任何和任何兩個概率矢量P,Q性質(zhì)9：上凸性證明因為

H2(p)

00.51p圖2-2H2(p)與p關(guān)系引理1設(shè)為一個概率分布，滿足：則并且等號成立的充要條件是：對任意的i，pi=qi.注意此處的不等號，即Q不見得是一個概率分布約定0*log1/0=0,對所有p>0.p*log1/0等于無窮大返回性質(zhì)10：唯一性香農(nóng)指出，存在這樣的不確定性的度量，它是概率分布的函數(shù)，且該函數(shù)應(yīng)滿足以下三個先驗條件：連續(xù)性條件：應(yīng)是的連續(xù)函數(shù)。等概時為單調(diào)增函數(shù)：應(yīng)為N的增函數(shù)可加性條件：當(dāng)隨機變量的取值不是通過一次試驗而是若干次試驗才最后得到的，隨機變量在各次試驗中的不確定程度應(yīng)該可加，且其和始終與通過一次試驗取得結(jié)果的不確定程度相同，即香農(nóng)證明，當(dāng)函數(shù)滿足上述三個條件時，其形式唯一，如下所示：第四節(jié)離散無記憶的擴展信源實際信源輸出的消息往往是時間上或空間上的一系列符號，如電報系統(tǒng)，序列中前后符號間一般是有統(tǒng)計依賴關(guān)系的。離散無記憶信源：信源序列的前后符號之間是統(tǒng)計獨立的,數(shù)學(xué)模型與離散信源的基本相同，區(qū)別在于消息形式不同在二元系統(tǒng)中，把兩個二元數(shù)字看成一組，會出現(xiàn)四種可能情況：00、01、10和11，這四種情況可以看成一個新的信源稱為二元無記憶信源的二次擴展信源，相應(yīng)的，如果把N個二元數(shù)字看成一組，則新的信源稱為二元無記憶信源的N此擴展信源。信源的N次擴展信源設(shè)一個離散無記憶信源為：則該信源的N次擴展信源是具有qN個符號的離散信源，其N重概率空間為：若其中每個符號是對應(yīng)于某一個由N個組成的序列。其中：根據(jù)信息熵的定義：可以證明，對于離散無記憶的擴展信源表明離散無記憶信源X的N次擴展信源的概率空間也是完備集證明離散無記憶信源的N次擴展信源離散無記憶信源為：X:{a1,a2,a3};P(X):{1/4,1/2,1/4}2次擴展信源為：:{A1…A9}信源的9個符號為：A1=a1a1A2=a1a2A3=a1a3A4=a2a1A5=a2a2A6=a2a3A7=a3a1A8=a3a2A9=a3a3例子其概率關(guān)系為:A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/16計算可知思考如何從熵的可加性來理解此結(jié)論？？？第五節(jié)離散平穩(wěn)信源在一般情況下，信源在t=i時刻將要發(fā)出什么樣的符號決定于兩方面：這一時刻該變量的分布概率這一時刻以前發(fā)出的消息1、離散平穩(wěn)信源的數(shù)學(xué)定義信源在

t=i

時刻隨機變量Xi

取值的概率分布P(xi)有關(guān)。一般。與t=i時刻以前信源發(fā)出的符號有關(guān)，即與條件概率P(xi

/xi－1

xi－2…)有關(guān)。即：（1）一般信源

（2）平穩(wěn)隨機序列的數(shù)學(xué)定義平穩(wěn)的隨機序列，所謂平穩(wěn)是指序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)（兩個任意時刻信源發(fā)出符號的概率分布完全相同）。若當(dāng)t=i，t=j時(i,j

是大于1的任意整數(shù))，P(xi)=P(xj)=P(x)，則序列是一維平穩(wěn)的。等號表示任意兩個不同時刻信源發(fā)出符號的概率分布完全相同。除上述條件外，如果聯(lián)合概率分布P(xixi+1)也與時間起點無關(guān)，即P(xi

xi+1)=P(xjxj+1)，則信源稱為二維平穩(wěn)信源。即任何時刻信源發(fā)出二個符號的聯(lián)合概率分布也完全相等。各維聯(lián)合概率均與時間起點無關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。（3）離散平穩(wěn)信源的條件概率表示因為可得結(jié)論：對于平穩(wěn)信源來說，其條件概率均與時間起點無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。它表示平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關(guān)系與時間起點無關(guān)。2、二維平穩(wěn)信源及其信息熵（1）二維平穩(wěn)信源的數(shù)學(xué)模型信源的概率空間:連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為：已知符號出現(xiàn)后，緊跟著出現(xiàn)的條件概率為：由二維離散信源的發(fā)出符號序列的特點可以把其分成每兩個符號一組，每組代表新信源中的一個符號。并假設(shè)組與組之間是統(tǒng)計獨立的，互不相關(guān)的。得到一個新的離散無記憶信源，其聯(lián)合概率空間為：（2）聯(lián)合熵、條件熵聯(lián)合熵可以表征信源輸出長度為2的平均不確定性，或所含有的信息量。因此可以用作為二維平穩(wěn)信源的信息熵的近似值條件熵則：思考：條件熵為什么用聯(lián)合概率？（3）聯(lián)合熵和條件熵的關(guān)系另外還可以得到：只有信源統(tǒng)計獨立時等號成立?？梢宰C明：（作業(yè)）例題在上式中右邊第一項，因logp(ai)與j無關(guān)，因此可先對j求和證明：該性質(zhì)說明：聯(lián)合熵等于前一個符號出現(xiàn)的熵加上前一個符號已知時后一個符號出現(xiàn)的條件熵[例2-15]設(shè)某二維離散信源的原始信源的信源空間X={x1,x2,x3};P(X)={1/4,1/4,1/2},一維條件概率為：p(x1/x1)=1/2;p(x2/x1)=1/2;p(x3/x1)=0;p(x1/x2)=1/8;p(x2/x2)=3/4;p(x3/x2)=1/8;p(x1/x3)=0;p(x2/x3)=1/4;p(x3/x3)=3/4;原始信源的熵為：H(X)=1.5bit/符號條件熵：H(X2/X1)=1.4bit/符號可見：H(X2/X1)<H(X)二維信源的熵：H(X1X2)=H(X1)+H(X2/X1)=2.9bit/消息每個信源符號提供的平均信息量為：H2(X1X2)=H(X1,X2)/2=1.45bit/符號。我們現(xiàn)在有兩種方法去近似信源的實際熵，一種是為1.45bit，但這種方法不太準(zhǔn)確，因為它把兩個消息看成一組，認(rèn)為兩組之間是統(tǒng)計獨立的，實際上它們之間是有關(guān)聯(lián)的；另一種是我們可以用條件熵來近似，為1.4bit，到底那一種正確呢？我們可以通過對一般離散平穩(wěn)信源的分析來找到這個答案。分析：我們用來近似信源的實際熵3、離散平穩(wěn)信源的極限熵平均符號熵條件熵有以下幾點性質(zhì)（1）條件熵隨N的增加是非遞增的

（2）N給定時，平均符號熵大于等于條件熵（3）平均符號熵隨N的增加是非遞增的（4）稱為極限熵。

證明當(dāng)k取足夠大時，即k趨近于無窮是，固定N，1/N+k趨于0，可忽略。而k+1/N+k趨于1，所以得在令N趨于無窮的所以得在由性質(zhì)2的，最后可得說明：條件較多的熵必小于或等于條件較少的熵，而條件熵必小于等于無條件熵；對于離散平穩(wěn)信源，當(dāng)考慮依賴關(guān)系為無限長時，平均符號熵和條件熵都非遞增地一致趨于平穩(wěn)信源的信息熵（極限熵）?？捎脳l件熵或平均符號熵來作為平穩(wěn)信源極限熵的近似值。對于二維離散平穩(wěn)信源，條件熵等于極限熵，因此條件熵就是二維離散平穩(wěn)信源的真實熵設(shè)一般信源所處的狀態(tài)，在每一狀態(tài)下可能輸出的符號并認(rèn)為每一時刻，當(dāng)信源發(fā)出一個符號，信源所處的狀態(tài)將發(fā)生轉(zhuǎn)移。信源輸出的隨機符號序列為信源所處的隨機狀態(tài)序列為第六節(jié)馬爾可夫信源1.馬爾可夫信源的定義（1）狀態(tài)序列與符號序列的關(guān)系可見，信源的隨機狀態(tài)服從馬爾可夫鏈。一般情況，狀態(tài)轉(zhuǎn)移概率和已知狀態(tài)下發(fā)符號的概率均與時刻l有關(guān)。若當(dāng)這些概率與l無關(guān)時，即滿足在第l時刻，信源處于狀態(tài)時，輸出符號概率給定為另外，假設(shè)在第l-1時刻信源處于狀態(tài)，它在下一時刻狀態(tài)轉(zhuǎn)移到的狀態(tài)轉(zhuǎn)移概率（2）馬爾可夫信源滿足的條件若一個信源滿足下面兩個條件，則稱為馬爾可夫信源：（1）某一時刻信源輸出的符號的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)；當(dāng)符號輸出概率與時刻L無關(guān)，稱為具有時齊性。即即（2）信源的下一個狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出唯一確定。條件（2）表明，若信源處于某一狀態(tài)，當(dāng)它發(fā)出一個符號后，所處的狀態(tài)就變了，一定轉(zhuǎn)移到另一狀態(tài)。狀態(tài)的轉(zhuǎn)移依賴于發(fā)出的信源符號，因此任何時刻信源處在什么狀態(tài)完全由前一時刻的狀態(tài)和發(fā)出的符號決定。舉例[例1]

設(shè)信源符號

X∈{x1,x2,x3}

，信源所處的狀態(tài)S∈{e1,e2,e3,e4,e5}

。各狀態(tài)之間的轉(zhuǎn)移情況由圖2.2.1給出。將圖中信源在ei狀態(tài)下發(fā)符號xk

的條件概率p(xk

/ei)用矩陣表示由矩陣看出：由圖中看出：由圖中可得狀態(tài)的一步轉(zhuǎn)移概率：該信源滿足馬爾可夫信源定義。例2：二階馬爾可夫信源，原始符號集為{1,0}，條件概率定為：P(0|00)=P(1|11)=0.8P(1|00)=P(0|11)=0.2P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5

由此可見，信源共有2^2=4種狀態(tài)

E：{e1=00,e2=01,e3=10,e4=11}狀態(tài)之間有轉(zhuǎn)移概率，p(e2/e1)=p(e3/e4)=0.2p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5P(e1/e1)=p(e4/e4)=0.8其狀態(tài)轉(zhuǎn)移圖如下頁在狀態(tài)轉(zhuǎn)換圖中，把信源的每一種狀態(tài)用圓圈表示，用有向箭頭表示信源發(fā)出某一符號后由一種狀態(tài)到另一狀態(tài)的轉(zhuǎn)移。01100:0.51:0.20:0.2000:0.8111:0.81:0.50:0.51:0.5由上例可知，m階馬爾可夫信源符號集共有q個符號，則信源共有個不同狀態(tài)。信源在某一時刻時，必然處于某一種狀態(tài)，等到下一個字符輸出時，轉(zhuǎn)移到另外一個狀態(tài)。2.馬爾可夫信源的信息熵信源處于某狀態(tài)時，發(fā)出一個信源符號所攜帶的平均量，即在狀態(tài)下發(fā)一個符號的條件熵為定義為各狀態(tài)的極限概率，則時齊、遍歷的馬爾可夫信源的熵為狀態(tài)的極限概率滿足根據(jù)求條件熵公式還可得到這里給出結(jié)論：表明m階馬爾可夫信源的極限熵等于m階條件熵。(3)舉例[例2.2.4]

二元2階馬爾可夫信源，原始信號X的符號集為{X1=0,X2=1}，其狀態(tài)空間共有nm=22=4個不同的狀態(tài)E1,E2,E3,E4，即

E：{E1=00,E2=01,E3=10,E4=11}

狀態(tài)轉(zhuǎn)移圖見右圖所示。解：P(E1/E1)=P(x1/E1)=p(0/00)=0.8

P(E2/E1)=P(x2/E1)=p(1/00)=0.2P(E3/E2)=P(x1/E2)=p(0/01)=0.5P(E4/E2)=P(x2/E2)=p(1/01)=0.5P(E1/E3)=P(x1/E3)=p(0/10)=0.5P(E2/E3)=P(x2/E3)=p(1/10)=0.5P(E3/E4)=P(x1/E4)=p(0/11)=0.2P(E4/E4)=P(x2/E4)=p(1/11)=0.8由二元信源X∈{0,1}得到的狀態(tài)空間(e1,e2,e3,e4)和相應(yīng)的一步轉(zhuǎn)移概率構(gòu)成的2階馬爾可夫信源模型為求出穩(wěn)定狀態(tài)下的Q(Ej)，稱為狀態(tài)極限概率。將一步轉(zhuǎn)移概率代入上式得Q(E1)=0.8Q(E1)+0.5Q(E3)Q(E2)=0.2Q(E1)+0.5Q(E3)Q(E3)=0.5Q(E2)+0.2Q(E4)Q(E4)=0.5Q(E2)+0.8Q(E4)解方程組得P(E1)=P(E4)=5/14P(E2)=P(E3)=2/14計算極限熵一個二元二階馬爾可夫信源，信源符號集A={0,1}。信源開始時，它以概率p(0)=p(1)=0.5發(fā)出隨機變量X1。然后，下一單位時間輸出的隨機變量X2與X1有依賴關(guān)系，由條件概率p(x2|x1)表示：

再下一單元時間輸出隨機變量X3，而X3依賴于前面變量。依賴關(guān)系由條件概率p(x3|x1x2)表示：x1x1x20100.30.410.70.6例：由從第四單位時間開始，任意時刻信源發(fā)出的隨機變量Xi只與前面二個單位時間的隨機變量有關(guān)，根據(jù)提議可得信源的狀態(tài)轉(zhuǎn)移圖：x1x2x1x2x1x2x1x2X30001101100.40.20.30.410.60.80.70.6000110110.80.70.60.50.50.40.30.60.20.4解得：

代入式得

＝0.8956當(dāng)馬爾可夫信源達(dá)到穩(wěn)定后，符號0和1的分布概率可根據(jù)下式計算因此得：

第七節(jié)信源剩余度與自然語言的熵1、關(guān)于離散信源熵的總結(jié)：實際信源可能是非平穩(wěn)的有記憶隨機序列信源；其極限熵是不存在的；解決的方法是假設(shè)其為離散平穩(wěn)隨機序列信源，極限熵存在，但求解困難；進(jìn)一步假設(shè)其為m階Markov信源，用其m階條件熵近似；再進(jìn)一步假設(shè)為一階Markov信源，用其一階條件熵來近似；最簡化的信源是離散無記憶信源，其熵為H(x);

最后可以假定為等概的離散無記憶信源，其熵H(x)；

它們之間的關(guān)系可以表示為：2、熵的相對率3、信源剩余度4、自然語言的熵（1）對于英文字母（2）對于中文我們可以壓縮剩余度來壓縮信源，提高通信的可靠性。小結(jié)1.信源的分類離散信源和連續(xù)信源；平穩(wěn)信源和非平穩(wěn)信源；有記憶信源和無記憶信源2.基本信源的數(shù)學(xué)模型離散信源連續(xù)信源3.離散信源的信息熵（1）自信息有兩個含義：1、當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當(dāng)事件發(fā)生后，標(biāo)是該事件所提供的信息量．（2）信息熵（3）信息熵的物理含義信息熵表示信源輸出后，每個消息（或符號）所提供的平均信息量信息熵表示信源輸出前，信源的平均不確定性。用信息熵來表征變量X的隨機性4.信息熵的基本性質(zhì)非負(fù)性對稱性確定性擴展性極值性可加性強可加性遞增性上凸性唯一性H(X)≥0

H（XY）=H（X）+H（Y）H(XY)=H(X)+H(Y/X)熵函數(shù)H(P)是概率矢量P=（p1,p2,…,pn)的嚴(yán)格n型凸函數(shù)。5.離散無記憶擴展信源的信息熵（1）離散無記憶擴展信源的數(shù)學(xué)模型（2）離散無記憶擴展信源的信息熵6.離散平穩(wěn)信源的信息熵（1）離散平穩(wěn)信源的數(shù)學(xué)模型（2）離散平穩(wěn)信源的信息測度聯(lián)合熵條件熵平均符號熵離散平穩(wěn)信源信息熵的性質(zhì)（1）條件熵隨N的增加是非遞增的

（2）N給定時，平均符號熵大于等于條件熵（3）平均符號熵隨N的增加是非遞增的（4）稱為極限熵。

各種信息熵之間的關(guān)系只有信源統(tǒng)計獨立時等號成立。7.馬爾可夫信源及其信息熵（1）馬爾可夫信源的定義若一個信源滿足下面兩個條件，則稱為馬爾可夫信源：某一時刻信源輸出的符號的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)；信源