信息論與編碼基礎第2章離散信源及其信息測度

信息論與編碼基礎第二章離散信源及其信息測度第二章離散信源及其信息測度消息是信息的載荷者。對信息的研究，要從消息開始。信源是產(chǎn)生消息或消息序列的源頭。我們并不關心信源的內部結構，不關心消息的產(chǎn)生原因和過程，而研究信源各種可能的輸出，以及輸出各種可能消息的不確定性。對收信者而言，在收到消息之前，對于信源發(fā)送什么消息是不可預知的、隨機的。因此可以用隨機變量和隨機過程來描述信源輸出的消息，或者說用一個概率空間來描述信源。不同的信源輸出不同類型的消息?？梢愿鶕?jù)消息不同的隨機性質來對信源進行分類。第二章離散信源及其信息測度本章主要內容信源的數(shù)學模型及分類離散信源的信息測度-信息熵信息熵的基本性質離散無記憶的擴展信源離散平穩(wěn)信源離散平穩(wěn)信源的極限熵信源的冗余度2.1信源的數(shù)學模型及分類單符號信源：只輸出單個符號（代碼）的消息的信源。離散單符號信源連續(xù)單符號信源平穩(wěn)隨機序列信源：信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量

X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關，稱為平穩(wěn)隨機序列。離散平穩(wěn)信源連續(xù)平穩(wěn)信源無記憶（獨立）離散平穩(wěn)信源有記憶信源m階馬爾可夫信源隨機波形信源2.1信源的數(shù)學模型及分類1.離散單符號信源特點：輸出是單個符號（代碼）的消息，符號集的取值A={a1,a2,…,aq}是有限的或可數(shù)的，可用一維離散型隨機變量X來描述。例：“投硬幣”輸出正、反面的消息；“寫信”輸出語言文字的字、詞、句；“打電報”輸出編碼符號等等。2.1信源的數(shù)學模型及分類數(shù)學模型：設每個信源符號ai

出現(xiàn)的（先驗）概率p(ai)(i=1,2,…,q)滿足：則其概率空間為：概率空間能表征離散信源的統(tǒng)計特性，因此也稱概率空間為信源空間。2.1信源的數(shù)學模型及分類例：以搖骰子的骰筒為信源，骰子的點數(shù)只能是1~6的六個不同消息，他們構成兩兩不相容的基本事件集合

A={a1,a2,a3,a4,a5,a6}

。每次試驗輸出的消息只能是其中之一。假設骰子是均勻的，則 用一個離散型隨機變量X描述這個信源輸出的消息，則該信源的概率空間為：2.1信源的數(shù)學模型及分類2.連續(xù)單符號信源特點：輸出是單個符號（代碼）的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無限多個。即輸出消息的符號集A的取值是連續(xù)的。同時這些數(shù)據(jù)的取值又是隨機的。此時可用一維的連續(xù)型隨機變量X來描述。例：語音信號；熱噪聲信號；遙控系統(tǒng)中有關電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)等等。2.1信源的數(shù)學模型及分類數(shù)學模型：連續(xù)信源的數(shù)學模型是連續(xù)的概率空間。即：或：或：并滿足： 其中R表示實數(shù)集，(a,b)是R的區(qū)間，p(x)是隨機變量X的概率密度函數(shù)。**復習隨機變量X的累積分布函數(shù)

(CumulativeDistributionFunction,CDF)

定義為： 描述了隨機變量的值

實數(shù)x的概率。注意到連續(xù)隨機變量的CDF是連續(xù)函數(shù)，離散隨機變量的CDF是階梯函數(shù)。 簡寫為：連續(xù)隨機變量X的概率密度函數(shù)(ProbabilityDensityFunction,PDF)

定義為PDF的性質

(1) (2) (3) (4)數(shù)學期望：平穩(wěn)隨機過程：若對任意的

，X(t)的N維概率密度 則稱X(t)為N階平穩(wěn)隨機過程。**復習2.1信源的數(shù)學模型及分類3.平穩(wěn)隨機序列信源實際中很多信源輸出的消息由一系列符號序列構成。例：對產(chǎn)生自然語言文字的信源，其樣本空間是語言的基本符號集合（字母+標點），由若干基本符號構成的序列才是有意義的消息。這些符號序列在時間上是離散的，其中每個符號的出現(xiàn)是不確定的、隨機的。例：對產(chǎn)生平面灰度圖象的信源，其樣本空間是灰度值集合，由一系列XY空間上的點的灰度構成圖像消息。這些圖像消息在時間上是離散的，其中每個點的灰度值的確定是隨機的。2.1信源的數(shù)學模型及分類隨機序列：信源輸出的消息由一系列符號序列所組成時，可用N維隨機矢量

X＝(X1,X2,…,XN)來描述消息，其中Xi

(i＝1,2,…,N)是隨機變量，N可以是有限正整數(shù)或無窮大。N維隨機矢量

X也稱為隨機序列。信源輸出的隨機序列的統(tǒng)計特性比較復雜，分析困難，一般總是假設信源輸出的是平穩(wěn)的隨機序列，即序列的統(tǒng)計特性與時間的推移無關。大多數(shù)的實際信源符合平穩(wěn)性假設。離散平穩(wěn)信源：每個隨機變量Xi

(i＝1,2,…,N)都是離散型隨機變量，且隨機矢量X的各維概率分布都與時間起點無關。連續(xù)平穩(wěn)信源：每個隨機變量Xi

(i＝1,2,…,N)

都是取值連續(xù)的隨機變量。且隨機矢量X的各維概率密度函數(shù)都與時間起點無關。2.1信源的數(shù)學模型及分類4.離散無記憶平穩(wěn)信源考察離散平穩(wěn)信源的一種特例：信源發(fā)出的符號都相互統(tǒng)計獨立，即隨機矢量X的各隨機變量分量Xi

(i＝1,2,…,N)之間是無依賴的，統(tǒng)計獨立的。 由獨立性，聯(lián)合概率分布：

P(X)=P(X1,X2,…,XN)=P1(X1)·

P2(X2)··

·

PN(XN)

又由平穩(wěn)性：

P1(Xi)=P2

(Xi)=··

·=

PN

(Xi)

故：2.1信源的數(shù)學模型及分類設各隨機變量Xi

取自同樣符號集A={a1,a2,…,

aq}，則：這里是一個N

維隨機矢量取值，是符號集

A的一維概率分布。離散無記憶信源：若信源空間[X,P(x)] 描述的信源X的在不同時刻輸出的符號之間是無依賴的，彼此統(tǒng)計獨立，則稱X為離散無記憶信源。2.1信源的數(shù)學模型及分類離散無記憶信源X的N次擴展信源：將上述離散無記憶信源所輸出的隨機矢量X所描述的信源稱為離散無記憶信源X的N次擴展信源。可見，離散無記憶信源的N次擴展信源是由離散無記憶信源輸出N長度的隨機序列構成的信源。其數(shù)學模型是離散無記憶信源空間的N重空間： 式中， 且2.1信源的數(shù)學模型及分類5.有記憶信源很多時候信源輸出的消息序列中，在不同時刻發(fā)出的符號之間是相互依賴的，即信源輸出的隨機序列X中，各隨機變量Xi之間相互依賴。例：漢字組成的中文序列中，只有根據(jù)中文的語法、習慣用語、修辭制約和表達實際意義的制約所構成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認為是彼此不相關的。其他如英文，德文等自然語言都是如此。需在N維隨機矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關聯(lián)。2.1信源的數(shù)學模型及分類有記憶信源發(fā)出的符號往往只與之前的若干個符號存在強依賴關系，因此可以對隨機序列的記憶長度加以限制。m階馬爾可夫信源：記憶長度為m+1的有記憶信源稱為m階馬爾可夫信源。m階馬爾可夫信源每次發(fā)出的符號只與前m個符號有關。假設信源輸出的隨機序列為X=X1X2…Xi-1XiXi+1…XN，其中i時刻Xi取的符號xi只與之前的Xi-1Xi-2…Xi-m所取符號xi-1xi-2…xi-m有關。具有上述特性的輸出序列稱為馬爾可夫鏈。m階馬爾可夫鏈中各隨機變量之間的依賴關系的條件概率為：2.1信源的數(shù)學模型及分類若上述條件概率與時間起點

i無關，信源輸出的符號序列稱為時不變馬爾可夫鏈，此信源稱為時不變馬爾可夫信源。2.1信源的數(shù)學模型及分類7.隨機波形信源實際信源輸出的消息常常是時間和取值都是連續(xù)的。這類信源稱為隨機波形信源（或模擬信源）。例：語音信號X(t)、熱噪聲信號n(t)、電視圖像信號X(r(t),g(t),b(t))等時間連續(xù)的信號。常見的隨機波形信源輸出的消息是時間上或頻率上有限的隨機過程。根據(jù)抽樣定理，可以將隨機過程用一系列在時間（或頻率）域上離散的抽樣值來表示，而每個抽樣值都是連續(xù)型隨機變量。2.2離散信源的信息熵考察一種基本的離散信源：輸出為單個符號的消息，且這些消息間兩兩互不相容?；镜碾x散信源可用一維隨機變量X來描述信源的輸出，信源的數(shù)學模型可抽象為:問題：如何量度這樣的信源輸出的每個消息所攜帶的信息量。2.2離散信源的信息熵信息的度量：信息的度量（信息量）和不確定性消除的程度有關，消除的不確定性相當于獲得的信息量；不確定性就是隨機性，可以用概率論和隨機過程來測度，發(fā)生概率小則不確定性大。一些結論：發(fā)生概率小則信息量大，信息量是概率的單調遞減函數(shù)；信息量應該具有可加性；關于事件ai

發(fā)生的信息量的計算公式為（香農(nóng)自信息量的度量）：2.2離散信源的信息熵1.自信息設離散信源X的概率空間為： 稱事件ai發(fā)生所含有的信息量為ai

的自信息量。定義為：2.2離散信源的信息熵I(ai)代表兩種含義：(1)當事件ai

發(fā)生以前，表示事件ai

發(fā)生的不確定性；(2)當事件ai

發(fā)生以后，表示事件ai

所提供的信息量。2.2離散信源的信息熵收信者獲得的信息量：

收信者收到某消息所獲得的信息量（即收到某消息后獲得的關于某基本事件發(fā)生的信息量）

=該事件不確定性減少的量

=收到此消息前關于該事件發(fā)生的不確定性

收到此消息后關于該事件發(fā)生的不確定性2.2離散信源的信息熵傳輸信道無噪聲時，收到消息后關于該事件發(fā)生的不確定性完全消除（收信者對“所收即所發(fā)”確信無疑）。此時， 收信者獲得的信息量

=收到此消息前關于該事件發(fā)生的不確定性

收到此消息后關于該事件發(fā)生的不確定性

=收到此消息前關于該事件發(fā)生的不確定性

0 =收到此消息前關于該事件發(fā)生的不確定性2.2離散信源的信息熵例：8個串聯(lián)的燈泡x1，x2，…，x8，其損壞（斷路）的可能性是等概率的，現(xiàn)假設其中有且只有一個燈泡已斷路。如圖所示進行三次測量。2.2離散信源的信息熵 已知8個燈泡等概率損壞，所以第1次測量前，先驗概率P1(x)=1/8

，此時存在的不確定性為I[P1(x)] 第1次測量后，需要判定的只剩下4個燈泡，由于等概率損壞，后驗概率P2(x)=1/4，此時存在的不確定性為I[P2(x)] 因此第1次測量獲得的信息量（或不確定性減少的量）為：2.2離散信源的信息熵 同理，第2次測量前，先驗概率

P2(x)=1/4

，此時存在的不確定性為I[P2(x)]=2bit。第2次測量后，需要判定的只剩下2個燈泡，由于等概率損壞，后驗概率P3(x)=1/2，此時存在的不確定性為I[P3(x)] 因此第2次測量獲得的信息量為： 第3次測量后已經(jīng)確認了損害的燈泡，不確定性=0，故第3次測量獲得的信息量為： 整個測量過程獲得的總信息量為3bit。2.2離散信源的信息熵自信息的推導：某事件發(fā)生所含有的信息量應該是該事件發(fā)生的先驗概率的函數(shù)。即：I(ai)=f[p(ai)]根據(jù)客觀事實和人們的習慣概念，函數(shù)f[p(ai)]應滿足：它應是先驗概率p(ai)的單調遞減函數(shù)，即當

p(a1)>p

(a2)

時，有f

[

p(a1)]

<f

[

p(a2)

]

；當p

(ai)=1時，f

[

p

(ai)]=0

當p

(ai)=0時，f

[

p

(ai)]=

兩個獨立事件的聯(lián)合信息量（或更一般的統(tǒng)計獨立信源的信息量）應等于它們分別的信息量之和。 容易證明對數(shù)函數(shù)滿足上述要求。2.2離散信源的信息熵紅色函數(shù)底數(shù)是e,綠色函數(shù)底數(shù)是10，而紫色函數(shù)底數(shù)是1.7。所有底的對數(shù)函數(shù)都通過點(1,0)，底為b

的對數(shù)函數(shù)通過點(b,1)。曲線逼近y軸。對數(shù)函數(shù)曲線2.2離散信源的信息熵說明：計算自信息量時要注意有關事件發(fā)生概率的計算；自信息量的單位取決于對數(shù)的底：底為2，單位為“比特（bit,binaryunit）”底為e，單位為“奈特（nat,natureunit）”底為10，單位為“哈特（hat,Hartley）”根據(jù)換底公式得：

logaX=(logbX)/(logba)

故1nat=1.44bit,1hat=3.32bit；一般計算都采用以“2”為底的對數(shù)，為了書寫簡潔，常把底數(shù)“2”略去不寫2.2離散信源的信息熵2.信息熵同一個信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個隨機變量，不能用它來作為整個信源的信息測度。定義自信息的數(shù)學期望為平均自信息量Hr(X)，稱為信息熵：當r=2時：2.2離散信源的信息熵由于這個表達式和統(tǒng)計物理學中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；信息熵的單位由自信息量的單位決定，即取決于對數(shù)的底。H(X)的單位：r

進制單位/每符號（r>1） 例如：bit/symbol（比特/每符號）2.2離散信源的信息熵例：有一布袋內放l00個球，其中80個球是紅色的，20個球是白色的。游戲者蒙著眼睛隨便摸出一個球，由裁判員告知是什么顏色。假設裁判員是誠實的。問題的概率空間為： 如果游戲者被告知摸出的是紅球，那么他獲得的信息量是：

I(a1)=

logp(a1)=

log0.8=0.32

（比特） 如果游戲者被告知摸出的是白球，他所獲得的信息量應為：

I(a2)=

logp(a2)=

log0.2

=2.32

（比特） 平均摸取一次所能獲得的信息量（信息熵）為：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號）a1摸出紅球事件a２摸出白球事件2.2離散信源的信息熵3.信息熵的含義熵是從整個集合的統(tǒng)計特性來考慮的，它從平均意義上來描述信源的總體特征。信源輸出前，信息熵H(X)表示信源的平均不確定性；信源輸出后，信息熵H(X)表示每個消息提供的平均信息量。信息熵H(X)表征了變量X的隨機性。例：有兩信源X、Y，其概率空間分別為 計算其熵，得：H(X)=0.08(bit/符號)，H(Y)=1(bit/符號)

因此信源Y比信源X的平均不確定性要大。2.2離散信源的信息熵例：設甲地的天氣預報為：晴(占4/8)、陰(占2/8)、大雨(占1/8)、小雨(占1/8)。又設乙地的天氣預報為：晴(占7/8)，小雨(占1/8)。試求兩地天氣預報各自提供的平均信息量。若甲地天氣預報為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0，另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1/4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。2.2離散信源的信息熵(1)解：甲、乙兩地的信源空間如上，它們提供的平均信息量即信源的信息熵分別為：(1)結論：甲地天氣預報提供的平均信息量大于乙地，因此甲地天氣消息的不確定性比乙地要大。2.2離散信源的信息熵(2)解：甲地極端情況A、極端情況B的信源空間如上，它們提供的平均信息量即信源的信息熵分別為：(2)結論：等概率分布時信源的不確定性最大，所以信息熵（平均信息量）最大。2.2離散信源的信息熵(3)解：乙地極端情況A、極端情況B的信源空間如上，它們提供的平均信息量即信源的信息熵分別為：(3)結論：在各自的極端情況B下，甲地比乙地提供更多的天氣預報信息量。2.3信息熵的基本性質信息熵是信源概率空間的一種特殊矩函數(shù)。這個矩函數(shù)的大小，與信源的符號數(shù)及其概率分布有關。我們用概率矢量P來表示概率分布

P(x)：這樣，信息熵H(X)是概率矢量P或它的分量p1,p2,…,pq的(q-1)元函數(shù)（因各分量滿足上述條件限制，獨立變量只有q-1元）。一般H(X)可寫成：2.3信息熵的基本性質熵函數(shù)：H(P)是概率矢量P的函數(shù)，稱為熵函數(shù)。我們用下述表示方法：用H(X)表示以離散隨機變量X描述的信源的信息熵；用H(P)或H(p1,p2

,…,

pq

)表示概率矢量為

P=(p1,p2

,…,

pq

)的q個符號信源的信息熵。當q=2時，因為p1+p2

=1，兩個符號的熵函數(shù)H(P)是一元函數(shù)，可以寫成H(p1)或H(p2)。熵函數(shù)H(P)是一種特殊函數(shù)，具有以下基本性質。2.3信息熵的基本性質1.對稱性：H(P)的取值與分量p1,

p2,

···

,

pq的順序無關。從數(shù)學角度：H(P)=(pi·logpi)

中的和式滿足交換率；從隨機變量的角度：熵只與隨機變量的總體統(tǒng)計特性有關。2.確定性：H(1,0)=H(1,0,0)=H(1,0,0,…,0)=0從總體來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現(xiàn)，而其它符號則是幾乎不可能出現(xiàn)，那么，這個信源是一個確知信源，其熵等于零。

2.3信息熵的基本性質3.非負性：H(P)0隨機變量X的概率分布滿足0<pi<1，當取對數(shù)的底大于1時，log(pi)<0，-pilog(pi

)>0，即得到的熵為正值。只有當隨機變量是一確知量時熵才等于零。這種非負性合適于離散信源的熵，對連續(xù)信源來說需要另外討論。以后可看到在相對熵的概念下，可能出現(xiàn)負值。2.3信息熵的基本性質4.擴展性：信源的取值數(shù)增多時，若這些取值對應的概率很小(接近于零)，則信源的熵不變。因為：2.3信息熵的基本性質5.可加性：統(tǒng)計獨立的兩個信源X和Y的聯(lián)合信源的熵等于信源X和Y各自的熵之和。即：H(XY)=H(X)+H(Y)

或者：可加性是熵函數(shù)的一個重要特性，正因具有可加性，才使熵函數(shù)的形式是唯一的。 其中：2.3信息熵的基本性質證明：2.3信息熵的基本性質6.強可加性：兩個互相關聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。即：

H(XY)=H(X)+H(Y|X)H(Y|X)表示在信源

X輸出一符號的條件下，信源Y再輸出一符號所能提供的平均信息量，稱為條件熵。定義為：2.3信息熵的基本性質證明：2.3信息熵的基本性質7.遞增性：若原信源

X

中有一個符號分割成了m個元素(符號)，這m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則新信源的熵增加。熵的增加量等于由分割而產(chǎn)生的不確定性的量。它表示n個元素的信源熵可以遞推成(n-1)個二元信源的熵函數(shù)的加權和。這樣，可使多元信源的熵函數(shù)的計算簡化成計算若干個二元信源的熵函數(shù)。因此，熵函數(shù)的遞增性又可稱為遞推性。2.3信息熵的基本性質例：運用熵函數(shù)的遞增性，計算熵函數(shù)H(1/3,1/3,1/6,1/6)的值。

解：2.3信息熵的基本性質8.極值性：在離散信源情況下，信源各符號等概率分布時，熵值達到最大。即：極值性表明，等概率分布信源的平均不確定性為最大。這是一個很重要的結論，稱為最大離散熵定理。證明：對數(shù)函數(shù)是∩型凸函數(shù)，滿足詹森不等式

E[log

Y]

logE[Y]，即有： 顯然在等概率分布時，pi=1/q，上述H值將達到最大logq。2.3信息熵的基本性質9.上凸性：熵函數(shù)H(P)是概率矢量P=(p1,p2,…,pq)的嚴格∩型凸函數(shù)(或稱上凸函數(shù))。它表示：對任意概率矢量P1=(p1,p2,…,pq)和P2=(p’1,p’2,…,p’q)，和任意的0<

<1，有：

H[

P1+(1

)P2]>

H(P1)+(1

)H(P2)因為熵函數(shù)具有上凸性，所以熵函數(shù)存在最大值。2.4離散無記憶的擴展信源的信息熵離散信源的分類：單符號離散信源離散序列信源離散無記憶信源一般無記憶信源平穩(wěn)無記憶信源離散有記憶信源平穩(wěn)序列信源馬爾可夫信源2.4離散無記憶的擴展信源的信息熵當離散平穩(wěn)無記憶信源發(fā)出固定長度的消息序列時，則得到原信源的擴展信源。例如在電報系統(tǒng)中，若信源輸出的是2個二元數(shù)字組成的符號序列，此時可認為它等效于一個新的信源，新信源由4個基本符號（00，01，10，11）組成，我們把該信源稱為二元無記憶信源的二次擴展信源。同理，若信源輸出的是3個二元數(shù)字組成的符號序列，它的等效信源由23=8個基本符號組成，稱為二元無記憶信源的三次擴展信源。如果把N個二元數(shù)字組成一組，則信源等效成一個具有2N個符號的新信源，把它稱為二元無記憶信源的N次擴展信源。2.4離散無記憶的擴展信源的信息熵一般情況下，一個樣本空間為{a1,a2,…,aq}的離散無記憶信源X，對它的輸出消息序列，可用一組長度為N的序列來表示它。這時，它等效成一個新信源。新信源輸出的符號是N

長度的消息序列，用N

維離散隨機矢量X=(X1,X2,……,XN)描述，其中每個分量Xi(i＝1,2,…,N)都是隨機變量，它們都取值于同一信源符號集，并且分量之間統(tǒng)計獨立，則由隨機矢量X組成的新信源稱為離散無記憶信源X的N

次擴展信源。一般標記為XN。2.4離散無記憶的擴展信源的信息熵N

次擴展信源與單符號離散信源比較：數(shù)學模型相同但輸出不是單個符號，而是一串N

個相互獨立的符號序列：

X＝(X1,X2,…,XN)，聯(lián)合分布密度P(X)=P(X1X2…XN)信源X的N

次擴展信源XN是具有qN個符號的離散信源，其概率空間為設單符號離散信源X的概率空間為2.4離散無記憶的擴展信源的信息熵因為是無記憶的（彼此統(tǒng)計獨立），則：由上述討論可見，離散無記憶信源X的N次擴展信源XN

的概率空間[XN,P(

i)]也是完備的。2.4離散無記憶的擴展信源的信息熵離散無記憶信源X的N次擴展信源X=XN

的熵：證明： 其中 故2.4離散無記憶的擴展信源的信息熵例：求如下離散無記憶信源X的二次擴展信源及其熵。解：二次擴展信源的概率空間為X2的信源符號

1

2

3

4

5

6

7

8

9對應的符號序列a1a1a1

a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率P(

i)1/41/81/81/81/161/161/81/161/162.5離散平穩(wěn)信源1.離散平穩(wěn)信源的數(shù)學定義在一般情況下，離散信源的輸出是時間或空間的離散符號序列，而且在序列中符號之間有依賴關系。用隨機矢量X

描述信源發(fā)出的消息：X=(…,X1,X2,….,Xi,…)。隨機變量Xi表示信源在t=i

時刻所發(fā)出的符號。該符號取決于兩方面：信源在t=i

時刻隨機變量Xi

取值的概率分布P(xi)。一般地P(xi)

P(xj)；與t=i時刻以前信源發(fā)出的符號有關，即與條件概率

P(xi

/xi-1xi-2…)有關。一般地P(xi

/xi-1xi-2…)

P(xj

/xj-1xj-2…)對平穩(wěn)隨機序列，序列的統(tǒng)計性質與時間的推移無關，即信源發(fā)出符號序列的概率分布與時間起點無關。2.5離散平穩(wěn)信源若當t=i,t=j時(i,j

是大于1的任意整數(shù))P(xi)=P(xj)=P(x)，則序列是一維平穩(wěn)的。等號表示在兩個不同時刻，信源發(fā)出符號的概率分布完全相同： 具有上述性質的信源稱為一維離散平穩(wěn)信源。一維離散平穩(wěn)信源無論在什么時刻P(x)均按照相同的概率分布發(fā)出符號。2.5離散平穩(wěn)信源除上述條件外，如果聯(lián)合概率分布P(xi

xi+1)也與時間起點無關，即P(xi

xi+1)=P(xj

xj+1)(i,j為任意整數(shù)且i

j)，則信源稱為二維平穩(wěn)信源。它表示任何時刻信源連續(xù)發(fā)出兩個符號的聯(lián)合概率分布也完全相等。如果各維聯(lián)合概率分布均與時間起點無關，即對i

j，有 則信源是完全平穩(wěn)的。這種各維聯(lián)合概率分布均與時間起點無關的完全平穩(wěn)信源稱為離散平穩(wěn)信源。2.5離散平穩(wěn)信源由于聯(lián)合概率與條件概率有以下關系： 結合平穩(wěn)性得：2.5離散平穩(wěn)信源結論：對于平穩(wěn)信源來說，其條件概率均與時間起點無關，只與關聯(lián)長度N有關。即平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關系與時間起點無關。對平穩(wěn)信源，如果某時刻發(fā)出什么符號只與前面發(fā)出的N

個符號有關，那么任何時刻它們的依賴關系都是一樣的。即：2.5離散平穩(wěn)信源2.離散二維平穩(wěn)信源及其信息熵最簡單的離散平穩(wěn)信源就是離散二維平穩(wěn)信源。由上述定義，它輸出的隨機序列…,X1,X2,…,Xi,…其一維和二維概率分布與時間起點無關，而且只有兩相鄰符號之間存在著依賴關系。因此，只需要給出隨機序列的其一維和二維概率分布，就能很好地從數(shù)學上描述離散二維平穩(wěn)信源。設有一個離散二維平穩(wěn)信源，其概率空間為： 同時已知：連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為P(ai

aj)(i,j=1,…,q)，且：2.5離散平穩(wěn)信源根據(jù)概率關系可求得已知符號

ai

出現(xiàn)后，緊跟著符號aj

出現(xiàn)的條件概率：2.5離散平穩(wěn)信源(1)聯(lián)合熵

由于只有兩個符號有關聯(lián)，且其關聯(lián)與時間無關，則我們可把這個信源輸出的隨機序列分成每二個符號一組(因為相鄰的兩個符號才有關聯(lián))，每組構成新信源X=X1X2的一個符號，并假設組與組之間統(tǒng)計無關（實際上，組尾的符號與下一組組頭的符號是有關的）。這樣獲得了一個等效的新的離散無記憶信源X1X2，它們的聯(lián)合概率空間為：2.5離散平穩(wěn)信源根據(jù)信息熵的定義，得： 稱H(X1X2)為X1X2

的聯(lián)合熵。H(X1X2)表示原來信源X輸出任意一對消息的共熵，即描述信源X輸出長度為2的序列的平均不確定性（或所含有的信息量）。因此可考慮用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值。2.5離散平穩(wěn)信源(2)條件熵由于信源X發(fā)出的符號序列中前后兩個符號之間有依賴性，可以先求出在已知前面一個符號Xl=ai

時，信源輸出下一個符號的平均不確定性：而前面一個符號Xl又可取ai{a1,a2,…,aq}中的任一個，對某一個ai

存在一個平均不確定性H(X2|Xl=ai)，那么對所有ai

的可能值進行統(tǒng)計平均就得當前面一個符號巳知時，再輸出下一個符號的總的平均不確定性

H(X2|Xl)。2.5離散平穩(wěn)信源因此當前面一個符號巳知時，再輸出下一個符號的總的平均不確定性H(X2|Xl)可寫為： 稱此值為條件熵。2.5離散平穩(wěn)信源(3)聯(lián)合熵與條件熵的關系式 即：H(X1X2)=H(X1)+H(X2|X1)（實際上就是強可加性）2.5離散平穩(wěn)信源討論： 利用詹森不等式可以證明條件熵與無條件熵的關系（證略）

H(X2|X1)

H(X2)

因此 H(X1X2)=H(X1)+H(X2|X1)

H(X1)+H(X2) =2H(X)式中只有當前后兩個符號統(tǒng)計獨立時等式成立。此時新信源X1X2就是無記憶的二次擴展信源，所以新信源的熵等于原信源的熵的2倍。一般情況下，輸出符號之間是有依賴的，輸出兩個符號的聯(lián)合熵總是小于二倍信源的熵。2.5離散平穩(wěn)信源例：某一離散二維平穩(wěn)信源 其發(fā)出的符號只與前一個符號有關，用聯(lián)合概率P(ai

aj)給出它們的關聯(lián)程度，如下表所示：ajai01201/41/18011/181/31/18201/187/36聯(lián)合概率

P(ai

aj)2.5離散平穩(wěn)信源 將標中各列相加，得ajai01209/111/8012/113/42/9201/87/9 計算條件概率得下表：條件概率P(ai|aj)2.5離散平穩(wěn)信源

(1)當認為信源符號之間無依賴性時，信源X

的信息熵為：

(2) 考慮信源符號之間的依賴性時，信源X

的條件熵為：

(3) 聯(lián)合熵為：2.5離散平穩(wěn)信源 驗證1： 驗證2： 條件熵比信源無依賴時的熵減少了0.672。聯(lián)合熵H(X1X2)表示了平均每兩個信源符號所攜帶的信息量。在組與組之間統(tǒng)計獨立的假設下，用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值時，平均每一個信源符號攜帶的信息量近似為：或者考慮采用條件熵H(X2/X1)=0.870作為二維平穩(wěn)信源X的信息熵的近似值，因為條件熵正好描述了前后兩個符號有依賴關系時的不確定性的大小。2.6離散平穩(wěn)信源的極限熵對于一般平穩(wěn)有記憶信源，設其概率空間為： 發(fā)出的符號序列為(X1,X2,…,XN,…)，假設信源符號之間的依賴長度為N，且各維概率分布為：記為2.6離散平穩(wěn)信源的極限熵滿足： 已知聯(lián)合概率分布可求得離散平穩(wěn)信源的一系列聯(lián)合熵：2.6離散平穩(wěn)信源的極限熵定義N長的信源符號序列中平均每個信源符號所攜帶的信息量，或平均符號熵，為： 另一方面，信源符號之間的依賴關系長度為N，已知前面N-1個符號，后面出現(xiàn)一個符號的平均不確定性，或平均信息量，可從一系列條件熵得出：2.6離散平穩(wěn)信源的極限熵對離散平穩(wěn)信源X，當H1(X)<

時，有以下性質（證略）：(1)條件熵H(XN/X1X2…XN-1)隨N的增加是遞減的；(2)HN(X)

H(XN/X1X2…XN-1)；(3)HN(X)也是隨N增加而遞減的；(4)H

存在，并且：性質(1)表明，信源輸出序列中符號的依賴關系越長，則在前面發(fā)生若干符號后，其后發(fā)生的符號的平均不確定性就越弱。即條件較多的熵必不大于條件較少的熵。性質(4)表明，當依賴關系趨于無窮時，平均符號熵和條件熵都非遞增地一致趨于平穩(wěn)信源的信息熵（極限熵）。2.6離散平穩(wěn)信源的極限熵平均符號熵和條件熵都可以用來描述平穩(wěn)信源。對于一般的離散平穩(wěn)信源，求H

相當困難。但當N不很大時能得出非常接近

H

的

HN(X)或者

H(XN/X1X2…XN-1)。因此，可用平均符號熵或條件熵來近似描述平穩(wěn)信源。當平穩(wěn)信源的記憶長度有限(設為m)時，得離散平穩(wěn)信源的極限熵： 等于有限記憶長度為m的條件熵。即可以用有限記憶長度的條件熵對有限記憶長度的離散平穩(wěn)信源進行信息測度。2.6離散平穩(wěn)信源的極限熵通信系統(tǒng)中熵的意義H(X)：表示信源中每個符號的平均信息量（信源熵）。H(Y)：表示信宿中每個符號的平均信息量（信宿熵）。H(X/Y)：表示在輸出端接收到Y的全部符號后，發(fā)送端X尚存的平均不確定性。這個對X尚存的不確定性是由于干擾引起的。信道疑義度(損失熵，含糊度)H(Y/X)：表示在已知X的全部符號后，對于輸出Y尚存的平均不確定性。信道散布度(噪聲熵)H(XY)：表示整個信息傳輸系統(tǒng)的平均不確定性（聯(lián)合熵）。2.6離散平穩(wěn)信源的極限熵例：有兩個同時輸出的信源X和Y，其中X的信源符號為{A,B,C}，Y的信源符號為{D,E,F,G}，已知P(X)和P(Y/X)如下表所述，求聯(lián)合信源的聯(lián)合熵和條件熵。XABCP(x)1/21/31/6P(y/x)XABCYD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62.6離散平穩(wěn)信源的極限熵解：信源X的熵為： 信源XY輸出每一對消息的聯(lián)合概率P(XY)=P(Y/X)P(X)，結果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/362.6離散平穩(wěn)信源的極限熵 聯(lián)合信源的聯(lián)合熵： 信源Y的條件熵：(信道散布度/噪聲熵) 或：

H(Y/X)=H(XY)

H(X)=3.417

1.461=1.956(bit/每對符號)2.6離散平穩(wěn)信源的極限熵 信源Y的熵：由全概率公式有 因此：2.6離散平穩(wěn)信源的極限熵 當信源X和Y統(tǒng)計獨立時，聯(lián)合熵獲得最大值： 由于信源相關而減少的聯(lián)合熵的量為：2.7信源的冗余度1.信源的冗余度對具有q個符號的離散信源，信源符號等概率分布時熵最大，此時將其平均自信息量記為：H0=logq由于信源符號間的依賴關系使信源的熵減小，使下式成立：可見，信源符號之間依賴關系越強，或相關程度越高，則每個符號所提供的平均信息量就越小。因此需要引入信源的冗余度

(或稱為多余度/剩余度)來衡量信源的相關程度。2.7信源的冗余度熵的相對率：一個信源實際的信息熵與具