PPT信息論與編碼-第2章 離散信源

第二章離散信源及其信息測度引言從有效而可靠地傳輸信息的觀點出發(fā)，對組成信息傳輸系統(tǒng)的各個部分分別進行討論。本章首先討論信源，重點是信源的統(tǒng)計特性和數(shù)學模型，以及各類離散信源的信息測度—熵及其性質，從而引入信息理論的一些基本概念和重要結論。——香農信息論的基礎。2/4/202313（-10:55），4（-11:50）信源的主要問題：1．如何描述信源（信源的數(shù)學建模問題）2．怎樣計算信源所含的信息量

3．怎樣有效的表示信源輸出的消息，也就是信源編碼問題2/4/202323（-10:55），4（-11:50）第二章離散信源及其信息測度2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/202333（-10:55），4（-11:50）2.1信源的數(shù)學模型及分類研究對象:通過消息(信息載荷者)研究信源;研究范圍:不研究信源的內部結構、產生消息原因和方法;研究信源輸出可能消息的數(shù)目和不確定性;描述方法:用一個樣本空間X及其概率測度P——概率空間[X,P]描述信源;2/4/202343（-10:55），4（-11:50）2.1信源的數(shù)學模型及分類分類方法:根據消息的不同隨機性質進行分類;隨機變量隨機矢量信源可能輸出的消息數(shù):離散信源連續(xù)信源.2/4/202353（-10:55），4（-11:50）2.1

信源的分類及其數(shù)學模型信源的分類由多種方法，我們常根據信源輸出的消息在時間和取值上是離散或連續(xù)進行分類：

時間（空間)取值信源種類舉例數(shù)學描述離散離散離散信源（數(shù)字信源）文字、數(shù)據、離散化圖象

離散隨機變量序列

離散連續(xù)連續(xù)信號跳遠比賽的結果、語音信號抽樣以后

連續(xù)隨機變量序列

連續(xù)連續(xù)波形信源（模擬信源）

語音、音樂、熱噪聲、圖形、圖象

隨機過程

連續(xù)離散不常見表3.1信源的分類2/4/202363（-10:55），4（-11:50）我們還可以根據各維隨機變量的概率分布是否隨時間的推移而變化將信源分為平穩(wěn)信源和非平穩(wěn)信源，根據隨機變量間是否統(tǒng)計獨立將信源分為有記憶信源和無記憶信源。一個實際信源的統(tǒng)計特性往往是相當復雜的，要想找到精確的數(shù)學模型很困難。實際應用時常常用一些可以處理的數(shù)學模型來近似。隨機序列，特別是離散平穩(wěn)隨機序列是我們研究的主要內容。隨機序列2/4/202373（-10:55），4（-11:50）2.1.1離散信源離散信源信源輸出是離散的消息符號形式,如書信的文字、計算機的代碼;可能輸出的消息數(shù)是有限的或可數(shù)無窮的;每次輸出只是其中一個消息符號。數(shù)學模型：離散型的概率空間,即骰子2/4/202383（-10:55），4（-11:50）2.1.2連續(xù)信源連續(xù)信源可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值;輸出消息的取值是連續(xù)的,如語音信號、電壓、溫度等,或取值是實數(shù)集R(-∞,∞);數(shù)學模型:

連續(xù)型的概率空間,如下:2/4/202393（-10:55），4（-11:50）2.1.2連續(xù)信源在實際問題中，連續(xù)的模擬信源往往可以采用兩種方法進行分析。一類是將連續(xù)信源離散化為隨機序列信源，再采用前面的隨機序列信源進行分析；另一類則是直接分析連續(xù)模擬信源，但是由于數(shù)學上的困難，只能分析單個連續(xù)消息變量的信源。2/4/2023103（-10:55），4（-11:50）2.1.3離散矢量信源（一）1離散矢量信源信源輸出的消息由一系列符號所組成的.數(shù)學模型:N重離散概率空間,如下:

共有元素qN個.其中N維隨機矢量(隨機序列)

中每個隨機變量Xi都是離散的,其取值2/4/2023113（-10:55），4（-11:50）2.1.3離散矢量信源（二）2離散無記憶信源信源先后發(fā)出的符號彼此統(tǒng)計獨立,且具有相同的概率分布。數(shù)學模型：N維隨機矢量的聯(lián)合概率分布滿足3有記憶信源信源先后發(fā)出的符號是互相依賴的,如中文序列;需要引入條件概率分布說明它們之間的關聯(lián)性;實際上信源發(fā)出符號只與前若干個符號(記憶長度)有較強的依賴關系.2/4/2023123（-10:55），4（-11:50）2.1.3離散矢量信源（三）4m階馬爾可夫信源記憶長度為m+1的有記憶信源;可用馬爾可夫鏈描述信源符號之間依賴關系,即5隨機波形信源信源輸出是時間連續(xù)函數(shù),且取值是連續(xù)和隨機的.如語音信號X(t)、電視圖像X(x0,y0,t)等.對于這種信源輸出的消息,可用隨機過程來描述;6混合信源信源輸出既含有連續(xù)分量,又含有離散分量;2/4/2023133（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/2023143（-10:55），4（-11:50）2.2離散信源的信息熵2.2.1自信息獲得信息量的大小,是與不確定性消除的多少有關.舉例,如圖2.1圖2.28個燈泡串聯(lián)示意圖第一次測量獲得的信息量第二次測量獲得的信息量第三次測量獲得的信息量2/4/2023153（-10:55），4（-11:50）2.2離散信源的信息熵2.2.1自信息1信息量大小，是與不確定性消除的多少有關;2信息量的直觀定義：含噪無噪

2/4/2023163（-10:55），4（-11:50）2.2.1自信息3數(shù)學表達式事件發(fā)生所含的信息量是事件發(fā)生先驗概率的函數(shù);根據客觀事實和人們的習慣概念，該函數(shù)應滿足:與輸出符號發(fā)生的概率有關;先驗概率的單調遞減函數(shù)極限關系:兩個獨立事件的聯(lián)合信息量應等于它們分別信息量之和。由上述條件可證明該函數(shù)具有對數(shù)形式,即2/4/2023173（-10:55），4（-11:50）舉例說明信息量與先驗概率具有對數(shù)關系…阻值不同…功率不同2/4/2023183（-10:55），4（-11:50）2/4/2023193（-10:55），4（-11:50）2.2.1自信息4自信息的兩個含義當事件ai發(fā)生以前,表示事件ai發(fā)生的不確定性;當事件ai發(fā)生以后,表示事件ai所含有(或所提供)的信息量.在無噪信道中,事件ai發(fā)生后,能正確無誤地傳輸?shù)绞招耪?所以可代表接收到消息ai后所獲得的信息量.這是因為消除了I(ai)大小的不確定性,才獲得這么大的信息量。

2/4/2023203（-10:55），4（-11:50）2.2.1自信息5單位自信息采用的單位取決于對數(shù)所選取的底r。對數(shù)的底應選為大于1的任意數(shù)先驗概率p(ai)是小于1的正數(shù)根據實際情況自信息I(ai)也必然是正數(shù)即,I(ai)=logr[p(ai)]-1>logr1以r為底,I(ai)=logr[p(ai)]-1r進制單位以2為底,I(ai)=lb[p(ai)]-1比特以e為底, I(ai)=ln[p(ai)]-1奈特以10為底,I(ai)=lg[p(ai)]-1哈特比特信息論：兩個互不相容等可能事件發(fā)生時所提供的信息量。計算機術語：二元數(shù)字(binarydigits)。2/4/2023213（-10:55），4（-11:50）2.2.2信息熵1自信息的不足自信息是隨機變量，不能作為整個信源的信息測度;自信息是指信源發(fā)出某一消息所含有的信息量;消息不同，它們所含有的信息量也不同。2平均自信息量(信息熵H(X)):自信息的數(shù)學期望,即信息熵H(X)是從整個信源的統(tǒng)計特性來考慮的。對于特定信源(概率空間給定),其信息熵是一個確定數(shù)值;不同的信源因統(tǒng)計特性不同,其熵也不同。2/4/2023223（-10:55），4（-11:50）2.2.2信息熵3舉例(說明信息熵的含義)一布袋,其中75球是紅色的,25球是白色的;概率空間摸出紅球的信息量摸出白球的信息量摸取n次的信息量平均摸取一次的信息量所以,信息熵是從平均意義上表征信源總體特性的量.2/4/2023233（-10:55），4（-11:50）2.2.2信息熵4三種物理含義信源輸出后,每個消息(或符號)所提供的平均信息量;表示信源輸出前,信源的平均不確定性;兩個信源信息熵信源Y比信源X的平均不確定性大表征變量X的隨機性.如前例,變量Y取b1和b2是等概率的,所以其隨機性大；變量X取a1的概率比取a2的大很多,隨機性就??；

2/4/2023243（-10:55），4（-11:50）[例2.3]現(xiàn)分析例2.1中8個燈泡構成信源X的熵.其中,ai(i=1,2,…,8)表示第i個燈泡已損壞的事件.H(X)正好表示在獲知哪個燈泡已損壞的情況前,關于哪個燈泡已損壞的平均不確定性。在例2.1中可以看到，這種測量方法每次只能獲得1個比特信息量，因此，至少需要測量三次才能完全消除不確定性。2/4/2023253（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/2023263（-10:55），4（-11:50）2.3熵的基本性質熵的定義可知:熵是信源概率空間的一種特殊函數(shù);其大小與信源的符號數(shù)及其概率分布有關。熵函數(shù)H(p):概率矢量p的q元函數(shù),即其中,p=(p1,p2,...,pq)是q為矢量.熵函數(shù)具有以下一些性質:1)對稱性 2)確定性 3)非負性

4)擴展性 5)可加性 6)極值性7)上凸性2/4/2023273（-10:55），4（-11:50）1)對稱性對稱性:變量p1,p2,...,pq順序任意互換時,熵值不變,即H(p1,p2,...,pq)=H(p2,p3,...,pq,p1,)=...=H(pq,p1,...,pq-1)該性質說明熵只與隨機變量的結構有關,即與信源的統(tǒng)計特性有關;如果信源統(tǒng)計特性(符號數(shù)和概率分布)相同,熵就相同;熵表征信源總的統(tǒng)計特征,總體的平均不確定性;說明熵有局限性,不能描述事件本身具體含意和主觀價值等;2/4/2023283（-10:55），4（-11:50）2)確定性即H(1,0)=H(1,0,0)=...=H(1,0,...,0)=0因為在概率矢量p=(p1,p2,...,pq)中,這個性質意味著從總體來看,信源有不同的輸出符號,但只有一個符號幾乎必然出現(xiàn),而其它符號都是幾乎不可能出現(xiàn).那么,這是一個確定信源,其熵為零。2/4/2023293（-10:55），4（-11:50）3)非負性即熵為正值當且僅當隨機變量是一確定量時,等號成立(見性質2).2/4/2023303（-10:55），4（-11:50）4)擴展性即上式成立的條件是本性質說明信源符號數(shù)增多時,若這些符號對應的概率很小(接近于零),則信源的熵不變.雖然概率很小的事件出現(xiàn)后,給予收信者較多的信息?？傮w考慮,概率很小的事件幾乎不會出現(xiàn),所以在熵計算中占的比重很小.熵的總體平均性的一種體現(xiàn).2/4/2023313（-10:55），4（-11:50）5可加性二維隨機變量(X,Y)的熵等于X的無條件熵加上當X已知時Y的條件概率定義的熵的統(tǒng)計平均值,即物理意義已知X=xi,i=1,2,...,n,獲得的平均信息量為Hn(X);在X=xi下,再知Y=yj,j=1,2,...,n,獲得的平均信息量Hmi;兩者相加應等于同時知道X和Y所獲得的平均信息量Hmn。2/4/2023323（-10:55），4（-11:50）5可加性推論如果兩個隨機變量X和Y是統(tǒng)計獨立的,則有可加性是熵函數(shù)的一種重要特性,正因為具有可加性,所以可以證明熵函數(shù)的形式是唯一的,不可能有其他形式存在。2/4/2023333（-10:55），4（-11:50）證明獨立2/4/2023343（-10:55），4（-11:50）熵的可加性是指不同含義的信息熵的相加規(guī)則.例如某地把天氣分成晴、多云、雨，如果再把雨天分成微雨到大雨時不同的信息熵是什么關系？1,設某地晴、多云和雨天的出現(xiàn)概率滿足表2.3.1,可以求得天氣的信息熵H1為

H1=-0.5log0.5-0.3log0.3-0.2log0.2=1.48542/4/2023353（-10:55），4（-11:50）2,把雨天再分成微雨到大雨四種,且知道它們出現(xiàn)的概率為表(2.3.2)的第二行.第三行表示肯定下雨時各種雨的出現(xiàn)概率(也稱條件概率).利用第三行帶入信息熵公式,可求得雨天不同雨量信息熵H2為

H2=-0.5log0.5-0.25log0.25-0.15log0.15-0.1log0.1=1.74272/4/2023363（-10:55），4（-11:50）3,如果把直接把雨天分成四種,那么天氣就有六種情況,顯然有表(2.3.3).六種天氣的信息熵H3可以用同樣的公式計算出

H3=-0.5log0.5-0.3log0.3-0.1log0.1-0.05log0.05-0.03log0.03-0.02log0.02=1.83402/4/2023373（-10:55），4（-11:50）問把天氣分成六種情況時的信息熵與分成三種情況,以及雨天的信息熵之間有什么關系?可發(fā)現(xiàn)H3恰好是H1加上H2乘以雨天的出現(xiàn)概率0.2,即

1.8340=1.4854+0.2×1.7427寫成公式是H3=H1+pH2,這是信息熵可加性一般公式。它表示一次抽樣實驗結局的不確定性如果是H1,當把出現(xiàn)概率為p的事件再細分成若干個事件時，新抽樣實驗結局的不確定性H3由可加性公式計算,其中H2是概率p對應的事件已經出現(xiàn)時的信息熵(也稱為條件信息熵).利用信息熵公式,可以直接推出這個公式來。2/4/2023383（-10:55），4（-11:50）6)極值性集合X各事件等概率分布,熵取最大值,即證明:令隨機變量

因為logx在實數(shù)集[0,1]是凸函數(shù),根據詹森不等式E[logY]<=log(E[Y])有當且僅當這表明等概率分布信源平均不確定性為最大,也稱最大離散熵定理。2/4/2023393（-10:55），4（-11:50）二元信源是離散信源的一個特例,其概率空間

其熵為H(X)=-wlogw-(1-w)log(1-w)可畫出熵函數(shù)的曲線,如右圖.從圖可知:二元信源是確定輸出(w=1或0),

則該信源不提供任何信息。二元符號等概發(fā)生,熵為最大值,等于1比特.等概輸出的二元數(shù)字序列,

每個二元數(shù)字平均提供1比特的信息量.非等概率分布,二元數(shù)字的熵總小于1比特.說明了二元數(shù)字與信息量單位“比特”的關系2/4/2023403（-10:55），4（-11:50）7)上凸性引理1證明:

可見,f(x)是x的下凸函數(shù),且當x=1時,f(x)=0是極大值,因而有2/4/2023413（-10:55），4（-11:50）7)上凸性引理2

任一集合X及分布pi,它對其他分布qi的自信息量-logqi取數(shù)學期望時,必不小于由概率pi本身定義的熵Hn(p1,p2,…,pn),即2/4/2023423（-10:55），4（-11:50）7)上凸性引理2證明：由引理1可得驗證極值性.令,利用引理2,有2/4/2023433（-10:55），4（-11:50）7)上凸性H(p1,p2,…,pq)是概率分布(p1,p2,…,pq)的嚴格上凸函數(shù).證明:設p=(p1,p2,…,pq)和p’=(p’1,p’2,…,p’q)是兩個概率矢量，取0<a<1，則由引理2可以證明后面兩項的數(shù)值均大于零，因此2/4/2023443（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/2023453（-10:55），4（-11:50）2.4.1加權熵香農熵的不足：其定義的客觀性(熵的對稱性)無法描述主觀意義上對事件判斷的差別,淹沒了個別事件的重要性。解決方法:加權熵,引入事件的重量(權值),來度量事件的重要性或主觀價值。隨機變量引入事件的重量后的概率空間為其中,wi≥0,i=1,2,…,n是事件ai的重量,它決定于實驗者的目的或所考慮系統(tǒng)的某些質的特性.離散無記憶信源X的加權熵定義為2/4/2023463（-10:55），4（-11:50）2.4.2加權熵的性質非負性,HW(X)≥0;退化性,若權重相等,即wi=w,則HW(X)=wH(X),退化為香農熵;確定性,當分量pi=1,而其余分量pj=0(j≠i),則HW(X)=0;若I,J為樣本空間,對于i∈I,pi=0,wi≠0;而對于j∈J,pj≠0,wj=0,且I∪J=Ω,I∩J=Φ,則HW(X)=0;擴展性

線性疊加性,對于一非負實數(shù)λ,有

Hw(λw1,…,λwq,p1,…,pq)=λHw(w1,…,wq,p1,…,pq)結語:加權熵一定程度上反映了信息對收信者的主觀價值,但對全面解決與人們主觀價值和意義有關的信息問題是遠遠不夠的。2/4/2023473（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/2023483（-10:55），4（-11:50）2.5離散無記憶的擴展信源一、擴展信源的意義實際信源輸出是時間(或空間)上的一序列符號,每個符號出現(xiàn)是隨機的,但前、后符號出現(xiàn)是有統(tǒng)計依賴關系的.考慮符號間關聯(lián)性,在N足夠大的信源序列中存在許多無用和無意義的序列,即這些序列出現(xiàn)概率等于零或任意小.因此,對長為N的信源序列進行編碼時,那些無用和無意義的序列可以不編碼.這相當于在N次擴展信源中去掉一些無用的信源序列,使擴展信源的符號總數(shù)小于qN,以使編碼所需的碼字個數(shù)大大減少;因此,平均每個信源符號所需的碼符號個數(shù)就可以大大減少,從而使傳輸效率提高。2/4/2023493（-10:55），4（-11:50）二、離散無記憶的擴展信源離散無記憶信源的N次擴展信源用XN表示.它是具有qN個符號的離散信源,其N重概率空間為

其中,每個符號αi是對應某個由N個ai組成的序列,即∵信源是無記憶的(彼此統(tǒng)計獨立),αi的概率p(αi)為

2/4/2023503（-10:55），4（-11:50）三、離散無記憶擴展信源XN的熵擴展信源XN的熵

可證:H(XN)=NH(X)直觀理解:擴展信源XN的輸出符號αi由N個ai組成的序列,且序列中前、后符號是統(tǒng)計獨立,其中每個符號ai的平均自信息量為H(X).那么N個ai組成的無記憶序列平均自信息量即是NH(X)(根據熵的可加性).2/4/2023513（-10:55），4（-11:50）證明:2/4/2023523（-10:55），4（-11:50）四、舉例說明離散無記憶信源X,求其二次擴展信源的熵?2/4/2023533（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/2023543（-10:55），4（-11:50）2.6離散平穩(wěn)信源2.6.1離散矢量信源信源輸出是時間或空間的離散符號序列,且符號間有依賴關系.可用隨機矢量來描述信源輸出,即X=(…,X1,X2,…,Xi,…),其中Xi是離散隨機變量,它表示t=i時刻所發(fā)出的符號.信源在t=i時刻發(fā)出的符號決定于兩個方面:(1)與t=i時刻隨機變量Xi的取值xi的概率分布p(xi)有關.一般情況t不同時,概率分布也不同,即p(xi)≠p(xj)(2)與t=i時刻以前信源發(fā)出的符號有關,即與條件概率p(xi|xi-1xi-2,…)有關.同樣在一般情況下,它也是時間t=i的函數(shù),所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…)2/4/2023553（-10:55），4（-11:50）2.6.2平穩(wěn)信源平穩(wěn)隨機序列序列的統(tǒng)計性質與時間的推移無關,即信源所發(fā)符號序列的概率分布與時間起點無關.一、一維平穩(wěn)信源若當t=i,t=j時，p(xi)=p(xj)=p(x),則序列是一維平穩(wěn)的.這里等號表示任意兩個不同時刻信源發(fā)出符號的概率分布完全相同，即

具有這樣性質的信源稱為一維平穩(wěn)信源。一維平穩(wěn)信源無論在什么時刻均按p(x)的概率分布發(fā)出符號。2/4/2023563（-10:55），4（-11:50）二、二維平穩(wěn)信源除上述條件外,聯(lián)合分布p(xixi+1)也與時間起點無關,即p(xixi+1)=p(xjxj+1)(i,j為任意整數(shù)且i≠j)上式表示任何時刻信源相鄰兩個符號的聯(lián)合分布相等.三、平穩(wěn)信源各維聯(lián)合分布均與時間起點無關,即當t=i,t=j(i,j為任意整數(shù)且不相等)時有

那么,信源是完全平穩(wěn)的,信源發(fā)出的序列也是完全平穩(wěn)的.完全平穩(wěn)的信源簡稱為平穩(wěn)信源。2/4/2023573（-10:55），4（-11:50）∵聯(lián)合概率與條件概率有以下關系∴根據完全平穩(wěn)定義式可得2/4/2023583（-10:55），4（-11:50）對于平穩(wěn)信源,其條件概率均時間起點無關,只與關聯(lián)長度有關.它表示平穩(wěn)信源發(fā)出序列的前后依賴關系與時間起點無關.如果某時刻發(fā)出符號與前面N個符號有關,那么任何時刻它們的依賴關系都是一樣的.即2/4/2023593（-10:55），4（-11:50）2.6.3離散二維平穩(wěn)信源為了分析簡單和直觀,首先研究信源序列中相鄰兩個符號間有關聯(lián)的情況。一離散二維平穩(wěn)信源,已知信源X的概率分布p(ai)

及連續(xù)信源符號的聯(lián)合概率p(aiaj),其中i,j=1,2,…,q.把信源輸出序列分成每兩符號一組(∵相鄰兩個符號才有關聯(lián)),并設組之間統(tǒng)計無關(組尾符號與下一組的組頭符號是關聯(lián)的).這時,可等效成一個新的信源X1X2,其概率空間為2/4/2023603（-10:55），4（-11:50）一、聯(lián)合熵(共熵)定義:聯(lián)合符號集X1X2上的每個元素對aibj的自信息量的概率加權統(tǒng)計平均值。數(shù)學表達式:此值表示原來信源X輸出任意一對消息的共熵,即描述信源X輸出長度為2的序列的平均不確定性,或所含有的信息量.因此可用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值.還可從另一角度研究二維平穩(wěn)信源X熵的近似值,即條件熵.2/4/2023613（-10:55），4（-11:50）二、條件熵在聯(lián)合符號集X1X2上條件自信息量的統(tǒng)計平均值.即Note:條件熵是用聯(lián)合概率p(aiaj),而非條件概率p(aj|ai)進行平均.因為:已知前一符號X1=ai時,后一符號X2的平均不確定性為:

再對前一信源符號X1的所有可能值求統(tǒng)計平均可得,當信源符號X1已知時,信源輸出符號X2的總的平均不確定性為:2/4/2023623（-10:55），4（-11:50）三、相互關系1、聯(lián)合熵、條件熵和信源熵三者之間的關系2/4/2023633（-10:55），4（-11:50）三、相互關系熵的強可加性:聯(lián)合熵H(X1X2)等于序列符號X1的熵H(X1)加上符號X1已知,符號X2的條件熵H(X2|X1).熵的可加性:如序列符號X1和X2相互獨立,則H(X1X2)=H(X1)+H(X2).其中,H(X2|X1)=H(X2).此性質可推廣到多個隨機變量(序列符號)構成的概率空間之間的關系.2/4/2023643（-10:55），4（-11:50）N個概率空間X1,X2,…,XN,其聯(lián)合熵為如果N個隨機變量相互獨立，則有2/4/2023653（-10:55），4（-11:50）2、聯(lián)合熵與信源熵的關系

當且僅當兩個序列符號相互獨立,上式取等號,取得熵的最大值.當集X1和集X2取直同一符號集合X,即H(Xi)=H(X).此性質同樣可以推廣到N個概率空間的情況：等號成立的充要條件是X1,X2,…,XN相互統(tǒng)計獨立.

2/4/2023663（-10:55），4（-11:50）證明:2/4/2023673（-10:55），4（-11:50）3、條件熵與信源熵的關系等式成立的條件:當且僅當集X1和集X2統(tǒng)計獨立。2/4/2023683（-10:55），4（-11:50）3、條件熵與信源熵的關系證明:

可證f(w)=-wlogw是[0,1]區(qū)域內∩型凸函數(shù).

令wi=pij=p(aj|ai),且pi=p(X1=ai),pj=p(X2=aj).根據詹森不等式,有2/4/2023693（-10:55），4（-11:50）2.6.4離散N維平穩(wěn)信源一般平穩(wěn)有記憶信源X,符號間的依賴關系不僅存在于相鄰符號之間,而且存在更多符號之間.令X發(fā)出的符號序列X為(…,X1,X2,…,XN,…),假設信源符號間的依賴長度為N,則聯(lián)合概率為

聯(lián)合熵2/4/2023703（-10:55），4（-11:50）2.6.4離散N維平穩(wěn)信源為計算離散平穩(wěn)信源的信息熵,給出另外兩種定義：平均符號熵:N長的信源符號序列中平均每個信源符號所攜帶的信息量為條件熵:已知前面N-1個符號時,后面出現(xiàn)一個符號的平均不確定性為2/4/2023713（-10:55），4（-11:50）對于離散、平穩(wěn)、有記憶信源,當H1(X)<∞時,則有以下性質:1、條件熵H(XN|X1X2…XN-1)隨N的增加是非遞增的;2、平均符號熵HN(X)隨N增加而非遞增的;3、平均符號熵大于條件熵,即HN(X)≥H(XN|X1X2…XN-1);4、存在，并且

稱H∞為平穩(wěn)信源的極限熵或極限信息量。2/4/2023723（-10:55），4（-11:50）第二章離散信源2.1信源的數(shù)學模型及分類2.2離散信源的信息熵2.3熵的基本性質2.4加權熵及其性質2.5離散無記憶的擴展信源2.6離散平穩(wěn)信源2.7信源的相關性和剩余度2/4/2023733（-10:55），4（-11:50）2.7信源的相關性和剩余度1、實際離散信源的熵實際離散信源可能是非平穩(wěn)的,然而非平穩(wěn)信源其極限熵H∞不一定存在,但可假定它是平穩(wěn)的,用平穩(wěn)信源的H∞來近似.前已證:平均符號熵HN(X)隨N增加而非遞增的.即

logq=H0≥H1≥H2≥Hm+1≥H∞

其中,H0為信源符號等概率分布時的熵,即H0=logq.2/4/2023743（-10:55），4（-11:50）2.7信源的相關性和剩余度可見,信源符號間的依賴關系使信源的熵減小.前后依賴關系越長,則信源的熵越小.并且僅當信源符號間無依賴、等概率分布時,信源熵最大.即,每個符號提供的平均自信息隨符號間的依賴關系長度的增加而減少.為此引入剩余度來衡量信源的相關性程度(有時也稱多余度).2/4/2023753（-10:55），4（-11:50）剩余度靜夜思(李白,29字)床前明月光,疑是地