信息論與編碼課件

信息論與編碼課件第一頁，共四十四頁，2022年，8月28日就狹義而言，在通信中對信息的表達分為三個層次：信號、消息、信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。什么是信息？第二頁，共四十四頁，2022年，8月28日消息：(或稱為符號)是信息的數(shù)學(xué)表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型：離散(數(shù)字)消息，一組未知量，可用隨機序列來描述：X=(X1…Xi…Xn)連續(xù)(模擬)消息，未知量，它可用隨機過程來描述：X(t)

信息：它是更高層次哲學(xué)上的抽象，是信號與消息的更高表達層次。

第三頁，共四十四頁，2022年，8月28日信息、消息和信號是既有區(qū)別又有聯(lián)系的三個不同的概念。

消息中包含信息，是信息的載體。信號攜帶著消息，它是消息的運載工具。信息可認為是由具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。而信號則是抽象信息在物理層表達的外延；消息則是抽象信息在數(shù)學(xué)層表達的外延。信息、消息和信號第四頁，共四十四頁，2022年，8月28日同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達形式(比如離散或連續(xù))來定量描述。同一信號形式，比如“0”與“1”可以表達不同形式的信息，比如無與有、斷與通、低與高(電平)等等。第五頁，共四十四頁，2022年，8月28日1.1信源特性與分類通信的根本問題是將輸出的信源在接收端盡可能精確地復(fù)現(xiàn)出來，所以需要討論如何描述信源的輸出，即如何計算信源產(chǎn)生的信息量。第六頁，共四十四頁，2022年，8月28日信源的概念信源－信息的發(fā)源地，如人，生物，機器等等。由于信息是十分抽象的東西，所以要通過信息載荷者，即消息來研究信源，這樣信源的具體輸出稱作消息。消息的形式可以是離散消息（如漢字、符號、字母）或連續(xù)消息（如圖像、語音）。信源消息中的信息是一個時變的不可預(yù)知的函數(shù)，因此，描述信源消息或?qū)π旁唇?，隨機過程是一個有效的工具，隨機過程的特性依賴于信源的特性。第七頁，共四十四頁，2022年，8月28日離散信源和連續(xù)信源連續(xù)信源：如果信源輸出的隨機變量取值于某一連續(xù)區(qū)間，為連續(xù)信號，消息的個數(shù)是無窮值，就叫做連續(xù)信源。比如人發(fā)出的語音信號X(t)、模擬的電信號等等。信源的輸出被抽象為一個隨機變量序列（隨機過程）離散信源：如果信源輸出的隨機變量取值于某一離散符號集合，消息在時間和幅值上均是離散的，就叫做離散信源。比如平面圖像X(x,y)和電報、書信、文稿等等。第八頁，共四十四頁，2022年，8月28日單符號離散信源的數(shù)學(xué)模型

u2,…,ui,…,p(u2),…,p(ui),…,

其中p(ui)滿足：注意：大寫U代表隨機變量，指的是整體。帶下標的小寫ui代表隨機事件的某一結(jié)果或某個元素。第九頁，共四十四頁，2022年，8月28日離散序列信源 實際信源不可能僅發(fā)送單個符號，而是發(fā)送一組符號，即一個隨機序列，如電報、數(shù)字語音、數(shù)字圖像等。 離散序列信源U＝為第l時刻的隨機變量U的一個樣本u可表示為u＝(u)＝第十頁，共四十四頁，2022年，8月28日離散無記憶信源(u)＝（當滿足無記憶條件時）（當進一步滿足平穩(wěn)性時）第十一頁，共四十四頁，2022年，8月28日離散有記憶信源很多實際信源是符合有限記憶模型的，數(shù)學(xué)上常采用馬氏鏈來描述。若將離散序列信源發(fā)出的隨機序列消息看作一階馬氏鏈，則消息序列中任一時刻的消息僅與其前面的一個消息有關(guān)，而與更前面的消息沒有直接關(guān)系。(u)（對于馬氏鏈）（對于齊次馬氏鏈）（對于齊次遍歷馬氏鏈）第十二頁，共四十四頁，2022年，8月28日常用的概率論的基本概念和性質(zhì)1（1）（2）（3）

無條件概率、條件概率、聯(lián)合概率滿足的一些性質(zhì)和關(guān)系：第十三頁，共四十四頁，2022年，8月28日常用的概率論的基本概念和性質(zhì)2

無條件概率、條件概率、聯(lián)合概率滿足的一些性質(zhì)和關(guān)系：（4）（5）（6）第十四頁，共四十四頁，2022年，8月28日1.2離散信源的信息熵信息熵和信息量的基本概念熵的數(shù)學(xué)性質(zhì)第十五頁，共四十四頁，2022年，8月28日概率與信息量在事件發(fā)生前有不確定性在事件發(fā)生時有驚訝度在事件發(fā)生后有信息量當一個概率很低的隨機事件發(fā)生，我們就會感到非常驚訝，并得到很大的信息量。如：9.11事件，美國紐約世貿(mào)大廈被炸表第十六頁，共四十四頁，2022年，8月28日自信息量從信息源獲取信息的過程就是其不確定性縮減的過程。隨機事件包含的信息與其不確定性緊密相關(guān)。在統(tǒng)計分析中，使用概率作為衡量不確定性的一種指標。可以推論出：隨機事件包含信息的度量應(yīng)是其概率的函數(shù)。表第十七頁，共四十四頁，2022年，8月28日自信息量定義定義：任意隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值。自信息量的單位取決于對數(shù)選取的底。單位：比特bit、奈特nat、笛特Det

。當對數(shù)的底取2時，單位為比特bit

當以自然數(shù)e為底時，單位為奈特nat（理論推導(dǎo)常用）當以10為底時，單位為笛特Det（工程計算常用）表第十八頁，共四十四頁，2022年，8月28日對數(shù)及常用公式

y=log10xx=10ylog(xy)=logx+logyy=logbxx=bylog(x/y)=logx-logylog(xp)=plogxlog(1)=0log(1/x)=-logx表Example:log327log5125log10100log232第十九頁，共四十四頁，2022年，8月28日自信息量的性質(zhì)值得注意的是：

pi是一個隨機量，而I(pi)是pi的函數(shù)，所以自信息量也是一個隨機變量，它沒有確定的值。第二十頁，共四十四頁，2022年，8月28日聯(lián)合自信息量定義：兩個消息ui、vj對應(yīng)概率分別為pi和qj,他們同時出現(xiàn)的聯(lián)合概率為rij：

當ui和vj相互獨立時，

說明兩個隨機事件相互獨立時，同時發(fā)生得到的自信息量，等于這兩個隨機事件各自獨立發(fā)生得到的自信息量之和。

第二十一頁，共四十四頁，2022年，8月28日條件自信息量當ui和vj不相互獨立時，在消息ui（或vj

）已出現(xiàn)的條件下，消息vj（或ui）出現(xiàn)的條件概率為Pji（或Qij），其自信息量定義為：第二十二頁，共四十四頁，2022年，8月28日自信息量：例題1表例如：設(shè)信源只含有兩個符號“正”與“反”，且它們以消息的形式向外發(fā)送時均以等概率出現(xiàn)，求它們各自的信息量。解：第二十三頁，共四十四頁，2022年，8月28日例如：某地某月份的氣象資料如下表所列，求相應(yīng)事件的不確定度。這四種氣候的自信息量分別為：xix1(晴)x2(陰)x3(雨)x4(雪)P(xi)0.50.250.1250.125自信息量：例題2I(x1)＝1bit,I(x2)=2bit,I(x3)=3bit,I(x4)=3bit可見不同天氣情況具有不同的自信息量說明自信息量具有隨機變量的性質(zhì)第二十四頁，共四十四頁，2022年，8月28日自信息量不能作為信源的信息測度自信息量I(pi)，i=1,2,…是指某一信源U發(fā)出某一信息符號ui所含有的信息量。發(fā)出的信息符號不同，它們所含有的信息量就不同。信源發(fā)出的每個信息符號概率相同－狀態(tài)等概率信源發(fā)出的每個信息符號概率不相同－各狀態(tài)不等概率信源發(fā)出的信息符號可用隨機事件來描述。第二十五頁，共四十四頁，2022年，8月28日信源的概率空間描述一個信源可以用一個概率空間來描述。信源的不確定程度可以用這個概率空間的可能狀態(tài)數(shù)目及其概率來描述：其中：U是信源的狀態(tài)空間，為一個離散集，表示了隨機事件的狀態(tài)數(shù)；p(u)是隨機事件各種可能狀態(tài)的概率分布，且；各狀態(tài)是相互獨立的。u2,…,ui,…,p(u2),…,p(ui),…,第二十六頁，共四十四頁，2022年，8月28日平均自信息量－－信息熵

自信息量是一個隨機變量，它反映了發(fā)出某一消息符號的不確定性。它不能用來作為整個信源的信息測度。信源的不確定程度可以用信源概率空間的概率分布來描述。這樣，我們引入平均自信息量，定義：隨機變量I(pi)的數(shù)學(xué)期望定義為平均自信息量 信源的平均自信息量又稱做是信源的信息熵，簡稱做熵。熵H(U)是其概率分布上p1,p2,…,pn的函數(shù)，稱為熵函數(shù)。 信息熵滿足對概率的遞減性和可加性。第二十七頁，共四十四頁，2022年，8月28日平均不確定性信源的平均自信息量表示事件出現(xiàn)的平均不確定性。信息熵與概率分布的關(guān)系？p1=0.25p2=0.25p3=0.25p4=0.25H=2p1=0.5p2=0.25p3=0.125p4=0.125H=1.75第二十八頁，共四十四頁，2022年，8月28日聯(lián)合熵聯(lián)合熵定義為：第二十九頁，共四十四頁，2022年，8月28日條件熵

定義：條件自信息量的概率加權(quán)平均值（數(shù)學(xué)期望）定義為條件熵。定義式為：上式已知ui(或vj)

的條件下，vj(或ui)的條件熵。這里要注意條件熵用聯(lián)合概率rij，而不是用條件概率Pji（或Qij）進行加權(quán)平均。第三十頁，共四十四頁，2022年，8月28日信息熵和信息量信息熵是信源平均不確定性的度量，是從統(tǒng)計特性上對信源的描述，可以理解為信源輸出的信息量信息量一般是對接收者而言的，是指接收者從信源所獲得的信息的度量。如果通信傳輸中沒有干擾，則接收者獲得的信息量就等于信源的信息熵，但兩者概念不同。第三十一頁，共四十四頁，2022年，8月28日1.2.2信源熵的基本性質(zhì)和定理熵函數(shù)的性質(zhì)：1.對稱性

當概率矢量P＝(p1,p2,…,pn)中的各分量的次序任意變更時，熵值不變。該性質(zhì)說明信源的熵僅與信源總體的統(tǒng)計特性有關(guān)。如果統(tǒng)計特性相同，不管其內(nèi)部結(jié)構(gòu)如何，其信源熵值都相同。例，A,B兩地天氣情況的平均自信息量為:

H(A)=H(B)=1.75bit

=1/2log2+1/4log4+2/8log8晴多云雨冰雹地域A1/21/41/81/8地域B1/21/81/81/4第三十二頁，共四十四頁，2022年，8月28日熵函數(shù)的性質(zhì)：2.非負性

非負性其中，等號成立的條件是當且僅當對某i，pi=1,其余的pk=0(ki)。即，信源U雖然有不同的輸出符號，但它只有一個符號必然出現(xiàn)，而其它符號都不可能出現(xiàn)，那么，這個信源是一個確知信源，其信源熵等于零。第三十三頁，共四十四頁，2022年，8月28日熵函數(shù)的性質(zhì)：3.確定性

信源U中只要有一個事件為必然事件，則其余事件為不可能事件。此時，信源U中每個事件對熵的貢獻都為零，因而熵必為零。第三十四頁，共四十四頁，2022年，8月28日熵函數(shù)的性質(zhì)：4.擴展性

證明：所以通過熵函數(shù)的定義可以證明上式成立。含義：若信源U有n個事件，另一個信源V有n+1個事件，但U和V集的差別只是多了一個概率接近于零的事件，則兩個集的熵值一樣。換言之，一個事件的概率與其中其它事件的概率相比很小時，它對集合的熵值的貢獻可以忽略不計。第三十五頁，共四十四頁，2022年，8月28日熵函數(shù)的性質(zhì)：5.遞推性其中證明：設(shè)p=p1+p2,q=p2/(p1+p2),則p1=p(1-q),p2=pq含義：信源U有n個事件，可以把其中的任意兩個事件合并，得到有n－1個事件的集合的熵；反之亦然第三十六頁，共四十四頁，2022年，8月28日熵函數(shù)的性質(zhì)：6.可加性

如果有兩個信源U和V，它們不是相互獨立的，則聯(lián)合信源的熵等于U的熵加上當U已給定時V的條件概率定義的熵的統(tǒng)計平均值，即當U和V相互統(tǒng)計獨立時，則有第三十七頁，共四十四頁，2022年，8月28日定理1-2-2：熵函數(shù)的極值性第三十八頁，共四十四頁，2022年，8月28日定理1-2-2：熵函數(shù)的極值性第三十九頁，共四十四頁，2022年，8月28日定理1-2-2：熵函數(shù)的極值性

該性質(zhì)表明，在離散情況下，信源U的各事件等概率發(fā)生時，熵達到極大值。這個重要結(jié)論稱為最大熵定理。事件的數(shù)目n越多，信源的熵值就越大（對數(shù)函數(shù)的單調(diào)上升性）。第四十頁，共四十