第二章信源及信源熵

第二章信源及信源熵第一頁，共一百三十四頁，2022年，8月28日第二章信源熵胡君紅第二頁，共一百三十四頁，2022年，8月28日信源熵信源的描述與分類（增加部分）2.1單符號離散信源2.2多符號離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理第三頁，共一百三十四頁，2022年，8月28日信源信息論對信源研究的內(nèi)容：信源的建模：用恰當(dāng)?shù)碾S機(jī)過程來描述信號關(guān)心角度：信號中攜帶的信息信源輸出信號中攜帶信息的效率的計算熵率、冗余度信源輸出信息的有效表示信源編碼信源的描述與分類第四頁，共一百三十四頁，2022年，8月28日信源信源的特性與分類實(shí)際信源舉例信源的描述與分類第五頁，共一百三十四頁，2022年，8月28日信源特性與分類信源的統(tǒng)計特性1）什么是信源？信源是信息的來源，實(shí)際通信中常見的信源有：語音、文字、圖像、數(shù)據(jù)…。在信息論中，信源是產(chǎn)生消息（符號）、消息（符號）序列以及連續(xù)消息的來源，數(shù)學(xué)上，信源是產(chǎn)生隨機(jī)變量U，隨機(jī)序列U和隨機(jī)過程U(t,ω)的源。2）信源的主要特性信源的最基本的特性是具有統(tǒng)計不確定性，它可用概率統(tǒng)計特性來描述。信源的描述與分類第六頁，共一百三十四頁，2022年，8月28日信源特性與分類信源的描述與分類單消息（符號）信源：離散信源連續(xù)變量信源平穩(wěn)信源無/有記憶信源馬爾可夫信源隨機(jī)波形信源實(shí)際信源信源的描述與分類第七頁，共一百三十四頁，2022年，8月28日單消息（符號）信源單消息（符號）信源是最簡單、最基本的信源，是組成實(shí)際信源的基本單元。用信源取值隨機(jī)變量的范圍U和對應(yīng)概率分布P(u)組成的二元序?qū)U，P(u)]來表示。當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計特性，有時也稱概率空間為信源空間。信源的描述與分類第八頁，共一百三十四頁，2022年，8月28日單消息（符號）信源——離散信源信源可能輸出的消息數(shù)是有限的或可數(shù)的，且每次只輸出其中一個消息。用離散型隨機(jī)變量X來描述這個信源輸出的消息。隨機(jī)變量X的樣本空間就是符號集A；而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率，信源的概率空間必定是一個完備集。在實(shí)際情況中，存在著很多這樣的信源。例如投硬幣、書信文字、計算機(jī)的代碼、電報符號、阿拉伯?dāng)?shù)字碼等等?？捎靡痪S離散型隨機(jī)變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：信源的描述與分類第九頁，共一百三十四頁，2022年，8月28日單消息（符號）信源——離散信源對離散信源例：對于二進(jìn)制數(shù)據(jù)、數(shù)字信源：U={0，1}，則有信源的描述與分類第十頁，共一百三十四頁，2022年，8月28日單消息（符號）信源——連續(xù)變量信源信源輸出單個符號(代碼)的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，即輸出消息的符號集A的取值是連續(xù)的，或取值是實(shí)數(shù)集(-∞，∞)。例如，語音信號、熱噪聲信號某時間的連續(xù)取值數(shù)據(jù)，遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。用一維的連續(xù)型隨機(jī)變量X來描述這些消息。這種信源稱為連續(xù)信源，其數(shù)學(xué)模型是連續(xù)型的概率空間：信源的描述與分類第十一頁，共一百三十四頁，2022年，8月28日單消息（符號）信源——連續(xù)變量信源其中：對于連續(xù)變量信源信源的描述與分類第十二頁，共一百三十四頁，2022年，8月28日平穩(wěn)信源信源輸出的消息由一系列符號序列組成。該信源輸出的消息可看做時間上或空間上離散的一系列隨機(jī)變量，即隨機(jī)矢量。用N維隨機(jī)矢量X=(X１，X２，…，XN)來描述，其中N可為有限正整數(shù)或可數(shù)的無限值。N維隨機(jī)矢量X也稱為隨機(jī)序列。為了便于分析，假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列，即序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)。很多實(shí)際信源也滿足這個假設(shè)。若信源輸出的隨機(jī)序列X=(X１，X２，…，XN)中，每個隨機(jī)變量Xi

(i=1,2,…，N)都是離散型隨機(jī)變量，而且隨機(jī)矢量X的各維概率分布都與時間起點(diǎn)無關(guān)，也就是在任意兩個不同時刻隨機(jī)矢量X的各維概率分布都相同。這樣的信源稱為離散平穩(wěn)信源。如中文自然語言文字，離散化平面灰度圖像都是這種離散型平穩(wěn)信源。信源的描述與分類第十三頁，共一百三十四頁，2022年，8月28日無記憶信源在某些簡單的離散平穩(wěn)信源情況下，信源先后發(fā)出的一個個符號彼此是統(tǒng)計獨(dú)立的。也就是說信源輸出的隨機(jī)矢量X=(X１X２…XＮ）中，各隨機(jī)變量Xi

(i=1,2,…N)之間是無依賴的、統(tǒng)計獨(dú)立的，則N維隨機(jī)矢量的聯(lián)合概率分布滿足

P(X)=P１（Ｘ１）P２（Ｘ２）…PＮ（ＸＮ）稱由上述信源空間［X，P(x)］描述的信源X為離散無記憶信源。該信源在不同時刻發(fā)出的符號之間是無依賴的，彼此統(tǒng)計獨(dú)立的。信源的描述與分類第十四頁，共一百三十四頁，2022年，8月28日離散無記憶信源X的N次擴(kuò)展信源無記憶信源X所輸出的隨機(jī)矢量X所描述的信源稱為離散無記憶信源X的N次擴(kuò)展信源。N次擴(kuò)展信源是由離散無記憶信源輸出N長的隨機(jī)序列構(gòu)成的信源。離散無記憶信源的N次擴(kuò)展信源的數(shù)學(xué)模型是信源空間X的N重空間。信源的描述與分類第十五頁，共一百三十四頁，2022年，8月28日有記憶信源一般情況下，信源在不同時刻發(fā)出的符號之間是相互依賴的。即信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xi之間是有依賴的。如：在漢字組成的中文序列中，只有根據(jù)中文的語法、習(xí)慣用語、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。這種信源稱為有記憶信源。在N維隨機(jī)矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。信源的描述與分類第十六頁，共一百三十四頁，2022年，8月28日馬爾可夫信源表述有記憶信源要比表述無記憶信源困難得多。實(shí)際上信源發(fā)出的符號往往只與前若干個符號的依賴關(guān)系強(qiáng)，而與更前面的符號依賴關(guān)系弱。為此，可以限制隨機(jī)序列的記憶長度。當(dāng)記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。信源的描述與分類第十七頁，共一百三十四頁，2022年，8月28日時齊馬爾可夫信源設(shè)馬爾可夫信源各時刻隨機(jī)變量Ｘｋ的取值為xk，xk∈Xk，k=1,2,…，i-1,i,i+1,…N，則描述隨機(jī)序列中各隨機(jī)變量之間依賴關(guān)系的條件概率為

P(xi/…xi+2xi+1xi-1xi-2xi-3…xi-m…x1）=Ｐ（xi/xi-1xi-2xi-3…xi-m）（i=1,2,…N）如果上述條件概率與時間起點(diǎn)i無關(guān)，即信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可信源。信源的描述與分類第十八頁，共一百三十四頁，2022年，8月28日離散序列信源總結(jié)信源的描述與分類第十九頁，共一百三十四頁，2022年，8月28日隨機(jī)波形信源更一般地說，實(shí)際信源輸出的消息常常是時間和取值都是連續(xù)的。例如，語音信號X(t)、熱噪聲信號n(t)、電視圖像信號X(x0,y0,t)等時間連續(xù)函數(shù)。同時，在某一固定時間t０，它們的可能取值又是連續(xù)的和隨機(jī)的。對于這種信源輸出的消息，可用隨機(jī)過程來描述。稱這類信源為隨機(jī)波形信源。信源的描述與分類第二十頁，共一百三十四頁，2022年，8月28日實(shí)際信源實(shí)際信源在離散情況下是消息序列信源，在連續(xù)情況下是隨機(jī)過程信源，它們分別代表數(shù)字與模擬信源。信源的描述與分類第二十一頁，共一百三十四頁，2022年，8月28日離散序列信源其中:i=1,2,…n為每個消息（符號）取值的種類數(shù)l=1,2,…L為消息（符號）序列的長度應(yīng)注意的是i和l是代表兩個不同范疇的變量，表示不同的概念，切勿混淆。i=1,2,…nl=1,2,…L信源的描述與分類第二十二頁，共一百三十四頁，2022年，8月28日離散序列信源信源輸出是一組隨機(jī)序列（矢量）：其樣值為：對應(yīng)概率為：由于每個隨機(jī)變量有n種取值，則有種可能取值。信源的描述與分類第二十三頁，共一百三十四頁，2022年，8月28日離散序列信源例：最簡單L=3的三位PCM信源：這時L=3,n=2,即i={0,1}，則有：信源的描述與分類第二十四頁，共一百三十四頁，2022年，8月28日連續(xù)信源在實(shí)際的連續(xù)信源中，可以采用兩種方法進(jìn)行分析一類是將連續(xù)信源離散化隨機(jī)序列信源另一類是仍然采用隨機(jī)過程來分析什么樣的信源可以進(jìn)行離散化處理？只要滿足一個非常寬松的條件，即滿足限時(T)、限頻(F)的連續(xù)消息信源，即滿足物理可實(shí)現(xiàn)條件下，均可離散化為隨機(jī)序列。信源的描述與分類第二十五頁，共一百三十四頁，2022年，8月28日實(shí)際信源舉例1）圖像信源圖像信源一般可以引用一個五元的隨機(jī)場來表示：（簡化）

主要統(tǒng)計特性：初步可以認(rèn)為是一個近似的平穩(wěn)遍歷過程信源的描述與分類第二十六頁，共一百三十四頁，2022年，8月28日實(shí)際信源舉例對于數(shù)字型圖像信號，可以采用馬氏鏈模型

而為相鄰像素之間的相關(guān)系數(shù)。信源的描述與分類第二十七頁，共一百三十四頁，2022年，8月28日實(shí)際信源舉例2）語音信源可以近似用一個一維隨機(jī)過程U(ω,t)表示。嚴(yán)格的講，它是一個非平穩(wěn)過程，但是對于短時段(5-50ms)可認(rèn)為是平穩(wěn)的，且某些是隨機(jī)噪聲（清輔音）而某些時段則呈現(xiàn)周期性特征（濁音），還有一些短時段是二者的混合。信源的描述與分類第二十八頁，共一百三十四頁，2022年，8月28日2.1單符號離散信源數(shù)學(xué)模型：第二十九頁，共一百三十四頁，2022年，8月28日常用的概率論的基本概念和性質(zhì)先驗(yàn)概率、聯(lián)合概率、條件概率及其相互關(guān)系：（1）、、、、（2），，，，（3），單符號離散信源第三十頁，共一百三十四頁，2022年，8月28日常用的概率論的基本概念和性質(zhì)（4）（5）當(dāng)X、Y相互獨(dú)立時，，，（6），單符號離散信源第三十一頁，共一百三十四頁，2022年，8月28日信息無處不在，但：信息用什么表示？如何表示？不確定性＝攜載的信息可用隨機(jī)變量的不確定性或隨機(jī)性作為信息的表示單符號離散信源信息量第三十二頁，共一百三十四頁，2022年，8月28日非負(fù)性可加性等概時與取值空間N的關(guān)系（單調(diào)增）與發(fā)生的概率P的關(guān)系（單調(diào)減）考察、分析信息的特征單符號離散信源第三十三頁，共一百三十四頁，2022年，8月28日自信息量定義：一個隨機(jī)事件發(fā)生所帶來的信息量稱為自信息量，簡稱自信息。計算公式：單位：比特（以2為底）；奈特（自然對數(shù)）；哈特（以10為底）1比特=0.693奈特=0.301哈特單符號離散信源第三十四頁，共一百三十四頁，2022年，8月28日自信息（量）的性質(zhì)（1）I(xi)非負(fù)（2）當(dāng)p(xi)=1時，I(xi)=0，即必然事件不含有 任何不確定性，因而不含有任何信息量（3）當(dāng)p(xi)=0時，I(xi)=∞，即不可能事件一 旦發(fā)生，帶來的信息量是非常大的，所 產(chǎn)生的后果也是難以想象的。（4）I(xi)是p(xi)的單調(diào)遞減函數(shù)單符號離散信源第三十五頁，共一百三十四頁，2022年，8月28日聯(lián)合自信息量聯(lián)合自信息量：當(dāng)X、Y相互獨(dú)立時，單符號離散信源第三十六頁，共一百三十四頁，2022年，8月28日條件自信息量定義：特定條件下隨機(jī)事件發(fā)生所帶來的信息量。計算公式：自信息量、條件自信息量與聯(lián)合自信息量的關(guān)系：單符號離散信源第三十七頁，共一百三十四頁，2022年，8月28日互信息量與條件互信息量單符號離散信源第三十八頁，共一百三十四頁，2022年，8月28日互信息量與條件互信息量交互信息量，簡稱互信息，用I(xi;yj)表示。計算公式：單符號離散信源第三十九頁，共一百三十四頁，2022年，8月28日互信息量與條件互信息量單符號離散信源第四十頁，共一百三十四頁，2022年，8月28日互信息的性質(zhì)（1）對稱性，即（2）當(dāng)X、Y相互獨(dú)立時，互信息為0（3）互信息可為正值或負(fù)值單符號離散信源第四十一頁，共一百三十四頁，2022年，8月28日條件互信息（1）定義：在給定zk條件下，xi與yj之間的互信息量（2）計算公式：（3）一個聯(lián)合事件yjzk發(fā)生后所提供的有關(guān)xi的信息量等于zk發(fā)生后提供的有關(guān)xi的信息量與給定zk

條件下再出現(xiàn)yj后所提供的有關(guān)xi的信息量之和。單符號離散信源第四十二頁，共一百三十四頁，2022年，8月28日信源熵定義：信源各個離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農(nóng)熵，有時稱為無條件熵或熵函數(shù)，簡稱熵，記為H(.)計算公式：單位：比特/信源符號（以2為底）單符號離散信源第四十三頁，共一百三十四頁，2022年，8月28日熵的物理含義觀察隨機(jī)變量X、Y、ZXP（x）＝a1a20.010.99ZP（y）＝a1a2a3a4a50.20.20.20.20.2YP（z）＝a1a20.50.5H(X)==0.08（比特/符號）H(Y)==1（比特/符號）H(Z)=5(-0.2log0.2)=2.32（比特/符號）單符號離散信源第四十四頁，共一百三十四頁，2022年，8月28日信源熵信源熵的物理含義：熵是隨機(jī)變量的隨機(jī)性的描述變量Y、Z等概，隨機(jī)性大，變量X不等概，則隨機(jī)性小等概情況下，可取值越多，隨機(jī)性越大H（）是描述隨機(jī)變量所需的比特數(shù)熵是隨機(jī)變量平均不確定性的描述X試驗(yàn)中發(fā)生a1,獲得的自信息為-log0.01=6.64(bit)Y試驗(yàn)中發(fā)生a1,獲得的自信息為-log0.5=2.32(bit)H（）反映的是平均的不確定性單符號離散信源第四十五頁，共一百三十四頁，2022年，8月28日香農(nóng)熵與熱力學(xué)中熱熵的關(guān)系熵這個名詞是香農(nóng)從物理學(xué)中的統(tǒng)計熱力學(xué)借用過來的，在物理學(xué)中稱它為熱熵是表示分子混亂程度的一個物理量，這里，香農(nóng)引用它來描述信源的平均不確定性，含義是類似的。但是在熱力學(xué)中已知任何孤立系統(tǒng)的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，只會減少，不會增加。所以有人稱信息熵為負(fù)熱熵。二者還有一個重大差別：熱熵是有量綱的，而香農(nóng)熵是無量綱的。單符號離散信源第四十六頁，共一百三十四頁，2022年，8月28日條件熵（1）定義：條件自信息量的數(shù)學(xué)期望（2）計算公式：（3）在已知yj條件下，X的條件熵H(X/yj)為：（4）單符號離散信源第四十七頁，共一百三十四頁，2022年，8月28日聯(lián)合熵（1）計算公式（2）單符號離散信源第四十八頁，共一百三十四頁，2022年，8月28日信源熵的基本性質(zhì)和定理（1）非負(fù)性（2）對稱性：說明熵的總體特征，它只與信源 的總體結(jié)構(gòu)有關(guān)，而不在乎個別消息的概 率，甚至與消息的取值無關(guān)。（3）最大離散熵定理：信源X包含有n個不同離 散消息時，信源熵H(X)有：H(X)≤logn， 當(dāng)且僅當(dāng)X中的各個消息出現(xiàn)的概率全相 等時，上式取等號。單符號離散信源第四十九頁，共一百三十四頁，2022年，8月28日信源熵的基本性質(zhì)和定理（4）擴(kuò)展性（5）確定性（6）可加性單符號離散信源第五十頁，共一百三十四頁，2022年，8月28日信源熵的基本性質(zhì)和定理（7）極值性含義：任一概率分布對其它概率分布的自信息量取數(shù)學(xué)期望時，必大于它自身的熵。單符號離散信源第五十一頁，共一百三十四頁，2022年，8月28日信源熵的基本性質(zhì)和定理（7）極值性(續(xù))可以證明條件熵不大于信源熵（無條件熵），即：單符號離散信源第五十二頁，共一百三十四頁，2022年，8月28日信源熵的基本性質(zhì)和定理（8）上凸性凸域的概念：若對區(qū)域D中任意兩點(diǎn)和，均有：則稱：區(qū)域D是凸域。理解：若兩點(diǎn)和在凸域D內(nèi)，則和之間的線段也整個在區(qū)域D內(nèi)。單符號離散信源第五十三頁，共一百三十四頁，2022年，8月28日信源熵的基本性質(zhì)和定理（8）上凸性：信源熵具有嚴(yán)格的上凸性單符號離散信源第五十四頁，共一百三十四頁，2022年，8月28日加權(quán)熵的概念及其基本性質(zhì)信源：重量空間：加權(quán)熵：單符號離散信源第五十五頁，共一百三十四頁，2022年，8月28日加權(quán)熵的基本性質(zhì)（1）非負(fù)性（2）連續(xù)性單符號離散信源第五十六頁，共一百三十四頁，2022年，8月28日加權(quán)熵的基本性質(zhì)（3）對稱性（4）均勻性單符號離散信源第五十七頁，共一百三十四頁，2022年，8月28日加權(quán)熵的基本性質(zhì)（5）等重性（6）確定性若p(xj)=1，p(xi)=0，i=1，…，n，i≠j，則：單符號離散信源第五十八頁，共一百三十四頁，2022年，8月28日加權(quán)熵的基本性質(zhì)（7）非容性設(shè)I，J為兩個不相交的整數(shù)域，若對于所有i∈I，p(xi)=0，wi≠0，和所有j∈J，p(xj)≠0，wj

=0，則：（8）擴(kuò)展性單符號離散信源第五十九頁，共一百三十四頁，2022年，8月28日加權(quán)熵的基本性質(zhì)（9）線性疊加性（10）加權(quán)熵的最大值單符號離散信源第六十頁，共一百三十四頁，2022年，8月28日平均互信息量（1）定義：單符號離散信源第六十一頁，共一百三十四頁，2022年，8月28日平均互信息量（2）物理意義：單符號離散信源第六十二頁，共一百三十四頁，2022年，8月28日平均互信息量例：將已知信源接到如圖所示的信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY)。第六十三頁，共一百三十四頁，2022年，8月28日平均互信息量的性質(zhì)（1）對稱性（2）非負(fù)性（3）極值性單符號離散信源第六十四頁，共一百三十四頁，2022年，8月28日平均互信息量的性質(zhì)（4）凸函數(shù)性＝＝單符號離散信源第六十五頁，共一百三十四頁，2022年，8月28日平均互信息量的性質(zhì)（4）凸函數(shù)性I(X;Y)是輸入信源概率分布p(xi)的上凸函數(shù)I(X;Y)是信道轉(zhuǎn)移概率p(yj/xi)的下凸函數(shù)（5）數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理 后，隨著處理器數(shù)據(jù)的增加，輸入消息與 輸出消息之間的平均互信息量趨于變小。單符號離散信源第六十六頁，共一百三十四頁，2022年，8月28日數(shù)據(jù)處理定理單符號離散信源第六十七頁，共一百三十四頁，2022年，8月28日數(shù)據(jù)處理定理同理得到:同理:單符號離散信源第六十八頁，共一百三十四頁，2022年，8月28日數(shù)據(jù)處理定理信道Ⅰ信道ⅡXYZI(Y;Z)I(X;Z)I(X;Z)≤I(Y;Z)I(X;Y)I(X;Z)≤I(X;Y)第六十九頁，共一百三十四頁，2022年，8月28日數(shù)據(jù)處理定理結(jié)論：通過數(shù)據(jù)處理后，一般只會增加信息的損失，最多保持原來獲得的信息，不可能比原來獲得的信息有所增加。單符號離散信源第七十頁，共一百三十四頁，2022年，8月28日Y各種熵之間的關(guān)系名稱符號關(guān)系圖示無條件熵H(X)H(X)≥H(X/Y)H(Y)≥H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)

+H(X/Y)I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)

-H(XY)H(Y)條件熵H(X/Y)H(Y/X)聯(lián)合熵H(XY)=H(YX)交互熵I(X;Y)=I(Y;X)XYYXXYXYX單符號離散信源第七十一頁，共一百三十四頁，2022年，8月28日熵VS互信息信息熵是表征隨機(jī)變量本身統(tǒng)計特性的一個物理量，它是隨機(jī)變量平均不確定性的度量，是從總體統(tǒng)計特性上對隨機(jī)變量的一個客觀描述?；バ畔(X;Y)，又稱信息量，一般是針對觀測到另一個隨機(jī)變量時而言的，是一個相對量，是指觀測者從隨機(jī)變量Y中所獲得的關(guān)于隨機(jī)變量X的信息度量。在通信中，互信息是針對接收者而言的，是指接收者收到的關(guān)于信源的信息度量，當(dāng)通信中無干擾時，接受者獲得的信息量數(shù)量上就等于信源給出的信息熵，但是兩者的概念不一樣；當(dāng)信道有干擾時，不僅概念上不一樣，而且數(shù)量上也不相等。信息熵也可理解為信源輸出的信息量。單符號離散信源第七十二頁，共一百三十四頁，2022年，8月28日2.2多符號離散平穩(wěn)信源（1）離散平穩(wěn)信源的數(shù)學(xué)模型（2）離散無記憶信源的熵（3）離散平穩(wěn)信源的信源熵和極限熵（4）馬爾可夫信源（5）信源冗余度及信息變差第七十三頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的數(shù)學(xué)模型一維平穩(wěn)信源：二維平穩(wěn)信源：除滿足一維平穩(wěn)特性外，還滿足：離散平穩(wěn)信源：各維聯(lián)合概率分布均與時間起點(diǎn)無關(guān)多符號離散平穩(wěn)信源第七十四頁，共一百三十四頁，2022年，8月28日離散無記憶信源的熵多符號離散平穩(wěn)信源單符號離散信源X：X的N次擴(kuò)展信源XN：第七十五頁，共一百三十四頁，2022年，8月28日離散無記憶信源的熵例：有一離散平穩(wěn)無記憶信源求這個信源的二次擴(kuò)展信源的熵。第七十六頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的熵和極限熵二維平穩(wěn)信源：X=X1X2多符號離散平穩(wěn)信源第七十七頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的熵和極限熵N維平穩(wěn)信源：X=X1X2…XN多符號離散平穩(wěn)信源記作若當(dāng)信源退化為無記憶時：若進(jìn)一步又滿足平穩(wěn)性時：第七十八頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的熵和極限熵對于離散平穩(wěn)信源，考察其輸出信息量XP（x）＝01211/364/91/4aiaj01209/112/11011/83/41/8202/97/9P(aj/ai)多符號離散平穩(wěn)信源第七十九頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的熵和極限熵當(dāng)信源符號間無依賴性時：當(dāng)考慮信源符號間的依賴性時：得到：比特/符號條件熵：聯(lián)合熵：比特/符號比特/二個符號考察信源符號間有依賴性時聯(lián)合信源的平均符號熵：可見：多符號離散平穩(wěn)信源第八十頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的熵和極限熵分析：結(jié)論：符號間的相關(guān)性使得信源的平均符號熵減少，即每個符號平均攜帶的信息量減少。問題：H2(X)和H(X2|X1)哪一個值更能接近實(shí)際二維平穩(wěn)信源的熵？即：用哪一個值來表示二維平穩(wěn)信源每個符號平均攜帶的信息量比特/符號多符號離散平穩(wěn)信源第八十一頁，共一百三十四頁，2022年，8月28日離散平穩(wěn)信源的熵和極限熵定義：N長的信源符號序列的平均符號熵即平均每個信源符號所攜帶的信息量為比特/符號當(dāng)時，存在以下性質(zhì)：條件熵隨N的增加是非遞增的平均符號熵隨N的增加是非遞增的N給定時，平均符號熵>=條件熵。即：存在，且：結(jié)論：對于有限記憶長度的平穩(wěn)信源可用有限記憶長度的條件熵來對平穩(wěn)信源進(jìn)行信息測度。多符號離散平穩(wěn)信源第八十二頁，共一百三十四頁，2022年，8月28日性質(zhì)證明（1）（2）比較兩式中的最后一項(xiàng)，有：隨著N的增大，所增加項(xiàng)的熵越來越小，故平均符號熵也將隨N的增大而減小多符號離散平穩(wěn)信源第八十三頁，共一百三十四頁，2022年，8月28日性質(zhì)證明（3）（4）當(dāng)N固定，K—>∞，有：上式對任意N均成立，故：同時由（3）有：從而必然有：多符號離散平穩(wěn)信源第八十四頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源當(dāng)前述平穩(wěn)信源滿足m階馬爾可夫性質(zhì)時，即信源發(fā)出的符號只與前面的m個符號有關(guān)，而與更前面出現(xiàn)的符號無關(guān)。此時有：對于m階馬爾可夫信源其狀態(tài)集：其中第八十五頁，共一百三十四頁，2022年，8月28日馬爾可夫信源狀態(tài)轉(zhuǎn)移概率：表示已知在時刻m系統(tǒng)處于狀態(tài)si，或Sm取值si的條件下，經(jīng)（n-m）步后轉(zhuǎn)移到狀態(tài)sj的概率?；蚶斫鉃橐阎跁r刻m系統(tǒng)處于狀態(tài)i的條件下，在時刻n系統(tǒng)處于狀態(tài)j的條件概率。當(dāng)n-m=1時，記為pij(m)，稱為一步轉(zhuǎn)移概率多符號離散平穩(wěn)信源第八十六頁，共一百三十四頁，2022年，8月28日馬爾可夫信源對于齊次馬爾可夫鏈：k步轉(zhuǎn)移概率:轉(zhuǎn)移矩陣:多符號離散平穩(wěn)信源第八十七頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源切普曼-柯爾莫郭洛夫方程：用矩陣表示為:結(jié)論：對于齊次馬氏鏈，一步轉(zhuǎn)移概率完全決定了k步轉(zhuǎn)移概率當(dāng)l=1時：第八十八頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源對于齊次遍歷的馬爾可夫鏈，其狀態(tài)si由（xi1,…,xim）唯一確定，有：上式兩邊同時取對數(shù)，并對和取統(tǒng)計平均，然后取負(fù)，得到：第八十九頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源即馬爾可夫信源的平均符號熵為：其中：第九十頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源定理：對于有限齊次馬爾可夫鏈，若存在一個正整數(shù)k0≥1，存在，則這種馬爾可夫鏈?zhǔn)歉鲬B(tài)歷經(jīng)的。第九十一頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源例：二階馬氏鏈X，狀態(tài)轉(zhuǎn)移概率見表起始狀態(tài)終止?fàn)顟B(tài)s1(00)s2(01)s3(10)s4(11)001/21/20001001/32/3101/43/40011001/54/5第九十二頁，共一百三十四頁，2022年，8月28日馬爾可夫信源令各狀態(tài)的平穩(wěn)分布概率為W1,W2,W3,W4,有多符號離散平穩(wěn)信源第九十三頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源轉(zhuǎn)移概率矩陣：例：s1s3s21/0.11/0.50/0.90/0.51/0.20/0.8第九十四頁，共一百三十四頁，2022年，8月28日馬爾可夫信源多符號離散平穩(wěn)信源在si狀態(tài)下每輸出一個符號的平均信息量為：馬爾可夫信源的熵為：第九十五頁，共一百三十四頁，2022年，8月28日信源冗余度及信息變差多符號離散平穩(wěn)信源信源冗余度表征信源信息率的多余程度，是描述信源客觀統(tǒng)計特性的一個物理量。由廣義Shannon不等式有：可見對于有記憶信源，最小單個消息熵應(yīng)為，即從理論上看，對有記憶信源只需傳送即可。但是這必需要掌握信源全部概率統(tǒng)計特性。這顯然是不現(xiàn)實(shí)的。實(shí)際上，往往只能掌握有限的維，這時需傳送，那么與理論值相比，就多傳送了。第九十六頁，共一百三十四頁，2022年，8月28日信源冗余度及信息變差多符號離散平穩(wěn)信源為了定量描述信源有效性，定義：信源效率：信源冗余度（相對剩余）：信息變差：正由于信源存在著冗余度，即存在著不必要傳送的信息，因此信源也就存在進(jìn)一步壓縮信息率的可能性。冗余度越大，壓縮潛力也就越大?？梢娝切旁淳幋a、數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。第九十七頁，共一百三十四頁，2022年，8月28日信源冗余度及信息變差多符號離散平穩(wěn)信源字母

字母

字母空格ETOANIR0.20.1050.0720.06540.0630.0590.0550.054SHDLCF.UMP0.05020.0470.0350.0290.0230.02250.0210.0175Y.WGBVKXJ.QZ0.0120.0110.01050.0080.0030.0020.0010.001例：計算英文文字信源的冗余度。首先給出英文字母（含空格）出現(xiàn)概率如下：第九十八頁，共一百三十四頁，2022年，8月28日信源冗余度及信息變差多符號離散平穩(wěn)信源首先求得獨(dú)立等概率情況：其次計算獨(dú)立不等概率情況：再次，若僅考慮字母有一維相關(guān)性，求：最后，利用統(tǒng)計推斷方法求出，由于采用的逼近的方法和所取的樣本的不同，推算值也有不同，這里采用Shannon的推斷值。第九十九頁，共一百三十四頁，2022年，8月28日信源冗余度及信息變差多符號離散平穩(wěn)信源對于其它文字，也有不少人作了大量的統(tǒng)計工作，現(xiàn)簡述如下：

英文法文德文西班牙文中文（按8千漢字計算）第一百頁，共一百三十四頁，2022年，8月28日信源冗余度及信息變差多符號離散平穩(wěn)信源至于其它類型信源，比如話音，圖象等，它們大部分屬于限失真信源，其冗余度與理論壓縮可能性，將在率失真函數(shù)中討論。第一百零一頁，共一百三十四頁，2022年，8月28日2.3連續(xù)信源（1）連續(xù)信源的熵（2）幾種特殊連續(xù)信源的熵（3）連續(xù)熵的性質(zhì)及最大連續(xù)熵定理（4）熵功率第一百零二頁，共一百三十四頁，2022年，8月28日連續(xù)信源的熵連續(xù)信源單個連續(xù)消息的隨機(jī)變量連續(xù)隨機(jī)變量可以看作是離散隨機(jī)變量的極限，故可采用離散隨機(jī)變量來逼近.下面，將采用這一觀點(diǎn)討論連續(xù)隨機(jī)變量的信息熵與信息量.首先類比概率與概率密度p(u)：第一百零三頁，共一百三十四頁，2022年，8月28日連續(xù)信源的熵連續(xù)信源第一百零四頁，共一百三十四頁，2022年，8月28日令u∈［a,b］，且a<b，現(xiàn)將它均勻地劃分為n份，每份寬度為△＝，則u處于第i個區(qū)間的概率為，即

=(中值定理)即當(dāng)p(u)為u的連續(xù)函數(shù)時，由中值定理，必存在一個值，使上式成立.連續(xù)信源的熵連續(xù)信源第一百零五頁，共一百三十四頁，2022年，8月28日考慮離散隨機(jī)變量熵的定義為：

則有：

連續(xù)信源的熵連續(xù)信源第一百零六頁，共一百三十四頁，2022年，8月28日連續(xù)信源的熵連續(xù)信源第一百零七頁，共一百三十四頁，2022年，8月28日

按照離散熵的概念，連續(xù)隨機(jī)變量的熵應(yīng)為無窮大，失去意義.1948年，香農(nóng)直接定義：

即定義取有限值的項(xiàng)為連續(xù)信源的信息熵，也稱微分熵.

連續(xù)信源的熵連續(xù)信源第一百零八頁，共一百三十四頁，2022年，8月28日實(shí)際應(yīng)用中，數(shù)據(jù)都只有有限精度，在有限精度下隨機(jī)變量熵表達(dá)式中的第二項(xiàng)取值相同，因此微分熵可以作為連續(xù)隨機(jī)變量不確定程度的相對度量.應(yīng)注意的是Hc(X)是連續(xù)隨機(jī)變量的熵，而不是連續(xù)隨機(jī)變量輸出的信息量，連續(xù)隨機(jī)變量輸出的信息量是Hn(X).這就是說，在離散隨機(jī)變量中隨機(jī)變量輸出信息量就是信源熵，兩者是一個概念；但是在連續(xù)隨機(jī)變量中則是兩個概念，且不相等.連續(xù)隨機(jī)變量輸出信息量Hn(X)是一個絕對值，取值為∞，而連續(xù)隨機(jī)變量的熵Hc(X)則是一個相對值，取值是有限的.連續(xù)隨機(jī)變量的熵Hc(X)是一個過渡性的概念，它雖然也具有可加性、凸?fàn)钚院蜆O值性，但不一定滿足非負(fù)性，它可以不具有信息的全部特征。連續(xù)信源的熵連續(xù)信源第一百零九頁，共一百三十四頁，2022年，8月28日幾種特殊連續(xù)信源的熵均勻分布的連續(xù)信源的熵高斯均勻分布的連續(xù)信源的熵指數(shù)分布的連續(xù)信源的熵第一百一十頁，共一百三十四頁，2022年，8月28日幾種特殊連續(xù)信源的熵連續(xù)信源

均勻分布的連續(xù)信源的熵：對一個均勻分布的隨機(jī)變量，按照定義，有顯然，時，Hc(X)<0這說明它不具備非負(fù)性。但是連續(xù)隨機(jī)變量輸出的信息量由于有一個無限大量的存在，Hn(X)仍大于０.均勻分布連續(xù)隨機(jī)變量的微分熵第一百一十一頁，共一百三十四頁，2022年，8月28日幾種特殊連續(xù)信源的熵連續(xù)信源高斯分布的連續(xù)信源的熵：按照定義，有高斯分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與方差有關(guān).第一百一十二頁，共一百三十四頁，2022年，8月28日幾種特殊連續(xù)信源的熵連續(xù)信源指數(shù)分布的連續(xù)信源的熵：按照定義，有指數(shù)分布的連續(xù)信源的熵只取決于均值.第一百一十三頁，共一百三十四頁，2022年，8月28日（1）連續(xù)熵可為負(fù)值（2）可加性（3）平均互信息的非負(fù)性連續(xù)熵的性質(zhì)及最大連續(xù)熵定理連續(xù)信源第一百一十四頁，共一百三十四頁，2022年，8月28日（4）最大連續(xù)熵定理連續(xù)熵的性質(zhì)及最大連續(xù)熵定理連續(xù)信源離散隨機(jī)變量，等概分布時具有極值連續(xù)隨機(jī)變量，不同的約束條件，具有極值的連續(xù)隨機(jī)變量的分布不同峰值功率受限時：均勻分布隨機(jī)變量具有最大熵平均功率受限時：高斯分布隨機(jī)變量具有最大熵均值受限時：指數(shù)分布隨機(jī)變量具有最大值第一百一十五頁，共一百三十四頁，2022年，8月28日信息變差（信源剩余）：熵功率連續(xù)信源均值為零、平均功率P受限的連續(xù)信源X，當(dāng)pdf為高斯分布時達(dá)到最大熵：第一百一十六頁，共一百三十四頁，2022年，8月28日2.4離散無失真信源編碼定理通信的實(shí)質(zhì)是信息的傳輸。而高速度、高質(zhì)量地傳送信息是信息傳輸?shù)幕締栴}。將信源信息通過信道傳送給信宿，怎樣才能做到盡可能不失真而又快速呢？這就需要解決兩個問題：(1)在不失真或允許一定失真的條件下，如何用盡可能少的符號來傳送信源信息；(2)在信道受干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大.為了解決這兩個問題，就要引入信源編碼和信道編碼。第一百一十七頁，共一百三十四頁，2022年，8月28日離散無失真信源編碼定理一般來說，提高抗干擾能力（降低失真或錯誤概率）往往是以降低信息傳輸率為代價的；反之，要提高信息傳輸率常常又會使抗干擾能力減弱。二者是有矛盾的。然而在信息論的編碼定理中，已從理論上證明，至少存在某種最佳的編碼或信息處理方法，能夠解決上述矛盾，做到既可靠又有效地傳輸信息。這些結(jié)論對各種通信系統(tǒng)的設(shè)計和估價具有重大的理論指導(dǎo)意義。第一百一十八頁，共一百三十四頁，2022年，8月28日離散無失真信源編碼定理(1)編碼的定義(2)定長編碼定理(3)變長編碼定理(4)最佳編碼第一百一十九頁，共一百三十四頁，2022年，8月28日編碼的定義編碼實(shí)質(zhì)上是對信源的原始符號按一定的數(shù)學(xué)規(guī)則進(jìn)行的一種變換.若要實(shí)現(xiàn)無失真編碼，則這種映射必須是一一對應(yīng)的，并且是可逆的.離散無失真信源編碼定理第一百二十頁，共一百三十四頁，2022年，8月28日編碼的定義離散無失真信源編碼定理無失真信源編碼器

編碼器第一百二十一頁，共一百三十四頁，2022年，8月28日編碼的定義離散無失真信源編碼定理編碼器將信源符號集中的符號（或者長為N的信源符號序列）變換成由組成的長度為的一一對應(yīng)的序列.即：或者第一百二十二頁，共一百三十四頁，2022年，8月28日編碼的定義離散無失真信源編碼定理幾個定義：二元碼：若碼符號集為{0，1}，所有碼字都是一些二元序列，則稱為二元碼.二元碼是數(shù)字通信和計算機(jī)系統(tǒng)中最常用的一種碼.等長碼（定長碼）：碼中所有碼字的碼長都相同變長碼：碼中所有碼字的碼長各不相同奇異碼與非奇異碼：若一組碼中所有碼字都不相同，則為非奇異碼，反之，若一組碼中有相同的碼字則為奇異碼唯一可譯碼：任意有限長的碼元序列，只能被唯一地分割成一個個的碼字即時碼和非即時碼：如果收到一個完整的碼字以后，就可以立即譯碼，則叫做即時碼;反之為非即時碼.即時碼要求任何一個碼字都不是其他碼字的前綴部分，也叫做異前綴碼.第一百二十三頁，共一百三十四頁，2022年，8月28日編碼的定義離散無失真信源編碼定理信源符號xi碼１碼２碼３碼４x10011x211101001x30000100001x411011000