第2章信源及其信息的統(tǒng)計度量

1、信息論基礎講議適用教材：信息論基礎及應用趙曉群編著機械工業(yè)出版社，2015年郵箱： 主講教師： 趙曉群 教授 博士導師 同濟大學 電子與信息工程學院第2章 信源及其信息的統(tǒng)計度量信息論基礎及應用同濟大學，電子與信息工程學院趙曉群 教授2.4 離散信源的平均互信息本節(jié)主要內容 2.4.3 各類熵之間的關系 2.4.2 平均互信息的性質 2.4.1 平均互信息2.4.1 平均互信息 1平均互信息的定義與含義定義2.11離散聯(lián)合隨機變量集 XY 上，由 Y 中的事件 y = bj 提供的關于 X 的平均互信息為互信息 I(x,y) 在集合 X 中以后驗概率加權的平均值，為2.4.1 平均互信息定義2

2、.12離散聯(lián)合隨機變量集 XY 上，由 Y 提供的 關于 X 的平均互信息（或平均互信息量、交互熵） 為互信息 I(x,y) 在 XY 上的數學期望，為 可以導出：2.4.1 平均互信息平均互信息 I(X,Y)的含義是：(1) 知道了 Y 后，平均 Y 中一個事件消除的關于 X 的不確定度。(2) 由 Y 中一個事件能夠平均提供的關于 X 的信息量。(3) 表示了 X 和 Y 之間關系的密切程度。 平均互信息越大，X 和 Y 的關系越密切。一些關系式：2.4.1 平均互信息 平均互信息的物理含意及其負熵的概念 (1) 式 的物理含意 I(X;Y) 是信源的原有平均不確定度 H(X) 與仍然保留

3、的平均 不確定度 H(X | Y) 的差值（是一種不確定度的消除量）。I(X;Y) 是通過觀測 Y 后 所消除的關于 X 的平均不確定度。 特別當 X 是信道輸入，Y 是信道輸出時， I(X;Y) 是該信道傳輸的平均信息量。 差值 為信道中損失掉的信息量， 稱 H(X | Y) 為信道疑義度（或損失熵）。2.4.1 平均互信息 平均互信息的物理含意及其負熵的概念 (2) 式 的物理含意 I(X;Y)即信道傳輸的信息量，等于在 H(Y) 中 扣除掉 H(Y | X)后的量值。H(Y | X) 表示信源發(fā)出 X 后，對 Y 依然存在的平均不確定度， H(Y | X) 僅與信道噪聲有關，通常稱為噪聲

4、熵。2.4.1 平均互信息 平均互信息的物理含意及其負熵的概念 (3) 式 的物理含意H(X)+H(Y) 看成是通信前相互獨立的X 和 Y 先驗不確定度， 即通信前整個系統(tǒng)的先驗不確定度 ； H(XY)是通信后，由信道傳輸統(tǒng)計特性聯(lián)系起來的 X 和 Y的 后驗不確定度。即整個系統(tǒng)的后驗不確定度。表明，I(X;Y) 等于通信前、后整個系統(tǒng)的不確定度的減少量。三種物理解釋都說明：從一個事件獲得另一個事件的平均互信息需要消除不確定度，一旦消除了不確定度就獲得了信息。信息就是負熵。2.4.1 平均互信息 2平均聯(lián)合互信息和平均條件互信息的定義定義2.13離散聯(lián)合隨機變量集 XYZ 上，由 YZ 提供的

5、關于 X 的平均互信息為 I(x;yz) 在 XYZ 上的數學期望， 稱為 X 和 YZ 的平均聯(lián)合互信息（或平均聯(lián)合互信息量）， 定義式為2.4.1 平均互信息定義2.14離散聯(lián)合隨機變量集 XYZ 上，在給定 Z 條件下， 由 Y 提供的關于 X 的平均互信息為 I(x;y | z) 在 XYZ 上的 數學期望，稱為在給定 Z 條件下由 Y 提供的關于 X 的 平均條件互信息（或平均條件互信息量）， 定義式為2.4.2 平均互信息的性質性質2.31（非負性） I(X;y=bj ) 和 I(X;Y) 是非負的，即 （ 且當 X 和 Y 統(tǒng)計獨立時，等式成立。結論：從一個事件提取關于另一個事件

6、的平均信息，在最壞 情況下是信息量為零，不會由于知道了一個事件，反而使 另一個事件的不確定度增加。啟示：從學習的角度來看互信息，則說明當經過一段時間的 學習后，人的知識量和文化修養(yǎng)總會有所提高。2.4.2 平均互信息的性質性質2.32（極值性） 性質2.33（互易性、對稱性） 性質2.34（上凸性） I(X;Y) 是輸入信源概率分布 P(x) 的 形凸函數（又稱上凸函數）。說明存在極大值。性質2.35（下凸性） I(X;Y) 是信道轉移概率分布 P(y | x) 的 形凸函數（又稱下凸函數）。說明存在極小值。性質2.36 有關系式2.4.2 平均互信息的性質 二元離散隨機變量 X 和 Y 的值

7、域相同（皆為 A: 0,1 ）。 設 X 的概率分布為： 設 X 和 Y 之間的條件概率為： 可以計算：1 00.510.5 I(X;Y) 與 的函數關系 I(X;Y) 1-H(p) 1 p00.50.51 I(X;Y) 與 p 的函數關系 I(X;Y) H() 例2.4.3 各類熵之間的關系名稱符號關系式圖示信息熵條件熵聯(lián)合熵平均互信息（交互熵）2.5 離散序列信源的熵本節(jié)主要內容*2.5.3 馬爾可夫信源的熵2.5.2 離散有記憶序列信源的熵 2.5.1 離散無記憶序列信源的熵提示：請同學們自學 2.5.3 節(jié)的馬爾可夫信源基礎知識。2.5 離散序列信源的熵信源的實際熵：信源輸出每一符號所

8、提供的平均信息量。 （注意，不論是什么信源）離散單符號信源，其實際熵由熵的定義式計算。 離散序列信源的信源熵有多種計算和近似估算方法： （1）計算 N 維離散序列信源中 N 個信源符號的聯(lián)合熵 （2）計算離散序列信源的條件熵 （3）計算馬爾可夫信源熵（1）計算 N 維離散序列信源中 N 個信源符號的聯(lián)合熵 N 維離散序列信源的熵為 P(x) N 維離散序列信源 X 的概率分布。 N 維序列信源熵 的單位：（ bit, Nat, Hart）/N 個符號2.5 離散序列信源的熵定義2.15 信源 X 輸出的 N 長符號序列的平均符號熵為HN(X) 就是信源 X 實際熵的近似值。（2）計算離散序列信

9、源的條件熵 條件熵 就是信源 X 實際熵的近似值。（3）計算馬爾可夫信源熵有限記憶的離散信源，馬爾可夫性信源熵是實際熵的近似值。需要解決的問題： 它們之間的關系、性質等； 如何計算。2.5 離散序列信源的熵2.5.1 離散無記憶序列信源的熵隨機序列 X = XN = (X1, X2, XN) 中的各分量之間相互獨立， 即 X 是 N 維離散無記憶序列信源，則其概率滿足序列信源的熵為：2.5.1 離散無記憶序列信源的熵再假定信源是平穩(wěn)的，離散無記憶序列信源，則其概率滿足各分量信源的熵相同，即 可得平穩(wěn)的離散無記憶序列信源的熵為2.5.1 離散無記憶序列信源的熵將上述分析結果總結為離散無記憶序列信

10、源的熵定理：定理2.1 （1）離散無記憶信源 X 的 N 維序列信源 X = XN = (X1, X2, XN) 的熵 H(X) = H(XN) 是信源 X 的各維信源熵 H(Xi)的和。 （2）當該信源還具有平穩(wěn)特性時，N 維序列信源 X = XN = (X1, X2, XN) 的熵是信源 X 的信息熵 H(X) 的 N 倍。2.5.1 離散無記憶序列信源的熵 求下列離散無記憶信源 X 的二次擴展信源及其信源熵。 給定信源 X 的二次擴展信源 X 2 的概率空間如表所示。 信源 X 的熵為： 二次擴展信源 X 2 的熵為：X 2信源的符號123456789對應的符號序列a1a1a1a2a1a

11、3a2a1a2a2a2a3a3a1a3a2a3a3概率P(i)1/41/81/81/81/161/161/81/161/16例解 2.5.2 離散有記憶序列信源的熵 1離散平穩(wěn)信源定義2.16（平穩(wěn)信源的定義） （1）若離散信源 X 的一維概率分布與時間推移無關，即則稱信源 X 是離散一維平穩(wěn)信源（或一維平穩(wěn)信源）。 （2）若離散信源 X 的二維聯(lián)合概率分布與時間推移無關，即則稱信源 X 是離散二維平穩(wěn)信源（或二維平穩(wěn)信源）。2.5.2 離散有記憶序列信源的熵定義2.16（續(xù)） （3）若離散信源 X 的 k 維聯(lián)合概率分布與時間推移無關，即則稱信源 X 是離散 k 維平穩(wěn)信源（或 k 維平穩(wěn)信

12、源）。（4）若離散信源 X 的各維聯(lián)合概率分布與時間推移無關，即 則稱信源 X 是離散完全平穩(wěn)信源（或完全平穩(wěn)信源）。2.5.2 離散有記憶序列信源的熵可證明，若信源 X 是 k 維平穩(wěn)的，則一定是 k-1維平穩(wěn)的。有下列聯(lián)合概率與條件概率的關系 根據 k 維平穩(wěn)信源的定義，可以證明2.5.2 離散有記憶序列信源的熵 2二維平穩(wěn)信源的熵離散二維平穩(wěn)信源 X 的概率空間為 連續(xù)兩個信源符號的聯(lián)合概率滿足已知 ai 符號出現(xiàn)后，跟著 aj 符號出現(xiàn)的條件概率每兩個符號一組，組成新信源：2.5.2 離散有記憶序列信源的熵比較三種信源熵 H(X1X2) ,H(X1X2),H(X2|X1) 之間的關系：

13、因為 H2 (X) = 0.5 H(X1X2)，由上式可以證明： 結論：離散無記憶信源的平均不確定度 大于離散有記憶信源的平均不確定度 。關系式：2.5.2 離散有記憶序列信源的熵 離散二維平穩(wěn)信源 X 的聯(lián)合概率 分布 如表 1 所示。 計算信源一維 概率分布如表 2 ， 條件概率分布如表 3 。計算： 信源熵： 條件熵：表1 信源的聯(lián)合概率P(aiaj)aia1a2a3aja11/41/180a21/181/31/18a301/187/36表2 信源的一維概率a1a2a3P(ai)11/364/91/4表3 信源的條件概率P(aj|ai)aia1a2a3aja19/111/80a22/11

14、3/42/9a301/87/9例2.5.2 離散有記憶序列信源的熵計算： 聯(lián)合熵：平均符號熵：可驗證，各種熵之間滿足 表1 信源的聯(lián)合概率P(aiaj)aia1a2a3aja11/41/180a21/181/31/18a301/187/36表2 信源的一維概率a1a2a3P(ai)11/364/91/4表3 信源的條件概率P(aj|ai)aia1a2a3aja19/111/80a22/113/42/9a301/87/92.5.2 離散有記憶序列信源的熵 3平穩(wěn)信源的極限熵平穩(wěn)信源的近似熵為平均符號熵和條件熵：兩種熵間的關系有下列性質表述：性質2.37 條件熵 H(XN | X1X2XN-1)

15、隨 N 的增加是非遞增的。 性質2.38 N 給定時，性質2.39 平均符號熵 HN (X ) 隨 N 的增加是非遞增的。性質2.40 存在，并且2.5.2 離散有記憶序列信源的熵定義2.17 定義 H為離散平穩(wěn)信源的極限熵 （或極限信息量，或熵率）。性質2.38 2.40表明， 當記憶關系為無限長時，離散平穩(wěn)信源的平均符號熵和條件熵都非遞增地一致趨于平穩(wěn)信源的信息熵（極限熵）?？梢杂脳l件熵或者平均符號熵來近似描述信源。實踐中常使用條件熵 H(XN | X1X2XN-1) 來估算 ， 因為計算條件熵更容易一些。*2.5.3 馬爾可夫信源 1. 馬爾可夫鏈和馬爾可夫信源的定義相關術語： 信源 X

16、 的狀態(tài)集為：E:e1,e2,.,en 每一狀態(tài)下信源 X 可能輸出的符號集為 ：A:a1,a2,.,ar 系統(tǒng)的運動：每一時刻當信源發(fā)出一個符號后，信源所處的 狀態(tài)將發(fā)生變化，并轉入一個新狀態(tài)。 信源輸出的隨機符號序列為 ：x1,x2,.,xt, (xt A; t=1,2,) 信源在初始狀態(tài) 條件下，相對應的隨機狀態(tài)序列為：s1,s2,.,st, (st E; t=1,2,)*2.5.3 馬爾可夫信源定義2.18 若狀態(tài)序列 s0, s1,s2,.,st, (st E; t=0,1,2,) （ s0 為初始狀態(tài)）滿足條件 （1）有限性：有限個可能的狀態(tài)，即狀態(tài)數 n 1， 對一切 i,j1,

17、2,rm ，都有 Pk(ej|ei) 0， 則稱該馬爾可夫鏈是各態(tài)遍歷的。 Pk(ej|ei)由狀態(tài) ei 經 k 步轉移到 狀態(tài) ej 的 k 步狀態(tài)轉移概率。遍歷性是馬爾可夫鏈的重要性質之一。時齊、遍歷的馬爾可夫鏈的狀態(tài)具有平穩(wěn)分布的特點， 可用于求解一類馬爾可夫信源的熵。*2.5.3 馬爾可夫信源定義2.20 若信源 X 輸出的符號序列 和狀態(tài)序列 滿足 （1）信源輸出的下一個符號只與當前的信源狀態(tài)有關， 而與以前的狀態(tài)及以前輸出的符號無關，即 （2）當前信源的狀態(tài)和輸出的下一個符號唯一地確定 信源的下一個狀態(tài)，即 則稱信源為馬爾可夫信源。若概率與時刻 t（時間推移） 無關時，則此信源稱

18、為時齊（或齊次）馬爾可夫信源。*2.5.3 馬爾可夫信源 信源 X 的值域為： A:a1,a2, a3 信源的狀態(tài)集為： E:e1,e2, e3,e4 狀態(tài)轉移圖如圖示?？傻玫礁鳡顟B(tài)下輸出符號的概率： 驗證滿足關系式 ：a2/0.25a3/0.5a3/0.25a1/0.75a1/0.75a1/0.5a3/0.25a2/0. 25a1/0.25e1e2e3e4a2/0.25例*2.5.3 馬爾可夫信源還可以得到一步轉移概率為：該馬爾可夫信源不是遍歷的。a2/0.25a3/0.5a3/0.25a1/0.75a1/0.75a1/0.5a3/0.25a2/0. 25a1/0.25e1e2e3e4a2/

19、0.25*2.5.3 馬爾可夫信源 2. m 階馬爾可夫信源的定義定義2.21 m 階離散有記憶信源的數學模型 可以由一組信源符號集 A:a1,a2,.,ar 和一組條件概率確定 并滿足 則稱此信源 X 為 m 階馬爾可夫信源。*2.5.3 馬爾可夫信源 m 階馬爾可夫信源的描述特點：（1）任一時刻 t，符號發(fā)生的概率只與前 m 個符號有關； 可以設信源 X 狀態(tài)為 ： 信源 X 的狀態(tài)集為 ： （2） m 階馬爾可夫信源的條件概率重寫為： （3）P(ej|ei) 由條件概率 唯一確定。 m 階馬爾可夫信源是常見的、簡單的一種馬爾可夫信源。 一階馬爾可夫信源是最簡單的馬爾可夫信源。*2.5.3

20、 馬爾可夫信源 二元二階馬爾可夫信源 X 的值域為 A:0,1， 條件概率： 求該信源的狀態(tài)轉移概率和狀態(tài)轉移圖。 信源的 4 種狀態(tài)：e1=00，e2=01，e3=10，e4=11 條件概率容易求得一步狀態(tài)轉移概率為：解例Ae10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100狀態(tài)轉移圖*2.5.3 馬爾可夫信源 設二元序列 01100101100100 是右圖所示的信源發(fā)出序列的一部分。 將該二元序列變換成對應的狀態(tài)序列。 序列的第 1,2 個符號 01 對應的狀態(tài) e2； 序列的第 2,3 個符號 11 對應的狀態(tài) e4；

21、 序列的第 3,4 個符號 10 對應的狀態(tài) e3； 進行到序列結束 可得到該二元序列對應的狀態(tài)序列為 這串狀態(tài)序列是時齊的馬爾可夫鏈。解續(xù)例Ae10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100狀態(tài)轉移圖*2.5.3 馬爾可夫信源 在二階馬爾可夫信源（上圖）中， 起始時的狀態(tài)轉移圖如下圖所示。 在 t = 1 時刻，輸出 X1的初始概率為： 在 t = 2 時刻，輸出 X2 的條件概率為： 在以后時刻，信源以上圖的二階條件概率 輸出信源符號。 計算經過 1, 2, 3 次狀態(tài)轉移后的信源 符號的概率分布和信源的狀態(tài)轉移過程。

22、續(xù)例Ae10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100狀態(tài)轉移圖0/0.45s2 = e1s2 = e21/0.550/0.31/0.70/0.41/0.61000011011s2 = e3s2 = e4s1 = e1s1 = e2s0 = e0狀態(tài)轉移圖*2.5.3 馬爾可夫信源 馬氏信源起始時，以初始狀態(tài)開始，有一個過渡過程。(1) t = 1 時刻，符號 0 和1的出現(xiàn)的概率為 信源系統(tǒng)處于各狀態(tài)的概率 (2) t = 2 時刻，系統(tǒng)可進入全部 4 種可能狀態(tài)。 信源符號 0 和 1 的出現(xiàn)的概率分別為0/0.45s

23、2 = e1s2 = e21/0.550/0.31/0.70/0.41/0.61000011011s2 = e3s2 = e4s1 = e1s1 = e2s0 = e0狀態(tài)轉移圖解*2.5.3 馬爾可夫信源 信源系統(tǒng)處于各狀態(tài)的概率 (3) t = 3 時刻開始信源以圖示狀態(tài)轉移圖進行轉移。 在 t = 3 時刻信源符號 0 和 1 的出現(xiàn)的概率分別為e10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100狀態(tài)轉移圖*2.5.3 馬爾可夫信源 信源系統(tǒng)處于各狀態(tài)的概率為：e10/0.5e4e3e21/0.50/0.751/0.25

24、1/0.50/0.251/0.750/0.510011100可以看到，時齊馬氏信源的條件概率與時間推移無關， 是平穩(wěn)的，但輸出的符號序列和狀態(tài)序列仍然是不平穩(wěn)的。*2.5.3 馬爾可夫信源定理2.2（各態(tài)遍歷定理） 遍歷、時齊馬爾可夫鏈存在下列（狀態(tài)）極限概率Q(ej) 且極限概率是下列方程組的唯一解。利用該定理，可求解一類馬氏信源的熵。 3. m 階馬爾可夫信源的熵長時間后，遍歷、時齊 m 階馬氏信源可視為平穩(wěn)信源。 m 階馬氏信源的熵為可以證明： Q(ej) 馬氏鏈的平穩(wěn)分布H(X | ej) 信源處于某一狀態(tài) ej 時， 發(fā)出一個消息符號的平均不確定度*2.5.3 馬爾可夫信源*2.5.

25、3 馬爾可夫信源 計算右圖二階馬氏信源的熵。 根據各態(tài)遍歷定理，可得下列方程組解方程組，求得： 由馬氏信源的熵公式，得信源熵為e10/0.5e4e3e21/0.50/0.751/0.251/0.50/0.251/0.750/0.510011100續(xù)例A解2.6 連續(xù)信源熵和互信息本節(jié)主要內容2.6.3 多維連續(xù)信源和波形信源的熵2.6.2 基本連續(xù)信源的熵 2.6.1 連續(xù)信源的表述2.6.4 連續(xù)信源熵的性質和最大熵定理2.6.1 連續(xù)信源的表述在實際中，波形信號總是限時和限頻的。滿足限時 T、限頻 F 的模擬信號 可以有 3 種表示方法： （1）時間連續(xù)、取值連續(xù)的波形信號 ； （2）根據

26、奈奎斯特取樣定理，將 離散化成 2FT 個時間離散、 取值連續(xù)的取樣序列 ； （3）對取樣序列中的某一維的取樣值 進行分析。將這 3 種處理模擬信號的方法用于連續(xù)信源， 相應地會得到 3 種連續(xù)信源的表述方法。2.6.1 連續(xù)信源的表述 1波形信源直接以模擬信號的波形來描述的信源稱為波形信源， 其輸出信號在時間上、幅值上是連續(xù)的，波形信源用隨機過程 x(t) 描述。 x(t)的每一樣本函數 x(t) 是該信源輸出的一個連續(xù)消息。例：音頻信號的頻帶為 20 Hz 20 kHz， 電話語音通信信號的頻帶為 300 Hz 3400 Hz 等。限時 T、限頻 F 的波形信源離散化成 N（=2FT）個

27、時間離散、取值連續(xù)的平穩(wěn)隨機序列 X = (X1, X2, XN) ， 產生多維連續(xù)信源。2.6.1 連續(xù)信源的表述 2多維連續(xù)信源 N 維連續(xù)信源是從波形信源經過取樣得到的 信源輸出的消息為 N 維連續(xù)型隨機序列 X = (X1, X2, XN) 其 N 維概率密度函數為 p(x) = p(x1x2xN) 滿足: 若 N 維連續(xù)信源的概率密度函數滿足 則稱此信源為連續(xù)無記憶信源。但很多連續(xù)信源都是有記憶的。2.6.1 連續(xù)信源的表述 3基本連續(xù)信源基本連續(xù)信源就是單個連續(xù)型隨機變量的信源， 也稱為連續(xù)單符號信源。是波形信源經取樣后的某一維所構成?；具B續(xù)信源的消息為連續(xù)型隨機變量 X， 值域

28、為 (a,b)， 或實數域 R；用概率密度函數 p(x)描述， 并滿足連續(xù)隨機過程大致可以分為 平穩(wěn)隨機過程和非平穩(wěn)隨機過程兩大類。一般認為，通信系統(tǒng)中信號都是平穩(wěn)的隨機過程。2.6.1 連續(xù)信源的表述定義隨機過程 x(t) 中，樣本函數 x(t)的時間平均值為定義集平均是隨機過程 x(t) 某時刻 ti 所取的 隨機變量 Xti的統(tǒng)計平均值，即定義2.22 若隨機過程 x(t)的統(tǒng)計特性不隨時間變化，且其集平均還以概率 1 等于時間平均，即 ， 則稱 x(t)為遍歷的隨機過程。2.6.2 基本連續(xù)信源的熵基本連續(xù)信源的數學模型為 或概率密度函數 如圖所示。ai 是區(qū)間 a+(i-1), a+

29、i) 中的某個值。連續(xù)隨機變量 X 可以用取值為 ai 的離散隨機變量 Xn 來近似， 且每個符號 ai 的概率為 p(ai)。連續(xù)信源就被量化成離散信源。a+(i-1)0 xbaa+ip(x)2.6.2 基本連續(xù)信源的熵連續(xù)信源的熵是取極限，得上式中的第一項是定值，具有離散信源熵的形式。 第二項是趨于無限大的常數（依賴于）。2.6.2 基本連續(xù)信源的熵定義2.23 設連續(xù)隨機變量 X 的概率密度函數為 p(x) ，稱 為該連續(xù)信源的熵，也稱為差熵（或相對熵，微分熵）。連續(xù)信源的不確定度（實際熵）應為無窮大。理解：因為連續(xù)信源有不可數的、無限多個幅度值， 需要用無限多個二進制位數（bit）來表

30、示， 因此它的實際熵為無窮大。2.6.2 基本連續(xù)信源的熵 一連續(xù)信源的概率密度如圖所示。 由 A 圖得: 由 B 圖得:B 圖是 A 圖放大 2 倍的結果，計算表明信息量增加了， 這個結論是荒謬的。實際熵是相同的，但相對熵不相等。 0 1 2 3 4 5 6 xp(x)1/2A圖0 1 2 3 4 5 6 xp(x)1/4B圖例2.6.2 基本連續(xù)信源的熵定義2.24 在連續(xù)聯(lián)合隨機變量集 XY 上，其聯(lián)合熵為定義2.25 在連續(xù)聯(lián)合隨機變量集 XY 上，其條件熵為定義2.26 在連續(xù)聯(lián)合隨機變量集 XY 上，兩個連續(xù)隨機變量的平均互信息為 p(xy) 二維聯(lián)合概率密度函數。 p(x|y),

31、 p(y|x) 條件概率密度函數。2.6.3 多維連續(xù)信源和波形信源的熵N 維連續(xù)信源 X = XN 的差熵為 p(x) = p(x1x2xN) N 維概率密度函數若該信源還是無記憶的，滿足 容易證明 N 維連續(xù)無記憶信源的差熵為2.6.3 多維連續(xù)信源和波形信源的熵連續(xù)信源的 N 維條件差熵為 p(xN | x1x2xN-1) 條件概率密度函數當 N = 2 時，得兩個連續(xù)型隨機變量之間的差熵為與離散信源一樣，有關系式（僅當統(tǒng)計獨立時，等號成立）2.6.3 多維連續(xù)信源和波形信源的熵波形信源的信息測度用多維連續(xù)信源的差熵逼近。波形信源 x(t)的差熵為限時 T、限頻 F 的平穩(wěn)隨機過程 x(

32、t)，近似地用有限維（維數為 N = 2FT ）的平穩(wěn)隨機序列來表示。限時 T、限頻 F 波形信源轉化成多維連續(xù)平穩(wěn)信源。2.6.3 多維連續(xù)信源和波形信源的熵 均勻分布連續(xù)信源的差熵 一維連續(xù)隨機變量 X 在 a,b 區(qū)間內均勻分布時， 基本連續(xù)信源的熵為 N 維連續(xù)隨機序列 X = (X1, X2, XN) ，其分量分別 在 a1,b1, a2,b2, aN,bN 區(qū)域內均勻分布， N 維連續(xù)平穩(wěn)信源的差熵為例2.6.3 多維連續(xù)信源和波形信源的熵 高斯信源的差熵 基本高斯信源 X 的概率密度分布顯正態(tài)分布的信源，即 基本高斯信源的熵為 可見，其差熵與數學期望 m 無關，只與方差 2 有關

33、。 均值 m = 0時，X 的信源方差等于平均功率 P，所以有例2.6.3 多維連續(xù)信源和波形信源的熵 高斯信源的差熵 N 維連續(xù)隨機序列 X = (X1, X2, XN) 是正態(tài)分布， 則稱此信源為 N 維高斯信源。其相對熵為 當各變量之間統(tǒng)計獨立，則 C 為對角矩陣，并有N 維無記憶高斯信源的熵， 即 N 維統(tǒng)計獨立的正態(tài)分布隨機變量的相對熵為例2.6.3 多維連續(xù)信源和波形信源的熵 指數分布連續(xù)信源的差熵 一維連續(xù)隨機變量 X 在 a, ) 區(qū)間內的概率密度分布為 則稱 X 為指數分布的連續(xù)信源。 其中，m 是 X 的數學期望。 X 的熵為例2.6.4 連續(xù)信源熵的性質和最大熵定理 1連

34、續(xù)信源熵的性質連續(xù)信源的差熵在概念上不能把它作為信息熵來理解， 它只具有部分信息熵的含義和性質， 喪失了某些重要的特性和含義。學習連續(xù)信源的差熵時，應注意與離散信源相比較。性質2.41（可加性）連續(xù)信源 X 和 Y，有 當且僅當 X 和 Y 統(tǒng)計獨立時，不等式的等號成立。2.6.4 連續(xù)信源熵的性質和最大熵定理性質2.42 （熵的不增原理） 在連續(xù)聯(lián)合隨機變量集 XY 上，條件熵總是小于或等于無條件熵，即 當且僅當 X 和 Y 統(tǒng)計獨立時，不等式的等號成立。性質2.43 （上凸性） 連續(xù)信源的差熵 h(x) 是概率密度函數p(x) 的嚴格型凸函數（或上凸函數）。性質2.44 連續(xù)信源的差熵 h

35、(x) 可以是負值。2.6.4 連續(xù)信源熵的性質和最大熵定理 2最大熵定理僅討論三種約束條件下的最大熵。由 3 個定理給出。定理2.3 (1) 若信號的幅度被限定在 區(qū)間內，則當輸出信號的概率密 度均勻分布時，信源具有最大熵，其值為 log(b-a) 。 (2) 當 N 維隨機序列取值受限時，也只有隨機分量統(tǒng)計獨立 并均勻分布時具有最大熵2.6.4 連續(xù)信源熵的性質和最大熵定理定理2.4 (1) 若信號的平均功率被限定為 P，則當其概率密度分布是 高斯分布時，信源具有最大熵，其值為 。 (2) N 維連續(xù)平穩(wěn)信源，若其 N 維隨機變量的協(xié)方差矩陣 C 被限定，則為正態(tài)分布時，信源熵最大，其值為

36、 功率受限時高斯信源的熵最大。2.6.4 連續(xù)信源熵的性質和最大熵定理定理2.45 若連續(xù)信源輸出的非負信號的均值被限定為 m， 則當輸出信號的概率密度分布是指數分布時， 信源具有最大熵，其值為 log me。2.7 冗余度和熵功率本節(jié)主要內容2.7.2 連續(xù)信源的熵功率 2.7.1 離散信源的冗余度和自然語言的熵2.7.1 離散信源的冗余度和自然語言的熵實際問題： 離散信源可能是平穩(wěn)的或非平穩(wěn)的。 平穩(wěn)信源熵為 H ，一般難于計算，需用 Hm+1近似計算。 非平穩(wěn)信源熵不一定存在，可以假定其平穩(wěn)，近似估計。Hm+1= H(Xm+1 | X1X2Xm) m 階馬爾可夫信源熵，條件熵關系式（極大

37、熵為 log q，實際熵 H最?。?.7.1 離散信源的冗余度和自然語言的熵定義2.27（相對率，冗余度） 信源的相對率定義為： 信源的冗余度定義為： 很好地反應了符號間記憶強弱和概率分布的均勻性： （1） 越大， 越小，信源的實際熵 越小。 表明符號間記憶關系越強和/或符號的概率分布越不均勻。 （2） 越小， 越大，信源的實際熵 越大。 表明符號間的記憶關系越弱和符號的概率分布越均勻。 （3） = 0， = 1 時，信源的實際熵 等于極大值。 表明符號間不但統(tǒng)計獨立、無記憶，且是等概率分布。2.7.1 離散信源的冗余度和自然語言的熵 二元信源的符號 0 和 1 等概率分布，且符號之間無相關

38、性， 信源熵達到極大值： H(X) =1 bit/符號， 信源相對率： = 1，冗余度 = 0。 當信源有記憶和/或非等概率分布時， 且實際信源熵為： H(X) = H = 0.8 bit/符號， 信源相對率為： 信源冗余度為：例2.7.1 離散信源的冗余度和自然語言的熵實際語言的信源熵計算，以英語為例。表： 英文字母概率表字 母概 率字 母概 率字 母概 率字 母概 率空 格0.1859G0.0152N0.0574U0.0228A0.0642H0.0467O0.0632V0.0083B0.0127I0.0575P0.0152W0.0175C0.0218J0.0008Q0.0008X0.0013D0.0317K0.0049R0.0484Y0.0164E0.1031L0.0321S0.0514Z0.0005F0.0208M0.0198T0.0796 英文信源由 26 個英文字母和空格構成， （空格用于英文單詞間的分隔，略去