信息論第七章

1、信息論第七章第1頁，共50頁，2022年，5月20日，1點21分，星期一第七章 保真度準(zhǔn)則下的信源編碼 7.1 失真度和平均失真度 7.2 信息率失真函數(shù)及其性質(zhì) 7.3 二元信源和離散對稱信源的 R(D)函數(shù) 7.6 連續(xù)信源的信息率失真函數(shù)7.7 保真度準(zhǔn)則下信源編碼定理第2頁，共50頁，2022年，5月20日，1點21分，星期一 總可以找到一種輸入分布（信源編碼方法），使在無噪無損信道上，能夠以信道容量C無誤地傳輸信息。信源編碼無噪無損信道R = C ; PE = 0最佳分布消息壓縮冗余度最好地利用 C 無噪信道編碼定理回顧 第3頁，共50頁，2022年，5月20日，1點21分，星期一

2、只要RC，總可以找到一種信道編碼方法，使在信道上能夠以盡可能小的 PE 傳輸信息。 有噪信道編碼定理回顧 信源編碼消息信道R C; PE=信道編碼增加冗余度，最好地匹配信道特性第4頁，共50頁，2022年，5月20日，1點21分，星期一 對于連續(xù)和模擬信源 H(s)= 信道傳輸率R = H(s)/n（比特/碼符號） R = 平均碼長 l = Hr(s) = H(s)/logr, l = 實際上,因為Bw有限,C 一定有限,RC, 及l(fā) = 均不可能. 存在問題 第5頁，共50頁，2022年，5月20日，1點21分，星期一 信宿對真實度的要求： 實際語音信號：20Hz8KHz 人耳能夠分辨：30

3、0Hz3400Hz 圖象色差：可達足夠多 視覺分辨：256級（黑白）已足夠 實際需求特點 可以允許一定的失真度 完全保真沒必要第6頁，共50頁，2022年，5月20日，1點21分，星期一 限失真的信源編碼問題 允許一定的失真度下，能將信源信息壓縮到什么程度？（最少需要多少比特才能在收端描述信源？） 一定的信息傳輸率R下，允許的最大失真是多少？ 引出的研究內(nèi)容 相關(guān)問題 失真如何度量？ 率失真函數(shù)如何計算？第7頁，共50頁，2022年，5月20日，1點21分，星期一7.1 失真度和平均失真度 7.1.1 失真度 7.1.2 平均失真度 保真度準(zhǔn)則第8頁，共50頁，2022年，5月20日，1點21

4、分，星期一7.1.1 失真度 方法抽象：將與討論重點關(guān)系小的部分抽象 涉及信源編碼, 對信道進行抽象 信道編碼信道信道譯碼 廣義無擾信道* 廣義無擾信道*可以略去 信道*是一個沒有干擾的廣義信道，信宿收到信息的失真只來自于信源編碼.第9頁，共50頁，2022年，5月20日，1點21分，星期一信源編碼信道編碼信道信道譯碼信源譯碼信源信宿廣義無擾信道*信源編碼信源譯碼信源信宿第10頁，共50頁，2022年，5月20日，1點21分，星期一方法虛擬：將討論重點虛擬細(xì)化 將限失真信源的編譯碼過程虛擬 信源編碼廣義無擾信道信源譯碼 試驗信道 可以用信道傳遞概率來描述限失真信 源編譯碼前后的關(guān)系 數(shù)據(jù)壓縮視

5、為消息通過信道, 編碼失真 視為信道噪聲.7.1.1 失真度 第11頁，共50頁，2022年，5月20日，1點21分，星期一信源編碼信道編碼信道信道譯碼信源譯碼信源信宿信源編碼廣義無擾信道*信源譯碼信源信宿信源信宿試驗信道UVP(V|U)第12頁，共50頁，2022年，5月20日，1點21分，星期一失真度定義信源變量 信源分布經(jīng)信道傳輸后, 輸出序列 用一個非負(fù)函數(shù) d(ui, vj) 表示信源發(fā)出符號ui , 接收符號vj的失真度的定量描述.7.1.1 失真度 第13頁，共50頁，2022年，5月20日，1點21分，星期一失真函數(shù) d(ui, vj) 有rs個, 可排成矩陣形式 失真度定義7

6、.1.1 失真度 第14頁，共50頁，2022年，5月20日，1點21分，星期一失真函數(shù) d(ui, vj) 有距離的概念 失真度性質(zhì)性質(zhì)1： 時, d = 0 性質(zhì)2：最小距離 d = 0 性質(zhì)3： 7.1.1 失真度 第15頁，共50頁，2022年，5月20日，1點21分，星期一 失真函數(shù) d(ui, vj) 可以各式各樣, 應(yīng)盡可能符合信宿的主觀特性, 即主觀上的失真感覺應(yīng)與d(ui, vj) 的值相對應(yīng). d 越大所感覺的失真也越大, 而且最好成正比. 失真度函數(shù)的取值原則7.1.1 失真度 第16頁，共50頁，2022年，5月20日，1點21分，星期一均方失真： 常用的失真函數(shù)適用于

7、連續(xù)信源及離散信源, 特別是表示信源輸出符號的幅度值.絕對失真： 適用信源同上相對失真： 相對失真與主觀特性比較匹配, 但數(shù)學(xué)處理較繁瑣.7.1.1 失真度 第17頁，共50頁，2022年，5月20日，1點21分，星期一誤碼失真： 常用的失真函數(shù)適用于離散信源.7.1.1 失真度 第18頁，共50頁，2022年，5月20日，1點21分，星期一例1：離散對稱信源(r = s). 信源變量 接收變量 定義單個符號失真度解：失真函數(shù)矩陣7.1.1 失真度 第19頁，共50頁，2022年，5月20日，1點21分，星期一解：失真函數(shù)矩陣當(dāng)再現(xiàn)的接收符號與發(fā)送符號相同時, 就不存在失真錯誤, 所以失真度

8、不同時就有失真存在, 認(rèn)為引起的失真都相同, 取常數(shù)為1. 這種失真稱為漢明失真. 漢明失真矩陣D為方陣, 且對角線上的元素為0.7.1.1 失真度 第20頁，共50頁，2022年，5月20日，1點21分，星期一例2：刪除信源(s = r+1). 信源變量 接收變量 定義單個符號失真度解：失真函數(shù)矩陣7.1.1 失真度 第21頁，共50頁，2022年，5月20日，1點21分，星期一解：失真函數(shù)矩陣接收符號 作為刪除符號. 若把信源符號再現(xiàn)為刪除符號 要比再現(xiàn)為其他接收符號的失真程度少一半. 7.1.1 失真度 第22頁，共50頁，2022年，5月20日，1點21分，星期一 小 結(jié) 一般情況下根

9、據(jù)實際信源的失真, 可以定義不同的失真和誤差; 按主觀感覺上的差別大小定義失真度; 可按引起的損失、風(fēng)險等定義失真度.第23頁，共50頁，2022年，5月20日，1點21分，星期一7.1.2 平均失真度 定義失真函數(shù)的數(shù)學(xué)期望為平均失真度. 只能表示兩個特定的具體符號 與 之間的失真. 為表示信道對信源平均每符號的失真大小, 需要引入平均失真度. 平均失真度第24頁，共50頁，2022年，5月20日，1點21分，星期一 定義失真函數(shù)的數(shù)學(xué)期望為平均失真度. 平均失真度 是描述某信源在某信道傳輸(編碼)下的失真大小, 是從整體上描述某個系統(tǒng)的失真情況. 7.1.2 平均失真度 第25頁，共50頁

10、，2022年，5月20日，1點21分，星期一信源序列的平均失真度信源輸出符號序列 其中, 隨機變量 取自于同一符號集 輸入符號序列 共有 個.接收端符號序列 其中, 隨機變量 取自于同一符號集 輸出符號序列 共有 個.設(shè)輸入輸出7.1.2 平均失真度 第26頁，共50頁，2022年，5月20日，1點21分，星期一信源序列的平均失真度信源序列的失真度等于序列中對應(yīng)單個信源符號失真度之和。7.1.2 平均失真度 第27頁，共50頁，2022年，5月20日，1點21分，星期一N維信源序列的平均失真度7.1.2 平均失真度 第28頁，共50頁，2022年，5月20日，1點21分，星期一N維信源序列單個

11、符號的平均失真度當(dāng)信源和信道都無記憶時第l 個分量的平均失真度當(dāng)離散信源是平穩(wěn)信源 離散無記憶平穩(wěn)信源通過無記憶試驗信道，序列的平均失真度等于單個符號平均失真度的N倍。7.1.2 平均失真度 第29頁，共50頁，2022年，5月20日，1點21分，星期一7.1.3 保真度準(zhǔn)則 （1）若平均失真度 不大于所允許的失真D，即 ，稱此為保真度準(zhǔn)則。（2）對于N維信源序列，保真度準(zhǔn)則為（3）當(dāng)信源固定（p(u)給定），單個符號失真度固定（ 給定）時，選擇不同的信道，相當(dāng)于不同的編碼方法，所得到的平均失真度 不同。有些信道滿足 ，另一些 。把滿足D失真許可信道組成一個集合BD， 第30頁，共50頁，20

12、22年，5月20日，1點21分，星期一7.2 信息率失真函數(shù)及其性質(zhì) 7.2.1 信息率失真函數(shù)7.2.2 信息率失真函數(shù)的性質(zhì) 第31頁，共50頁，2022年，5月20日，1點21分，星期一7.2.1 信息率失真函數(shù) 1.已知： 與失真函數(shù) 、信源分布 和信道傳輸函數(shù) 有關(guān)。當(dāng) 和 給定后,不同的 將決定了不同的 。 2.在保真度準(zhǔn)則條件下： 存在信道滿足的集合 。3.信道的互信息 是信道傳遞函數(shù) 的U型凸函數(shù)，因此某一信道 使 取極小值4.定義滿足失真條件下信源必須傳輸?shù)淖钚∑骄畔⒘繛樾畔⒙适д婧瘮?shù)，或稱率失真函數(shù)。第32頁，共50頁，2022年，5月20日，1點21分，星期一7.2.1

13、 信息率失真函數(shù) 離散無記憶平穩(wěn)信源情況下 物理意義 并不是實際的信道, 而是有失真信源編碼或信源壓縮的處理. 進而可求出平均互信息的最小值. 即改變編碼方法使平均互信息最小, 實質(zhì)上是選擇一種編碼方法使信息傳輸率最小. 是信源特性參數(shù),與試驗信道的選擇無關(guān). 反映了信源可以壓縮的程度,是在滿足一定失真度 ( )要求下,信源可壓縮的最低值.第33頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 是D的函數(shù),當(dāng)D很小時, 應(yīng)很大。1. 的定義域(0, Dmax)第34頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì)

14、是D的函數(shù),當(dāng)D很小時, 應(yīng)很大。1. 的定義域(0, Dmax)(3) 由(2)定義得 是使 的全體概率集合。即 和 統(tǒng)計獨立。當(dāng) 時, 此時信源不需要輸出任何信息.第35頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 規(guī)定失真度為漢明失真度，失真矩陣為求：(1) (2) 達到最小值 時的信道函數(shù)？(3)此時的第36頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 表示為滿足保真度準(zhǔn)則 ,信道V必須從信源U獲取的信息量,即信源必須輸出的最小信息率 信源U的率失真函數(shù)。第37頁，共50頁，2022年，5月20

15、日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 要求同上例第38頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 要求同上例總結(jié)：上面三例中,失真矩陣 每列只有一個最小值,當(dāng)允許失真度 取最小值 時，信源輸出符號數(shù)不能有任何的壓縮。第39頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 要求同上例三種典型取值信源的信息率可壓縮.第40頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 2. 是關(guān)于D的U型凸函數(shù)在允許失真度D的定義域內(nèi), 是D的U型凸函數(shù).3

16、. 函數(shù)的單調(diào)遞減性和連續(xù)性計算 的條件是 ,顯然當(dāng) 時, 將最小。第41頁，共50頁，2022年，5月20日，1點21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 4. 的典型圖形 (1) 定義域 (2) U型函數(shù)(3) 連續(xù)而遞減第42頁，共50頁，2022年，5月20日，1點21分，星期一7.3 二元信源和離散對稱信源的R(D)函數(shù) 7.3.1 二元對稱信源的R(D)函數(shù)7.3.2 離散對稱信源的R(D)函數(shù)第43頁，共50頁，2022年，5月20日，1點21分，星期一第44頁，共50頁，2022年，5月20日，1點21分，星期一4-2 根軌跡繪制的基本法則 1. 繪制根軌跡的基本法則 2

17、. 閉環(huán)極點的確定. 第45頁，共50頁，2022年，5月20日，1點21分，星期一1. 繪制根軌跡的基本法則 法則1 根軌跡的起點和終點根軌跡起于開環(huán)極點, 終于開環(huán)零點. 閉環(huán)系統(tǒng)特征方程根軌跡的起點 ,根軌跡的終點 ,開環(huán)極點數(shù) = 開環(huán)零點數(shù), 數(shù)目小的出現(xiàn)在無窮遠(yuǎn).第46頁，共50頁，2022年，5月20日，1點21分，星期一1. 繪制根軌跡的基本法則 法則4 根軌跡在實軸上的分布實軸上的某一區(qū)域, 若其右邊開環(huán)實數(shù)零極點個數(shù)之和為奇數(shù), 則該區(qū)域必是根軌跡. 法則5 根軌跡的分離點與分離角兩條或兩條以上根軌跡分支在s平面上相遇又立即分開的點, 稱為根軌跡的分離點. 根軌跡進入分離點的切線方向與離開分離點的切線方向之間的夾角稱為分離角. 分離點坐標(biāo) d 和分離角求解公式: 第47頁，共50頁，2022年，5月20日，1點21分，星期一 小 結(jié) 由兩個極點(實數(shù)極點或復(fù)數(shù)極點)和一個有限零點組成的開環(huán)系統(tǒng), 只要有限零點沒有位于兩個實數(shù)極點之間, 當(dāng)K*從0變到時, 閉環(huán)根軌跡的復(fù)數(shù)部