信息與編碼理論 第2版 課件 4.3 限失真信源編碼定理

§4.3限失真信源編碼定理4.3限失真信源編碼定理為了達到無失真，往往需要花費巨大的代價在很多種情況下，人們并不需要完全的無失真，接近信源發(fā)出的消息就能夠滿足要求在一塊較小的手機屏幕上，2K分辨率和1K分辨率對于人眼來說并沒有多大區(qū)別在允許失真的前提下，這個失真度如何把握？如何對失真進行描述？信息率失真函數(shù)回答了這些問題4.3.1信息率失真函數(shù)一定程度的失真是可以容忍的。當失真超出某一限度后，信息質量將被嚴重受損，甚至無法使用。要規(guī)定失真限度，必須先有一個定量的失真測度。1.失真函數(shù)對應于每一對，指定一個非負的函數(shù)為單個符號的失真函數(shù)（失真度）信源編碼器YX4.3.1信息率失真函數(shù)我們稱之為失真矩陣4.3.1信息率失真函數(shù)幾個常見的失真函數(shù)：(1)漢明失真信源和信宿的符號集合相同，每個符號的交叉?zhèn)鬏敻怕氏嗟饶敲此氖д婢仃嚍殡A矩陣：該矩陣具有對稱性，用漢明矩陣來度量失真的信源稱為離散對稱信源當時，則為二進制刪除信道：表示發(fā)送信源符號0(1)同時接收符號也是0(1)時，認為無失真，反之，發(fā)送0(1)，接收1(0)，則認為有失真并且兩種錯誤等同4.3.1信息率失真函數(shù)幾個常見的失真函數(shù)：(1)漢明失真4.3.1信息率失真函數(shù)幾個常見的失真函數(shù)：(1)漢明失真將單符號失真函數(shù)推廣到長度為的信源符號序列失真函數(shù)即信源序列的失真度等于序列中對應單個符號失真度之和4.3.1信息率失真函數(shù)(1)漢明失真4.3.1信息率失真函數(shù)(2)平方誤差失真這意味著幅度差值大要比幅度差值小所引發(fā)的失真更嚴重4.3.1信息率失真函數(shù)(2)平方誤差失真4.3.1信息率失真函數(shù)2.平均失真度與保真度準則如果已知信道傳遞概率為，按照數(shù)學期望的定義可以看出平均失真度描述了在平均意義上信源在某一信道傳輸下的失真大小4.3.1信息率失真函數(shù)2.平均失真度與保真度準則次擴展信道的失真函數(shù)為：次擴展信道的平均失真函數(shù)為：單個符號的平均失真度（信源平均失真度）為：4.3.1信息率失真函數(shù)2.平均失真度與保真度準則當信源與信道都是無記憶時，次擴展信道的平均失真函數(shù)為：如果信源是平穩(wěn)信源，那么離散無記憶平穩(wěn)信源通過無記憶信道，其信源序列的平均失真度等于單個符號平均失真度的倍如果平均失真度不大于所允許的失真，我們稱之為保真度準則。即：維信源序列的保真度準則4.3.1信息率失真函數(shù)3.信息率失真函數(shù)稱之為信息率失真函數(shù)或者率失真函數(shù)：對于離散無記憶信源的次擴展信源和離散無記憶信道的次擴展信道，其信息率失真函數(shù)為：對于離散無記憶平穩(wěn)信源，可以得到4.3.1信息率失真函數(shù)3.信息率失真函數(shù)（1）離散信源的信息率失真函數(shù)對于基本離散信源來說，求信息率失真函數(shù)與求信道容量類似，都是在有約束條件下求平均互信息極值的問題，區(qū)別在于不同的約束條件。信道容量是求平均互信息的條件極大值，而信息率失真函數(shù)是求平均互信息的條件極小值。選擇使平均互信息并且使值最小4.3.1信息率失真函數(shù)3.信息率失真函數(shù)（2