信息與編碼理論 第2版 課件 4.3 限失真信源編碼定理

§4.3限失真信源編碼定理4.3限失真信源編碼定理為了達(dá)到無(wú)失真，往往需要花費(fèi)巨大的代價(jià)在很多種情況下，人們并不需要完全的無(wú)失真，接近信源發(fā)出的消息就能夠滿足要求在一塊較小的手機(jī)屏幕上，2K分辨率和1K分辨率對(duì)于人眼來(lái)說(shuō)并沒(méi)有多大區(qū)別在允許失真的前提下，這個(gè)失真度如何把握？如何對(duì)失真進(jìn)行描述？信息率失真函數(shù)回答了這些問(wèn)題4.3.1信息率失真函數(shù)一定程度的失真是可以容忍的。當(dāng)失真超出某一限度后，信息質(zhì)量將被嚴(yán)重受損，甚至無(wú)法使用。要規(guī)定失真限度，必須先有一個(gè)定量的失真測(cè)度。1.失真函數(shù)對(duì)應(yīng)于每一對(duì)，指定一個(gè)非負(fù)的函數(shù)為單個(gè)符號(hào)的失真函數(shù)（失真度）信源編碼器YX4.3.1信息率失真函數(shù)我們稱(chēng)之為失真矩陣4.3.1信息率失真函數(shù)幾個(gè)常見(jiàn)的失真函數(shù)：(1)漢明失真信源和信宿的符號(hào)集合相同，每個(gè)符號(hào)的交叉?zhèn)鬏敻怕氏嗟饶敲此氖д婢仃嚍殡A矩陣：該矩陣具有對(duì)稱(chēng)性，用漢明矩陣來(lái)度量失真的信源稱(chēng)為離散對(duì)稱(chēng)信源當(dāng)時(shí)，則為二進(jìn)制刪除信道：表示發(fā)送信源符號(hào)0(1)同時(shí)接收符號(hào)也是0(1)時(shí)，認(rèn)為無(wú)失真，反之，發(fā)送0(1)，接收1(0)，則認(rèn)為有失真并且兩種錯(cuò)誤等同4.3.1信息率失真函數(shù)幾個(gè)常見(jiàn)的失真函數(shù)：(1)漢明失真4.3.1信息率失真函數(shù)幾個(gè)常見(jiàn)的失真函數(shù)：(1)漢明失真將單符號(hào)失真函數(shù)推廣到長(zhǎng)度為的信源符號(hào)序列失真函數(shù)即信源序列的失真度等于序列中對(duì)應(yīng)單個(gè)符號(hào)失真度之和4.3.1信息率失真函數(shù)(1)漢明失真4.3.1信息率失真函數(shù)(2)平方誤差失真這意味著幅度差值大要比幅度差值小所引發(fā)的失真更嚴(yán)重4.3.1信息率失真函數(shù)(2)平方誤差失真4.3.1信息率失真函數(shù)2.平均失真度與保真度準(zhǔn)則如果已知信道傳遞概率為，按照數(shù)學(xué)期望的定義可以看出平均失真度描述了在平均意義上信源在某一信道傳輸下的失真大小4.3.1信息率失真函數(shù)2.平均失真度與保真度準(zhǔn)則次擴(kuò)展信道的失真函數(shù)為：次擴(kuò)展信道的平均失真函數(shù)為：?jiǎn)蝹€(gè)符號(hào)的平均失真度（信源平均失真度）為：4.3.1信息率失真函數(shù)2.平均失真度與保真度準(zhǔn)則當(dāng)信源與信道都是無(wú)記憶時(shí)，次擴(kuò)展信道的平均失真函數(shù)為：如果信源是平穩(wěn)信源，那么離散無(wú)記憶平穩(wěn)信源通過(guò)無(wú)記憶信道，其信源序列的平均失真度等于單個(gè)符號(hào)平均失真度的倍如果平均失真度不大于所允許的失真，我們稱(chēng)之為保真度準(zhǔn)則。即：維信源序列的保真度準(zhǔn)則4.3.1信息率失真函數(shù)3.信息率失真函數(shù)稱(chēng)之為信息率失真函數(shù)或者率失真函數(shù)：對(duì)于離散無(wú)記憶信源的次擴(kuò)展信源和離散無(wú)記憶信道的次擴(kuò)展信道，其信息率失真函數(shù)為：對(duì)于離散無(wú)記憶平穩(wěn)信源，可以得到4.3.1信息率失真函數(shù)3.信息率失真函數(shù)（1）離散信源的信息率失真函數(shù)對(duì)于基本離散信源來(lái)說(shuō)，求信息率失真函數(shù)與求信道容量類(lèi)似，都是在有約束條件下求平均互信息極值的問(wèn)題，區(qū)別在于不同的約束條件。信道容量是求平均互信息的條件極大值，而信息率失真函數(shù)是求平均互信息的條件極小值。選擇使平均互信息并且使值最小4.3.1信息率失真函數(shù)3.信息率失真函數(shù)（2