近代信息論第五章

近代信息論第五章第一頁(yè)，共二十一頁(yè)，編輯于2023年，星期五引言信源編碼定理有效性無(wú)失真下信道壓縮的界信道編碼定理可靠性無(wú)失真?zhèn)鬏擱的界出發(fā)點(diǎn):無(wú)失真實(shí)際中有失真：連續(xù)信源的熵?zé)o窮大，要求信道容量也無(wú)窮大，而實(shí)際系統(tǒng)F有限，不可能無(wú)失真實(shí)際應(yīng)用中允許失真，如電話，圖像壓縮問(wèn)題如何描述信息的失真，及在限失真的條件下，編碼定理如何？第二頁(yè)，共二十一頁(yè)，編輯于2023年，星期五主要內(nèi)容第一節(jié)：率失真函數(shù)的定義第二節(jié)：率失真函數(shù)的性質(zhì)第三頁(yè)，共二十一頁(yè)，編輯于2023年，星期五第一節(jié)率失真函數(shù)的定義失真函數(shù)的定義兩個(gè)符號(hào)集構(gòu)成積第四頁(yè)，共二十一頁(yè)，編輯于2023年，星期五漢明失真函數(shù)歐幾里德距離測(cè)度絕對(duì)值失真測(cè)度例：失真函數(shù)第五頁(yè)，共二十一頁(yè)，編輯于2023年，星期五平均失真定義平均失真：失真——是主觀確定，根據(jù)失真所引起的損失、風(fēng)險(xiǎn)等因素人為規(guī)定。實(shí)際中，常常要求平均失真<某一范圍率失真的問(wèn)題第六頁(yè)，共二十一頁(yè)，編輯于2023年，星期五率失真函數(shù)I(X,Y)表征信息的傳輸率：I(X,Y)=0從Y中得不到X的信息全失真X與Y一一對(duì)應(yīng)無(wú)失真I(X,Y)的大小反映了失真的大小recall：工程上允許失真：圖像壓縮（SNR表失真壓縮倍數(shù)）語(yǔ)音傳輸（SNR，MOS（主觀評(píng)分）失真不能太大，需要保證可懂度和自然度3.5——GSM(RPE-LTP)4.0——CCITT(LD-CELP)第七頁(yè)，共二十一頁(yè)，編輯于2023年，星期五問(wèn)題：當(dāng)要求失真<某個(gè)值，那么——信道最小的傳輸率？壓縮倍數(shù)最大？即：率失真函數(shù)第八頁(yè)，共二十一頁(yè)，編輯于2023年，星期五率失真函數(shù)定義第九頁(yè)，共二十一頁(yè)，編輯于2023年，星期五率失真函數(shù)定義注意：D為自變量

——試驗(yàn)信道第十頁(yè)，共二十一頁(yè)，編輯于2023年，星期五討論：（1）在信源和允許失真D給定時(shí)，R(D)反映的是最小傳輸率，最大壓縮倍數(shù)的界。（2）R(D)與信道容量C是對(duì)偶的。率失真描述信源信道容量描述信道失真小失真大極小值存在極大值存在back第十一頁(yè)，共二十一頁(yè)，編輯于2023年，星期五第二節(jié)：率失真函數(shù)的性質(zhì)定義域DminR(Dmin)DmaxR(Dmax)R(D)的數(shù)學(xué)特征第十二頁(yè)，共二十一頁(yè)，編輯于2023年，星期五的定義域，即考慮D的取值范圍。DminR(Dmin)考慮如何每一項(xiàng)取最小。第十三頁(yè)，共二十一頁(yè)，編輯于2023年，星期五給定信源的條件下：失真矩陣信道矩陣第十四頁(yè)，共二十一頁(yè)，編輯于2023年，星期五信道的信息傳輸率至少等于信源的熵：R(0)=H(X)一般地：Dmin=0第十五頁(yè)，共二十一頁(yè)，編輯于2023年，星期五討論：只有當(dāng)失真矩陣每行至少一個(gè)極小值每列最多一個(gè)極小值才能使得H(X|Y)=0才能保證I(X,Y)=H(X)1.2.只有當(dāng)失真矩陣至少有一列有多個(gè)極小值，則后驗(yàn)概率未必是0或1，這時(shí)H(X|Y)>0I(X,Y)=H(X)-H(X|Y)<H(X)——————相當(dāng)于可以壓縮第十六頁(yè)，共二十一頁(yè)，編輯于2023年，星期五例：選擇信道1：選擇信道2：則R(0)=H(X)可壓縮第十七頁(yè)，共二十一頁(yè)，編輯于2023年，星期五DmaxR(Dmax)定義第十八頁(yè)，共二十一頁(yè)，編輯于2023年，星期五兩個(gè)向量的內(nèi)積DmaxR(Dmax)I(X;Y)=0,X,Y獨(dú)立，第十九頁(yè)，共二十一頁(yè)，編輯于2023年，星期五討論：1.2.某列全為1每行三者和為1R(Dmax)=minI(X,Y)=0第二十頁(yè)，共二十一頁(yè)，編輯于2023年，星期五R(D)的數(shù)學(xué)特征R(D)是D的下凸函數(shù)；R(D)是關(guān)于D的連續(xù)函數(shù)；R(D)是關(guān)于D的單調(diào)遞減