新信息論與編碼chPPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1新信息論與編碼新信息論與編碼ch信息論與編碼第七章 網(wǎng)絡(luò)信息論第1頁(yè)/共44頁(yè)n廣播信道：一般廣播信道的容量域尚未解決，只解決了一些特殊問(wèn)題。信息論與編碼第七章 網(wǎng)絡(luò)信息論第2頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論7.2 通信網(wǎng)信道分類u 多址接入信道u 廣播信道u 中繼信道u 串?dāng)_信道u 雙向信道u 多用戶通信網(wǎng)u 具有反饋的信道第3頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第4頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1信源2信源M編碼器1編碼器2編碼器M多址接入信道譯碼器1U2UMU1U2UMU1X2XMXY第5頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第6頁(yè)/共44頁(yè)信

2、息論與編碼第七章 網(wǎng)絡(luò)信息論第7頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1信源2信源M譯碼器1譯碼器2譯碼器M廣播信道1U2UMU2UMUX1Y編 碼 器1U2YMY第8頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第9頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第10頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第11頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1譯碼11U1X編碼1串?dāng)_信道譯碼2信源2編碼21Y1U2Y2U主路串?dāng)_路串?dāng)_路主路第12頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第13頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1接收端2譯碼1雙向信道1X1Y2Y編碼1譯碼2編碼

3、2信源2接收端12X第14頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第15頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1信源2信源M編碼1編碼2編碼S1U2UMU1X2XsX譯碼1譯碼2譯碼T1U1Y2YTY信道1U2U2UMUMU第16頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論第17頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1信源2編碼1編碼21U2U1X2X譯碼信道1U2U第18頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論7.3 相關(guān)信源編碼u 相關(guān)信源編碼定理u 相關(guān)信源編碼逆定理第19頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論1S信源信源S1信源信源S2編碼器編碼器1編碼器編碼器2

4、譯碼器譯碼器1譯碼器譯碼器2S1S2R11R22R12R212S1S2S112221()(|)()(|)H SH SSH SH SS12121212()()(|)()(|)H S SH SH SSH SH SS若兩信源相關(guān)，則：兩個(gè)相關(guān)信源和信宿的模型：1S第20頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源信源S1信源信源S2編碼器編碼器1編碼器編碼器2譯碼器譯碼器S1S2R1R21S2S最有意義的一種最有意義的一種對(duì)于單信源，編碼信息率對(duì)于單信源，編碼信息率()RHS 對(duì)于兩用戶，編碼信息率對(duì)于兩用戶，編碼信息率1212()RRRHS S22112(),(|)RHSRHSS因此，只要因此，

5、只要這種這種S2所提供關(guān)于所提供關(guān)于S1的信息，或的信息，或S1 所提供所提供關(guān)于關(guān)于S2的信息，稱為的信息，稱為邊信息邊信息第21頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論編碼規(guī)則：信源S1輸出N長(zhǎng)的信源序列),(112111Nssss由編碼器（1）一一映射到整數(shù)集111,2,2NRM 而信源S2輸出N長(zhǎng)的信源序列221222(,)Nssss由編碼器（2）一一映射到整數(shù)集221,2,2NRM 編碼是分別獨(dú)立進(jìn)行的，編碼器輸出一對(duì)整數(shù)( , )i j其中 ，這對(duì)整數(shù)傳輸?shù)揭粋€(gè)共同的譯碼器，經(jīng)過(guò)譯碼重建信源序列21, ss212 , 1,2 , 1NRNRji第22頁(yè)/共44頁(yè)信息論與編碼第七章

6、 網(wǎng)絡(luò)信息論即，編碼函數(shù)為：212, 2 , 12, 2 , 1222111NRNNRNMSfMSf譯碼函數(shù)為：1212:NNgMMSS譯碼重建的平均譯碼錯(cuò)誤概率：),()(),(212211sssfsfgPPE第23頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論若存在一種壓縮編碼方法 ，使得 ),2,2(21NNRNREP任意小，則速率對(duì) 稱為可達(dá)速率對(duì)。12(,)RR所有可達(dá)速率對(duì)集合的閉包稱為可達(dá)速率域。相關(guān)信源編碼定理（SelpianWolf定理）：對(duì)于任意離散無(wú)記憶信源，所有的可達(dá)速率對(duì)滿足121122211221(,) :(|),(|),()RRRRH SSRH SSRRRH S S第

7、24頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論)(21SSH)(21SSH2( )H S1( )H S21(| )H S S12( |)H S S可達(dá)速率域R1R2R12112221122 1( ,):(|),(|),()RR RRH S SRH SSRRRH S S第25頁(yè)/共44頁(yè)定理證明思路：采用隨機(jī)編碼方法，譯碼規(guī)則為尋找對(duì)應(yīng)的典型序列對(duì)，當(dāng)R1和R2滿足定理?xiàng)l件時(shí)，當(dāng)N足夠大時(shí)，錯(cuò)誤概率將任意小。信息論與編碼第七章 網(wǎng)絡(luò)信息論自學(xué)嚴(yán)格證明。第26頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論相關(guān)信源編碼的逆定理：對(duì)于任意離散無(wú)記憶信源對(duì)，不滿足條件121122211221(,) :(|)

8、,(|),()RRRRH SSRH SSRRRH S S的任何速率對(duì)是不可達(dá)的。第27頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論證明思路：利用范諾不等式。自學(xué)嚴(yán)格證明第28頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論7.4 多址接入信道離散多址接入信道多址高斯接入信道第29頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源M1信源M2編碼器編碼器譯碼器121x2xy2f1f1 2( |)p y xx信道),(21假設(shè)信道離散無(wú)記憶，對(duì)信源符號(hào)序列進(jìn)行N長(zhǎng)編碼，有：1 2121( |)(|)Niiiip y xxp y x x 第30頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論信源1的消息集：12,2,

9、 11NRM信源2的消息集：221, 2,2NRM編碼函數(shù)：12111222:1,2,2:1,2,2NRNNRNfMXfMX譯碼函數(shù)：12:Ng YMM第31頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論假設(shè)消息獨(dú)立等概分布，則在其聯(lián)合空間上也是均勻分布的，即21MM121212111().22N RN RpMM 平均譯碼錯(cuò)誤概率為：121 2121212()()1( )()|()2EN R RM MPP g y第32頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論定理1：具有兩個(gè)發(fā)端的多址接入信道12121122211212()(,) :0(;|),0(;|),(;)C PPRRRI XYXRI XY

10、XRRI X XY1212,(|),XXp y x xY 其信道容量域由滿足下述凸殼的閉包給定：其中121122()()()P x xP xPx 第33頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論12(; )I X X Y12(; )I X X Y21(; |)I X Y X12(; |)I X Y X2(; )I X Y1(; )I X Y1R2R容量區(qū)ACDB012112121111211112( ; |)( ; )(|)(|)( )(| )( )(|)( )(| )(| )(|) 0I X Y XI X YH X XH X YXH XH X YH XH X YXH XH X YH X YH

11、 X YX當(dāng)兩信源獨(dú)立時(shí)：第34頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論對(duì)于多址接入高斯信道，設(shè)有m個(gè)發(fā)送端，每個(gè)輸入端的信號(hào)平均功率為 ，而信道干擾是均值為零，方差為 的高斯噪聲。信道輸出:iSP2n1miiYXZ1SP2SPnSP1X2XnX2(0,)nZNY第35頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論)|()|()|()|()|()|()|;(2121212122121221XXZhXZXhXXZXXhXZXXhXXYhXYhXYXI因Z與X1，X2統(tǒng)計(jì)獨(dú)立，而X1，X2也統(tǒng)計(jì)獨(dú)立，有：12121(; |)()( )1()log22nI X Y Xh XZh Zh XZe 因?yàn)槠骄?/p>

12、功率受限，正態(tài)分布的熵最大，所以有：112212211(; |)log2()log2221log(1)2SnnSnI X Y Xe PeP 第36頁(yè)/共44頁(yè)信息論與編碼第七章 網(wǎng)絡(luò)信息論由定理1可得：112212121211122()()22212()()1212122()()1max(;|)log(1)21max(;|)log(1)21max(; )log(1)2Sp xp xnSp xp xnSSp xp xnPRCI X Y XPRCI XY XPPRRCI X XY第37頁(yè)/共44頁(yè)12C1C121CC1R2RACDB0信息論與編碼第七章 網(wǎng)絡(luò)信息論E2C122CC121212221221log(1)21log(1)21log(1)2SnSnSSnPCPCPPC第38頁(yè)/共44頁(yè)7.5 中繼信道源節(jié)點(diǎn)S中繼節(jié)點(diǎn)R目的節(jié)點(diǎn) DXVWY信息的中繼傳輸分為兩種模式：第一種模式：信源發(fā)出信息到達(dá)R與D，這個(gè)階段稱為廣播階段模式（BC）；第二種模式，S，R都發(fā)消息給D，這是一種多址模式（MAC）。 第39頁(yè)/共44頁(yè)第40頁(yè)/共44頁(yè)u中繼協(xié)議：如果源和中繼共享其資源，則對(duì)于任何已知的編碼方案都有可能獲得最高的流量，這種共享協(xié)作策略被稱為中繼協(xié)議。u DF（Decodeand-Forwar