近代信息論第四章

1、近代信息論第四章第1頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三主要內(nèi)容第三節(jié)：編碼方法與平均錯(cuò)譯概率第四節(jié)： 漢明距離與編碼原則第五節(jié)：離散信道編碼定理第2頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三第三節(jié)：編碼方法與平均錯(cuò)譯概率recall0011輸入分布一定,給定信道,可選擇最大后驗(yàn)概率準(zhǔn)則使得誤碼率最小0.990.99譯碼準(zhǔn)則： F(0)=0; F(1)=1Pe=0.01 僅靠譯碼規(guī)則，一般Pe不能滿足要求一般通信要求solutionPe與信道及譯碼準(zhǔn)則有關(guān)，譯碼準(zhǔn)則潛力已挖盡，考慮通過編碼來改變信道特性。第3頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47

2、分，星期三例：對(duì)于X:0 1 二元信源 ,編碼：1111 0000 00110.990.99設(shè)等概輸入，采用最大似然準(zhǔn)則，即挑選每列中最大者來譯碼。譯碼規(guī)則：使：結(jié)論：可通過編碼來改變信道特征，使得最小誤碼率減小back第4頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三第四節(jié)： 漢明距離與編碼原則例：顯然，相當(dāng)于對(duì)應(yīng)位異或后求和第5頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三漢明距離與最大似然準(zhǔn)則的關(guān)系0011正確傳遞的概率錯(cuò)誤傳遞的概率第6頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三另一方面依據(jù)最大似然準(zhǔn)則，漢明距離最大似然準(zhǔn)則可表示為0p0.5第7頁(yè)

3、，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三最大似然準(zhǔn)則可表示為：當(dāng)即：漢明距離與最大似然準(zhǔn)則的關(guān)系時(shí)，有計(jì)算該準(zhǔn)則下的誤碼率：or第8頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三編碼原則在M個(gè)消息，碼長(zhǎng)N不變的前提下，在 個(gè)可能碼符號(hào)序列中，選M個(gè)作為碼字，不同的選法，有不同的 ，即不同的最小誤碼率。問題：如何選碼，使得最小誤碼率最小。第9頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三在 個(gè)可用碼符號(hào)序列中，選擇M個(gè)碼字，使得這M個(gè)碼字中任兩個(gè)不同碼字間的距離盡量大。編碼原則即：例：back第10頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三

4、第五節(jié)：離散信道編碼定理Shannon第二定理定理表述：證明設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量C，當(dāng)信道的信息傳輸率（碼率）RC時(shí)，只要碼長(zhǎng)N足夠長(zhǎng)，總可在輸入的集合中（含有 個(gè)長(zhǎng)為N的碼符號(hào)序列）找到 個(gè)碼字，分別代表M個(gè)等可能性的消息，組成一個(gè)碼以及相應(yīng)的譯碼規(guī)則，使信道輸出的平均誤碼率Pemin達(dá)到任意小。第11頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三證明設(shè)單符號(hào)錯(cuò)誤概率p(1|0)=p(0|1)=p(1)(2)示意圖第12頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三示意圖第13頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三譯碼方法

5、出錯(cuò)的原因于是， 第14頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三(3)由概率論及大數(shù)定理可遞推法證明因此：第15頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三(4)隨機(jī)編碼例：N=2, M=2,如果按隨機(jī)編碼，Pe需對(duì)所有 種碼取平均，方可得平均Pe第16頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三其中：(5)其中：第17頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三(6)二進(jìn)對(duì)稱信道：C=1-H(P)第18頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三(7)第19頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三(8)這時(shí)，以上為Shannon Theorem 2 的證明思路第20頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三離散信道編碼逆定理設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量C，若選用碼字個(gè)數(shù) 則，無論N多大，也不可能找到一種編碼，使得平均誤碼率Pemin達(dá)到任意小。證明：反證法第21頁(yè)，共23頁(yè)，2022年，5月20日，18點(diǎn)47分，星期三(2)代