信息理論基礎(chǔ) 第六章 有噪信道編碼

第六章有噪信道編碼需要掌握的內(nèi)容：譯碼規(guī)則與錯誤概率的關(guān)系平均差錯率與信道編碼的關(guān)系漢明距離有噪信道編碼定理線性分組碼第一節(jié)譯碼規(guī)則與錯誤譯碼概率0011信源（信源編碼，信道編碼）譯碼（信源譯碼，信道譯碼）信道信宿一.譯碼規(guī)則譯碼函數(shù)又稱譯碼規(guī)則

注意:譯碼規(guī)則是人為定的,對于同一個信道可有多個不同的譯碼規(guī)則

信道譯碼函數(shù)F是從輸出符號集合B到輸入符號集合A的映射定義0.80.20.10.9a1a2b1b2

例如：對于二元信道就可制定若干不同譯碼規(guī)則，如圖所示?！昂谩钡淖g碼規(guī)則的標準是：錯誤譯碼概率小譯碼正確---如果接收到bj，按

譯成aj*

，而輸入的剛好是aj*bj的譯碼正確概率為：

bj的譯碼錯誤概率為：二.錯誤譯碼概率

譯碼錯誤概率的統(tǒng)計平均稱為平均譯碼錯誤概率或平均差錯率，記為PePe與譯碼規(guī)則F有關(guān)

使Pe小的譯碼規(guī)則F是好的譯碼規(guī)則簡化Pe式為下面的形式：當輸入等概:上式可化為：例6-1：

參見下圖，假設(shè)P(a1)=0.4,分別求出4種譯碼規(guī)則所對應(yīng)的平均差錯率。0.80.20.10.9a1a2b1b2解：信道輸入概率矩陣和轉(zhuǎn)移矩陣分別為：

轉(zhuǎn)移矩陣各行元素乘以對應(yīng)的輸入概率，得聯(lián)合概率矩陣

譯碼規(guī)則F1對應(yīng)的平均差錯率為

其它譯碼規(guī)則對應(yīng)的平均差錯率分別為Pe(F2)=0.4 Pe(F3)=0.14 Pe(F4)=0.86四種規(guī)則相比，F(xiàn)3最好，F(xiàn)4最差第二節(jié)兩種典型的譯碼規(guī)則

一.最佳譯碼規(guī)則

平均差錯率Pe與譯碼規(guī)則有關(guān)，使Pe達到最小的譯碼規(guī)則——最佳譯碼規(guī)則。

可以看出：要減小Pe

，必須減小各個接收符號的譯碼錯誤概率，或者增大各個接收符號的譯碼正確概率。確定最佳譯碼規(guī)則的方法：該最佳譯碼規(guī)則稱為最大后驗概率譯碼規(guī)則最大后驗概率條件可等價為最大聯(lián)合概率條件,為什么呢?則最佳譯碼規(guī)則又可表示為：最佳譯碼規(guī)則又稱為最大聯(lián)合概率譯碼規(guī)則例6-2參見下圖，假設(shè)P(a1)=0.4，求最佳譯碼規(guī)則。

0.80.20.10.9a1a2b1b2解：例6-1已經(jīng)求出聯(lián)合概率矩陣，重寫為則最大聯(lián)合概率譯碼規(guī)則為：對應(yīng)的平均差錯概率：

——按最大轉(zhuǎn)移概率條件確定的譯碼規(guī)則例6-3：已知信道轉(zhuǎn)移矩陣，試確定譯碼規(guī)則。解：按轉(zhuǎn)移概率最大原則確定極大似然譯碼規(guī)則如下：

二、極大似然譯碼規(guī)則原因是：極大似然譯碼規(guī)則是按最大轉(zhuǎn)移概率條件確定的，即如果輸入等概，則

所以當信道輸入等概率時，極大似然譯碼規(guī)則是最佳的。提問:為什么?第三節(jié)信道編碼的編碼原則二元信源和二元對稱信道的模型如下圖所示

DMCX{a1,a2}Y{b1,b2}a1=0a2=1b1=0b2=11-p1-pp=0.01p=0.01DMSU{u1,u2}信源的熵為：H（U）=logM=1比特/符號信道容量為：C=log2-H(0.99,0.01)=0.92比特/符號由圖可知：信源與信道之間不加信道編碼，則由于信道輸入等概分布，則極大似然譯碼規(guī)則就是最佳譯碼規(guī)則，根據(jù)信道轉(zhuǎn)移矩陣確定極大似然譯碼規(guī)則為：平均差錯率為：提問：傳輸系統(tǒng)的Pe要求控制在10-6以下，而利用譯碼規(guī)則的Pe太高，如何降低平均差錯率呢？－－－信道編碼一.簡單重復編碼

對信源符號進行“重復2次”編碼:信道編碼f信道譯碼F“重復2次”編碼規(guī)則為

求出3次擴展信道的轉(zhuǎn)移矩陣按極大似然譯碼規(guī)則得譯碼函數(shù)

即：

譯碼差錯率為：結(jié)論：信道編碼降低平均錯誤率提問：信道編碼對信息傳輸速率有什么影響呢？

信道編碼，或稱為糾錯編碼，就是靠增加“冗余”碼元來克服或減輕噪聲影響的。結(jié)論：信道編碼降低了信道的信息傳輸率信道編碼之后的信息率或信道待傳的信息率為無信道編碼的信息率或信道待傳的信息率為

二.對符號串編碼(矢量編碼）例6-4：二元信源U，若取二元符號串“00，01，10，11”作為消息，則消息個數(shù)增加為M=4。提問：此時平均差錯率又發(fā)生怎樣的變化呢？結(jié)論：增加信源消息個數(shù)，可提高信道的信息傳輸率取碼長N=3，則編碼后的信息率為

R=(log4)/3=2/3比特/碼元碼長N=3，可供選擇的碼字為選擇以下編碼函數(shù)：

根據(jù)信道轉(zhuǎn)移矩陣確定極大似然譯碼規(guī)則為

則平均差錯率為：

結(jié)論：增加消息個數(shù)M與重復編碼相比，在提高信息率的同時會使平均差錯率增大。第四節(jié)漢明距離兩個等長符號序列x和y之間的漢明距離，記為D(x,y)，是x與y之間對應(yīng)位置上不同符號的個數(shù)。解：求漢明距離：

D(x,z)=2;D(y,z)=3因此，z與x的相似程度高于與y的相似程度一.定義例6-5：x=100111,y=111000,z=111111,比較z與x和y的相似程度。X和Y是二元序列，記為

是等長碼，則C中任意兩個不同碼字之間的漢明距離或碼間距離為碼C的最小碼間距離定義為二元對稱信道，可以根據(jù)漢明距離來決定譯碼規(guī)則

假如有一個信源有M個消息二元對稱信道的輸入符號集和輸出符號集分別為A={0，1}和B={0，1}。其N次擴展信道的輸入符號集和輸出符號集分別為：經(jīng)N次擴展信道傳送之后，按極大似然譯碼規(guī)則進行譯碼記N長二元符號串為

由信道無記憶可知轉(zhuǎn)移概率為碼元錯誤概率為p，正確概率為

則有：極大似然譯碼規(guī)則等價為最小漢明距離譯碼規(guī)則

最小距離譯碼規(guī)則可在一般信道中采用，但不一定與極大似然譯碼規(guī)則等價，只有對于二元對稱信道，它才與極大似然譯碼規(guī)則等價，并且當輸入等概時是最佳的。

對于二元對稱信道，若輸入等概，無論用什么規(guī)則確定譯碼函數(shù)，與之對應(yīng)的平均差錯率都可用漢明距離表示：

結(jié)論：第五節(jié)有噪信道編碼定理一.正定理（香農(nóng)第二定理）若信道是離散、無記憶、平穩(wěn)的，且信道容量為C，只要待傳送的信息率R<C，就一定能找到一種信道編碼方法，使得碼長足夠大時，平均差錯率任意接近于零。二.逆定理若信道是離散、無記憶、平穩(wěn)的，且信道容量為C，只要待傳送的信息率R>C，就一定找不到一種信道編碼方法，使得碼長足夠大時，平均差錯率任意接近于零。

信道編碼定理告訴我們：R<C時，通過編碼可使平均差錯率逼近零；逆定理則說明：R>C時，無論如何編碼，都不可能使平均差錯綠逼近零。因此，信道容量C是確?？煽啃詡鬏?shù)男畔鬏斅实纳舷蕖５诹?jié)糾錯編碼

一.糾錯碼分類（1）根據(jù)信道中的干擾類型，糾錯碼分為：

反向重傳糾錯檢錯編碼檢錯譯碼信道CmR反饋前向糾錯糾錯編碼糾錯譯碼信道CmR混合糾錯（2）根據(jù)不同的分組方式及隨后的映射關(guān)系，糾錯碼分為：分組碼:先將信息序列分成K個符號一組，稱為信息組，然后在信息組中加入一些校驗碼元組成N長碼字，該碼稱為（N，K）分組碼。（N，K）分組碼中的任一碼字的碼長為N，信息位數(shù)為K，校驗位數(shù)為n-k。樹碼:信息序列以每K個碼元分段，編碼器輸出該段的校驗碼元不僅與本段的K個信息碼元有關(guān)，而且還與前面若干段的信息碼元有關(guān)(3)根據(jù)信息碼元與校驗碼元之間是否存在線性關(guān)系，糾錯碼分為：

線性碼:非線性碼:線性碼的校驗碼元是若干信息碼元的線性組合。線性碼具有很好的數(shù)學結(jié)構(gòu)，編譯碼比較簡單，性能優(yōu)于具有同樣糾錯能力的非線性碼非線性碼的校驗碼元與信息碼元不滿足線性關(guān)系1.生成矩陣和校驗矩陣

二.線性分組碼有（5，2）分組碼,設(shè)

,其中為信息碼元，為校驗碼元假設(shè)校驗碼元由下列方程組得到,其中表示模2加.

方程組改寫成矩陣形式有:

令則:式中H稱為一致校驗矩陣

為維的單位陣維的一般矩陣為校驗矩陣與碼字具有正交性

可知:由校驗方程可改寫為:

令，則上述方程組可用