信息論基礎聯(lián)合信源信道編碼定理

信息論基礎聯(lián)合信源信道編碼定理1第一頁，共四十六頁，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼2第二頁，共四十六頁，編輯于2023年，星期二定理的提出

通信的實質是信息的傳輸！3第三頁，共四十六頁，編輯于2023年，星期二將信源信息通過信道傳送給信宿．怎樣才能既做到盡可能不失真而又快速呢?定理的提出需要解決兩個問題：在不失真或允許一定失真條件下，如何用盡可能少的符號來傳送信源信息，以便提高信息傳輸率；

在信道受干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大.4第四頁，共四十六頁，編輯于2023年，星期二香農第一定理：要進行無失真數(shù)據壓縮，必須R′>H；定理的提出5第五頁，共四十六頁，編輯于2023年，星期二香農第二定理：要在信道中可靠地傳輸數(shù)據，必須C>R；定理的提出6第六頁，共四十六頁，編輯于2023年，星期二香農第一定理：要進行無失真數(shù)據壓縮，必須R′>H；香農第二定理：要在信道中可靠地傳輸數(shù)據，必須C>R；問題：若信源通過信道傳輸，要做到有效且可靠地傳輸，是否必須有C>H?定理的提出兩步編碼7第七頁，共四十六頁，編輯于2023年，星期二定理的提出一步編碼方案！8第八頁，共四十六頁，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼9第九頁，共四十六頁，編輯于2023年，星期二聯(lián)合信源—信道編碼定理設U1、U2、…是取值于有限字母表Ц的無記憶信源，有熵率H(Ц);[?,Q(y|x),?]為無記憶信道，有信道容量C.（a）若H(U)<C，則對任ε>0，存在復(聯(lián))合信源—信道碼(f,g)使Pe(n)<ε;（b）反之若H(U)>C，則Pe(n)>0.

10第十頁，共四十六頁，編輯于2023年，星期二證明：弱典型序列的性質聯(lián)合信源—信道編碼定理11第十一頁，共四十六頁，編輯于2023年，星期二12第十二頁，共四十六頁，編輯于2023年，星期二熵率的定義

熵、條件熵與互信息的關系

法諾不等式

信道容量的定義13第十三頁，共四十六頁，編輯于2023年，星期二定理表明使用一步編碼方案可以使通信的誤差概率任意小.對于同一個通信系統(tǒng)，現(xiàn)在有兩種數(shù)據處理方案.

說明14第十四頁，共四十六頁，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼15第十五頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼用盡可能少的信道符號來表達信源，以減少編碼后的數(shù)據的剩余度.16第十六頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼對信源編碼后的數(shù)據適當增加一些剩余度，使能糾正和克服信道中引起的錯誤和干擾.

17第十七頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼思考:

在有噪信道中，當H<C時，用兩步編碼與一步

編碼的處理方法傳輸信源信息均可使得誤差概

率任意小.

對于給定的通信系統(tǒng)進行編碼時，應該傾向于

那種編碼方案？18第十八頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼近代大多數(shù)通信系統(tǒng)都是數(shù)字通信系統(tǒng).實際數(shù)字通信系統(tǒng)中，信道多是共同公用的二元數(shù)字信道.將語音、圖像等首先數(shù)字化，再對數(shù)字化的信源進行不同的信源編碼?針對各自信源的不同特點，用最有效的二元碼進行數(shù)據壓縮；19第十九頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼信道輸入端只是一系列二元碼?信道編碼只需針對信道特性進行，不用考慮信源的特性；以糾正信道帶來的錯誤，做到有效又可靠地傳輸信息.大大降低通信系統(tǒng)設計的復雜度！20第二十頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼經典的無線通信系統(tǒng)是將信源編碼和信道編碼分別進行的。信源編碼主要考慮信源的統(tǒng)計特性，信道編碼主要考慮信道的統(tǒng)計特性。

優(yōu)點是設計簡單、通用性好，可以分別形成標準。

缺點是沒有充分利用各自的優(yōu)勢，因而不是最佳的。

無線系統(tǒng)的信源編碼由于壓縮比很高，對差錯十分敏感；而信道編碼面臨十分惡劣的傳播環(huán)境，但提供的帶寬冗余度很小。

在這種背景下，需要將信源編碼和信道編碼綜合考慮。這就是聯(lián)合編碼的基本思路。

在無線多媒體通信中，聯(lián)合編碼是抗衰落的一種十分有效的措施。

21第二十一頁，共四十六頁，編輯于2023年，星期二兩步編碼與一步編碼國內主要研究方向（以博士畢業(yè)論文為例）：《基于Turbo碼的聯(lián)合信源信道編譯碼方法研究

》——中國科學院研究生院（2008）

《誤碼環(huán)境下的視頻信源信道編碼理論與技術研究

》《無線信道中的聯(lián)合信源信道編碼研究

》——西安電子科技大學（2006）

《信源信道聯(lián)合解碼算法研究及其在語音傳輸中的應用

》——東南大學（2005）《無線圖像傳輸中的聯(lián)合信源信道編碼研究

》——上海交通大學（2007）《實現(xiàn)復雜度控制的信源信道聯(lián)合編碼研究

》——華中科技大學（2005）1993年法國教授Berrou、Glavieux和其緬甸籍博士生Thitimajshima在ICC會議提出；全球3G標準：WCDMA、TD-SCDMA和CDMA2000均使用了Turbo碼

22第二十二頁，共四十六頁，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼23第二十三頁，共四十六頁，編輯于2023年，星期二展望提高信息傳輸?shù)目煽啃院陀行?，始終是通信工作所追求的目標；近幾節(jié)課掌握的幾個編碼定理，已經明確指出在一定條件下總存在簡單、有效編、譯的“好碼”.但是，都沒有給出這類好碼的編、譯方法.24第二十四頁，共四十六頁，編輯于2023年，星期二4.6線性分組碼

基礎知識線性分組碼的基本概念線性分組碼的譯碼漢明碼的編碼與譯碼25第二十五頁，共四十六頁，編輯于2023年，星期二基礎知識線性分組碼的基本概念線性分組碼的譯碼漢明碼的編碼與譯碼4.6線性分組碼26第二十六頁，共四十六頁，編輯于2023年，星期二4.6線性分組碼基礎知識抽象代數(shù)基礎線性代數(shù)基礎27第二十七頁，共四十六頁，編輯于2023年，星期二4.6線性分組碼基礎知識抽象代數(shù)基礎線性代數(shù)基礎28第二十八頁，共四十六頁，編輯于2023年，星期二一、群

定義設G是非空集合，并在G內定義了一種代數(shù)運算，若滿足：(1)封閉性：對任意a、b∈G，恒有a°b∈G；(2)結合律：對任意a、b∈G，有(a°b)°c=a°(b°c)；(3)存在單位元e：對任意a∈G，有e∈G，使a°e=e°a=a；(4)對任意a∈G，存在有a的逆元a-1∈G，使a°a-1=a-1°a=e則稱G構成一個群.

29第二十九頁，共四十六頁，編輯于2023年，星期二定義中，G的運算“°”可以是通常的乘法或加法：若為乘法，則單位元記為1；若為加法，則單位元記為0；a的逆元記為-a.群中元素的個數(shù)，稱為群的階：若群中元素個數(shù)有限，稱為有限群；否則，稱無限群.若G的運算“°”滿足交換律，稱G為Abel群.30第三十頁，共四十六頁，編輯于2023年，星期二例G1：整數(shù)全體，按通常加法構成群，這是一個無限群.

例G2：二元集{0,1}，對其上定義的模2加法,構成一個群.

31第三十一頁，共四十六頁，編輯于2023年，星期二二、域域在編碼理論中起著關鍵作用；域是定義了兩種代數(shù)運算的系統(tǒng).

定義非空元素集合F，若在F中定義了加和乘兩種運算，且滿足下述公理：32第三十二頁，共四十六頁，編輯于2023年，星期二(1)F關于加法構成阿貝爾群，其加法單位元記為0；(2)F中非零元素全體對乘法構成阿貝爾群.

其乘法單位元記為1；(3)

滿足分配律：a(b+c)=ab+ac(b+c)a=ba+ca則稱F是一個域.33第三十三頁，共四十六頁，編輯于2023年，星期二例F1

實數(shù)全體對加法、乘法構成域，稱為實數(shù)域.例F20、1兩個元素按模2加和模2乘構成域.該域中只有兩個元素，記為GF(2).有限域34第三十四頁，共四十六頁，編輯于2023年，星期二4.6線性分組碼基礎知識抽象代數(shù)基礎線性代數(shù)基礎35第三十五頁，共四十六頁，編輯于2023年，星期二一、線性空間定義如果域F上的n重元素集合V滿足下述條件時：(1)V關于加法構成阿貝爾群；(2)對V中任何元素v和F中任何元素c，cv∈V.稱V中元素v為矢量(向量)，F(xiàn)中元素c為純量或標量，稱乘c運算為數(shù)乘；36第三十六頁，共四十六頁，編輯于2023年，星期二(3)分配律成立，對任何u，v∈V，c，d∈F恒有：

c(u+v)=cu+cv

(c+d)v=cv+dv(4)若c，d∈F

，v∈V，有：

(cd)v=c(dv)，1·v=v，1∈F則稱V是域F上的一個n維線性空間或矢量空間，一般用VFn表示.37第三十七頁，共四十六頁，編輯于2023年，星期二例L1實數(shù)域R上的n重數(shù)組全體：{(x1，x2，…，xn)；xi∈R}組成一線性空間VRn.例L2GF(2)上的n重數(shù)組全體：{xn=(x1，x2，…，xn)；xi∈GF(2)}是一線性空間GF(2)n.n維向量空間38第三十八頁，共四十六頁，編輯于2023年，星期二定義設x1，x2，…，xk是線性空間V中的一組非全零向量，當且僅當存在有一組不全為零的數(shù)c1，c2，…，ck(ci∈F；i=1，2，…，k)使

c1x1+c2x2+…+ckxk=0成立時，則稱這組向量線性相關；否則，稱這組向量線性無關.39第三十九頁，共四十六頁，編輯于2023年，星期二

定義線性空間V中的每一向量，如果可以由其中的一組向量集S′中的向量線性組合生成，則說S′生成了