信息論與編碼-第六章1

信道編碼-有擾離散信道的編碼定理信道編碼的初步認(rèn)識編碼規(guī)則碼字

C=(c0,c1,…,cn-1),其中ci(i=0,1,2,…,n-1)稱碼元，對于二進(jìn)制有

ci

∈{0，1}差錯符號差錯比特信道編碼-有擾離散信道的編碼定理差錯圖樣E=發(fā)碼C-收碼RmodM對于二進(jìn)制E=C⊕R=C+R或C=R+E差錯圖樣的類型:隨機(jī)差錯突發(fā)差錯信道編碼-有擾離散信道的編碼定理

差錯控制方式前向糾錯（FEC）、檢錯重發(fā)（ARQ）和混合糾錯（HEC）是常用的三種差錯控制方式。圖是這三種方式構(gòu)成的差錯控制系統(tǒng)原理框圖。圖三種差錯控制方式示意圖信道編碼-有擾離散信道的編碼定理在前向糾錯(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯誤的碼，然后通過信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過譯碼能自動發(fā)現(xiàn)并糾正因傳輸帶來的數(shù)據(jù)錯誤。在前向糾錯(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯誤的碼，然后通過信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過譯碼能自動發(fā)現(xiàn)并糾正因傳輸帶來的數(shù)據(jù)錯誤。前向糾錯方式只要求單向信道，因此特別適合于只能提供單向信道的場合，同時也適合一點(diǎn)發(fā)送多點(diǎn)接收的廣播方式。因?yàn)椴恍枰獙Πl(fā)信端反饋信息，所以接收信號的延時小、實(shí)時性好。在前向糾錯(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯誤的碼，然后通過信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過譯碼能自動發(fā)現(xiàn)并糾正因傳輸帶來的數(shù)據(jù)錯誤。前向糾錯方式只要求單向信道，因此特別適合于只能提供單向信道的場合，同時也適合一點(diǎn)發(fā)送多點(diǎn)接收的廣播方式。因?yàn)椴恍枰獙Πl(fā)信端反饋信息，所以接收信號的延時小、實(shí)時性好。這種糾錯系統(tǒng)的缺點(diǎn)是設(shè)備復(fù)雜、成本高，且糾錯能力愈強(qiáng)，編譯碼設(shè)備就愈復(fù)雜。

檢錯重發(fā)(ARQ)系統(tǒng)的發(fā)信端將信息碼編成能夠檢錯的碼組發(fā)送到信道，收信端收到一個碼組后進(jìn)行檢驗(yàn)，將檢驗(yàn)結(jié)果（有誤碼或者無誤碼）通過反向信道反饋給發(fā)信端作為對發(fā)信端的一個應(yīng)答信號。發(fā)信端根據(jù)收到的應(yīng)答信號做出是繼續(xù)發(fā)送新的數(shù)據(jù)還是把出錯的數(shù)據(jù)重發(fā)的判斷。檢錯重發(fā)(ARQ)系統(tǒng)的發(fā)信端將信息碼編成能夠檢錯的碼組發(fā)送到信道，收信端收到一個碼組后進(jìn)行檢驗(yàn)，將檢驗(yàn)結(jié)果（有誤碼或者無誤碼）通過反向信道反饋給發(fā)信端作為對發(fā)信端的一個應(yīng)答信號。發(fā)信端根據(jù)收到的應(yīng)答信號做出是繼續(xù)發(fā)送新的數(shù)據(jù)還是把出錯的數(shù)據(jù)重發(fā)的判斷。檢錯重發(fā)系統(tǒng)根據(jù)工作方式又可分為三種，即停發(fā)等候重發(fā)系統(tǒng)、返回重發(fā)系統(tǒng)和選擇重發(fā)系統(tǒng)，如圖8―3所示。在圖8―3（a）中，發(fā)信端在t=0時刻將碼組1發(fā)給收信端，然后停止發(fā)送，等待收信端的應(yīng)答信號。收信端收到該碼組并檢驗(yàn)后，將應(yīng)答信號ACK發(fā)回發(fā)信端，發(fā)信端確認(rèn)碼組1無錯，就將碼組2發(fā)送出來；收信端對碼組2進(jìn)行檢驗(yàn)后，收信端判斷該碼組有錯并以NAK信號告知發(fā)信端，發(fā)信端將碼組2重新發(fā)送一次，收信端第二次收到碼組2經(jīng)檢驗(yàn)后無錯，即可通過ACK信號告訴發(fā)信端無錯，發(fā)信端接著發(fā)送碼組3……從上述過程中可見，發(fā)信端由于要等收信端的應(yīng)答信號，發(fā)送過程是間歇式的，因此數(shù)據(jù)傳輸效率不高。但由于該系統(tǒng)原理簡單，在計(jì)算機(jī)通信中仍然得到應(yīng)用。圖8―3檢錯重發(fā)的三種工作方式返回重發(fā)系統(tǒng)的工作原理如圖8―3（b）所示，在這種系統(tǒng)中發(fā)信端不停頓地發(fā)送信息碼組，不再等候ACK信號，如果收信端發(fā)現(xiàn)錯誤并發(fā)回NAK信號，則發(fā)信端從下一個碼組開始重發(fā)前一段N個碼組，N的大小取決于信號傳輸和處理所造成的延時，也就是發(fā)信端從發(fā)錯誤碼組開始，到收到NAK信號為止所發(fā)出的碼組個數(shù)，圖中N=5。收信端收到碼組2有錯。發(fā)信端在碼組6后重發(fā)碼組2、3、4、5、6，收信端重新接收，圖中碼組4連續(xù)兩次出錯，發(fā)信端重發(fā)兩次。這種返回重發(fā)系統(tǒng)的傳輸效率比停發(fā)等候系統(tǒng)有很大改進(jìn)，在很多數(shù)據(jù)傳輸系統(tǒng)中得到應(yīng)用。圖8―3（c）描述選擇重發(fā)系統(tǒng)的工作過程：這種重發(fā)系統(tǒng)也是連續(xù)不斷地發(fā)送碼組，收信端檢測到錯誤后發(fā)回NAK信號，但是發(fā)信端不是重發(fā)前N個碼組，而是只重發(fā)有錯誤的那一組。圖中顯示發(fā)信端只重發(fā)收信端檢出有錯的碼組2，對其它碼組不再重發(fā)。收信端對已認(rèn)可的碼組，從緩沖存儲器讀出時重新排序，恢復(fù)出正常的碼組序列。顯然，選擇重發(fā)系統(tǒng)傳輸效率最高，但價格也最貴，因?yàn)樗筝^為復(fù)雜的控制，在收、發(fā)兩端都要求有數(shù)據(jù)緩存器。

混合糾錯方式是前向糾錯方式和檢錯重發(fā)方式的結(jié)合。如圖8―2（c）所示。其內(nèi)層采用FEC方式，糾正部分差錯；外層采用ARQ方式，重傳那些雖已檢出但未糾正的差錯。混合糾錯方式在實(shí)時性和譯碼復(fù)雜性方面是前向糾錯和檢錯重發(fā)方式的折衷，較適合于環(huán)路延遲大的高速數(shù)據(jù)傳輸系統(tǒng)。信道編碼-有擾離散信道的編碼定理差錯控制編碼分類根據(jù)編碼方式和不同的衡量標(biāo)準(zhǔn)，差錯控制編碼有多種形式和類別。下面我們簡單地介紹幾種主要分類。信道編碼-有擾離散信道的編碼定理差錯控制編碼分類根據(jù)編碼方式和不同的衡量標(biāo)準(zhǔn)，差錯控制編碼有多種形式和類別。下面我們簡單地介紹幾種主要分類。(1)根據(jù)編碼功能可分為檢錯碼、糾錯碼和糾刪碼三種類型。只能完成檢錯功能的叫檢錯碼；具有糾錯能力的叫糾錯碼；而糾刪碼既可檢錯也可糾錯。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗(yàn)關(guān)系可以分為線性碼和非線性碼。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗(yàn)關(guān)系可以分為線性碼和非線性碼。若信息碼元與監(jiān)督碼元之間的關(guān)系為線性關(guān)系，即監(jiān)督碼元是信息碼元的線性組合，則稱為線性碼。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗(yàn)關(guān)系可以分為線性碼和非線性碼。若信息碼元與監(jiān)督碼元之間的關(guān)系為線性關(guān)系，即監(jiān)督碼元是信息碼元的線性組合，則稱為線性碼。反之，若兩者不存在線性關(guān)系，則稱為非線性碼。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。在分組碼中，編碼前先把信息序列分為k位一組，然后用一定規(guī)則附加m位監(jiān)督碼元，形成n=k+m位的碼組。監(jiān)督碼元僅與本碼組的信息碼元有關(guān)，而與其它碼組的信息碼元無關(guān)。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。在分組碼中，編碼前先把信息序列分為k位一組，然后用一定規(guī)則附加m位監(jiān)督碼元，形成n=k+m位的碼組。監(jiān)督碼元僅與本碼組的信息碼元有關(guān)，而與其它碼組的信息碼元無關(guān)。但在卷積碼中，碼組中的監(jiān)督碼元不但與本組信息碼元有關(guān)，而且與前面碼組的信息碼元也有約束關(guān)系，就像鏈條那樣一環(huán)扣—環(huán)；所以卷積碼又稱連環(huán)碼或鏈碼。(4)系統(tǒng)碼與非系統(tǒng)碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對比較簡單，因此得到廣泛應(yīng)用。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對比較簡單，因此得到廣泛應(yīng)用。(5)糾正隨機(jī)錯誤碼和糾正突發(fā)錯誤碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對比較簡單，因此得到廣泛應(yīng)用。(5)糾正隨機(jī)錯誤碼和糾正突發(fā)錯誤碼。顧名思義，前者用于糾正因信道中出現(xiàn)的隨機(jī)獨(dú)立干擾引起的誤碼，后者主要對付信道中出現(xiàn)的突發(fā)錯誤。信道編碼-有擾離散信道的編碼定理從上述分類中可以看到，一種編碼可以具有多樣性，本章主要介紹糾正隨機(jī)錯誤的二進(jìn)制線性分組碼。信道編碼-有擾離散信道的編碼定理碼空間信息空間2k碼空間2kn-維n-重矢量空間2n碼的平均特性、碼的性能限信道編碼-有擾離散信道的編碼定理有擾離散信道的編碼定理隨機(jī)編碼考慮一個DMC信道，其輸入符號集為輸出符號集為轉(zhuǎn)移概率矩陣為

即輸入為q元，輸出為Q元。信道編碼-有擾離散信道的編碼定理對其輸入進(jìn)行分組編碼，編碼方式是每K個輸入信源符號一組，編成N個符號的碼，叫做（N，K）分組編碼器。如圖所示。(N,K)分組編碼器DMC信道消息組m信道編碼-有擾離散信道的編碼定理碼字可看成是一個N維矢量，設(shè)想有一個N維的矢量空間，每一個碼字可以認(rèn)為是該矢量空間的一個點(diǎn)。信道編碼-有擾離散信道的編碼定理碼字可看成是一個N維矢量，設(shè)想有一個N維的矢量空間，每一個碼字可以認(rèn)為是該矢量空間的一個點(diǎn)。由于每維有q個取值，故該矢量空間中總的點(diǎn)數(shù)為信道編碼-有擾離散信道的編碼定理碼字可看成是一個N維矢量，設(shè)想有一個N維的矢量空間，每一個碼字可以認(rèn)為是該矢量空間的一個點(diǎn)。由于每維有q個取值，故該矢量空間中總的點(diǎn)數(shù)為而碼字由K個q進(jìn)制符號組成，故碼字總數(shù)為信道編碼-有擾離散信道的編碼定理碼字可看成是一個N維矢量，設(shè)想有一個N維的矢量空間，每一個碼字可以認(rèn)為是該矢量空間的一個點(diǎn)。由于每維有q個取值，故該矢量空間中總的點(diǎn)數(shù)為而碼字由K個q進(jìn)制符號組成，故碼字總數(shù)為所謂編碼，就是要在Z個N維空間點(diǎn)中，選擇M個作為碼字，不同的選取方法，可能會得到不同的誤碼率。信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率已經(jīng)說過，所謂編碼就是要在Z個N維空間點(diǎn)中選取M個作為碼字。信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率已經(jīng)說過，所謂編碼就是要在Z個N維空間點(diǎn)中選取M個作為碼字。如果不要求一一對應(yīng)，則共有ZM種不同的選取方法，在這些選取方法中，有的方法選取的結(jié)果會使得誤碼率比較低，有的可能比較高。那么，誤碼率的上界是多少呢？信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率已經(jīng)說過，所謂編碼就是要在Z個N維空間點(diǎn)中選取M個作為碼字。如果不要求一一對應(yīng)，則共有ZM種不同的選取方法，在這些選取方法中，有的方法選取的結(jié)果會使得誤碼率比較低，有的可能比較高。那么，誤碼率的上界是多少呢？由于共有ZM種不同的選取方法，故每一種選取方法的出現(xiàn)概率為1/ZM，即信道編碼-有擾離散信道的編碼定理其中，為某種選擇方法得到的碼集。信道編碼-有擾離散信道的編碼定理其中，為某種選擇方法得到的碼集。設(shè)與這種選擇相對應(yīng)的誤碼率為，則全部碼集的平均誤碼率為信道編碼-有擾離散信道的編碼定理那么，的上界是多少呢？信道編碼-有擾離散信道的編碼定理那么，的上界是多少呢？設(shè)有某一個碼字，經(jīng)DMC信道傳輸后，在輸出端變成接收碼字，則譯碼后的誤碼率是信道編碼-有擾離散信道的編碼定理那么，的上界是多少呢？設(shè)有某一個碼字，經(jīng)DMC信道傳輸后，在輸出端變成接收碼字，則譯碼后的誤碼率是其中，信道編碼-有擾離散信道的編碼定理這就意味著，當(dāng)發(fā)碼字而收到r的概率大于發(fā)任何其他碼字而收到r的概率時，則令因?yàn)榇藭r通過最優(yōu)譯碼可以做到正確譯碼；信道編碼-有擾離散信道的編碼定理這就意味著，當(dāng)發(fā)碼字而收到r的概率大于發(fā)任何其他碼字而收到r的概率時，則令因?yàn)榇藭r通過最優(yōu)譯碼可以做到正確譯碼；反之，則令因?yàn)榇藭r不能正確譯碼。信道編碼-有擾離散信道的編碼定理這就意味著，當(dāng)發(fā)碼字而收到r的概率大于發(fā)任何其他碼字而收到r的概率時，則令因?yàn)榇藭r通過最優(yōu)譯碼可以做到正確譯碼；反之，則令因?yàn)榇藭r不能正確譯碼。而一定滿足不等式信道編碼-有擾離散信道的編碼定理上式可以根據(jù)和兩種情況分別加以驗(yàn)證。信道編碼-有擾離散信道的編碼定理上式可以根據(jù)和兩種情況分別加以驗(yàn)證。將上式代入誤碼率公式，于是有信道編碼-有擾離散信道的編碼定理這個不等式叫做Gallager界，它指出了碼字的誤碼上界，是Gallager在1965年推導(dǎo)出來的。信道編碼-有擾離散信道的編碼定理這個不等式叫做Gallager界，它指出了碼字的誤碼上界，是Gallager在1965年推導(dǎo)出來的。如果該誤碼上界等于零或者足夠小，則我們可以說，總有一些編碼方法，能夠使誤碼足夠小。這就是香農(nóng)第二定理。信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個碼字時，誤碼率的上界，即Gallager界。信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個碼字時，誤碼率的上界，即Gallager界。由于輸入端發(fā)送的碼字有多種可能，則由Gallager界，可以推導(dǎo)出其平均誤碼率的上界，為信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個碼字時，誤碼率的上界，即Gallager界。由于輸入端發(fā)送的碼字有多種可能，則由Gallager界，可以推導(dǎo)出其平均誤碼率的上界，為其中，N是碼字長度，E(R)是叫做DMC信道的可靠性函數(shù)信道編碼-有擾離散信道的編碼定理E(R)定義為信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，是可能的信息組合數(shù)，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，是可能的信息組合數(shù)，N是每碼字的碼元數(shù)，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，是可能的信息組合數(shù)，N是每碼字的碼元數(shù)，R表示每碼元攜帶的信息量，所以稱作碼率（或傳信率）。信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大，就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大，就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。其中的定義為信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大，就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。其中的定義為也就是說，是以修正因子及輸入符號概分布矢量為自變量的一個函數(shù)。信道編碼-有擾離散信道的編碼定理由于E(R)是對取極大值，所以一定有信道編碼-有擾離散信道的編碼定理由于E(R)是對取極大值，所以一定有即信道編碼-有擾離散信道的編碼定理與的關(guān)系曲線如下面左圖所示，因此可得到R與的關(guān)系曲線，如下面右圖所示。011RC信道編碼-有擾離散信道的編碼定理考察E(R)與R的關(guān)系，由E(R)的定義式，可得信道編碼-有擾離散信道的編碼定理考察E(R)與R的關(guān)系，由E(R)的定義式，可得即E(R)和R之間的關(guān)系曲線的斜率為，如下圖E(R)RC0信道編碼-有擾離散信道的編碼定理E(R)RC0R從0~的一段，由于此時ρ恒為1，所以是一條直線，信道編碼-有擾離散信道的編碼定理E(R)RC0R從0~的一段，由于此時ρ恒為1，所以是一條直線，而在R從~C這一段，由于ρ從1逐漸減小至0，所以變成了一條曲線，各點(diǎn)處的斜率對應(yīng)于該點(diǎn)處的-ρ，信道編碼-有擾離散信道的編碼定理E(R)RC0R從0~的一段，由于此時ρ恒為1，所以是一條直線，而在R從~C這一段，由于ρ從1逐漸減小至0，所以變成了一條曲線，各點(diǎn)處的斜率對應(yīng)于該點(diǎn)處的-ρ，當(dāng)R=C時，，所以此時的E(R)=0。信道編碼-有擾離散信道的編碼定理由此可以得到有擾離散信道的信道編碼定理：信道編碼-有擾離散信道的編碼定理由此可以得到有擾離散信道的信道編碼定理：設(shè)離散無記憶信道為[X,P(y/x),Y]，其信道容量為C。當(dāng)信息傳輸率R<C時，只要碼長N足夠大，就一定存在一種編碼方法，使譯碼的錯誤概率任意?。ǎ?。信道編碼-有擾離散信道的編碼定理這是因?yàn)槠骄`碼率上界為也就是說，一定有一些編碼方法，其譯碼誤碼率滿足由于當(dāng)R<C時，E(R)>0，所以只要N足夠大，則可以足夠小。信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理：信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理：設(shè)離散無記憶信道為[X,P(y/x),Y]，其信道容量為C。當(dāng)信息傳輸率R>C時，無論碼長N多長，總也找不到一種編碼方法，使譯碼的錯誤概率任意小。信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理：設(shè)離散無記憶信道為[X,P(y/x),Y]，其信道容量為C。當(dāng)信息傳輸率R>C時，無論碼長N多長，總也找不到一種編碼方法，使譯碼的錯誤概率任意小。這兩個定理常常被寫在一起，統(tǒng)稱為有擾信道或噪聲信道的信道編碼定理。信道編碼-有擾離散信道的編碼定理香農(nóng)第二定理也只是一個存在定理，它只說明錯誤概率趨于零的好碼是存在的。但并沒有給出具體的編碼方法。信道編碼-有擾離散信道的編碼定理香農(nóng)第二定理也只是一個存在定理，它只說明錯誤概率趨于零的好碼是存在的。但并沒有給出具體的編碼方法。因此，在1948年香農(nóng)發(fā)表文章后，科學(xué)家們致力于各種編碼方法的實(shí)現(xiàn)，出現(xiàn)了代數(shù)編碼、卷積碼、循環(huán)碼等等。信道編碼-有擾離散信道的編碼定理香農(nóng)第二定理也只是一個存在定理，它只說明錯誤概率趨于零的好碼是存在的。但并沒有給出具體的編碼方法。因此，在1948年香農(nóng)發(fā)表文章后，科學(xué)家們致力于各種編碼方法的實(shí)現(xiàn)，出現(xiàn)了代數(shù)編碼、卷積碼、循環(huán)碼等等。下面我們將在分析差錯控制的基本原理之后，來介紹這些編碼方法。信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑下面我們從前面我們推導(dǎo)的誤碼率公式以及信息論的基本理論兩個方面來討論。

信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑下面我們從前面我們推導(dǎo)的誤碼率公式以及信息論的基本理論兩個方面來討論。1.從公式分析信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑下面我們從前面我們推導(dǎo)的誤碼率公式以及信息論的基本理論兩個方面來討論。1.從公式分析由誤碼率的上界公式信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長N信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C右圖是不同信道容量下，E(R)~R關(guān)系曲線?？梢钥闯?，在同樣的信息率R的情況下，C大則E(R)也大。E(R)RC1C2R1R2R1<R2C1<C2信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對于帶限波形信道，有信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W

信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W有線：架空明線對稱電纜同軸電纜光纖

信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W有線：架空明線對稱電纜同軸電纜光纖無線：中波短波超短波毫米波微米波光波信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率：提高發(fā)射功率、提高天線增益、全向天線改定向天線等。信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率（iii）降低噪聲功率信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率（iii）降低噪聲功率：采用低噪聲器件、濾波等。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R對于（N，K）分組碼，碼率R=Klogq/N，要減小碼率R，方法有：信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R對于（N，K）分組碼，碼率R=Klogq/N，要減小碼率R，方法有：（i）q、N不變，減小K。相當(dāng)于信道速率不變的情況下，減小信息傳輸率。信道編碼-有擾離散信道的編碼定理（ii）q、K不變，增大N。因此會提高信道速率，會占用更大的帶寬。信道編碼-有擾離散信道的編碼定理減小碼率R，方法有：（i）q、N不變，減小K（ii）q、K不變，增大N（iii）K、N不變，減小q信道編碼-有擾離散信道的編碼定理減小碼率R，方法有：（i）q、N不變，減小K（ii）q、K不變，增大N（iii）K、N不變，減小q。即減小輸入輸出符號集中符號的個數(shù)，如果發(fā)送功率不變，則信號間隔增大，可靠性提高。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長N。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長N。如果要求R不變，則增加碼長N，相應(yīng)地也要增加K，以保持K/N不變。信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯率，就是要增加冗余度，和進(jìn)行隨機(jī)化。信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯率，就是要增加冗余度，和進(jìn)行隨機(jī)化。（1）增加冗余度信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯率，就是要增加冗余度，和進(jìn)行隨機(jī)化。（1）增加冗余度在第二章我們就反復(fù)強(qiáng)調(diào)過，增加冗余度可以提高抗干擾能力。但是，增加冗余度，并不是隨便增加的，那樣效率會很低。在信道編碼中，要使得信息流中的冗余比特與信息比特有特定信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時，可以通過冗余比特來進(jìn)行檢測或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯編碼理論要討論的主要問題。信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時，可以通過冗余比特來進(jìn)行檢測或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時，可以通過冗余比特來進(jìn)行檢測或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間。信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時，可以通過冗余比特來進(jìn)行檢測或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間。如ARQ系統(tǒng)的重復(fù)發(fā)送，就要占用更多的時間。信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時，可以通過冗余比特來進(jìn)行檢測或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間（ii）頻帶信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時，可以通過冗余比特來進(jìn)行檢測或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間（ii）頻帶。由于增加了冗余度，使得信息傳輸率下降，如果想保持有用信息的傳輸速率不變，就要提高信道的波特率，也就是要占用更大的帶寬。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率。根據(jù)頻帶和信噪比的互換原則，也可以不增加信道帶寬，但提高發(fā)送功率，來達(dá)到同樣的目的。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率（iV）設(shè)備復(fù)雜度信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率（iV）設(shè)備復(fù)雜度。增加碼長N可以減小差錯率，但編解碼設(shè)備等的復(fù)雜度相應(yīng)有所增加。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。同樣的噪聲總量，如果噪聲分布非常密集在一個時段，就會使該時段的信息收到很大的損傷，變得不可恢復(fù)。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。同樣的噪聲總量，如果噪聲分布非常密集在一個時段，就會使該時段的信息收到很大的損傷，變得不可恢復(fù)。如果噪聲分布比較均勻，則雖然也會使信息收到損傷，但由于損傷不嚴(yán)重，可能會在編碼的可糾錯范圍內(nèi)，從而得到正確的譯碼結(jié)果。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。同樣的噪聲總量，如果噪聲分布非常密集在一個時段，就會使該時段的信息收到很大的損傷，變得不可恢復(fù)。如果噪聲分布比較均勻，則雖然也會使信息收到損傷，但由于損傷不嚴(yán)重，可能會在編碼的可糾錯范圍內(nèi)，從而得到正確的譯碼結(jié)果。所以，集中的噪聲干擾的危害要大于分散的噪聲干擾。噪聲均化就是要把噪聲盡可能地均勻分布到各個碼字。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。例如：設(shè)BSC信道的誤碼概率為，設(shè)編碼的糾錯能力為10%，即碼字中如果錯誤的碼元數(shù)小于等于碼長N的10%，就可以通過譯碼加以糾正。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。例如：設(shè)BSC信道的誤碼概率為，設(shè)編碼的糾錯能力為10%，即碼字中如果錯誤的碼元數(shù)小于等于碼長N的10%，就可以通過譯碼加以糾正。如果碼字長度N=10，則當(dāng)碼字中有多于1個的碼元發(fā)生誤嗎時，就會產(chǎn)生譯碼差錯。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。例如：設(shè)BSC信道的誤碼概率為，設(shè)編碼的糾錯能力為10%，即碼字中如果錯誤的碼元數(shù)小于等于碼長N的10%，就可以通過譯碼加以糾正。如果碼字長度N=10，則當(dāng)碼字中有多于1個的碼元發(fā)生誤嗎時，就會產(chǎn)生譯碼差錯。所以差錯概率為信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為可見，僅僅是將碼長由10增加到40，就可以將譯碼錯誤概率下降兩個數(shù)量級。信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為可見，僅僅是將碼長由10增加到40，就可以將譯碼錯誤概率下降兩個數(shù)量級。原因在于：當(dāng)碼字長度增加后，每個碼字中誤碼的比例就會比較接近統(tǒng)計(jì)平均值。信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為可見，僅僅是將碼長由10增加到40，就可以將譯碼錯誤概率下降兩個數(shù)量級。原因在于：當(dāng)碼字長度增加后，每個碼字中誤碼的比例就會比較接近統(tǒng)計(jì)平均值。而當(dāng)噪聲嚴(yán)格均勻化的時候，對本例而言，是不會發(fā)生任何譯碼錯誤的，因?yàn)樾诺赖牟铄e概率（1%）小于編碼糾錯能力（10%）信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。（ii）卷積。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。（ii