信息論與編碼-第六章1

信道編碼-有擾離散信道的編碼定理信道編碼的初步認(rèn)識(shí)編碼規(guī)則碼字

C=(c0,c1,…,cn-1),其中ci(i=0,1,2,…,n-1)稱碼元，對(duì)于二進(jìn)制有

ci

∈{0，1}差錯(cuò)符號(hào)差錯(cuò)比特信道編碼-有擾離散信道的編碼定理差錯(cuò)圖樣E=發(fā)碼C-收碼RmodM對(duì)于二進(jìn)制E=C⊕R=C+R或C=R+E差錯(cuò)圖樣的類型:隨機(jī)差錯(cuò)突發(fā)差錯(cuò)信道編碼-有擾離散信道的編碼定理

差錯(cuò)控制方式前向糾錯(cuò)（FEC）、檢錯(cuò)重發(fā)（ARQ）和混合糾錯(cuò)（HEC）是常用的三種差錯(cuò)控制方式。圖是這三種方式構(gòu)成的差錯(cuò)控制系統(tǒng)原理框圖。圖三種差錯(cuò)控制方式示意圖信道編碼-有擾離散信道的編碼定理在前向糾錯(cuò)(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯(cuò)誤的碼，然后通過(guò)信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過(guò)譯碼能自動(dòng)發(fā)現(xiàn)并糾正因傳輸帶來(lái)的數(shù)據(jù)錯(cuò)誤。在前向糾錯(cuò)(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯(cuò)誤的碼，然后通過(guò)信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過(guò)譯碼能自動(dòng)發(fā)現(xiàn)并糾正因傳輸帶來(lái)的數(shù)據(jù)錯(cuò)誤。前向糾錯(cuò)方式只要求單向信道，因此特別適合于只能提供單向信道的場(chǎng)合，同時(shí)也適合一點(diǎn)發(fā)送多點(diǎn)接收的廣播方式。因?yàn)椴恍枰獙?duì)發(fā)信端反饋信息，所以接收信號(hào)的延時(shí)小、實(shí)時(shí)性好。在前向糾錯(cuò)(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯(cuò)誤的碼，然后通過(guò)信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過(guò)譯碼能自動(dòng)發(fā)現(xiàn)并糾正因傳輸帶來(lái)的數(shù)據(jù)錯(cuò)誤。前向糾錯(cuò)方式只要求單向信道，因此特別適合于只能提供單向信道的場(chǎng)合，同時(shí)也適合一點(diǎn)發(fā)送多點(diǎn)接收的廣播方式。因?yàn)椴恍枰獙?duì)發(fā)信端反饋信息，所以接收信號(hào)的延時(shí)小、實(shí)時(shí)性好。這種糾錯(cuò)系統(tǒng)的缺點(diǎn)是設(shè)備復(fù)雜、成本高，且糾錯(cuò)能力愈強(qiáng)，編譯碼設(shè)備就愈復(fù)雜。

檢錯(cuò)重發(fā)(ARQ)系統(tǒng)的發(fā)信端將信息碼編成能夠檢錯(cuò)的碼組發(fā)送到信道，收信端收到一個(gè)碼組后進(jìn)行檢驗(yàn)，將檢驗(yàn)結(jié)果（有誤碼或者無(wú)誤碼）通過(guò)反向信道反饋給發(fā)信端作為對(duì)發(fā)信端的一個(gè)應(yīng)答信號(hào)。發(fā)信端根據(jù)收到的應(yīng)答信號(hào)做出是繼續(xù)發(fā)送新的數(shù)據(jù)還是把出錯(cuò)的數(shù)據(jù)重發(fā)的判斷。檢錯(cuò)重發(fā)(ARQ)系統(tǒng)的發(fā)信端將信息碼編成能夠檢錯(cuò)的碼組發(fā)送到信道，收信端收到一個(gè)碼組后進(jìn)行檢驗(yàn)，將檢驗(yàn)結(jié)果（有誤碼或者無(wú)誤碼）通過(guò)反向信道反饋給發(fā)信端作為對(duì)發(fā)信端的一個(gè)應(yīng)答信號(hào)。發(fā)信端根據(jù)收到的應(yīng)答信號(hào)做出是繼續(xù)發(fā)送新的數(shù)據(jù)還是把出錯(cuò)的數(shù)據(jù)重發(fā)的判斷。檢錯(cuò)重發(fā)系統(tǒng)根據(jù)工作方式又可分為三種，即停發(fā)等候重發(fā)系統(tǒng)、返回重發(fā)系統(tǒng)和選擇重發(fā)系統(tǒng)，如圖8―3所示。在圖8―3（a）中，發(fā)信端在t=0時(shí)刻將碼組1發(fā)給收信端，然后停止發(fā)送，等待收信端的應(yīng)答信號(hào)。收信端收到該碼組并檢驗(yàn)后，將應(yīng)答信號(hào)ACK發(fā)回發(fā)信端，發(fā)信端確認(rèn)碼組1無(wú)錯(cuò)，就將碼組2發(fā)送出來(lái)；收信端對(duì)碼組2進(jìn)行檢驗(yàn)后，收信端判斷該碼組有錯(cuò)并以NAK信號(hào)告知發(fā)信端，發(fā)信端將碼組2重新發(fā)送一次，收信端第二次收到碼組2經(jīng)檢驗(yàn)后無(wú)錯(cuò)，即可通過(guò)ACK信號(hào)告訴發(fā)信端無(wú)錯(cuò)，發(fā)信端接著發(fā)送碼組3……從上述過(guò)程中可見(jiàn)，發(fā)信端由于要等收信端的應(yīng)答信號(hào)，發(fā)送過(guò)程是間歇式的，因此數(shù)據(jù)傳輸效率不高。但由于該系統(tǒng)原理簡(jiǎn)單，在計(jì)算機(jī)通信中仍然得到應(yīng)用。圖8―3檢錯(cuò)重發(fā)的三種工作方式返回重發(fā)系統(tǒng)的工作原理如圖8―3（b）所示，在這種系統(tǒng)中發(fā)信端不停頓地發(fā)送信息碼組，不再等候ACK信號(hào)，如果收信端發(fā)現(xiàn)錯(cuò)誤并發(fā)回NAK信號(hào)，則發(fā)信端從下一個(gè)碼組開(kāi)始重發(fā)前一段N個(gè)碼組，N的大小取決于信號(hào)傳輸和處理所造成的延時(shí)，也就是發(fā)信端從發(fā)錯(cuò)誤碼組開(kāi)始，到收到NAK信號(hào)為止所發(fā)出的碼組個(gè)數(shù)，圖中N=5。收信端收到碼組2有錯(cuò)。發(fā)信端在碼組6后重發(fā)碼組2、3、4、5、6，收信端重新接收，圖中碼組4連續(xù)兩次出錯(cuò)，發(fā)信端重發(fā)兩次。這種返回重發(fā)系統(tǒng)的傳輸效率比停發(fā)等候系統(tǒng)有很大改進(jìn)，在很多數(shù)據(jù)傳輸系統(tǒng)中得到應(yīng)用。圖8―3（c）描述選擇重發(fā)系統(tǒng)的工作過(guò)程：這種重發(fā)系統(tǒng)也是連續(xù)不斷地發(fā)送碼組，收信端檢測(cè)到錯(cuò)誤后發(fā)回NAK信號(hào)，但是發(fā)信端不是重發(fā)前N個(gè)碼組，而是只重發(fā)有錯(cuò)誤的那一組。圖中顯示發(fā)信端只重發(fā)收信端檢出有錯(cuò)的碼組2，對(duì)其它碼組不再重發(fā)。收信端對(duì)已認(rèn)可的碼組，從緩沖存儲(chǔ)器讀出時(shí)重新排序，恢復(fù)出正常的碼組序列。顯然，選擇重發(fā)系統(tǒng)傳輸效率最高，但價(jià)格也最貴，因?yàn)樗筝^為復(fù)雜的控制，在收、發(fā)兩端都要求有數(shù)據(jù)緩存器。

混合糾錯(cuò)方式是前向糾錯(cuò)方式和檢錯(cuò)重發(fā)方式的結(jié)合。如圖8―2（c）所示。其內(nèi)層采用FEC方式，糾正部分差錯(cuò)；外層采用ARQ方式，重傳那些雖已檢出但未糾正的差錯(cuò)?；旌霞m錯(cuò)方式在實(shí)時(shí)性和譯碼復(fù)雜性方面是前向糾錯(cuò)和檢錯(cuò)重發(fā)方式的折衷，較適合于環(huán)路延遲大的高速數(shù)據(jù)傳輸系統(tǒng)。信道編碼-有擾離散信道的編碼定理差錯(cuò)控制編碼分類根據(jù)編碼方式和不同的衡量標(biāo)準(zhǔn)，差錯(cuò)控制編碼有多種形式和類別。下面我們簡(jiǎn)單地介紹幾種主要分類。信道編碼-有擾離散信道的編碼定理差錯(cuò)控制編碼分類根據(jù)編碼方式和不同的衡量標(biāo)準(zhǔn)，差錯(cuò)控制編碼有多種形式和類別。下面我們簡(jiǎn)單地介紹幾種主要分類。(1)根據(jù)編碼功能可分為檢錯(cuò)碼、糾錯(cuò)碼和糾刪碼三種類型。只能完成檢錯(cuò)功能的叫檢錯(cuò)碼；具有糾錯(cuò)能力的叫糾錯(cuò)碼；而糾刪碼既可檢錯(cuò)也可糾錯(cuò)。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗(yàn)關(guān)系可以分為線性碼和非線性碼。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗(yàn)關(guān)系可以分為線性碼和非線性碼。若信息碼元與監(jiān)督碼元之間的關(guān)系為線性關(guān)系，即監(jiān)督碼元是信息碼元的線性組合，則稱為線性碼。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗(yàn)關(guān)系可以分為線性碼和非線性碼。若信息碼元與監(jiān)督碼元之間的關(guān)系為線性關(guān)系，即監(jiān)督碼元是信息碼元的線性組合，則稱為線性碼。反之，若兩者不存在線性關(guān)系，則稱為非線性碼。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。在分組碼中，編碼前先把信息序列分為k位一組，然后用一定規(guī)則附加m位監(jiān)督碼元，形成n=k+m位的碼組。監(jiān)督碼元僅與本碼組的信息碼元有關(guān)，而與其它碼組的信息碼元無(wú)關(guān)。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。在分組碼中，編碼前先把信息序列分為k位一組，然后用一定規(guī)則附加m位監(jiān)督碼元，形成n=k+m位的碼組。監(jiān)督碼元僅與本碼組的信息碼元有關(guān)，而與其它碼組的信息碼元無(wú)關(guān)。但在卷積碼中，碼組中的監(jiān)督碼元不但與本組信息碼元有關(guān)，而且與前面碼組的信息碼元也有約束關(guān)系，就像鏈條那樣一環(huán)扣—環(huán)；所以卷積碼又稱連環(huán)碼或鏈碼。(4)系統(tǒng)碼與非系統(tǒng)碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來(lái)形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來(lái)形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對(duì)比較簡(jiǎn)單，因此得到廣泛應(yīng)用。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來(lái)形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對(duì)比較簡(jiǎn)單，因此得到廣泛應(yīng)用。(5)糾正隨機(jī)錯(cuò)誤碼和糾正突發(fā)錯(cuò)誤碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來(lái)形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對(duì)比較簡(jiǎn)單，因此得到廣泛應(yīng)用。(5)糾正隨機(jī)錯(cuò)誤碼和糾正突發(fā)錯(cuò)誤碼。顧名思義，前者用于糾正因信道中出現(xiàn)的隨機(jī)獨(dú)立干擾引起的誤碼，后者主要對(duì)付信道中出現(xiàn)的突發(fā)錯(cuò)誤。信道編碼-有擾離散信道的編碼定理從上述分類中可以看到，一種編碼可以具有多樣性，本章主要介紹糾正隨機(jī)錯(cuò)誤的二進(jìn)制線性分組碼。信道編碼-有擾離散信道的編碼定理碼空間信息空間2k碼空間2kn-維n-重矢量空間2n碼的平均特性、碼的性能限信道編碼-有擾離散信道的編碼定理有擾離散信道的編碼定理隨機(jī)編碼考慮一個(gè)DMC信道，其輸入符號(hào)集為輸出符號(hào)集為轉(zhuǎn)移概率矩陣為

即輸入為q元，輸出為Q元。信道編碼-有擾離散信道的編碼定理對(duì)其輸入進(jìn)行分組編碼，編碼方式是每K個(gè)輸入信源符號(hào)一組，編成N個(gè)符號(hào)的碼，叫做（N，K）分組編碼器。如圖所示。(N,K)分組編碼器DMC信道消息組m信道編碼-有擾離散信道的編碼定理碼字可看成是一個(gè)N維矢量，設(shè)想有一個(gè)N維的矢量空間，每一個(gè)碼字可以認(rèn)為是該矢量空間的一個(gè)點(diǎn)。信道編碼-有擾離散信道的編碼定理碼字可看成是一個(gè)N維矢量，設(shè)想有一個(gè)N維的矢量空間，每一個(gè)碼字可以認(rèn)為是該矢量空間的一個(gè)點(diǎn)。由于每維有q個(gè)取值，故該矢量空間中總的點(diǎn)數(shù)為信道編碼-有擾離散信道的編碼定理碼字可看成是一個(gè)N維矢量，設(shè)想有一個(gè)N維的矢量空間，每一個(gè)碼字可以認(rèn)為是該矢量空間的一個(gè)點(diǎn)。由于每維有q個(gè)取值，故該矢量空間中總的點(diǎn)數(shù)為而碼字由K個(gè)q進(jìn)制符號(hào)組成，故碼字總數(shù)為信道編碼-有擾離散信道的編碼定理碼字可看成是一個(gè)N維矢量，設(shè)想有一個(gè)N維的矢量空間，每一個(gè)碼字可以認(rèn)為是該矢量空間的一個(gè)點(diǎn)。由于每維有q個(gè)取值，故該矢量空間中總的點(diǎn)數(shù)為而碼字由K個(gè)q進(jìn)制符號(hào)組成，故碼字總數(shù)為所謂編碼，就是要在Z個(gè)N維空間點(diǎn)中，選擇M個(gè)作為碼字，不同的選取方法，可能會(huì)得到不同的誤碼率。信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率已經(jīng)說(shuō)過(guò)，所謂編碼就是要在Z個(gè)N維空間點(diǎn)中選取M個(gè)作為碼字。信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率已經(jīng)說(shuō)過(guò)，所謂編碼就是要在Z個(gè)N維空間點(diǎn)中選取M個(gè)作為碼字。如果不要求一一對(duì)應(yīng)，則共有ZM種不同的選取方法，在這些選取方法中，有的方法選取的結(jié)果會(huì)使得誤碼率比較低，有的可能比較高。那么，誤碼率的上界是多少呢？信道編碼-有擾離散信道的編碼定理隨機(jī)編碼的誤碼率已經(jīng)說(shuō)過(guò)，所謂編碼就是要在Z個(gè)N維空間點(diǎn)中選取M個(gè)作為碼字。如果不要求一一對(duì)應(yīng)，則共有ZM種不同的選取方法，在這些選取方法中，有的方法選取的結(jié)果會(huì)使得誤碼率比較低，有的可能比較高。那么，誤碼率的上界是多少呢？由于共有ZM種不同的選取方法，故每一種選取方法的出現(xiàn)概率為1/ZM，即信道編碼-有擾離散信道的編碼定理其中，為某種選擇方法得到的碼集。信道編碼-有擾離散信道的編碼定理其中，為某種選擇方法得到的碼集。設(shè)與這種選擇相對(duì)應(yīng)的誤碼率為，則全部碼集的平均誤碼率為信道編碼-有擾離散信道的編碼定理那么，的上界是多少呢？信道編碼-有擾離散信道的編碼定理那么，的上界是多少呢？設(shè)有某一個(gè)碼字，經(jīng)DMC信道傳輸后，在輸出端變成接收碼字，則譯碼后的誤碼率是信道編碼-有擾離散信道的編碼定理那么，的上界是多少呢？設(shè)有某一個(gè)碼字，經(jīng)DMC信道傳輸后，在輸出端變成接收碼字，則譯碼后的誤碼率是其中，信道編碼-有擾離散信道的編碼定理這就意味著，當(dāng)發(fā)碼字而收到r的概率大于發(fā)任何其他碼字而收到r的概率時(shí)，則令因?yàn)榇藭r(shí)通過(guò)最優(yōu)譯碼可以做到正確譯碼；信道編碼-有擾離散信道的編碼定理這就意味著，當(dāng)發(fā)碼字而收到r的概率大于發(fā)任何其他碼字而收到r的概率時(shí)，則令因?yàn)榇藭r(shí)通過(guò)最優(yōu)譯碼可以做到正確譯碼；反之，則令因?yàn)榇藭r(shí)不能正確譯碼。信道編碼-有擾離散信道的編碼定理這就意味著，當(dāng)發(fā)碼字而收到r的概率大于發(fā)任何其他碼字而收到r的概率時(shí)，則令因?yàn)榇藭r(shí)通過(guò)最優(yōu)譯碼可以做到正確譯碼；反之，則令因?yàn)榇藭r(shí)不能正確譯碼。而一定滿足不等式信道編碼-有擾離散信道的編碼定理上式可以根據(jù)和兩種情況分別加以驗(yàn)證。信道編碼-有擾離散信道的編碼定理上式可以根據(jù)和兩種情況分別加以驗(yàn)證。將上式代入誤碼率公式，于是有信道編碼-有擾離散信道的編碼定理這個(gè)不等式叫做Gallager界，它指出了碼字的誤碼上界，是Gallager在1965年推導(dǎo)出來(lái)的。信道編碼-有擾離散信道的編碼定理這個(gè)不等式叫做Gallager界，它指出了碼字的誤碼上界，是Gallager在1965年推導(dǎo)出來(lái)的。如果該誤碼上界等于零或者足夠小，則我們可以說(shuō)，總有一些編碼方法，能夠使誤碼足夠小。這就是香農(nóng)第二定理。信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個(gè)碼字時(shí)，誤碼率的上界，即Gallager界。信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個(gè)碼字時(shí)，誤碼率的上界，即Gallager界。由于輸入端發(fā)送的碼字有多種可能，則由Gallager界，可以推導(dǎo)出其平均誤碼率的上界，為信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個(gè)碼字時(shí)，誤碼率的上界，即Gallager界。由于輸入端發(fā)送的碼字有多種可能，則由Gallager界，可以推導(dǎo)出其平均誤碼率的上界，為其中，N是碼字長(zhǎng)度，E(R)是叫做DMC信道的可靠性函數(shù)信道編碼-有擾離散信道的編碼定理E(R)定義為信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，是可能的信息組合數(shù)，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，是可能的信息組合數(shù)，N是每碼字的碼元數(shù)，信道編碼-有擾離散信道的編碼定理E(R)定義為當(dāng)最優(yōu)的及選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，是可能的信息組合數(shù)，N是每碼字的碼元數(shù)，R表示每碼元攜帶的信息量，所以稱作碼率（或傳信率）。信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大，就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大，就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。其中的定義為信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大，就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。其中的定義為也就是說(shuō)，是以修正因子及輸入符號(hào)概分布矢量為自變量的一個(gè)函數(shù)。信道編碼-有擾離散信道的編碼定理由于E(R)是對(duì)取極大值，所以一定有信道編碼-有擾離散信道的編碼定理由于E(R)是對(duì)取極大值，所以一定有即信道編碼-有擾離散信道的編碼定理與的關(guān)系曲線如下面左圖所示，因此可得到R與的關(guān)系曲線，如下面右圖所示。011RC信道編碼-有擾離散信道的編碼定理考察E(R)與R的關(guān)系，由E(R)的定義式，可得信道編碼-有擾離散信道的編碼定理考察E(R)與R的關(guān)系，由E(R)的定義式，可得即E(R)和R之間的關(guān)系曲線的斜率為，如下圖E(R)RC0信道編碼-有擾離散信道的編碼定理E(R)RC0R從0~的一段，由于此時(shí)ρ恒為1，所以是一條直線，信道編碼-有擾離散信道的編碼定理E(R)RC0R從0~的一段，由于此時(shí)ρ恒為1，所以是一條直線，而在R從~C這一段，由于ρ從1逐漸減小至0，所以變成了一條曲線，各點(diǎn)處的斜率對(duì)應(yīng)于該點(diǎn)處的-ρ，信道編碼-有擾離散信道的編碼定理E(R)RC0R從0~的一段，由于此時(shí)ρ恒為1，所以是一條直線，而在R從~C這一段，由于ρ從1逐漸減小至0，所以變成了一條曲線，各點(diǎn)處的斜率對(duì)應(yīng)于該點(diǎn)處的-ρ，當(dāng)R=C時(shí)，，所以此時(shí)的E(R)=0。信道編碼-有擾離散信道的編碼定理由此可以得到有擾離散信道的信道編碼定理：信道編碼-有擾離散信道的編碼定理由此可以得到有擾離散信道的信道編碼定理：設(shè)離散無(wú)記憶信道為[X,P(y/x),Y]，其信道容量為C。當(dāng)信息傳輸率R<C時(shí)，只要碼長(zhǎng)N足夠大，就一定存在一種編碼方法，使譯碼的錯(cuò)誤概率任意小（）。信道編碼-有擾離散信道的編碼定理這是因?yàn)槠骄`碼率上界為也就是說(shuō)，一定有一些編碼方法，其譯碼誤碼率滿足由于當(dāng)R<C時(shí)，E(R)>0，所以只要N足夠大，則可以足夠小。信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理：信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理：設(shè)離散無(wú)記憶信道為[X,P(y/x),Y]，其信道容量為C。當(dāng)信息傳輸率R>C時(shí)，無(wú)論碼長(zhǎng)N多長(zhǎng)，總也找不到一種編碼方法，使譯碼的錯(cuò)誤概率任意小。信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理：設(shè)離散無(wú)記憶信道為[X,P(y/x),Y]，其信道容量為C。當(dāng)信息傳輸率R>C時(shí)，無(wú)論碼長(zhǎng)N多長(zhǎng)，總也找不到一種編碼方法，使譯碼的錯(cuò)誤概率任意小。這兩個(gè)定理常常被寫(xiě)在一起，統(tǒng)稱為有擾信道或噪聲信道的信道編碼定理。信道編碼-有擾離散信道的編碼定理香農(nóng)第二定理也只是一個(gè)存在定理，它只說(shuō)明錯(cuò)誤概率趨于零的好碼是存在的。但并沒(méi)有給出具體的編碼方法。信道編碼-有擾離散信道的編碼定理香農(nóng)第二定理也只是一個(gè)存在定理，它只說(shuō)明錯(cuò)誤概率趨于零的好碼是存在的。但并沒(méi)有給出具體的編碼方法。因此，在1948年香農(nóng)發(fā)表文章后，科學(xué)家們致力于各種編碼方法的實(shí)現(xiàn)，出現(xiàn)了代數(shù)編碼、卷積碼、循環(huán)碼等等。信道編碼-有擾離散信道的編碼定理香農(nóng)第二定理也只是一個(gè)存在定理，它只說(shuō)明錯(cuò)誤概率趨于零的好碼是存在的。但并沒(méi)有給出具體的編碼方法。因此，在1948年香農(nóng)發(fā)表文章后，科學(xué)家們致力于各種編碼方法的實(shí)現(xiàn)，出現(xiàn)了代數(shù)編碼、卷積碼、循環(huán)碼等等。下面我們將在分析差錯(cuò)控制的基本原理之后，來(lái)介紹這些編碼方法。信道編碼-有擾離散信道的編碼定理差錯(cuò)控制與信道編譯碼的基本原理信道編碼-有擾離散信道的編碼定理差錯(cuò)控制與信道編譯碼的基本原理（一）差錯(cuò)控制的途徑信道編碼-有擾離散信道的編碼定理差錯(cuò)控制與信道編譯碼的基本原理（一）差錯(cuò)控制的途徑下面我們從前面我們推導(dǎo)的誤碼率公式以及信息論的基本理論兩個(gè)方面來(lái)討論。

信道編碼-有擾離散信道的編碼定理差錯(cuò)控制與信道編譯碼的基本原理（一）差錯(cuò)控制的途徑下面我們從前面我們推導(dǎo)的誤碼率公式以及信息論的基本理論兩個(gè)方面來(lái)討論。1.從公式分析信道編碼-有擾離散信道的編碼定理差錯(cuò)控制與信道編譯碼的基本原理（一）差錯(cuò)控制的途徑下面我們從前面我們推導(dǎo)的誤碼率公式以及信息論的基本理論兩個(gè)方面來(lái)討論。1.從公式分析由誤碼率的上界公式信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長(zhǎng)N或者增加可靠性函數(shù)E(R)。信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長(zhǎng)N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長(zhǎng)N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長(zhǎng)N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長(zhǎng)N信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長(zhǎng)N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長(zhǎng)N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C右圖是不同信道容量下，E(R)~R關(guān)系曲線?？梢钥闯?，在同樣的信息率R的情況下，C大則E(R)也大。E(R)RC1C2R1R2R1<R2C1<C2信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對(duì)于帶限波形信道，有信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對(duì)于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W

信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對(duì)于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W有線：架空明線對(duì)稱電纜同軸電纜光纖

信道編碼-有擾離散信道的編碼定理根據(jù)香農(nóng)公式，對(duì)于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W有線：架空明線對(duì)稱電纜同軸電纜光纖無(wú)線：中波短波超短波毫米波微米波光波信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號(hào)功率信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號(hào)功率：提高發(fā)射功率、提高天線增益、全向天線改定向天線等。信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號(hào)功率（iii）降低噪聲功率信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號(hào)功率（iii）降低噪聲功率：采用低噪聲器件、濾波等。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R對(duì)于（N，K）分組碼，碼率R=Klogq/N，要減小碼率R，方法有：信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R對(duì)于（N，K）分組碼，碼率R=Klogq/N，要減小碼率R，方法有：（i）q、N不變，減小K。相當(dāng)于信道速率不變的情況下，減小信息傳輸率。信道編碼-有擾離散信道的編碼定理（ii）q、K不變，增大N。因此會(huì)提高信道速率，會(huì)占用更大的帶寬。信道編碼-有擾離散信道的編碼定理減小碼率R，方法有：（i）q、N不變，減小K（ii）q、K不變，增大N（iii）K、N不變，減小q信道編碼-有擾離散信道的編碼定理減小碼率R，方法有：（i）q、N不變，減小K（ii）q、K不變，增大N（iii）K、N不變，減小q。即減小輸入輸出符號(hào)集中符號(hào)的個(gè)數(shù)，如果發(fā)送功率不變，則信號(hào)間隔增大，可靠性提高。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長(zhǎng)N。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長(zhǎng)N。如果要求R不變，則增加碼長(zhǎng)N，相應(yīng)地也要增加K，以保持K/N不變。信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯(cuò)率，就是要增加冗余度，和進(jìn)行隨機(jī)化。信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯(cuò)率，就是要增加冗余度，和進(jìn)行隨機(jī)化。（1）增加冗余度信道編碼-有擾離散信道的編碼定理1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯(cuò)率，就是要增加冗余度，和進(jìn)行隨機(jī)化。（1）增加冗余度在第二章我們就反復(fù)強(qiáng)調(diào)過(guò)，增加冗余度可以提高抗干擾能力。但是，增加冗余度，并不是隨便增加的，那樣效率會(huì)很低。在信道編碼中，要使得信息流中的冗余比特與信息比特有特定信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時(shí)，可以通過(guò)冗余比特來(lái)進(jìn)行檢測(cè)或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯(cuò)編碼理論要討論的主要問(wèn)題。信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時(shí)，可以通過(guò)冗余比特來(lái)進(jìn)行檢測(cè)或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯(cuò)編碼理論要討論的主要問(wèn)題。常用的冗余資源有：信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時(shí)，可以通過(guò)冗余比特來(lái)進(jìn)行檢測(cè)或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯(cuò)編碼理論要討論的主要問(wèn)題。常用的冗余資源有：（i）時(shí)間。信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時(shí)，可以通過(guò)冗余比特來(lái)進(jìn)行檢測(cè)或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯(cuò)編碼理論要討論的主要問(wèn)題。常用的冗余資源有：（i）時(shí)間。如ARQ系統(tǒng)的重復(fù)發(fā)送，就要占用更多的時(shí)間。信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時(shí)，可以通過(guò)冗余比特來(lái)進(jìn)行檢測(cè)或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯(cuò)編碼理論要討論的主要問(wèn)題。常用的冗余資源有：（i）時(shí)間（ii）頻帶信道編碼-有擾離散信道的編碼定理的關(guān)系，這樣當(dāng)信息比特由于受到干擾而受損時(shí)，可以通過(guò)冗余比特來(lái)進(jìn)行檢測(cè)或恢復(fù)。至于冗余度增加多少、如何設(shè)計(jì)信息比特與冗余比特之間的關(guān)系等等，是糾錯(cuò)編碼理論要討論的主要問(wèn)題。常用的冗余資源有：（i）時(shí)間（ii）頻帶。由于增加了冗余度，使得信息傳輸率下降，如果想保持有用信息的傳輸速率不變，就要提高信道的波特率，也就是要占用更大的帶寬。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時(shí)間（ii）頻帶（iii）功率。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時(shí)間（ii）頻帶（iii）功率。根據(jù)頻帶和信噪比的互換原則，也可以不增加信道帶寬，但提高發(fā)送功率，來(lái)達(dá)到同樣的目的。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時(shí)間（ii）頻帶（iii）功率（iV）設(shè)備復(fù)雜度信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時(shí)間（ii）頻帶（iii）功率（iV）設(shè)備復(fù)雜度。增加碼長(zhǎng)N可以減小差錯(cuò)率，但編解碼設(shè)備等的復(fù)雜度相應(yīng)有所增加。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。同樣的噪聲總量，如果噪聲分布非常密集在一個(gè)時(shí)段，就會(huì)使該時(shí)段的信息收到很大的損傷，變得不可恢復(fù)。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。同樣的噪聲總量，如果噪聲分布非常密集在一個(gè)時(shí)段，就會(huì)使該時(shí)段的信息收到很大的損傷，變得不可恢復(fù)。如果噪聲分布比較均勻，則雖然也會(huì)使信息收到損傷，但由于損傷不嚴(yán)重，可能會(huì)在編碼的可糾錯(cuò)范圍內(nèi)，從而得到正確的譯碼結(jié)果。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機(jī)化）噪聲干擾的危害大小，不僅與噪聲的大小和總量有關(guān)，還與噪聲的分布有關(guān)。同樣的噪聲總量，如果噪聲分布非常密集在一個(gè)時(shí)段，就會(huì)使該時(shí)段的信息收到很大的損傷，變得不可恢復(fù)。如果噪聲分布比較均勻，則雖然也會(huì)使信息收到損傷，但由于損傷不嚴(yán)重，可能會(huì)在編碼的可糾錯(cuò)范圍內(nèi)，從而得到正確的譯碼結(jié)果。所以，集中的噪聲干擾的危害要大于分散的噪聲干擾。噪聲均化就是要把噪聲盡可能地均勻分布到各個(gè)碼字。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長(zhǎng)N。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長(zhǎng)N。例如：設(shè)BSC信道的誤碼概率為，設(shè)編碼的糾錯(cuò)能力為10%，即碼字中如果錯(cuò)誤的碼元數(shù)小于等于碼長(zhǎng)N的10%，就可以通過(guò)譯碼加以糾正。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長(zhǎng)N。例如：設(shè)BSC信道的誤碼概率為，設(shè)編碼的糾錯(cuò)能力為10%，即碼字中如果錯(cuò)誤的碼元數(shù)小于等于碼長(zhǎng)N的10%，就可以通過(guò)譯碼加以糾正。如果碼字長(zhǎng)度N=10，則當(dāng)碼字中有多于1個(gè)的碼元發(fā)生誤嗎時(shí)，就會(huì)產(chǎn)生譯碼差錯(cuò)。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長(zhǎng)N。例如：設(shè)BSC信道的誤碼概率為，設(shè)編碼的糾錯(cuò)能力為10%，即碼字中如果錯(cuò)誤的碼元數(shù)小于等于碼長(zhǎng)N的10%，就可以通過(guò)譯碼加以糾正。如果碼字長(zhǎng)度N=10，則當(dāng)碼字中有多于1個(gè)的碼元發(fā)生誤嗎時(shí)，就會(huì)產(chǎn)生譯碼差錯(cuò)。所以差錯(cuò)概率為信道編碼-有擾離散信道的編碼定理如果將碼長(zhǎng)增加到N=40，則差錯(cuò)概率為信道編碼-有擾離散信道的編碼定理如果將碼長(zhǎng)增加到N=40，則差錯(cuò)概率為可見(jiàn)，僅僅是將碼長(zhǎng)由10增加到40，就可以將譯碼錯(cuò)誤概率下降兩個(gè)數(shù)量級(jí)。信道編碼-有擾離散信道的編碼定理如果將碼長(zhǎng)增加到N=40，則差錯(cuò)概率為可見(jiàn)，僅僅是將碼長(zhǎng)由10增加到40，就可以將譯碼錯(cuò)誤概率下降兩個(gè)數(shù)量級(jí)。原因在于：當(dāng)碼字長(zhǎng)度增加后，每個(gè)碼字中誤碼的比例就會(huì)比較接近統(tǒng)計(jì)平均值。信道編碼-有擾離散信道的編碼定理如果將碼長(zhǎng)增加到N=40，則差錯(cuò)概率為可見(jiàn)，僅僅是將碼長(zhǎng)由10增加到40，就可以將譯碼錯(cuò)誤概率下降兩個(gè)數(shù)量級(jí)。原因在于：當(dāng)碼字長(zhǎng)度增加后，每個(gè)碼字中誤碼的比例就會(huì)比較接近統(tǒng)計(jì)平均值。而當(dāng)噪聲嚴(yán)格均勻化的時(shí)候，對(duì)本例而言，是不會(huì)發(fā)生任何譯碼錯(cuò)誤的，因?yàn)樾诺赖牟铄e(cuò)概率（1%）小于編碼糾錯(cuò)能力（10%）信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長(zhǎng)N。（ii）卷積。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長(zhǎng)N。（ii