第6章信道容量和編碼

第六章信道容量和信道編碼6.5信道模型和信道容量6.6用正交信號(hào)集獲取信道容量6.8信道截止速率1當(dāng)波形數(shù)M

時(shí)，只要每比特信噪比大于-1.6dB，就能使得正交的信號(hào)波形差錯(cuò)概率最小。但是，這時(shí)，所需帶寬隨k

的增加而指數(shù)增加，從而造成帶寬利用率極低。本章討論由二進(jìn)制或非二進(jìn)制序列產(chǎn)生的信號(hào)波形，其帶寬擴(kuò)展因子僅隨k

的增加而線性增加，具有更高的帶寬效率。既適用于功率受限系統(tǒng)，也適用于帶寬受限系統(tǒng)。6.5信道模型和信道容量2

最簡(jiǎn)單的信道模型，應(yīng)用于M=2，檢測(cè)器采用硬判決的情況。把調(diào)制、解調(diào)、檢測(cè)看成信道的一個(gè)部分四種信道模型1.二進(jìn)制對(duì)稱信道BSC——合成信道一組可能輸入和可能輸出之間關(guān)系的條件概率:離散二進(jìn)制輸出離散二進(jìn)制輸入6.5信道模型和信道容量32.離散無記憶信道DMC

輸入X、輸出Y的

聯(lián)合概率：無記憶條件條件概率P(yj|xi)可以表示成矩陣形式P=[pji]，稱為信道的概率轉(zhuǎn)移矩陣。輸入q元符號(hào)輸出Q元符號(hào)更廣義的離散輸入、離散輸出信道；信道的輸入輸出特性（無記憶信道和調(diào)制時(shí)）用qQ個(gè)條件概率描述：6.5信道模型和信道容量43.離散輸入、連續(xù)輸出信道調(diào)制器輸入信號(hào)為離散字符，檢測(cè)器的輸出未經(jīng)量化。一組條件概率密度函數(shù)：P(y|x

)例：AGWN信道：信道為無記憶的條件為：連續(xù)輸出Y離散輸入XN：零均值，方差為2的高斯隨機(jī)變量6.5信道模型和信道容量54.離散時(shí)間AWGN信道信道模型信道輸入的功率限制條件輸入到信道的序列是位于以原點(diǎn)為中心、以為半徑的n維球體之內(nèi)。6.5信道模型和信道容量65.AWGN波形信道把調(diào)制器和解調(diào)器從物理信道中分離出來單獨(dú)研究。將x(t)、y(t)和n(t)展開成一個(gè)正交函數(shù)的完備集：波形信道被簡(jiǎn)化成一個(gè)等效的每秒使用2W次的離散時(shí)間信道：處理：利用展開式中的系數(shù)描述信道特征：輸出也是波形輸入是波形6.5信道模型和信道容量7幾種信道模型小結(jié)選用何種信道模型完全取決于研究的目的；當(dāng)設(shè)計(jì)和分析離散信道編、譯碼器的性能時(shí)——可以將調(diào)制、解調(diào)器歸并為復(fù)合信道的一部分；當(dāng)設(shè)計(jì)和分析數(shù)字調(diào)制、解調(diào)器的性能時(shí)——可采用波形信道模型。6.5信道模型和信道容量8信道容量考慮一個(gè)DMC信道：●輸入字符集：●輸出字符集：●轉(zhuǎn)移概率集合：由事件Y=yj

的發(fā)生而提供的關(guān)于X=xi

的互信息：假如傳輸?shù)男盘?hào)是xi，接收到的信號(hào)是yj輸出Y為輸入X提供的平均互信息：由信道特征決定

對(duì)于一組輸入符號(hào)概率p(xi)，I(X,Y)的最大值僅僅取決于由條件概率P(yj|xi)決定的DMC信道的特性！6.5信道模型和信道容量9I(X,Y)的最大值稱為信道容量其中:如果以s秒輸入一個(gè)符號(hào)，則信道容量為：C/sC的單位：●比特/符號(hào)；●奈特/符號(hào)單位：●bit/s；●奈特/秒6.5信道模型和信道容量10例6-5-1：BSC信道轉(zhuǎn)移概率：BSC信道容量：H(p)：二進(jìn)熵函數(shù)p是SNR的單調(diào)函數(shù)，所以C也是SNR的單調(diào)函數(shù)。當(dāng)輸入概率時(shí)，平均互信息最大。6.5信道模型和信道容量112.離散時(shí)間二進(jìn)制輸入AWGN信道的容量離散輸入連續(xù)輸出信道容量：當(dāng)P(X=A)=P(X=-A)=1/2時(shí)，平均互信息I(X,Y)最大。信道容量：特例，二進(jìn)制輸入時(shí)，離散時(shí)間的AWGN無記憶信道：6.5信道模型和信道容量12注意：當(dāng)比值增大時(shí)，C從0到1比特/符號(hào)單調(diào)增大歸納：對(duì)于上述兩種信道，可以通過選擇等概的輸入符號(hào)能使平均互信息最大；如何分配輸入概率才能使平均互信息最大，目前還沒有一個(gè)通用的解法；但只要信道轉(zhuǎn)移概率矩陣對(duì)稱，就可以使I(X,Y)最大化。但等概條件下不一定能從信道容量公式得到解；6.5信道模型和信道容量133.對(duì)稱信道容量如果信道的轉(zhuǎn)移概率矩陣P的每一行是任何其它行的置換、每一列是任何其它列的置換?！褶D(zhuǎn)移概率集合：●概率質(zhì)量函數(shù)6.5信道模型和信道容量144.受輸入功率限制的離散時(shí)間AWGN信道的容量比特/傳輸假設(shè){xj}是統(tǒng)計(jì)獨(dú)立，均值為零的高斯隨機(jī)變量，其PDF為:6.5信道模型和信道容量15連續(xù)時(shí)間信道容量：比特/秒Shannon信道容量公式5.受輸入功率限制的帶限波形AWGN信道的容量輸入功率限制，噪聲方差的AWGN信道的容量：6.5信道模型和信道容量16討論:如果帶寬固定，波形信道的容量隨傳輸信號(hào)功率的增加而增加。如果P

固定，容量隨帶寬W的增加而增加。注意:時(shí)，信道容量趨于一個(gè)漸近值:容量隨SNR的增加而單調(diào)增加。對(duì)帶寬歸一化后的信道容量曲線結(jié)論：信噪比和帶寬可以互換！比特/秒6.5信道模型和信道容量17討論：當(dāng)時(shí)，將C/W表示成信噪比的函數(shù):C的單位：bit/sP：平均功率每比特能量C/W→時(shí)，b/N0呈指數(shù)增加當(dāng)時(shí)，當(dāng)時(shí)，6.5信道模型和信道容量18信道模型、信道容量小結(jié)離散輸入、離散輸出信道（特例：DSC）離散輸入、連續(xù)輸出、無記憶加性高斯白噪聲信道波形信道及信道容量信道帶寬受限信號(hào)受加性高斯噪聲損傷發(fā)送機(jī)平均功率受限約束條件：信道容量：噪聲編碼定理：

只要傳輸速率R<C，總存在一種信道編碼，以所要求的任意小的差錯(cuò)概率實(shí)現(xiàn)可靠通信。反之，如果R>C,不可能有任何一種編碼能使差錯(cuò)概率趨近于零。信道容量公式的意義:為在噪聲信道中可靠通信確定傳輸速率的上限值。6.6用正交信號(hào)集獲取信道容量19當(dāng)速率且時(shí)，正交波形集能達(dá)到信道容量的邊界。只要，若使（R固定時(shí)有）差錯(cuò)概率就可以任意小。只要，對(duì)于正交信號(hào)，通過增加波形數(shù)M可以使差錯(cuò)概率PM任意小。以正交信號(hào)獲取信道容量回顧：在無限帶寬的AWGN信道上，M元正交信號(hào)PM的邊界值:（推導(dǎo)從略）C

：無限帶寬AWGN信道容量

R：比特率6.6用正交信號(hào)集獲取信道容量20E(R)稱為無限帶寬AWGN信道的信道可靠性函數(shù)。其中：

在M較大時(shí)，可靠性函數(shù)E(R)決定了數(shù)字信號(hào)在無限帶寬AWGN信道傳輸時(shí)，差錯(cuò)概率呈指數(shù)變化。將前面的式子表示為：6.6用正交信號(hào)集獲取信道容量21注意：該差距是尋找更有效的信號(hào)波形的源動(dòng)力采用編碼的波形能可觀地減小這個(gè)差距！R<C時(shí)，增加正交信號(hào)數(shù)目M可以使Pe任意小。但實(shí)際得到的性能與信道容量公式算出的性能之間存在較大差距例如：相干檢測(cè)：M=16的正交信號(hào)，Pe=10-5時(shí)，需要SNR=7.5dB信道容量公式結(jié)果：C/W=0.5條件下，SNR為-0.8dB就能可靠傳輸。兩者之間存在8.3dB/比特的差距！6.8信道截止速率假設(shè)信道無記憶：輸入序列：長度為n

的可能序列的個(gè)數(shù)有，從其中選擇個(gè)的一個(gè)子集，定義為22輸出序列：對(duì)差錯(cuò)概率：6.8信道截止速率23對(duì)差錯(cuò)概率：Chernov邊界Bhattacharyya邊界對(duì)于無記憶信道有6.8信道截止速率24二進(jìn)制BSC信道（假設(shè)兩個(gè)二進(jìn)制碼字有n個(gè)比特不同）：注意，當(dāng)碼元相同時(shí)，即當(dāng)碼元不同時(shí)，即6