第四章：信道及其容量

第四章：信道及其容量§4.1信道分類§4.2離散無(wú)記憶信道§4.5信道的組合§4.6時(shí)間離散的無(wú)記憶連續(xù)信道§4.7波形信道2023/2/61§4.1信道分類信道是傳輸信息的媒質(zhì)或通道。（輸入→信道→輸出）說(shuō)明（1）信道輸入是隨機(jī)過(guò)程。（2）信道響應(yīng)特性是條件概率P(輸出值為y|輸入值為x)，又稱為轉(zhuǎn)移概率。（3）信道輸出是隨機(jī)過(guò)程，輸出的概率分布可以由輸入的概率分布和信道的響應(yīng)特性得到。（全概率公式）（4）根據(jù)信道輸入、信道響應(yīng)特性、信道輸出的情況，可將信道分類：離散信道（又稱為數(shù)字信道）；連續(xù)信道（又稱為模擬信道）；特殊的連續(xù)信道——波形信道；恒參信道和隨參信道；無(wú)記憶信道和有記憶信道；等等。2023/2/62§4.2離散無(wú)記憶信道定義4.2.1和定義4.2.2(p81)設(shè)（1）信道的輸入為隨機(jī)變量序列X1,X2,X3,…，其中每個(gè)隨機(jī)變量Xu的事件集合都是{0,1,…,K-1}。（2）信道的輸出為隨機(jī)變量序列Y1,Y2,Y3,…，其中每個(gè)隨機(jī)變量Yu的事件集合都是{0,1,…,J-1}。（3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN))=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)。則稱該信道為離散無(wú)記憶信道。（DMC）如果對(duì)任意x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意兩個(gè)時(shí)刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，則稱該信道為離散無(wú)記憶平穩(wěn)信道。2023/2/63§4.2離散無(wú)記憶信道關(guān)于定義4.2.1和定義4.2.2的注解“離散”的含義是時(shí)間離散，事件離散。即：信道的輸入、輸出時(shí)刻是離散的，且輸入隨機(jī)變量和輸出隨機(jī)變量都是離散型的隨機(jī)變量?！盁o(wú)記憶”的含義是信道響應(yīng)沒(méi)有時(shí)間延遲，當(dāng)時(shí)的輸出只依賴于當(dāng)時(shí)的輸入。“平穩(wěn)”的含義是信道在不同時(shí)刻的響應(yīng)特性是相同的?！半x散無(wú)記憶平穩(wěn)信道”是最簡(jiǎn)單的信道，信道在某一時(shí)刻u的響應(yīng)特性P(Yu=y|Xu=x)；

x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，就能很簡(jiǎn)單地計(jì)算出信道在任意時(shí)間段的響應(yīng)特性。2023/2/64§4.2離散無(wú)記憶信道一、有關(guān)DMC的容量定理（所說(shuō)的DMC都是離散無(wú)記憶平穩(wěn)信道）設(shè)DMC在某個(gè)時(shí)刻輸入隨機(jī)變量為X，輸出隨機(jī)變量為Y。信道響應(yīng)特性為轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]，它是一個(gè)K×J階矩陣（其中p(y|x)=P(Y=y|X=x)）。X的概率分布為{x,q(x),x∈{0,1,…,K-1}}。Y的概率分布為{y,w(y),y∈{0,1,…,J-1}}。以下的結(jié)論是我們已知的。2023/2/65§4.2離散無(wú)記憶信道（1）轉(zhuǎn)移概率矩陣的每一行都是一個(gè)概率向量。2023/2/66§4.2離散無(wú)記憶信道（2）對(duì)任意y∈{0,1,…,J-1}，由全概率公式有2023/2/67§4.2離散無(wú)記憶信道（3）I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函數(shù)。2023/2/68§4.2離散無(wú)記憶信道（4）設(shè)轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]確定，希望選擇概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)達(dá)到最大。則見(jiàn)定理2.6.2。定義4.2.3(p82)離散無(wú)記憶信道的信道容量定義為如下的C。達(dá)到信道容量的輸入概率分布{x,q(x),x∈{0,1,…,K-1}}稱為最佳輸入分布。其中2023/2/69§4.2離散無(wú)記憶信道定理4.2.2(p84)（1）輸入概率分布{x,q(x),x∈{0,1,…,K-1}}是最佳輸入分布的充分必要條件為：對(duì)任何滿足q(k)>0的k，都取一個(gè)相同的值；對(duì)任何滿足q(k)=0的k，I(X=k;Y)≤此相同的值。（2）此時(shí)此相同的值恰好就是信道容量C。（定理4.2.2實(shí)際上敘述了定理2.6.2的含義。）2023/2/610§4.2離散無(wú)記憶信道注解給定一個(gè)DMC信道的響應(yīng)特性，也就是說(shuō)給定一個(gè)信道的轉(zhuǎn)移概率矩陣[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]，達(dá)到信道容量時(shí)所對(duì)應(yīng)的最佳輸入分布是滿足定理4.2.2條件的概率向量{q(x),x∈{0,1,…,K-1}}。其信道容量是每個(gè)使得q(k)>0的k所對(duì)應(yīng)的半平均互信息量I(X=k;Y)。如果對(duì)DMC信道沒(méi)有任何簡(jiǎn)化，要計(jì)算最佳輸入分布并不容易。但是，通常使用的DMC是很簡(jiǎn)單的（比如，以下的準(zhǔn)對(duì)稱信道和對(duì)稱信道），最佳輸入分布很容易求出。2023/2/611§4.2離散無(wú)記憶信道二、對(duì)稱DMC和準(zhǔn)對(duì)稱DMC的信道容量與最佳輸入分布的計(jì)算

定義4.2.4~5(p85)設(shè)DMC的轉(zhuǎn)移概率矩陣為若P的任一行是第一行的置換，則稱信道關(guān)于輸入為對(duì)稱的。若P的任一列是第一列的置換，則稱信道關(guān)于輸出為對(duì)稱的。2023/2/612§4.2離散無(wú)記憶信道命題1

若DMC關(guān)于輸入為對(duì)稱的，則對(duì)任意k∈{0,1,…,K-1}都成立。證明{p(y|x)，y=0~J-1}與{p(y|k)，y=0~J-1}互為置換，所以2023/2/613§4.2離散無(wú)記憶信道命題2

若DMC關(guān)于輸出為對(duì)稱的，則當(dāng)輸入分布等概時(shí)，輸出分布等概。證明此時(shí){p(y|x)，x=0~K-1}與{p(0|x)，x=0~K-1}互為置換。設(shè)q(x)=1/K，x∈{0,1,…,K-1}。則2023/2/614§4.2離散無(wú)記憶信道定義4.2.6(p85)若DMC的轉(zhuǎn)移概率矩陣P的列的全體可分成若干個(gè)列子集，每個(gè)列子集所對(duì)應(yīng)的P的子陣都滿足以下兩條性質(zhì)：（1）任一行是第一行的置換，（2）任一列是第一列的置換。則稱信道為準(zhǔn)對(duì)稱信道。特別若列子集只有一個(gè)（即轉(zhuǎn)移概率矩陣P本身的任一行是第一行的置換，任一列是第一列的置換），則稱信道為對(duì)稱信道。例4.2.2

準(zhǔn)對(duì)稱信道的例子。(見(jiàn)p85~86)

2023/2/615§4.2離散無(wú)記憶信道幾個(gè)簡(jiǎn)單的結(jié)論：（1）準(zhǔn)對(duì)稱信道一定是關(guān)于輸入為對(duì)稱的。（2）對(duì)稱信道不僅關(guān)于輸入為對(duì)稱的，也關(guān)于輸出為對(duì)稱的。（3）對(duì)稱DMC當(dāng)輸入分布等概時(shí)，輸出分布等概。（4）準(zhǔn)對(duì)稱DMC當(dāng)輸入分布等概時(shí)，輸出分布局部等概。（準(zhǔn)對(duì)稱DMC當(dāng)輸入分布等概時(shí)，若j和l屬于轉(zhuǎn)移概率矩陣的同一個(gè)列子集，則wj=wl。）（5）對(duì)稱信道未必有J=K。（即p85倒數(shù)第二行錯(cuò)）2023/2/616§4.2離散無(wú)記憶信道定理4.2.3(p86)對(duì)于準(zhǔn)對(duì)稱DMC信道，（1）達(dá)到信道容量的最佳輸入分布為等概分布；（2）信道容量為2023/2/617§4.2離散無(wú)記憶信道證明根據(jù)定理4.2.2的含義，只需要證明：當(dāng)輸入分布為等概時(shí)，對(duì)任意k∈{0,1,…,K-1}，半平均互信息量I(X=k;Y)都取相同的值。（此時(shí)，該相同的半平均互信息量I(X=k;Y)就是準(zhǔn)對(duì)稱信道容量C。）換句話說(shuō)，只需要證明：當(dāng)輸入分布為等概時(shí)，對(duì)任意k∈{0,1,…,K-1}，I(X=k;Y)與k無(wú)關(guān)。設(shè)轉(zhuǎn)移概率矩陣P的列的全體被分成S個(gè)互不相交的列子集：{0,1,…,J-1}=Y1∪Y2∪…∪YS；Y1、Y2、…、YS互不相交；對(duì)任意s∈{1,2,…,S}，列子集Ys所對(duì)應(yīng)的子陣都滿足：任一行是第一行的置換，任一列是第一列的置換。自然有以下三個(gè)結(jié)論。2023/2/618§4.2離散無(wú)記憶信道結(jié)論一：準(zhǔn)對(duì)稱信道是關(guān)于輸入為對(duì)稱的，所以對(duì)任意k∈{0,1,…,K-1}，結(jié)論二：對(duì)每個(gè)列子集Ys，結(jié)論三：對(duì)每個(gè)列子集Ys，取定ys∈Ys。則對(duì)任意y∈Ys，2023/2/619§4.2離散無(wú)記憶信道于是2023/2/620§4.2離散無(wú)記憶信道于是2023/2/621§4.2離散無(wú)記憶信道例4.2.3特殊的對(duì)稱DMC：KSC（見(jiàn)p86）例4.2.4特殊的準(zhǔn)對(duì)稱DMC：2元對(duì)稱刪除信道（見(jiàn)p87）定義4.2.7（p88）特殊的對(duì)稱DMC：模K加性噪聲信道。設(shè)DMC的輸入隨機(jī)變量為X，X的所有事件為{0,1,…,K-1}；DMC的噪聲隨機(jī)變量為Z，Z的所有事件為{0,1,…,K-1}；DMC的輸出隨機(jī)變量為Y，Y的所有事件為{0,1,…,K-1}；X與Z相互獨(dú)立；Y=X+Z(modK)。稱此DMC為模K加性噪聲信道。2023/2/622§4.2離散無(wú)記憶信道此時(shí)，p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK))。這就是說(shuō)，如果記P(Z=z)=sz，則轉(zhuǎn)移概率矩陣為2023/2/623§4.2離散無(wú)記憶信道顯然模K加性噪聲信道是對(duì)稱DMC。信道容量為2023/2/624§4.2離散無(wú)記憶信道三、一般DMC的信道容量與最佳輸入分布的計(jì)算（p88）（當(dāng)DMC不是準(zhǔn)對(duì)稱信道時(shí)，求解信道容量和最佳輸入分布并不容易）若DMC的轉(zhuǎn)移概率矩陣P是可逆方陣（此時(shí)K=J）。則可以先假設(shè)最佳輸入分布{q(x),x∈{0,1,…,K-1}}中每個(gè)概率q(x)都滿足q(x)>0。在這個(gè)假設(shè)下，求出信道容量C；然后求出最佳輸入分布對(duì)應(yīng)的“最佳輸出分布”{w(y),y∈{0,1,…,K-1}}；然后求出最佳輸入分布{q(x),x∈{0,1,…,K-1}}。2023/2/625§4.2離散無(wú)記憶信道此時(shí)，2023/2/626§4.2離散無(wú)記憶信道2023/2/627§4.2離散無(wú)記憶信道這是K個(gè)未知量{β0,β1,…,βK-1}={C+logw(0),C+logw