信道與信道容量

1主要內(nèi)容信道分類與表示方法信道容量的計(jì)算2第3章信道與信道容量信道分類和表示參數(shù)離散單個(gè)符號(hào)信道及其容量33.1信道分類和表示參數(shù)信道定義傳輸信息的載體，其任務(wù)是以信號(hào)形式傳輸、存儲(chǔ)信息。信道分類用戶數(shù)量：?jiǎn)斡脩?、多用戶輸入端和輸出端關(guān)系：無反饋、有反饋信道參數(shù)與時(shí)間的關(guān)系：固定參數(shù)、時(shí)變參噪聲種類：隨機(jī)差錯(cuò)、突發(fā)差錯(cuò)輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、 波形信道43.1信道分類和表示參數(shù)信道參數(shù)信道可分為：53.1信道分類和表示參數(shù)信道種類1、無干擾（無噪聲）信道2、有干擾無記憶信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系。轉(zhuǎn)移概率信道的輸出信號(hào)Y與輸入信號(hào)X之間沒有確定關(guān)系（有干擾），但轉(zhuǎn)移概率滿足：每個(gè)輸出符號(hào)只與當(dāng)前輸入信號(hào)有轉(zhuǎn)移概率關(guān)系，與其他時(shí)刻的信號(hào)無關(guān)，即無記憶。需分析單個(gè)符號(hào)的轉(zhuǎn)移概率p(yj|xi).63.1信道分類和表示參數(shù)1）二進(jìn)制對(duì)稱信道（BSC）(輸入輸出符號(hào)數(shù)均為2)由于這種信道的輸出比特僅與對(duì)應(yīng)時(shí)刻的一個(gè)輸入比特有關(guān)，而與以前的輸入無關(guān)，所以這種信道是無記憶的;73.1信道分類和表示參數(shù)2)離散無記憶信道DMC(輸入輸出符號(hào)數(shù)大于2但有限)轉(zhuǎn)移矩陣3）離散輸入、連續(xù)輸出信道

設(shè)信道輸入符號(hào)是有限、離散的,其輸入字符集信道輸出稱離散輸入,連續(xù)輸出信道.即

又稱半離散或半連續(xù)信道。

（4）波形信道

若輸入是模擬波形，輸出也是模擬波形則該信道為波形信道.若分析性能的理論極限，多選用離散輸入、連續(xù)輸出的信道模型。

選擇何種模型取決于我們目的.從工程上講,最常用的DMC信道或BSC信道.10信息傳輸率：信道中平均每個(gè)符號(hào)所能傳送的信息量。R=I(X;Y)=H(X)－H(X/Y)比特/符號(hào)信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率Rt=I(X;Y)/t比特/秒11信道容量對(duì)于某特定信道，若轉(zhuǎn)移概率已經(jīng)確定，則互信息就是關(guān)于輸入符號(hào)分布函數(shù)型凸函數(shù)那么，可以找到某種概率分布p(ai),使得I(X;Y)最大：C被稱為信道容量，表明信道的最大傳輸信息量；12信道容量單位：比特/符號(hào)（bits/symbol或bits/channeluse）

如果已知符號(hào)傳送周期是T秒，也可以“秒”為單位來計(jì)算信道容量，此時(shí)Bit/s、nat/s注：對(duì)于特定的信道，信道容量是個(gè)定值，但在傳輸信息時(shí)信道能否提供最大傳輸能力，則取決于輸入端的概率分布。1、信道的作用：把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。信道最重要特征參數(shù)是信息傳遞能力，即信道容量.2、什么是信道容量？

互信息量I(X,Y)是輸入符號(hào)X

概率分布的凸函數(shù)：對(duì)于一個(gè)給定的信道，總是存在某種概率分布p(xi),使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，這個(gè)最大信息傳輸速率定義為信道容量。

復(fù)習(xí)143.2離散單個(gè)符號(hào)信道及其容量3.2.1無干擾離散信道的信道容量X、Y一一對(duì)應(yīng)C＝maxI(X;Y)＝logn（輸入符號(hào)為等概率出現(xiàn)時(shí)）多個(gè)輸入變成一個(gè)輸出；噪聲熵H(Y|X)=0;疑義度H(X|Y)≠0;C＝maxI(X;Y)＝maxH(Y)由于信道噪聲，使一個(gè)輸入對(duì)應(yīng)多個(gè)輸出；疑義度H(X|Y)=0;噪聲熵H(Y|X)≠0;C＝maxI(X;Y)＝maxH(X)153.2離散單個(gè)符號(hào)信道及其容量對(duì)稱DMC（離散無記憶）信道定義輸入對(duì)稱如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對(duì)稱輸出對(duì)稱如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對(duì)稱對(duì)稱的DMC信道如果輸入、輸出都對(duì)稱163.2離散單個(gè)符號(hào)信道及其容量對(duì)稱DMC信道例子如果一個(gè)矩陣的每一行都是同一集合中諸元素的不同排列，我們稱矩陣的行是輸入對(duì)稱的；如果一個(gè)矩陣的每一列都是同一集合中諸元素的不同排列，我們稱矩陣的列是輸出對(duì)稱的；如果一個(gè)信道的矩陣輸入輸出都是對(duì)稱的，該信道稱為對(duì)稱信道。173.2離散單個(gè)符號(hào)信道及其容量輸入對(duì)稱183.2離散單個(gè)符號(hào)信道及其容量對(duì)稱信道容量193.2離散單個(gè)符號(hào)信道及其容量若信道輸入符號(hào)等概率分布p(ai)=1/n,由于符號(hào)的輸出對(duì)稱，則要使最大，只有信道的輸出符號(hào)為等概率分布，輸入符號(hào)也為等概率分布，因此，對(duì)稱DMC信道的容量為：m為信道輸出符號(hào)的數(shù)目203.2離散單個(gè)符號(hào)信道及其容量Eg.求信道容量解：根據(jù)公式：213.2離散單個(gè)符號(hào)信道及其容量Eg.求信道容量，信道轉(zhuǎn)移矩陣如下：信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1－，錯(cuò)誤概率被對(duì)稱地均分給n-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例。223.2離散單個(gè)符號(hào)信道及其容量n=2時(shí)，即為：二進(jìn)制對(duì)稱信道，容量為C＝1－H（）23pC信道無噪聲當(dāng)ε

=0,C=1－0=1bit=H(X)當(dāng)ε

=1/2,

信道強(qiáng)噪聲，信道容量為0BSC信道容量3.2離散單個(gè)符號(hào)信道及其容量離散無記憶模K加性噪聲信道取值范圍：Z=X=Y={0,1,…,K-1}，X為信道輸入，Y為信道輸出，Z為信道干擾。y=x⊕zmodK例3-3離散無記憶模K加性噪聲信道，X=Y={0,1,…,K-1}，

y=x⊕zmodK，求該信道容量。該信道具有對(duì)

稱DMC信道特征，其概率轉(zhuǎn)移概率為：

2501K-1012K-1信道示意圖如右圖所示：

利用公式得到

263.2離散單個(gè)符號(hào)信道及其容量串聯(lián)信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…Q:信道容量與串聯(lián)信道多少的關(guān)系？YWZ273.2離散單個(gè)符號(hào)信道及其容量Eg.設(shè)有兩個(gè)離散BSC信道串接，兩個(gè)BSC信道的轉(zhuǎn)移矩陣如下，求信道容量；283.2離散單個(gè)符號(hào)信道及其容量信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]串聯(lián)信道容量X00ZY111-ε1-εε1-εεBSC信道串聯(lián)1-ε293.2離散單個(gè)符號(hào)信道及其容量準(zhǔn)對(duì)稱DMC信道如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準(zhǔn)對(duì)稱DMC信道，例：303.2離散單個(gè)符號(hào)信道及其容量準(zhǔn)對(duì)稱DMC信道容量對(duì)于準(zhǔn)對(duì)稱DMC信道，當(dāng)輸入分布為等概分布時(shí)，互信息達(dá)到最大值。信道容量：證明：313.2離散單個(gè)符號(hào)信道及其容量Eg.

求信道容量方法一：信道的輸入符號(hào)有兩個(gè)，可設(shè)p(a1)＝，p(a2)＝1－信道的輸出符號(hào)有三個(gè)，用b1、b2、b3表示，由得到聯(lián)合概率矩陣：323.2離散單個(gè)符號(hào)信道及其容量Eg.

求信道容量方法一（續(xù)）：由333.2離散單個(gè)符號(hào)信道及其容量Eg.

求信道容量方法一（續(xù)）：由得求得α=1/2，343.2離散單個(gè)符號(hào)信道及其容量當(dāng)p(a1)＝p(a2)＝1/2時(shí)，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符號(hào)方法二：將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集，輸入分布為等概率時(shí)，信道容量n為輸入符號(hào)集中符號(hào)的個(gè)數(shù)；p1’，p2’，…ps’是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和，r是互不相交的子集個(gè)數(shù)；353.2離散單個(gè)符號(hào)信道及其容量方法二（續(xù)）363.2離散單個(gè)符號(hào)信道及其容量Eg.

求信道容量解：首先將P1分解成若干不相交的對(duì)稱子集，如何分？373.2離散單個(gè)符號(hào)信道及其容量一般DMC信道以輸入信號(hào)概率矢量Px求函數(shù)I(Px)的最大值（信道容量），可以看作是規(guī)劃問題，最常用的方法是：1972年由R.Blahut和A.Arimoto分別獨(dú)立提出的一種算法，現(xiàn)在稱為Blahut-Arimoto算法。I(X;Y)最大化的充要條件為：I(ai;Y)=C

對(duì)于所有滿足p(ai)>0條件的iI(ai;Y)

C

對(duì)于所有滿足p(ai)=0條件的i當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集{p(ai)}中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只有概率為零的符號(hào)除外；383.2離散單個(gè)符號(hào)信道及其容量一般DMC信道參考文獻(xiàn)：[1]S.Arimoto,“Analgorithmforcalculatingthecapacityofanarbitarydiscretememorylesschannel,”IEEETrans.Inform.Theory,vol.18,pp.14–20,1972.[2]R.E.Blahut.Computationofchannelcapacityandratedistortionfunction.IEEETrans.Inform.Theory,IT-18:460-473,1972.393.3離散序列信道及其容量

離散序列信道

信道

p(Y/X)

Y

X

X=(X1X2…XL)Xl{a1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}403.3離散序列信道及其容量

離散無記憶序列信道，信道轉(zhuǎn)移概率為：

11111進(jìn)一步信道是平穩(wěn)的

413.3離散序列信道及其容量

離散無記憶序列信道

11111如果信道無記憶如果輸入矢量X中的各個(gè)分量相互獨(dú)立當(dāng)信道平穩(wěn)時(shí)CL=LC1，一般情況下，I(X;Y)LC1如果信道無記憶且矢量X中的各分量獨(dú)立423.3離散序列信道及其容量

11111BSC的二次擴(kuò)展信道

X{00,01,10,11}，Y{00,01,10,11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p