信道和信道容量

信道和信道容量第一頁，共三十四頁，2022年，8月28日3.1概述

信道：用來傳輸信號的通道，它承擔(dān)了信息傳輸和信息存儲任務(wù)。對稱電纜性能穩(wěn)定有線信道：同軸電纜受大氣干擾影響小光纜傳輸質(zhì)量好

無線信道：長波、中波、短波微波中繼通信超短波、微波衛(wèi)星通信等第二頁，共三十四頁，2022年，8月28日信道還可以分為：按信道用戶分為：單用戶信道，多用戶信道按輸入、輸出關(guān)聯(lián)分為：無反饋信道，反饋信道按信道參數(shù)分為：固定參數(shù)信道，時變參數(shù)信道按傳輸信號的特點分為：離散信道，連續(xù)信道，半離散（半連續(xù)）信道，波形信道信道容量概念：信道中能傳送或存儲的最大信息，是信道傳輸信息能力的量度，是信道對信源的一切可能的概率分布而言能夠傳送的最大熵速率。第三頁，共三十四頁，2022年，8月28日通信系統(tǒng)一般模型：各種物理信道中存在的干擾限制了通信的距離與速率，為反映信道干擾對傳輸性能的影響，可用刻劃各種干擾的模型來表示信道。如：發(fā)送為xi（信道輸入），接收為yj（信道輸出），則信道特性為：

Pji＝P（yj/xi），用（條件）轉(zhuǎn)移概率描述信源信宿調(diào)制信道解調(diào)廣義信道第四頁，共三十四頁，2022年，8月28日信道中無干擾時：

Pji＝1j＝i0j≠i信道中干擾最嚴重時：P（yj/xi）＝P（yj）一、二元對稱信道二元信道中，0錯成1和1錯成0的概率相等時，為二元對稱信道；且：p＝0時，信道無干擾；P＝1/2時，信道干擾最為嚴重。第五頁，共三十四頁，2022年，8月28日

二、二元刪除信道難以區(qū)分原發(fā)送信號時，不硬性判斷0或1，而作刪除處理。刪除信道中，p＝q時，則為對稱刪除信道。三、Z信道信道特性：0錯成1的概率為0，1錯成0有一定可能。

1p1－p0101第六頁，共三十四頁，2022年，8月28日有記憶信道：有突發(fā)干擾或碼間干擾的信道。用聯(lián)合轉(zhuǎn)移概率表示：若信道的記憶很弱成為無記憶時，可表示成：無記憶信道：只有獨立干擾的信道。第七頁，共三十四頁，2022年，8月28日

小結(jié)：信道是傳輸信號的通道，信號則載荷有一定的信息，通信的目的是將信息送至信宿，而波形有無失真常常無關(guān)緊要。為了研究輸入信號和輸出信號之間的關(guān)系（這是信道特性的主要標(biāo)志），并統(tǒng)一描述各種信道，往往采用條件概率來描述，以此表明信道特性。第八頁，共三十四頁，2022年，8月28日3.2信道容量的表示互信息：I（X；Y）＝H（X）－H（X/Y）＝H（Y）－H（Y/X）H（X）：接收Y前，關(guān)于X的不確定性；H（X/Y）：接收Y后，關(guān)于X的不確定性；也稱信道疑義度，或稱損失熵H（Y/X）：在已知X的條件下，對Y尚存在的不確定性；也稱噪聲熵。第九頁，共三十四頁，2022年，8月28日I（X；Y）：接收到Y(jié)前、后關(guān)于的平均不確定性的消除；或發(fā)送X前、后關(guān)于Y的平均不確定性的消除?？梢姡红刂皇瞧骄淮_定性的描述，而不確定性的消除（兩熵之差）才等于接收端所獲得的信息量。獲得的信息量不能和不確定性混為一談。第十頁，共三十四頁，2022年，8月28日關(guān)于信道容量：研究：信道中平均每個符號所能傳送的信息量，即信息傳輸率R，也是平均互信息。R＝I（X；Y）＝H（X）－H（X/Y）比特/符號若平均傳輸一個符號需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛椋篟t＝（1/t）I（X；Y）bit/秒定義：最大的信息傳輸率為信道容量C，即：C＝max｛I（X；Y）｝bit/符號P(x)第十一頁，共三十四頁，2022年，8月28日達到信道容量時，相應(yīng)的輸入概率分布稱為最佳輸入分布，若平均傳輸一個符號需要t秒，則：信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛椋篊t＝（1/t）max｛I（X；Y）｝bit/秒注意：信道容量C與輸入信源的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。信道容量是完全描述信道特性的參數(shù)，是信道能夠傳輸?shù)淖畲笮畔⒘?。P(x)第十二頁，共三十四頁，2022年，8月28日3.3信道容量計算一、離散無干擾信道的信道容量1、Y是X的一一對應(yīng)函數(shù)P(y/x)=1y=f(x)即：H(X/Y)=H(Y/X)=00y≠f(x)I(X;Y)=H(X)=H(Y)X的不確定性在接收端被完全解除，是無損無噪信道，其信道容量是求最大熵問題：C＝maxH(X)＝maxH(Y)＝lognbit/符號P(X)P(X)第十三頁，共三十四頁，2022年，8月28日2、一個輸入對應(yīng)多個輸出Y值，且Y值不重合接收到符號Y后，對發(fā)送X符號是完全確定的，是有噪無損信道，即：損失熵：H(X/Y)＝0，噪聲熵：H(Y/X)≠0I(X;Y)＝H(X)＝H(Y)－H(Y/X)＜H(Y)信道容量仍是最大熵問題（最大H(X)）：C＝maxH(X)＝logrbit/符號（設(shè)X有r個符號）結(jié)論：信道的轉(zhuǎn)移矩陣中，每列有一個也僅有一個非零元素時，此信道一定是有噪無損信道。P(X)第十四頁，共三十四頁，2022年，8月28日如圖信道示意，信道矩陣：第十五頁，共三十四頁，2022年，8月28日3、Y是X的確定函數(shù)，且是多一對應(yīng)收到Y(jié)后不能完全消除對X的不確定性，信息有損失，是無噪有損信道，也稱確定信道，即：損失熵：H(X/Y)≠0；噪聲熵：H(Y/X)＝0，I(X;Y)＝H(Y)＝H(X)－H(X/Y)＜H(X)第十六頁，共三十四頁，2022年，8月28日信道容量仍是最大熵問題（最大H(Y)）：C＝maxH(Y)＝logsbit/符號（設(shè)Y有s個符號）

此種情況中，一定能找到一種輸入概率分布P(X)使輸出Y達到等概分布。P(X)第十七頁，共三十四頁，2022年，8月28日二、對稱離散信道的信道容量

對稱離散信道：信道矩陣中每一行是另一行的置換，每一列是另一列的置換，具有對稱的信道矩陣。設(shè)X與Y符號個數(shù)相同（強對稱或均勻信道），均為n，則：條件概率：第十八頁，共三十四頁，2022年，8月28日可得：顯然，對于離散對稱信道，當(dāng)輸入符號是等概時，傳輸信息最大，每符號信道容量：若輸入、輸出符號個數(shù)不相同，但只要符合對稱信道特性，即每行和每列的取值集分別相同，只是排列不同，則信道容量和輸出符號集的個數(shù)s有關(guān)，為：s第十九頁，共三十四頁，2022年，8月28日

三、準對稱信道的信道容量若信道矩陣[P]的s個列（Y集的元素是s個）可分為n個不相交的子集mk，由mk組成的矩陣[P]k是對稱矩陣（具有可排列的性質(zhì)），則稱此信道為準對稱信道，其信道容量：

r為輸入符號集個數(shù)即信道矩陣行數(shù)準對稱信道中的行元素第k個子矩陣中行元素之和第k個子矩陣中列元素之和第二十頁，共三十四頁，2022年，8月28日例3－1：二元對稱刪除信道如圖，計算信道容量。例3－2：準對稱信道的信道矩陣為：P(y/x)＝0.50.30.20.30.50.2當(dāng)輸入概率分布為p(x1)＝ɑ，p(x2)＝1－ɑ求信息傳輸率R及信道容量。第二十一頁，共三十四頁，2022年，8月28日四、一般離散信道的信道容量對于非特殊性質(zhì)的固定信道，根據(jù)定義，其信道容量是對所有可能的輸入概率分布P(X)求平均互信息的極大值。由于I(X;Y)是P(X)的上凸函數(shù)，其極大值一定存在。注意：達到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足定理中的條件，并使I最大，即成為信道的最佳輸入分布。第二十二頁，共三十四頁，2022年，8月28日3.4串聯(lián)信道和并聯(lián)信道一、串聯(lián)信道其中：I(X;Z)≤I(X;Y)，I(X;Z)≤I(Y;Z)信道矩陣[P(z/x)]＝[P(y/x)][P(z/y)]顯然，通過串聯(lián)信道的傳輸只會丟失更多的信息I(X;Y)I(Y;Z)I(X;Z)且P(z/xy)=p(z/y)第二十三頁，共三十四頁，2022年，8月28日二、獨立并聯(lián)信道的容量聯(lián)合互信息：

I(X1X2;Y1Y2)≤I(X1;Y1)＋I(X2;Y2)信道容量：C12≤C1＋C2X1，X2、Y1，Y2相互獨立時：C12＝C1＋C2有N個信道時：C≤∑CiN個信道相同時：C≤NCii=1N信道1信道2X1X2Y1Y2C1C2第二十四頁，共三十四頁，2022年，8月28日結(jié)論：若N個符號以序列形式由一個信道傳送，當(dāng)輸入符號之間相互獨立，則信道中N個符號的容量能達到N倍單符號信道容量。第二十五頁，共三十四頁，2022年，8月28日3.5連續(xù)信道容量一、單符號高斯加性信道討論條件：信道的輸入和輸出都是取值連續(xù)的一維隨機變量，而加入信道的噪聲是加性高斯噪聲。則噪聲熵：信道輸出：Y＝X＋n第二十六頁，共三十四頁，2022年，8月28日因此，當(dāng)輸入X為已知值時，Y也為正態(tài)變量，即：所以:信道容量:這是限平均功率的高斯信道的信道容量公式。第二十七頁，共三十四頁，2022年，8月28日注意：實際信道不一定符合高斯干擾的條件，求C往往很困難，一般沒有確切的方法，但在疊加性干擾條件下，可求出信道容量的上、下界。而高斯信道的容量是一般信道的下界。結(jié)論：實際信道的容量總是大于高斯信道的容量，用高斯信道條件計算出的容量來代表實際信道容量傳輸信息時，不會失真。第二十八頁，共三十四頁，2022年，8月28日二、限頻限功率高斯信道的容量條件：信道容許輸入信號是隨機過程，引入的干擾是高斯白噪聲，輸入信號平均功率受限為Ps，頻帶受限W。單位時間信道容量（香農(nóng)公式）：顯然，帶寬W↑→Ct↑，W→∞時，則：

Ct≈Ps/N0第二十九頁，共三十四頁，2022年，8月28日結(jié)論：當(dāng)頻帶很寬時，或信噪比很低時，信道容量等于信號功率與噪聲功率密度比，此比值是加性高斯噪聲信道信息傳輸率的極限值。在上述寬頻帶條件下，信號淹沒在噪聲中仍可傳送信息。由香農(nóng)公式得到的值是非高斯信道（實際信道）的信道容量的下限值。第三十頁，共三十四頁，2022年，8月28日三、多維無記憶高斯加性連續(xù)信道討論條件：輸入、輸出為隨機序列，且Y＝X＋n其中n＝（n1,n2,…,nN）是均值為零的高斯噪聲信道容量C‥‥‥①限制條件：‥‥‥②問題：輸入信號的總平均功率受限時，各時刻（各獨立信道）的信號平均功率Psi應(yīng)如何分配，才能使C最大？最終C應(yīng)等于多少？第三十一頁，共三十四頁，2022年，8