信道容量分析教學提綱

信息論與編碼(biānmǎ)西安工業(yè)(gōngyè)大學電子信息工程學院

趙黎第一頁，共95頁。第三章信道容量第二頁，共95頁。信道的功能：以信號形式傳輸和存儲信息。信道傳輸信息的速率：與物理信道本身的特性、載荷信息的信號形式和信源輸出信號的統計特性有關。信道容量研究內容：在什么條件下，通過信道的信息量最大。信道定義：傳輸信息的媒介或通道。信道也可以看作一種變換，把輸入變換成輸出。信道的隨機性：由于(yóuyú)干擾和噪聲的存在，變換是隨機（概率）的。信道的描述：用條件轉移概率表示。第三頁，共95頁。本章(běnzhānɡ)內容信道(xìndào)的數學模型及分類單符號離散信道(xìndào)的信道(xìndào)容量第四頁，共95頁。3.1信道(xìndào)的數學模型及分類第五頁，共95頁。一般信道(xìndào)的數學模型信道(xìndào)的分類實際的信道(xìndào)第六頁，共95頁。(1)一般信道的數學模型信息論對信道的研究：對具體物理信道抽象，建立與各種通信系統相適應的信道模型，研究信息在這些模型信道上傳輸的普遍規(guī)律，指導通信系統的設計。信道模型：不研究信號(xìnhào)在信道中傳輸的物理過程，把信道模型看作黑匣子。第七頁，共95頁。數學模型的數學符號(fúhào)表示：{XP(Y/X)Y}第八頁，共95頁。(2)信道的分類①根據輸入輸出隨機信號的特點(tèdiǎn)分類②根據輸入輸出隨機變量個數的多少分類③根據輸入輸出個數分類④根據信道上有無干擾分類⑤根據信道有無記憶特性分類第九頁，共95頁。①根據輸入輸出隨機信號的特點分類離散(lísàn)信道：輸入和輸出的隨機序列的取值都是離散(lísàn)的信道。連續(xù)信道：輸入和輸出的隨機序列的取值都是連續(xù)的信道。半離散(lísàn)／半連續(xù)信道：輸入變量取離散(lísàn)值而輸出變量取連續(xù)值，或反之.第十頁，共95頁。②根據輸入輸出(shūchū)隨機變量個數的多少分類單符號信道：輸入和輸出(shūchū)端都只用一個隨機變量來表示。離散無記憶擴展信道（多符號信道）：輸入和輸出(shūchū)端用隨機變量序列（隨機矢量）來表示。③根據輸入輸出(shūchū)個數分類單用戶信道：只有一個輸入和一個輸出(shūchū)的信道。多用戶信道：有多個輸入和多個輸出(shūchū)的信道。(多元接入信道和廣播信道)

第十一頁，共95頁。④根據信道上有無干擾分類有干擾信道：存在干擾或噪聲(zàoshēng)或兩者都有的信道。實際信道一般都是有干擾信道。無干擾信道：不存在干擾或噪聲(zàoshēng)，或干擾和噪聲(zàoshēng)可忽略不計的信道。計算機和外存設備之間的信道可看作是無干擾信道。⑤根據信道有無記憶特性分類無記憶信道：輸出僅與當前輸入有關，而與過去輸入無關的信道。有記憶信道：信道輸出不僅與當前輸入有關，還與過去輸入和（或）過去輸出有關。第十二頁，共95頁。(3)實際的信道實際信道的帶寬總是有限的，所以輸入和輸出信號總可以分解成隨機序列來研究(yánjiū)。隨機序列中每個隨機變量的取值可以是可數的離散值，也可以是不可數的連續(xù)值。一個實際信道可同時具有多種屬性。最簡單的信道是單符號離散信道。第十三頁，共95頁。3.2單符號離散(lísàn)信道的信道容量第十四頁，共95頁。信道容量定義幾種特殊(tèshū)離散信道的信道容量離散信道容量的一般計算方法第十五頁，共95頁。(1)信道容量的定義①單符號離散(lísàn)信道的數學模型②信道的信息傳輸率③信道容量第十六頁，共95頁。①單符號離散信道的數學模型(móxíng)a信道模型(móxíng)b信道統計特性第十七頁，共95頁。a信道模型(móxíng)設輸入：X∈{x1,x2,…,xi,…,xn}輸出：Y∈{y1,y2,…,yj,…,ym}其信道模型(móxíng)：第十八頁，共95頁。a信道模型(móxíng)用線圖描述：第十九頁，共95頁。b信道統計特性信道統計特性：由信道轉移(zhuǎnyí)概率描述。信道轉移(zhuǎnyí)概率（信道傳遞概率）：條件概率p(yj/xi)。信道特性表示：用信道轉移(zhuǎnyí)概率矩陣，簡稱信道矩陣。反信道矩陣：由條件概率p(xi/yj)表示。第二十頁，共95頁。②信道(xìndào)的信息傳輸率第二十一頁，共95頁。②信道的信息傳輸率研究信道的目的：討論信道中平均每個符號傳送的信息量（信道的信息傳輸率）。信道的信息傳輸率：就是(jiùshì)平均互信息：R=I(X;Y)＝H(X)－H(X/Y)（比特/符號）平均互信息I(X;Y)就是接收到符號(fúhào)Y后平均每個符號(fúhào)獲得的關于X的信息量第二十二頁，共95頁。②信道的信息傳輸率如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I(X;Y)。輸出端Y往往只能獲得關于輸入X的部分(bùfen)信息，這是由于平均互信息性質決定的：I(X;Y)≤H(X)。I(X;Y)是信源無條件概率p(xi)和信道轉移概率p(yj/xi)的二元函數：第二十三頁，共95頁。③信道容量當信道特性p(yj/xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調整(tiáozhěng)p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質已知，I(X;Y)是p(xi)的上凸函數，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。第二十四頁，共95頁。③信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號。單位時間(shíjiān)的信道容量Ct：若信道平均傳輸一個符號需要t秒鐘，則單位時間(shíjiān)的信道容量為：Ct實際是信道的最大信息傳輸速率。第二十五頁，共95頁。結論C和Ct都是求平均互信息I(X;Y)的條件極大值問題(wèntí)，當輸入信源概率分布p(xi)調整好以后，C和Ct已與p(xi)無關，而僅僅是信道轉移概率的函數，只與信道統計特性有關；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。第二十六頁，共95頁。(2)幾種特殊(tèshū)離散信道的信道容量第二十七頁，共95頁。①離散無噪聲信道(xìndào)的信道(xìndào)容量②強對稱離散信道(xìndào)的信道(xìndào)容量③對稱離散信道(xìndào)的信道(xìndào)容量④準對稱離散信道(xìndào)的信道(xìndào)容量第二十八頁，共95頁。①離散無噪信道的信道容量a具有(jùyǒu)一一對應關系的無噪信道b具有(jùyǒu)擴展性能的無噪信道c具有(jùyǒu)歸并性能的無噪信道第二十九頁，共95頁。a具有一一對應關系的無噪信道(xìndào)（無噪無損信道(xìndào)）信道(xìndào)線圖第三十頁，共95頁。a具有一一對應關系的無噪信道（無噪無損(wúsǔn)信道）信道矩陣第三十一頁，共95頁。a具有一一對應(duìyìng)關系的無噪信道（無噪無損信道）因為信道矩陣中所有元素均是“1”或“0”，X和Y有確定的對應(duìyìng)關系：已知X后Y沒有不確定性，收到Y后，X也不存在不確定性，I(X;Y)=H(X)=H(Y)。當信源呈等概率分布時，具有一一對應(duìyìng)確定關系的無噪信道達到信道容量（信源X的最大熵）噪聲(zàoshēng)熵：H(Y/X)=0損失熵/信道(xìndào)疑義度：H(X/Y)=0第三十二頁，共95頁。b具有擴展性能的無噪信道（有噪無損信道）n<m，輸入X的符號(fúhào)集個數小于輸出Y的符號(fúhào)集個數。噪聲(zàoshēng)熵：H(Y/X)>0損失熵/信道(xìndào)疑義度：H(X/Y)=0第三十三頁，共95頁。b具有擴展(kuòzhǎn)性能的無噪信道（有噪無損信道）其信道矩陣為：第三十四頁，共95頁。雖然信道矩陣中的元素不全是“1”或“0”，但由于每列中只有(zhǐyǒu)一個非零元素：已知Y后，X不再有任何不確定度，信道容量為：此時輸入端符號熵小于輸出端符號熵，H(X)<H(Y)。噪聲(zàoshēng)熵：H(Y/X)>0損失熵/信道(xìndào)疑義度：H(X/Y)=0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)第三十五頁，共95頁。b具有(jùyǒu)擴展性能的無噪信道（有噪無損信道）熵之間的關系：第三十六頁，共95頁。c具有歸并性能的無噪信道（無噪有損信道）n>m，輸入X的符號(fúhào)集個數大于輸出Y的符號(fúhào)集個數：噪聲(zàoshēng)熵：H(Y/X)=0損失熵/信道(xìndào)疑義度：H(X/Y)>0第三十七頁，共95頁。信道矩陣(jǔzhèn)中的元素非“0”即“1”，每行僅有一個非零元素，但每列的非零元素個數大于1：已知某一個xi后，對應的yj完全確定，收到某一個yj后，對應的xi不完全確定，信道疑義度H(X/Y)≠0。信道容量為：這種信道的輸入端符號熵大于輸出端符號熵，H(X)>H(Y)。噪聲(zàoshēng)熵：H(Y/X)=0損失熵/信道(xìndào)疑義度：H(X/Y)>0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(Y)第三十八頁，共95頁。注意：在求信道容量時，調整的始終是輸入端的概率分布p(xi)，盡管信道容量式子中平均互信息I(X;Y)等于輸出端符號熵H(Y)，但是(dànshì)在求極大值時調整的仍然是輸入端的概率分布p(xi)，而不能用輸出端的概率分布p(yj)來代替。第三十九頁，共95頁。熵之間的關系(guānxì)：第四十頁，共95頁。[舉例]：圖3.2.4a的信道容量是log23=1.585(比特/信道符號)，求要達到這一信道容量對應(duìyìng)的信源概率分布。由信道矩陣得p(y1)=p(x1)×1+p(x2)×1p(y2)=p(x3)×1+p(x4)×1p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)達到最大值，即達到信道容量C。第四十一頁，共95頁。[舉例]：此時使p(y1)=p(y2)=p(y3)=(1/3)的信源概率分布{p(xi)},i=1,2,3,4,5存在，但不是惟一的。這種信道的輸入(shūrù)符號熵大于輸出符號熵，即H(X)>H(Y)。第四十二頁，共95頁。結論無損信道的信道容量C只決定于信道的輸入符號數n，與信源無關(wúguān)。無噪信道的信道容量C只決定于信道的輸出符號數m，與信源無關(wúguān)。第四十三頁，共95頁。②強對稱離散信道的信道容量a什么(shénme)是強對稱離散信道b強對稱信道矩陣特點c強對稱離散信道的信道容量d輸入是什么(shénme)概率分布時達到信道容量e二進制均勻信道第四十四頁，共95頁。a什么是強對稱離散信道單符號離散信道的X和Y取值均由n個不同(bùtónɡ)符號組成，即X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}每信道矩陣為：第四十五頁，共95頁。a什么是強對稱離散(lísàn)信道這種信道稱為強對稱（均勻）信道。這類信道中：總的錯誤概率是p，對稱平均地分配給(n－1)個輸出符號.信道矩陣中每行之和等于1，每列之和也等于1。一般信道矩陣中，每列之和不一定等于1。第四十六頁，共95頁。b強對稱信道矩陣(jǔzhèn)特點強對稱信道矩陣(jǔzhèn)，它的每一行和每一列都是同一集合各個元素的不同排列。由平均互信息定義：第四十七頁，共95頁。b強對稱信道矩陣特點Hni的意義：是固定X=xi時對Y求和，相當于在信道矩陣中選定了某一行，對該行上各列元素的自信息求加權和。由于信道的對稱性，每一行都是同一集合的不同排列(páiliè)，所以：當xi不同時，Hni只是求和順序不同，求和結果完全一樣。所以Hni與X無關，是一個常數。第四十八頁，共95頁。b強對稱(duìchèn)信道矩陣特點因此：第四十九頁，共95頁。c強對稱離散信道的信道容量如何達到信道容量：求一種輸入分布使H(Y)取最大值。現已知輸出(shūchū)符號集Y共有n個符號，則H(Y)≤log2n。根據最大離散熵定理，只有當p(yj)=(1/n)，即輸出(shūchū)端呈等概率分布時，H(Y)才達到最大值log2n。要獲得這一最大值，可通過下面公式尋找相應的輸入概率分布；現一般情況下不一定存在一種輸入符號的概率，使輸出(shūchū)符號達到等概率分布。但強對稱離散信道存在。第五十頁，共95頁。d輸入是什么概率分布時達到信道(xìndào)容量強對稱離散信道(xìndào)的輸入和輸出之間概率關系可用矩陣表示為：第五十一頁，共95頁。d輸入是什么概率分布時達到信道(xìndào)容量信道(xìndào)矩陣中的每一行都是由同一集合中的諸元素的不同排列組成，所以保證了當輸入符號X是等概率分布，即p(xi)=(1/n)時，輸出符號Y一定是等概率分布，這時H(Y)=log2n。相應的信道(xìndào)容量為：第五十二頁，共95頁。d輸入是什么概率分布時達到信道容量結論：當信道輸入呈等概率分布時，強對稱離散信道能夠傳輸最大的平均信息量，即達到信道容量。這個信道容量只與信道的輸出符號數n和相應信道矩陣中的任一行矢量(shǐliàng)有關。第五十三頁，共95頁。e二進制均勻信道當n=2時的強對稱離散(lísàn)信道就是二進制均勻信道。二進制均勻信道的信道容量為：二進制均勻信道容量曲線如圖3.2.6所示。第五十四頁，共95頁。③對稱離散信道(xìndào)的信道(xìndào)容量a可排列性b對稱離散信道(xìndào)定義c對稱離散信道(xìndào)的信道(xìndào)容量第五十五頁，共95頁。a可排列性行可排列：一個矩陣的每一行都是同一(tóngyī)集合Q{q1,q2,…,qm}中諸元素的不同排列。列可排列：一個矩陣的每一列都是同一(tóngyī)集合P{p1,p2,…,pn}中諸元素的不同排列。矩陣可排列（具有可排列性）：一個矩陣的行和列都是可排列的。第五十六頁，共95頁。b對稱離散信道定義對稱離散信道：信道矩陣具有可排列性。對稱離散信道行、列集合的特點：當m<n時，Q是P的子集。當m>n時，P是Q的子集。當m=n時，Q和P中的所有(suǒyǒu)元素重合，Q和P是同一集合。第五十七頁，共95頁。b對稱(duìchèn)離散信道定義舉例：第五十八頁，共95頁。b對稱離散信道(xìndào)定義舉例：第五十九頁，共95頁。c對稱(duìchèn)離散信道的信道容量第六十頁，共95頁。c對稱離散信道的信道容量對稱離散信道的信道容量與強對稱的形式相同，只是這里m≠n。由于對稱信道的特點，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證(bǎozhèng)了當X等概率分布時，Y也是等概率分布，從而使Y的熵達到最大值log2m，即信道容量。第六十一頁，共95頁。④準對稱離散(lísàn)信道的信道容量

第六十二頁，共95頁。準對稱離散信道定義：一個n行m列單符號(fúhào)離散信道矩陣[P]的行可排列，列不可排列。但是矩陣中的m列可分成S個不相交的子集，各子集分別有m1,m2,…,ms個元素(m1+m2+…+ms=m)，由n行mk(k=1,2,…,s)列組成的子矩陣[P]k具有可排列性。舉例兩個子矩陣均是可排列的，故信道[P]是準對稱信道。第六十三頁，共95頁。準對稱離散信道(xìndào)容量為：可以證明：實現離散準對稱無記憶信道(xìndào)信道(xìndào)容量的輸入符號集的分布為等概率分布。第六十四頁，共95頁。舉例(jǔlì)已知準對稱信道矩陣，求其信道容量

第六十五頁，共95頁。第六十六頁，共95頁。(3)離散(lísàn)信道容量的一般計算方法第六十七頁，共95頁。①如何計算離散(lísàn)信道容量②用拉格朗日乘子法求信道容量③一般離散(lísàn)信道容量計算步驟第六十八頁，共95頁。①如何(rúhé)計算離散信道容量由于I(X;Y)是輸入概率分布p(xi)的上凸函數，所以極大值一定存在。因為I(X;Y)是n個變量{p(x1),p(x2),…,p(xn)}的多元函數，并滿足，所以可用拉各朗日乘子法計算這個條件極值。對一般離散信道求信道容量，就是在固定信道條件(tiáojiàn)下，對所有可能的輸入概率分布p(xi)，求平均互信息的極大值。第六十九頁，共95頁。②用拉各朗日乘子法求信道容量引進一個(yīɡè)新函數

其中λ為拉各朗日乘子，解方程組：

可得一般信道容量C。第七十頁，共95頁。將I(X;Y)

的表達式代入(3.2.21)得：第七十一頁，共95頁。整理(zhěnglǐ)得：第七十二頁，共95頁。上式左邊(zuǒbian)為平均互信息的極大值，即：第七十三頁，共95頁。第七十四頁，共95頁。③一般離散信道容量計算步驟(bùzhòu)一般離散信道容量的計算步驟(bùzhòu)總結如下：第七十五頁，共95頁。注意：在第②步信道容量C被求出后，計算并沒有結束，必須解出相應的p(xi)，并確認所有的p(xi)≥0時，所求的C才存在(cúnzài)。在對I(X;Y)求偏導時，僅限制，并沒有限制p(xi)≥0，所以求出的p(xi)有可能為負值，此時C就不存在(cúnzài)，必須對p(xi)進行調整，再重新求解C?，F在一般采用計算機，運用迭代算法求解。注意：在第②步信道容量C被求出后，計算并沒有結束，必須解出相應的p(xi)，并確認所有的p(xi)≥0時，所求的C才存在。在對I(X;Y)求偏導時，僅限制，并沒有限制p(xi)≥0，所以求出的p(xi)有可能為負值，此時C就不存在，必須對p(xi)進行調整，再重新求解C?，F在一般采用計算機，運用(yùnyòng)迭代算法求解。注意：在第②步信道容量C被求出后，計算并沒有結束，必須解出相應的p(xi)，并確認所有的p(xi)≥0時，所求的C才存在。在對I(X;Y)求偏導時，僅限制，并沒有限制p(xi)≥0，所以求出的p(xi)有可能為負值，此時C就不存在，必須對p(xi)進行調整，再重新求解C?，F在一般采用計算機，運用(yùnyòng)迭代算法求解。第七十六頁，共95頁。[例3.2.2]：有一信道(xìndào)矩陣，求信道(xìndào)容量C。第七十七頁，共95頁。因為ε是條件轉移(zhuǎnyí)概率p(y1/x2)，所以0≤ε≤1，從而有：p(x1)≥0，p(x2)≥0，保證了C的存在。第七十八頁，共95頁。離散無記憶多符號信道(xìndào)及其容量若信道的輸入和輸出隨機序列中的每一個隨機變量都取值于同一符號集，并且隨機序列中每個隨機變量都是統計(tǒngjì)獨立的，這種信道稱為離散無記憶多符號信道。若信道的輸入和輸出隨機序列中的每一個隨機變量(suíjībiànliànɡ)可以取值于不同的輸入符號集或輸出符號集，并且隨機序列中每個隨機變量(suíjībiànliànɡ)都是統計獨立的，這種信道稱為一般離散無記憶信道。第七十九頁，共95頁。離散(lísàn)無記憶多符號信道及其容量P(YN/XN)這種信道相當于單符號(fúhào)離散信道在N個不同的時刻連續(xù)運用了N次，所以也可以稱為離散無記憶單符號(fúhào)N次擴展信道。第八十頁，共95頁。離散(lísàn)無記憶多符號信道及其容量離散無記憶(jìyì)多符號信道的傳遞概率等于各單位時刻相應的單符號無記憶(jìyì)信道的傳遞概率的連乘。第八十一頁，共95頁。離散無記憶多符號(fúhào)信道及其容量離散(lísàn)無記憶多符號信道的平均互信息第八十二頁，共95頁。離散(lísàn)無記憶多符號信道及其容量因為信道(xìndào)的輸入序列中的隨機變量取自同一信源符號集，且輸出序列中的隨機變量都取同一信宿符號集，所有的信源符號通過相同的信道(xìndào)傳送到輸出端，因此滿足即信源無記憶時，無記憶信道(xìndào)的N次擴展信道(xìndào)的平均互信息等于原來信道(xìndào)的平均互信息的N倍。第八十三頁，共95頁。離散無記憶(jìyì)多符號信道及其容量離散無記憶多符號(fúhào)信道的信道容量離散(lísàn)無記憶多符號信道的信道容量等于原離散(lísàn)單符號信道的信道容量的N倍。第八十四頁，共95頁。串聯(chuànlián)信道及其信道容量信道1P(Y/X)信道2P(Z/XY)在一些實際通信系統(xìtǒng)中，常常出現串聯信道。例如微波中繼接力通信就是一種串聯信道。信宿收到數據后再進行數據處理，數據處理系統(xìtǒng)可看成一種信道，它與前面?zhèn)鬏敂祿男诺罉嫵纱撔诺馈Ｐ诺繮(Z/X)第八十五頁，共95頁。信道1的輸出Y與其輸入X統計相關，信道2的輸出Z與其輸入Y統計相關，一般來講，Z與X統計相關。級聯的結構決定了Z的取值在給定Y以后(yǐhòu)與X將不再有關在概率論中稱XYZ的這種關系為XYZ組成馬爾科夫鏈。信道(xìndào)1P(Y/X)信道(xìndào)2P(Z/Y)第八十六頁，共95頁。定理：串聯(chuànlián)信道中的平均互信息滿足等號成立(chénglì)的充要條件是，對所有的x,y,z有第八十七頁，共95頁。數據處理定理(dìnglǐ)數據處理定理：當消息(xiāoxi)經過多級處理后，隨著處理器數目的增多，輸入