信道容量分析教學(xué)提綱

信息論與編碼(biānmǎ)西安工業(yè)(gōngyè)大學(xué)電子信息工程學(xué)院

趙黎第一頁(yè)，共95頁(yè)。第三章信道容量第二頁(yè)，共95頁(yè)。信道的功能：以信號(hào)形式傳輸和存儲(chǔ)信息。信道傳輸信息的速率：與物理信道本身的特性、載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān)。信道容量研究?jī)?nèi)容：在什么條件下，通過(guò)信道的信息量最大。信道定義：傳輸信息的媒介或通道。信道也可以看作一種變換，把輸入變換成輸出。信道的隨機(jī)性：由于(yóuyú)干擾和噪聲的存在，變換是隨機(jī)（概率）的。信道的描述：用條件轉(zhuǎn)移概率表示。第三頁(yè)，共95頁(yè)。本章(běnzhānɡ)內(nèi)容信道(xìndào)的數(shù)學(xué)模型及分類單符號(hào)離散信道(xìndào)的信道(xìndào)容量第四頁(yè)，共95頁(yè)。3.1信道(xìndào)的數(shù)學(xué)模型及分類第五頁(yè)，共95頁(yè)。一般信道(xìndào)的數(shù)學(xué)模型信道(xìndào)的分類實(shí)際的信道(xìndào)第六頁(yè)，共95頁(yè)。(1)一般信道的數(shù)學(xué)模型信息論對(duì)信道的研究：對(duì)具體物理信道抽象，建立與各種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在這些模型信道上傳輸?shù)钠毡橐?guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計(jì)。信道模型：不研究信號(hào)(xìnhào)在信道中傳輸?shù)奈锢磉^(guò)程，把信道模型看作黑匣子。第七頁(yè)，共95頁(yè)。數(shù)學(xué)模型的數(shù)學(xué)符號(hào)(fúhào)表示：{XP(Y/X)Y}第八頁(yè)，共95頁(yè)。(2)信道的分類①根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)(tèdiǎn)分類②根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類③根據(jù)輸入輸出個(gè)數(shù)分類④根據(jù)信道上有無(wú)干擾分類⑤根據(jù)信道有無(wú)記憶特性分類第九頁(yè)，共95頁(yè)。①根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類離散(lísàn)信道：輸入和輸出的隨機(jī)序列的取值都是離散(lísàn)的信道。連續(xù)信道：輸入和輸出的隨機(jī)序列的取值都是連續(xù)的信道。半離散(lísàn)／半連續(xù)信道：輸入變量取離散(lísàn)值而輸出變量取連續(xù)值，或反之.第十頁(yè)，共95頁(yè)。②根據(jù)輸入輸出(shūchū)隨機(jī)變量個(gè)數(shù)的多少分類單符號(hào)信道：輸入和輸出(shūchū)端都只用一個(gè)隨機(jī)變量來(lái)表示。離散無(wú)記憶擴(kuò)展信道（多符號(hào)信道）：輸入和輸出(shūchū)端用隨機(jī)變量序列（隨機(jī)矢量）來(lái)表示。③根據(jù)輸入輸出(shūchū)個(gè)數(shù)分類單用戶信道：只有一個(gè)輸入和一個(gè)輸出(shūchū)的信道。多用戶信道：有多個(gè)輸入和多個(gè)輸出(shūchū)的信道。(多元接入信道和廣播信道)

第十一頁(yè)，共95頁(yè)。④根據(jù)信道上有無(wú)干擾分類有干擾信道：存在干擾或噪聲(zàoshēng)或兩者都有的信道。實(shí)際信道一般都是有干擾信道。無(wú)干擾信道：不存在干擾或噪聲(zàoshēng)，或干擾和噪聲(zàoshēng)可忽略不計(jì)的信道。計(jì)算機(jī)和外存設(shè)備之間的信道可看作是無(wú)干擾信道。⑤根據(jù)信道有無(wú)記憶特性分類無(wú)記憶信道：輸出僅與當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道。有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去輸入和（或）過(guò)去輸出有關(guān)。第十二頁(yè)，共95頁(yè)。(3)實(shí)際的信道實(shí)際信道的帶寬總是有限的，所以輸入和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究(yánjiū)。隨機(jī)序列中每個(gè)隨機(jī)變量的取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。一個(gè)實(shí)際信道可同時(shí)具有多種屬性。最簡(jiǎn)單的信道是單符號(hào)離散信道。第十三頁(yè)，共95頁(yè)。3.2單符號(hào)離散(lísàn)信道的信道容量第十四頁(yè)，共95頁(yè)。信道容量定義幾種特殊(tèshū)離散信道的信道容量離散信道容量的一般計(jì)算方法第十五頁(yè)，共95頁(yè)。(1)信道容量的定義①單符號(hào)離散(lísàn)信道的數(shù)學(xué)模型②信道的信息傳輸率③信道容量第十六頁(yè)，共95頁(yè)。①單符號(hào)離散信道的數(shù)學(xué)模型(móxíng)a信道模型(móxíng)b信道統(tǒng)計(jì)特性第十七頁(yè)，共95頁(yè)。a信道模型(móxíng)設(shè)輸入：X∈{x1,x2,…,xi,…,xn}輸出：Y∈{y1,y2,…,yj,…,ym}其信道模型(móxíng)：第十八頁(yè)，共95頁(yè)。a信道模型(móxíng)用線圖描述：第十九頁(yè)，共95頁(yè)。b信道統(tǒng)計(jì)特性信道統(tǒng)計(jì)特性：由信道轉(zhuǎn)移(zhuǎnyí)概率描述。信道轉(zhuǎn)移(zhuǎnyí)概率（信道傳遞概率）：條件概率p(yj/xi)。信道特性表示：用信道轉(zhuǎn)移(zhuǎnyí)概率矩陣，簡(jiǎn)稱信道矩陣。反信道矩陣：由條件概率p(xi/yj)表示。第二十頁(yè)，共95頁(yè)。②信道(xìndào)的信息傳輸率第二十一頁(yè)，共95頁(yè)。②信道的信息傳輸率研究信道的目的：討論信道中平均每個(gè)符號(hào)傳送的信息量（信道的信息傳輸率）。信道的信息傳輸率：就是(jiùshì)平均互信息：R=I(X;Y)＝H(X)－H(X/Y)（比特/符號(hào)）平均互信息I(X;Y)就是接收到符號(hào)(fúhào)Y后平均每個(gè)符號(hào)(fúhào)獲得的關(guān)于X的信息量第二十二頁(yè)，共95頁(yè)。②信道的信息傳輸率如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I(X;Y)。輸出端Y往往只能獲得關(guān)于輸入X的部分(bùfen)信息，這是由于平均互信息性質(zhì)決定的：I(X;Y)≤H(X)。I(X;Y)是信源無(wú)條件概率p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的二元函數(shù)：第二十三頁(yè)，共95頁(yè)。③信道容量當(dāng)信道特性p(yj/xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整(tiáozhěng)p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。第二十四頁(yè)，共95頁(yè)。③信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號(hào)。單位時(shí)間(shíjiān)的信道容量Ct：若信道平均傳輸一個(gè)符號(hào)需要t秒鐘，則單位時(shí)間(shíjiān)的信道容量為：Ct實(shí)際是信道的最大信息傳輸速率。第二十五頁(yè)，共95頁(yè)。結(jié)論C和Ct都是求平均互信息I(X;Y)的條件極大值問(wèn)題(wèntí)，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后，C和Ct已與p(xi)無(wú)關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。第二十六頁(yè)，共95頁(yè)。(2)幾種特殊(tèshū)離散信道的信道容量第二十七頁(yè)，共95頁(yè)。①離散無(wú)噪聲信道(xìndào)的信道(xìndào)容量②強(qiáng)對(duì)稱離散信道(xìndào)的信道(xìndào)容量③對(duì)稱離散信道(xìndào)的信道(xìndào)容量④準(zhǔn)對(duì)稱離散信道(xìndào)的信道(xìndào)容量第二十八頁(yè)，共95頁(yè)。①離散無(wú)噪信道的信道容量a具有(jùyǒu)一一對(duì)應(yīng)關(guān)系的無(wú)噪信道b具有(jùyǒu)擴(kuò)展性能的無(wú)噪信道c具有(jùyǒu)歸并性能的無(wú)噪信道第二十九頁(yè)，共95頁(yè)。a具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道(xìndào)（無(wú)噪無(wú)損信道(xìndào)）信道(xìndào)線圖第三十頁(yè)，共95頁(yè)。a具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損(wúsǔn)信道）信道矩陣第三十一頁(yè)，共95頁(yè)。a具有一一對(duì)應(yīng)(duìyìng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）因?yàn)樾诺谰仃囍兴性鼐恰?”或“0”，X和Y有確定的對(duì)應(yīng)(duìyìng)關(guān)系：已知X后Y沒(méi)有不確定性，收到Y(jié)后，X也不存在不確定性，I(X;Y)=H(X)=H(Y)。當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)(duìyìng)確定關(guān)系的無(wú)噪信道達(dá)到信道容量（信源X的最大熵）噪聲(zàoshēng)熵：H(Y/X)=0損失熵/信道(xìndào)疑義度：H(X/Y)=0第三十二頁(yè)，共95頁(yè)。b具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）n<m，輸入X的符號(hào)(fúhào)集個(gè)數(shù)小于輸出Y的符號(hào)(fúhào)集個(gè)數(shù)。噪聲(zàoshēng)熵：H(Y/X)>0損失熵/信道(xìndào)疑義度：H(X/Y)=0第三十三頁(yè)，共95頁(yè)。b具有擴(kuò)展(kuòzhǎn)性能的無(wú)噪信道（有噪無(wú)損信道）其信道矩陣為：第三十四頁(yè)，共95頁(yè)。雖然信道矩陣中的元素不全是“1”或“0”，但由于每列中只有(zhǐyǒu)一個(gè)非零元素：已知Y后，X不再有任何不確定度，信道容量為：此時(shí)輸入端符號(hào)熵小于輸出端符號(hào)熵，H(X)<H(Y)。噪聲(zàoshēng)熵：H(Y/X)>0損失熵/信道(xìndào)疑義度：H(X/Y)=0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)第三十五頁(yè)，共95頁(yè)。b具有(jùyǒu)擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）熵之間的關(guān)系：第三十六頁(yè)，共95頁(yè)。c具有歸并性能的無(wú)噪信道（無(wú)噪有損信道）n>m，輸入X的符號(hào)(fúhào)集個(gè)數(shù)大于輸出Y的符號(hào)(fúhào)集個(gè)數(shù)：噪聲(zàoshēng)熵：H(Y/X)=0損失熵/信道(xìndào)疑義度：H(X/Y)>0第三十七頁(yè)，共95頁(yè)。信道矩陣(jǔzhèn)中的元素非“0”即“1”，每行僅有一個(gè)非零元素，但每列的非零元素個(gè)數(shù)大于1：已知某一個(gè)xi后，對(duì)應(yīng)的yj完全確定，收到某一個(gè)yj后，對(duì)應(yīng)的xi不完全確定，信道疑義度H(X/Y)≠0。信道容量為：這種信道的輸入端符號(hào)熵大于輸出端符號(hào)熵，H(X)>H(Y)。噪聲(zàoshēng)熵：H(Y/X)=0損失熵/信道(xìndào)疑義度：H(X/Y)>0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(Y)第三十八頁(yè)，共95頁(yè)。注意：在求信道容量時(shí)，調(diào)整的始終是輸入端的概率分布p(xi)，盡管信道容量式子中平均互信息I(X;Y)等于輸出端符號(hào)熵H(Y)，但是(dànshì)在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布p(xi)，而不能用輸出端的概率分布p(yj)來(lái)代替。第三十九頁(yè)，共95頁(yè)。熵之間的關(guān)系(guānxì)：第四十頁(yè)，共95頁(yè)。[舉例]：圖3.2.4a的信道容量是log23=1.585(比特/信道符號(hào))，求要達(dá)到這一信道容量對(duì)應(yīng)(duìyìng)的信源概率分布。由信道矩陣得p(y1)=p(x1)×1+p(x2)×1p(y2)=p(x3)×1+p(x4)×1p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)達(dá)到最大值，即達(dá)到信道容量C。第四十一頁(yè)，共95頁(yè)。[舉例]：此時(shí)使p(y1)=p(y2)=p(y3)=(1/3)的信源概率分布{p(xi)},i=1,2,3,4,5存在，但不是惟一的。這種信道的輸入(shūrù)符號(hào)熵大于輸出符號(hào)熵，即H(X)>H(Y)。第四十二頁(yè)，共95頁(yè)。結(jié)論無(wú)損信道的信道容量C只決定于信道的輸入符號(hào)數(shù)n，與信源無(wú)關(guān)(wúguān)。無(wú)噪信道的信道容量C只決定于信道的輸出符號(hào)數(shù)m，與信源無(wú)關(guān)(wúguān)。第四十三頁(yè)，共95頁(yè)。②強(qiáng)對(duì)稱離散信道的信道容量a什么(shénme)是強(qiáng)對(duì)稱離散信道b強(qiáng)對(duì)稱信道矩陣特點(diǎn)c強(qiáng)對(duì)稱離散信道的信道容量d輸入是什么(shénme)概率分布時(shí)達(dá)到信道容量e二進(jìn)制均勻信道第四十四頁(yè)，共95頁(yè)。a什么是強(qiáng)對(duì)稱離散信道單符號(hào)離散信道的X和Y取值均由n個(gè)不同(bùtónɡ)符號(hào)組成，即X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}每信道矩陣為：第四十五頁(yè)，共95頁(yè)。a什么是強(qiáng)對(duì)稱離散(lísàn)信道這種信道稱為強(qiáng)對(duì)稱（均勻）信道。這類信道中：總的錯(cuò)誤概率是p，對(duì)稱平均地分配給(n－1)個(gè)輸出符號(hào).信道矩陣中每行之和等于1，每列之和也等于1。一般信道矩陣中，每列之和不一定等于1。第四十六頁(yè)，共95頁(yè)。b強(qiáng)對(duì)稱信道矩陣(jǔzhèn)特點(diǎn)強(qiáng)對(duì)稱信道矩陣(jǔzhèn)，它的每一行和每一列都是同一集合各個(gè)元素的不同排列。由平均互信息定義：第四十七頁(yè)，共95頁(yè)。b強(qiáng)對(duì)稱信道矩陣特點(diǎn)Hni的意義：是固定X=xi時(shí)對(duì)Y求和，相當(dāng)于在信道矩陣中選定了某一行，對(duì)該行上各列元素的自信息求加權(quán)和。由于信道的對(duì)稱性，每一行都是同一集合的不同排列(páiliè)，所以：當(dāng)xi不同時(shí)，Hni只是求和順序不同，求和結(jié)果完全一樣。所以Hni與X無(wú)關(guān)，是一個(gè)常數(shù)。第四十八頁(yè)，共95頁(yè)。b強(qiáng)對(duì)稱(duìchèn)信道矩陣特點(diǎn)因此：第四十九頁(yè)，共95頁(yè)。c強(qiáng)對(duì)稱離散信道的信道容量如何達(dá)到信道容量：求一種輸入分布使H(Y)取最大值?，F(xiàn)已知輸出(shūchū)符號(hào)集Y共有n個(gè)符號(hào)，則H(Y)≤log2n。根據(jù)最大離散熵定理，只有當(dāng)p(yj)=(1/n)，即輸出(shūchū)端呈等概率分布時(shí)，H(Y)才達(dá)到最大值log2n。要獲得這一最大值，可通過(guò)下面公式尋找相應(yīng)的輸入概率分布；現(xiàn)一般情況下不一定存在一種輸入符號(hào)的概率，使輸出(shūchū)符號(hào)達(dá)到等概率分布。但強(qiáng)對(duì)稱離散信道存在。第五十頁(yè)，共95頁(yè)。d輸入是什么概率分布時(shí)達(dá)到信道(xìndào)容量強(qiáng)對(duì)稱離散信道(xìndào)的輸入和輸出之間概率關(guān)系可用矩陣表示為：第五十一頁(yè)，共95頁(yè)。d輸入是什么概率分布時(shí)達(dá)到信道(xìndào)容量信道(xìndào)矩陣中的每一行都是由同一集合中的諸元素的不同排列組成，所以保證了當(dāng)輸入符號(hào)X是等概率分布，即p(xi)=(1/n)時(shí)，輸出符號(hào)Y一定是等概率分布，這時(shí)H(Y)=log2n。相應(yīng)的信道(xìndào)容量為：第五十二頁(yè)，共95頁(yè)。d輸入是什么概率分布時(shí)達(dá)到信道容量結(jié)論：當(dāng)信道輸入呈等概率分布時(shí)，強(qiáng)對(duì)稱離散信道能夠傳輸最大的平均信息量，即達(dá)到信道容量。這個(gè)信道容量只與信道的輸出符號(hào)數(shù)n和相應(yīng)信道矩陣中的任一行矢量(shǐliàng)有關(guān)。第五十三頁(yè)，共95頁(yè)。e二進(jìn)制均勻信道當(dāng)n=2時(shí)的強(qiáng)對(duì)稱離散(lísàn)信道就是二進(jìn)制均勻信道。二進(jìn)制均勻信道的信道容量為：二進(jìn)制均勻信道容量曲線如圖3.2.6所示。第五十四頁(yè)，共95頁(yè)。③對(duì)稱離散信道(xìndào)的信道(xìndào)容量a可排列性b對(duì)稱離散信道(xìndào)定義c對(duì)稱離散信道(xìndào)的信道(xìndào)容量第五十五頁(yè)，共95頁(yè)。a可排列性行可排列：一個(gè)矩陣的每一行都是同一(tóngyī)集合Q{q1,q2,…,qm}中諸元素的不同排列。列可排列：一個(gè)矩陣的每一列都是同一(tóngyī)集合P{p1,p2,…,pn}中諸元素的不同排列。矩陣可排列（具有可排列性）：一個(gè)矩陣的行和列都是可排列的。第五十六頁(yè)，共95頁(yè)。b對(duì)稱離散信道定義對(duì)稱離散信道：信道矩陣具有可排列性。對(duì)稱離散信道行、列集合的特點(diǎn)：當(dāng)m<n時(shí)，Q是P的子集。當(dāng)m>n時(shí)，P是Q的子集。當(dāng)m=n時(shí)，Q和P中的所有(suǒyǒu)元素重合，Q和P是同一集合。第五十七頁(yè)，共95頁(yè)。b對(duì)稱(duìchèn)離散信道定義舉例：第五十八頁(yè)，共95頁(yè)。b對(duì)稱離散信道(xìndào)定義舉例：第五十九頁(yè)，共95頁(yè)。c對(duì)稱(duìchèn)離散信道的信道容量第六十頁(yè)，共95頁(yè)。c對(duì)稱離散信道的信道容量對(duì)稱離散信道的信道容量與強(qiáng)對(duì)稱的形式相同，只是這里m≠n。由于對(duì)稱信道的特點(diǎn)，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證(bǎozhèng)了當(dāng)X等概率分布時(shí)，Y也是等概率分布，從而使Y的熵達(dá)到最大值log2m，即信道容量。第六十一頁(yè)，共95頁(yè)。④準(zhǔn)對(duì)稱離散(lísàn)信道的信道容量

第六十二頁(yè)，共95頁(yè)。準(zhǔn)對(duì)稱離散信道定義：一個(gè)n行m列單符號(hào)(fúhào)離散信道矩陣[P]的行可排列，列不可排列。但是矩陣中的m列可分成S個(gè)不相交的子集，各子集分別有m1,m2,…,ms個(gè)元素(m1+m2+…+ms=m)，由n行mk(k=1,2,…,s)列組成的子矩陣[P]k具有可排列性。舉例兩個(gè)子矩陣均是可排列的，故信道[P]是準(zhǔn)對(duì)稱信道。第六十三頁(yè)，共95頁(yè)。準(zhǔn)對(duì)稱離散信道(xìndào)容量為：可以證明：實(shí)現(xiàn)離散準(zhǔn)對(duì)稱無(wú)記憶信道(xìndào)信道(xìndào)容量的輸入符號(hào)集的分布為等概率分布。第六十四頁(yè)，共95頁(yè)。舉例(jǔlì)已知準(zhǔn)對(duì)稱信道矩陣，求其信道容量

第六十五頁(yè)，共95頁(yè)。第六十六頁(yè)，共95頁(yè)。(3)離散(lísàn)信道容量的一般計(jì)算方法第六十七頁(yè)，共95頁(yè)。①如何計(jì)算離散(lísàn)信道容量②用拉格朗日乘子法求信道容量③一般離散(lísàn)信道容量計(jì)算步驟第六十八頁(yè)，共95頁(yè)。①如何(rúhé)計(jì)算離散信道容量由于I(X;Y)是輸入概率分布p(xi)的上凸函數(shù)，所以極大值一定存在。因?yàn)镮(X;Y)是n個(gè)變量{p(x1),p(x2),…,p(xn)}的多元函數(shù)，并滿足，所以可用拉各朗日乘子法計(jì)算這個(gè)條件極值。對(duì)一般離散信道求信道容量，就是在固定信道條件(tiáojiàn)下，對(duì)所有可能的輸入概率分布p(xi)，求平均互信息的極大值。第六十九頁(yè)，共95頁(yè)。②用拉各朗日乘子法求信道容量引進(jìn)一個(gè)(yīɡè)新函數(shù)

其中λ為拉各朗日乘子，解方程組：

可得一般信道容量C。第七十頁(yè)，共95頁(yè)。將I(X;Y)

的表達(dá)式代入(3.2.21)得：第七十一頁(yè)，共95頁(yè)。整理(zhěnglǐ)得：第七十二頁(yè)，共95頁(yè)。上式左邊(zuǒbian)為平均互信息的極大值，即：第七十三頁(yè)，共95頁(yè)。第七十四頁(yè)，共95頁(yè)。③一般離散信道容量計(jì)算步驟(bùzhòu)一般離散信道容量的計(jì)算步驟(bùzhòu)總結(jié)如下：第七十五頁(yè)，共95頁(yè)。注意：在第②步信道容量C被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的p(xi)，并確認(rèn)所有的p(xi)≥0時(shí)，所求的C才存在(cúnzài)。在對(duì)I(X;Y)求偏導(dǎo)時(shí)，僅限制，并沒(méi)有限制p(xi)≥0，所以求出的p(xi)有可能為負(fù)值，此時(shí)C就不存在(cúnzài)，必須對(duì)p(xi)進(jìn)行調(diào)整，再重新求解C。現(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。注意：在第②步信道容量C被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的p(xi)，并確認(rèn)所有的p(xi)≥0時(shí)，所求的C才存在。在對(duì)I(X;Y)求偏導(dǎo)時(shí)，僅限制，并沒(méi)有限制p(xi)≥0，所以求出的p(xi)有可能為負(fù)值，此時(shí)C就不存在，必須對(duì)p(xi)進(jìn)行調(diào)整，再重新求解C。現(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用(yùnyòng)迭代算法求解。注意：在第②步信道容量C被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的p(xi)，并確認(rèn)所有的p(xi)≥0時(shí)，所求的C才存在。在對(duì)I(X;Y)求偏導(dǎo)時(shí)，僅限制，并沒(méi)有限制p(xi)≥0，所以求出的p(xi)有可能為負(fù)值，此時(shí)C就不存在，必須對(duì)p(xi)進(jìn)行調(diào)整，再重新求解C。現(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用(yùnyòng)迭代算法求解。第七十六頁(yè)，共95頁(yè)。[例3.2.2]：有一信道(xìndào)矩陣，求信道(xìndào)容量C。第七十七頁(yè)，共95頁(yè)。因?yàn)棣攀菞l件轉(zhuǎn)移(zhuǎnyí)概率p(y1/x2)，所以0≤ε≤1，從而有：p(x1)≥0，p(x2)≥0，保證了C的存在。第七十八頁(yè)，共95頁(yè)。離散無(wú)記憶多符號(hào)信道(xìndào)及其容量若信道的輸入和輸出隨機(jī)序列中的每一個(gè)隨機(jī)變量都取值于同一符號(hào)集，并且隨機(jī)序列中每個(gè)隨機(jī)變量都是統(tǒng)計(jì)(tǒngjì)獨(dú)立的，這種信道稱為離散無(wú)記憶多符號(hào)信道。若信道的輸入和輸出隨機(jī)序列中的每一個(gè)隨機(jī)變量(suíjībiànliànɡ)可以取值于不同的輸入符號(hào)集或輸出符號(hào)集，并且隨機(jī)序列中每個(gè)隨機(jī)變量(suíjībiànliànɡ)都是統(tǒng)計(jì)獨(dú)立的，這種信道稱為一般離散無(wú)記憶信道。第七十九頁(yè)，共95頁(yè)。離散(lísàn)無(wú)記憶多符號(hào)信道及其容量P(YN/XN)這種信道相當(dāng)于單符號(hào)(fúhào)離散信道在N個(gè)不同的時(shí)刻連續(xù)運(yùn)用了N次，所以也可以稱為離散無(wú)記憶單符號(hào)(fúhào)N次擴(kuò)展信道。第八十頁(yè)，共95頁(yè)。離散(lísàn)無(wú)記憶多符號(hào)信道及其容量離散無(wú)記憶(jìyì)多符號(hào)信道的傳遞概率等于各單位時(shí)刻相應(yīng)的單符號(hào)無(wú)記憶(jìyì)信道的傳遞概率的連乘。第八十一頁(yè)，共95頁(yè)。離散無(wú)記憶多符號(hào)(fúhào)信道及其容量離散(lísàn)無(wú)記憶多符號(hào)信道的平均互信息第八十二頁(yè)，共95頁(yè)。離散(lísàn)無(wú)記憶多符號(hào)信道及其容量因?yàn)樾诺?xìndào)的輸入序列中的隨機(jī)變量取自同一信源符號(hào)集，且輸出序列中的隨機(jī)變量都取同一信宿符號(hào)集，所有的信源符號(hào)通過(guò)相同的信道(xìndào)傳送到輸出端，因此滿足即信源無(wú)記憶時(shí)，無(wú)記憶信道(xìndào)的N次擴(kuò)展信道(xìndào)的平均互信息等于原來(lái)信道(xìndào)的平均互信息的N倍。第八十三頁(yè)，共95頁(yè)。離散無(wú)記憶(jìyì)多符號(hào)信道及其容量離散無(wú)記憶多符號(hào)(fúhào)信道的信道容量離散(lísàn)無(wú)記憶多符號(hào)信道的信道容量等于原離散(lísàn)單符號(hào)信道的信道容量的N倍。第八十四頁(yè)，共95頁(yè)。串聯(lián)(chuànlián)信道及其信道容量信道1P(Y/X)信道2P(Z/XY)在一些實(shí)際通信系統(tǒng)(xìtǒng)中，常常出現(xiàn)串聯(lián)信道。例如微波中繼接力通信就是一種串聯(lián)信道。信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)(xìtǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。信道P(Z/X)第八十五頁(yè)，共95頁(yè)。信道1的輸出Y與其輸入X統(tǒng)計(jì)相關(guān)，信道2的輸出Z與其輸入Y統(tǒng)計(jì)相關(guān)，一般來(lái)講，Z與X統(tǒng)計(jì)相關(guān)。級(jí)聯(lián)的結(jié)構(gòu)決定了Z的取值在給定Y以后(yǐhòu)與X將不再有關(guān)在概率論中稱XYZ的這種關(guān)系為XYZ組成馬爾科夫鏈。信道(xìndào)1P(Y/X)信道(xìndào)2P(Z/Y)第八十六頁(yè)，共95頁(yè)。定理：串聯(lián)(chuànlián)信道中的平均互信息滿足等號(hào)成立(chénglì)的充要條件是，對(duì)所有的x,y,z有第八十七頁(yè)，共95頁(yè)。數(shù)據(jù)處理定理(dìnglǐ)數(shù)據(jù)處理定理：當(dāng)消息(xiāoxi)經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入