第4章離散信道

第4章離散信道4.1離散信道的數(shù)學(xué)模型4.2信道的分類4.3離散無(wú)記憶信道4.4信道的組合4.5信道容量

本章小結(jié)4.1離散信道的數(shù)學(xué)模型信道數(shù)學(xué)模型由于干擾的存在，信道的輸出Y與信道的輸入X不完全相同，用條件概率p(y|x)描述信道特性。而輸入和輸出又有各自的統(tǒng)計(jì)特性，分別用和表示。為什么要研究信道？因?yàn)樾诺郎洗嬖诟蓴_！【例4-1，P50】在一個(gè)非常安靜的教室里，老師說“這個(gè)袋子里裝有4個(gè)蘋果”，學(xué)生聽到后，能夠非?？隙ǖ嘏袛嗬蠋熣f的就是“這個(gè)袋子里裝有4個(gè)蘋果”；在一個(gè)非常嘈雜的教室里，老師說“這個(gè)袋子里裝有4個(gè)蘋果”，有的學(xué)生聽成“這個(gè)袋子里裝有4個(gè)蘋果”；有的學(xué)生聽成“這個(gè)袋子里裝有10個(gè)蘋果”；學(xué)生都不能肯定自己聽到的是對(duì)的；若將老師說的作為信道輸入，學(xué)生聽的是信道輸出，前者是無(wú)干擾（無(wú)噪聲）信道，后者是有干擾（有噪聲）信道。4.2信道的分類根據(jù)傳輸媒質(zhì)（狹義信道）分

有線信道：明線、對(duì)稱電纜、同軸電纜及光纜等。

無(wú)線信道：地波傳播、短波電離層反射、超短波或微波視距中繼、人造衛(wèi)星中繼以及各種散射信道等。根據(jù)統(tǒng)計(jì)特性恒參信道：信道的統(tǒng)計(jì)特性不隨時(shí)間變化。如明線、對(duì)稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計(jì)特性隨時(shí)間發(fā)生變化。大多數(shù)的信道都是隨參信道，統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對(duì)流層散射信道等。根據(jù)輸入輸出符號(hào)的時(shí)間特性離散信道：又稱數(shù)字信道。該類信道中輸入空間、輸出空間均為離散時(shí)間集合，集合中事件的數(shù)量是有限的，或者無(wú)限的，隨機(jī)變量取值都是離散的。如GSM。連續(xù)信道：又稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無(wú)限的、不可數(shù)的，即隨機(jī)變量的取值數(shù)量是無(wú)限的，或者不可數(shù)的。

如：有線電視、廣播。半離散半連續(xù)信道：輸入空間、輸出空間一個(gè)為離散事件集合，而另一個(gè)則為連續(xù)事件集合，即輸入、輸出隨機(jī)變量一個(gè)是離散的，另一個(gè)是連續(xù)的。如手機(jī)與固話之間的信道。根據(jù)輸入輸出個(gè)數(shù)兩端信道（單用戶信道）：電話多元接入信道：信道的復(fù)用廣播信道：廣播兩端信道輸入輸出多元接入信道廣播信道輸入端輸入端輸入端輸入端輸出端輸出端輸出端輸出端輸出端輸入端多元接入信道的例子【例4-2，P51】第二代或者第三代移動(dòng)通信都屬于多元接入信道，這是因?yàn)槎鄠€(gè)用戶發(fā)送的消息經(jīng)過編碼之后，是通過一個(gè)信道傳輸?shù)?，即采用信道?fù)用技術(shù)；兩者復(fù)用方法不同：第二代移動(dòng)通信系統(tǒng)采用時(shí)分復(fù)用技術(shù)；第三代移動(dòng)通信系統(tǒng)采用碼分復(fù)用技術(shù)。根據(jù)記憶特性無(wú)記憶信道：信道的輸出僅與當(dāng)前的輸入有關(guān)，與以前的輸入無(wú)關(guān)。有記憶信道：信道的輸出不僅與當(dāng)前的輸入有關(guān)，與以前的輸入也有關(guān)系。根據(jù)出現(xiàn)差錯(cuò)的概率：

隨機(jī)差錯(cuò)信道：信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)。如：高斯白噪聲信道。

突發(fā)差錯(cuò)信道：信道中噪聲或干擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，使碼元錯(cuò)誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動(dòng)通信的信道、光盤存儲(chǔ)屬于該類信道。幾種特殊信道無(wú)噪無(wú)損信道：輸入集和輸出集之間存在一一對(duì)應(yīng)的關(guān)系。有噪無(wú)損信道：有噪無(wú)損信道的一個(gè)輸入符號(hào)可能對(duì)應(yīng)多個(gè)輸入符號(hào)，而一個(gè)輸出符號(hào)只對(duì)應(yīng)一個(gè)輸入符號(hào)。無(wú)噪有損信道：無(wú)噪有損信道的一個(gè)輸入符號(hào)只對(duì)應(yīng)一個(gè)輸入符號(hào)，而一個(gè)輸出符號(hào)可能對(duì)應(yīng)多個(gè)輸入符號(hào)。無(wú)用信道：輸入與輸出相互獨(dú)立，沒有任何關(guān)系。4.3離散無(wú)記憶信道4.3.1離散信道的數(shù)學(xué)模型4.3.2信道疑義度和噪聲熵4.3.3信道的平均互信息及含義單符號(hào)離散無(wú)記憶信道單符號(hào)信道：信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性；信道的分析可簡(jiǎn)化為對(duì)單個(gè)符號(hào)的信道分析，此時(shí)輸入、輸出可以看做是單符號(hào)的。單符號(hào)離散無(wú)記憶信道：信道的輸入、輸出隨機(jī)變量又都是離散的。數(shù)學(xué)模型設(shè)離散信道的輸入變量為X，輸出變量為Y，對(duì)應(yīng)的概率空間分別為

輸入符號(hào)集合的元素個(gè)數(shù)為r，輸出符號(hào)集合的元素個(gè)數(shù)為s。4.3.1離散無(wú)記憶信道的數(shù)學(xué)模型信道轉(zhuǎn)移概率離散無(wú)記憶信道中，當(dāng)前的輸出yj僅與當(dāng)前的輸入xi有關(guān)，與過去的輸入無(wú)關(guān)，即yj出現(xiàn)的概率僅與xi有關(guān)，即一組條件概率：叫作信道轉(zhuǎn)移概率。其中含義：表示輸入符號(hào)是xi時(shí)，輸出符號(hào)是yj的概率。即：通過信道傳輸，xi轉(zhuǎn)移為yj的概率。信道轉(zhuǎn)移矩陣（信道矩陣）輸入有r個(gè)符號(hào)：輸出有s個(gè)符號(hào)：所有r×s個(gè)條件概率構(gòu)成一個(gè)矩陣：

該矩陣稱為：信道轉(zhuǎn)移矩陣或者信道矩陣

說明信道矩陣可以簡(jiǎn)記為其中：由于信道中存在干擾或者噪聲，信道輸入符號(hào)與輸出符號(hào)之間并不是一一對(duì)應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計(jì)方法。輸入，由于傳輸?shù)倪^程中出現(xiàn)錯(cuò)誤，用條件轉(zhuǎn)移概率

可以表示輸出為yj

的各種可能性。假設(shè)串口通信的誤碼率為4%，即A發(fā)送“0”而B接收到“1”的概率是0.04，A發(fā)送“1”而B接收到“0”的概率也是0.04，可以得到該信道的信道轉(zhuǎn)移矩陣；此信道稱為二元（進(jìn)制）對(duì)稱信道（BSC）【例4-3，P53】二元對(duì)稱信道（簡(jiǎn)稱為BSC（BinarySymmetricChannel））二元：輸入和輸出符號(hào)集均為{0,1}，即r=s=2。對(duì)稱：1變成0和0變成1的概率相等。p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=pBSC的信道矩陣：注：這種信道的輸出符號(hào)僅與對(duì)應(yīng)時(shí)刻輸入符號(hào)有關(guān),與以前輸入無(wú)關(guān)，故稱此信道是無(wú)記憶信道。4.3.2信道疑義度和噪聲熵【例4-1（續(xù)），P50】1、信道疑義度在嘈雜的環(huán)境中，學(xué)生對(duì)老師講的話有“疑義”，如何衡量這種疑義的大小呢？【定義4-1】

稱信道輸入空間X對(duì)輸出空間Y的條件熵為信道疑義度。信道疑義度含義：收到全部輸出符號(hào)Y以后，對(duì)輸入符號(hào)X尚存在的平均不確定性。這種不確定性是由信道干擾引起的。對(duì)有噪無(wú)損信道：H(X|Y)=0（例4-4給出）。H(X|Y)≤H(X)：收到輸出符號(hào)Y以后，總能消除一些對(duì)X的不確定性，獲得一些信息。2、噪聲熵【定義4-2】

稱信道輸出空間Y對(duì)輸入空間X的條件熵為噪聲熵。噪聲熵含義：與信道疑義度一樣，源于噪聲干擾。從不同角度衡量了噪聲干擾對(duì)信息傳輸?shù)挠绊?。?duì)無(wú)噪有損信道：H(Y|X)=0（例4-4給出）。H(Y|X)≤H(Y)?！纠?-4，P54】考慮4.2節(jié)介紹的三種特殊信道的“信道疑義度”和“噪聲熵”。

信道疑義度和噪聲熵例子11、無(wú)噪無(wú)損信道：由于觀察到輸出之后，對(duì)信道輸入不存在不確定性，因此信道疑義度H(X|Y)=0。由于輸入符號(hào)肯定能被正確傳輸，因此噪聲熵H(Y|X)=02、有噪無(wú)損信道：由于觀察到輸出之后，對(duì)信道輸入不存在不確定性，因此信道疑義度H(X|Y)=0。由于輸入符號(hào)經(jīng)過傳輸之后有多種情況出現(xiàn)，因此噪聲熵H(Y|X)≠03、無(wú)噪有損信道：由于觀察到輸出之后，對(duì)信道的輸入存在不確定性，因此信道疑義度H(X|Y)≠0。由于輸入符號(hào)肯定能被正確傳輸，因此噪聲熵H(Y|X)=0【例4-5，P54】接例4-3，假設(shè)串口0和1的分布為等概分布，信道矩陣為：信道疑義度和噪聲熵例子2試計(jì)算該信道的信道疑義度和噪聲熵。解：根據(jù)已知條件有各種概率計(jì)算則聯(lián)合概率分布為Y的分布為PX︱Y為因此，信道疑義度為噪聲熵為4.3.3信道的平均互信息及含義【定義4-3】原始信源熵與信道疑義度之差稱為平均互信息。I(X;Y)=H(X)-H(X|Y)傳遞過去的信息量=原有信息量-未傳遞過去的信息量。平均互信息的公式化表示：可見平均互信息是信源分布、信道參數(shù)的函數(shù)。疑義度和噪聲熵說明含義接收到信道的輸出符號(hào)集Y之后，平均每個(gè)符號(hào)獲得的關(guān)于信道輸入符號(hào)集X的信息量，即通過信道傳送過去的信息量。平均互信息的性質(zhì)：（回顧）非負(fù)性；互易性（對(duì)稱性）：I(X;Y)=I(Y;X)極值性：I(X;Y)≤H(X);I(X;Y)≤H(Y);凸函數(shù)性（下面給出兩個(gè)定理）凸函數(shù)兩個(gè)定理【定理4-1】

對(duì)于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù)。固定信道：信道傳遞概率p(y|x)不變信源信道證明兩個(gè)定理【定理4-2】

對(duì)于固定的信源分布，平均互信息I(X;Y)是信道傳遞概率p(y|x)的下凸函數(shù)。固定信源：信源概率分布p(x)不變信源信道證明平均互信息的例子【例4-6，P57】

一個(gè)二元對(duì)稱信道，信道輸入（信源）和信道矩陣如下：試計(jì)算該信道的互信息量，并說明它是信源的上凸函數(shù)、信道的下凸函數(shù)。非矩陣解法解：

聯(lián)合概率分布為Y的分布為因此，互信息量為固定信道p固定從0到1變化固定信源固定p從0到1變化對(duì)固定信道，即p為一個(gè)固定常數(shù)，而信源變化，即ω從0到1變化時(shí)，平均互信息I(X:Y)的圖形如圖所示，從途中可以看出，平均互信息是信源的上凸函數(shù)；對(duì)固定信源，即ω為一個(gè)固定常數(shù)，而信道變化，即p從0到1變化時(shí)，平均互信息I(X:Y)的圖形如圖所示，從途中可以看出，平均互信息是信道的下凸函數(shù)；非矩陣解法4.4信道的組合信道的組合實(shí)際中常常遇到兩個(gè)或多個(gè)信道組合在一起使用組合方式并行：積信道串行：級(jí)聯(lián)信道例如：Internet例如：GSM本節(jié)重點(diǎn)介紹級(jí)聯(lián)信道（串聯(lián)信道）級(jí)聯(lián)信道模型：信道1的傳遞概率記為p(y|x)；信道2的傳遞概率記為p(z|xy)。信道Ip(y|x)信道IIp(z|xy)XYZ級(jí)聯(lián)信道（串聯(lián)信道）【引理4-1】級(jí)聯(lián)信道中，平均互信息滿足以下關(guān)系I(XY;Z)≥I(Y;Z)I(XY;Z)≥I(X;Z)等號(hào)成立的充要條件是，對(duì)所有的x,y,z有證明等號(hào)成立的條件是，說明級(jí)聯(lián)信道輸出Z僅依賴于Y，而與前面的X無(wú)關(guān)；這意味著X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈。說明【定理4-3】若隨機(jī)變量X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈，即則有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)定理4-3叫做數(shù)據(jù)處理定理；它的含義是通過串聯(lián)信道的傳輸，只會(huì)丟失信息，不會(huì)增加信息，至多保持原來的消息量。這是信息不增性原理。即信息只能來自信源，不會(huì)來自信道。證明說明【例4-7，P60】

兩個(gè)離散二元對(duì)稱信道串聯(lián)，第一個(gè)信道輸入為：兩個(gè)信道的信道矩陣相同，均為如果X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈，試比較單個(gè)信道和串聯(lián)信道的平均互信息。級(jí)聯(lián)信道例1解：根據(jù)例4-6，可以得到單個(gè)信道的平均互信息為：一個(gè)馬爾可夫鏈，則串聯(lián)信道總的信道矩陣為根據(jù)平均互信息定義，可以算出串聯(lián)信道平均互信息：

I(X;Z)=1-H(2p(1-p))從圖中能夠看出I(X;Z)≤I(X;Y)

即：?jiǎn)蝹€(gè)信道的平均互信息大于串聯(lián)信道的平均互信息。級(jí)聯(lián)信道例1【例4-8，P60】一個(gè)串聯(lián)信道如圖所示。X,Y,Z構(gòu)成馬爾可夫鏈，求總的信道矩陣：解：由圖可知：信道I和信道II的信道矩陣分別為級(jí)聯(lián)信道例2X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈，則因此，串聯(lián)信道的等效信道如圖所示：級(jí)聯(lián)信道例24.5信道容量4.5.1信息傳輸率4.5.2信道容量的定義及含義4.5.3三種特殊信道的信道容量4.5.4對(duì)稱信道的信道容量4.5.5一般信道的容量4.5.6信源和信道的匹配在信息傳輸過程中，信道每傳遞一個(gè)符號(hào)所能攜帶（載荷）的平均信息量稱為信道的信息傳輸率，記作R。單位：比特/符號(hào)：若平均傳輸一個(gè)符號(hào)需要t秒，而每一個(gè)符號(hào)傳送的信息量為I(X;Y)，則信道每秒傳輸?shù)男畔⒘繛?/p>

單位：比特/秒(bps)通常將Rt稱為信息傳輸速率，或者傳輸速率。4.5.1信息傳輸率信息傳輸速率例【例4-9，P61】幾種常見無(wú)線通信系統(tǒng)的傳輸速率。紅外通信115Kbps~4Mbps無(wú)線局域網(wǎng)藍(lán)牙1～2MbpsHomeRF1.6～10Mbps802.11b11Mbps802.11g54Mbps802.11a54～108Mbps移動(dòng)通信2G9.6～19.2Kbps3G144Kbps～2.4Mbps微波通信150Mbps通信衛(wèi)星1GMbps4.5.2信道容量的定義及含義【定義4-4】

信道容量定義為平均互信息的最大值：?jiǎn)挝皇潜忍?符號(hào)。對(duì)于固定的信道，平均互信息I(X:Y)的是信源的上凸函數(shù)；因此對(duì)于給定的信道，總存在一種信源分布，使平均互信息I(X:Y)達(dá)到最大值。即：傳輸每一個(gè)符號(hào)平均獲得的信息量最大；這個(gè)最大的信息傳輸率稱為該信道的信道容量。信道容量說明：由定理4.2.1知，I(X;Y)是p(x)的上凸函數(shù)，稱使I(X;Y)取最大值的p(x)為最佳輸入分布。信道容量表示信道傳送信息的最大能力。由I(X;Y)的定義式可知，I(X;Y)是由信道特性p(y|x)和信源特性p(x)共同決定的，但是容量C已對(duì)所有可能的p(x)取最大值，因此

容量C僅與信道特性p(y|x)有關(guān)，也就是說，容量C是信道的固有特性，與信源無(wú)關(guān)。信道容量的例子例4-6已計(jì)算平均互信息當(dāng)信源等概分布，即ω=1/2時(shí)，I(X;Y)取最大值：【例4-10，P62】接例4-6，計(jì)算二元對(duì)稱信道的信道容量。解：二元對(duì)稱信道容量曲線說明：信道容量C僅為信道錯(cuò)誤傳遞概率的函數(shù)；錯(cuò)誤傳遞概率p不同，二元對(duì)稱信道容量不同當(dāng)p=1/2時(shí)，是一種最壞的信道，C=0，信息全部損失在信道中了；當(dāng)p=0或1時(shí)，C=1是，信道能夠無(wú)失真?zhèn)鬟f信源信息；4.5.3三種特殊信道的信道容量三種特殊信道無(wú)噪無(wú)損信道有噪無(wú)損信道無(wú)噪有損信道假設(shè)信道輸入有r個(gè)符號(hào)：輸出有s個(gè)符號(hào)：無(wú)噪無(wú)損信道輸出與輸入是一一對(duì)應(yīng)關(guān)系，即信道矩陣為單位矩陣。因此信道疑義度H(X|Y)=0，噪聲熵H(Y|X)=0。則I(X;Y)=H(X)-H(X|Y)=H(X)=H(Y)-H(Y|X)=H(Y)因此信道容量其中：r=s最佳輸入分布為等概分布。r=s=4有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸出，即信道矩陣的每一列只有一個(gè)非零元素。由于知道輸出之后，必然能夠確定其對(duì)應(yīng)的輸入是什么，因此信道疑義度H(X|Y)=0。則I(X;Y)=H(X)-H(X|Y)=H(X)因此信道容量r=3s=6無(wú)噪有損信道一個(gè)輸出對(duì)應(yīng)多個(gè)互不相交的輸入，即信道矩陣的每一行只有一個(gè)“1”，其余元素均為0。由于知道輸出之后，必然能夠確定其對(duì)應(yīng)的輸入是什么，因此噪聲熵H(Y|X)=0。則I(X;Y)=H(Y)-H(Y|X)=H(Y)因此信道容量r=6s=34.5.4對(duì)稱信道的信道容量【定義4-5】

信道矩陣的每一行都是其他行的不同排列，則稱此類信道為輸入對(duì)稱信道。離散信道由信道矩陣描述；信道矩陣具有不同的特性，信道將有不同的特性；有一類特殊的離散信道，信道矩陣具有很強(qiáng)的對(duì)稱性?！径x4-6】

信道矩陣的每一列都是其他列的不同排列，則稱此類信道為輸出對(duì)稱信道?！径x4-7】

若一個(gè)離散無(wú)記憶信道，既是輸入對(duì)稱信道，又是輸出對(duì)稱信道，這類信道稱為對(duì)稱信道。對(duì)稱信道的例子【例4-11，P63】給出4個(gè)信道矩陣，判斷它們屬于何種類型的信道。解：P1中兩行都是由1/3和1/6構(gòu)成，輸入對(duì)稱信道；P2中兩列都是由0.4、0.6和0.5構(gòu)成，輸出對(duì)稱信道。P3中兩行都是由1/3和1/6構(gòu)成，且兩列都是由1/3和1/6構(gòu)成，對(duì)稱信道；P4中行和列都是由1/2、1/3和1/6構(gòu)成，對(duì)稱信道。對(duì)稱信道的容量為了給出對(duì)稱信道的信道容量和最佳輸入分布，先給出一個(gè)引理。【引理4-2】對(duì)于對(duì)稱信道，當(dāng)輸入分布為等概分布時(shí)，輸出分布也為等概分布。證明【定理4-4】

若一個(gè)離散對(duì)稱信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，則當(dāng)輸入為等概分布時(shí)，達(dá)到信道容量C，且C=logs-H(p1p2…ps)

式中，p1

p2…ps為信道矩陣中的任一行。說明：使輸出為等概分布時(shí)，達(dá)到信道容量；求離散信道的最佳輸入分布，實(shí)質(zhì)上是求一種輸入分布p(x)，使輸出熵H(Y)達(dá)到最大；當(dāng)輸出符號(hào)等概分布時(shí)，輸出熵H(Y)達(dá)到最大；由引理4-2可知，當(dāng)輸入分布為等概分布時(shí)，輸出也為等概分布。因此對(duì)稱信道的最佳輸入分布是等概分布。證明對(duì)稱信道容量的例子1【例4-12，P65】接例4-3，在串口通信中，信道矩陣為求該信道的信道容量。解：信道矩陣中行和列都是由0.96和0.04構(gòu)成，對(duì)稱信道。信道容量為：

C=logs-H(p1p2…ps

)=log2-H(0.96,0.04)=0.7577比特/符號(hào)對(duì)稱信道容量的例子2【例

，增】

這是一個(gè)對(duì)稱信道最佳輸入為：信道容量為：C=logs-H(p1

p2…ps)=log3-H(1/2,1/3,1/6)

比特/符號(hào)4.5.5一般信道的容量對(duì)于一般的離散無(wú)記憶信道而言，信道容量的計(jì)算比較復(fù)雜，可以用迭代算法實(shí)現(xiàn)。迭代步驟如下：取初始分布p(0)(x)。根據(jù)公式（4-21）計(jì)算P(k)(xi|yj)。根據(jù)公式（4-22）計(jì)算p(k+1)(xi)。根據(jù)公式（4-23）計(jì)算C(k+1)。若|C(k+1)?

C(k)|<δ，則轉(zhuǎn)向步驟7。令k=k+1，轉(zhuǎn)向步驟2。輸出p(k+1)(xi)和C(k+1)。4.5.6信源和信道的匹配信源與信道達(dá)到匹配的含義：信源處于最佳輸入分布，使得信息傳輸率R達(dá)到了信道容量C。但通常情況下，讓信源處于最佳輸入分布并不容易，此時(shí)信道有剩余：信道剩余度=C-I(X;Y)信源編碼的目的就是通過編碼，改變?cè)夹旁吹慕y(tǒng)計(jì)特性，使得信道剩余度盡可能小。原始信源信道不匹配原始信源信道信源編碼基本匹配本章小結(jié)信道可以從不同的角度分類。從輸入和輸出符號(hào)的時(shí)間特性分，可以分為離散信道、連續(xù)信道和半連續(xù)信道。從輸入和輸出端的個(gè)數(shù)分，可以分為兩端信道、多元接入信道和廣播信道。從信道的統(tǒng)計(jì)特性分，信道可以分為恒參信道和隨參信道。從信道的記憶特性分，信道可以分為無(wú)記憶信道和有記憶信道。還給出了三種特殊信道：無(wú)噪無(wú)損信道、有噪無(wú)損信道、無(wú)噪有損信道。離散無(wú)記憶信道是一類重要的信道，可以用信道轉(zhuǎn)移概率描述。衡量信道噪聲大小有兩個(gè)指標(biāo)：信道疑義度和噪聲熵。平均互信息衡量了信道的實(shí)際輸出能力。從平均互信息引出了信道容量的概念，重點(diǎn)研究了離散無(wú)記憶信道的信道容量。信道容量衡量了信道的最大傳輸能力。最后是級(jí)聯(lián)信道，以及信源和信道的匹配。信道輸入、輸出符號(hào)之間的聯(lián)合分布為→前向概率，表示在輸入為X=xi

時(shí)，通過信道后接收為yj

的概率，描述了信道噪聲的特性。p(xi)為先驗(yàn)概率。

聯(lián)合分布還可以表示為→后驗(yàn)概率,表示當(dāng)接收符號(hào)為yj時(shí),信道輸入為xi的概率。數(shù)學(xué)：各種概率及計(jì)算返回可以得到后驗(yàn)概率為由前向概率和先驗(yàn)概率可計(jì)算出信道輸出符號(hào)概率矩陣表示形式或:H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪聲熵信道疑義度（損失熵）TransmittedpartofinformationH(X/Y)—信道疑義度/損失熵。

Y關(guān)于X的后驗(yàn)不確定度。表示收到變量Y后，對(duì)隨機(jī)變量X仍然存在的不確定度。代表了在信道中損失的信息。H(X)—X的先驗(yàn)不確定度/無(wú)條件熵。I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。H(Y/X)—噪聲熵。表示發(fā)出隨機(jī)變量X后，對(duì)隨機(jī)變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對(duì)應(yīng)關(guān)系，發(fā)出X后必能確定對(duì)應(yīng)的Y，而現(xiàn)在不能完全確定對(duì)應(yīng)的Y，這顯然是由信道噪聲所引起的。返回?cái)?shù)學(xué)：凸函數(shù)的定義（附錄A.1)則稱f(x)在定義域上為嚴(yán)格上凸函數(shù)則稱f(x)在定義域上為嚴(yán)格下凸函數(shù)返回凸性是反映函數(shù)變化關(guān)系的一個(gè)基本性質(zhì)設(shè)有一個(gè)一元函數(shù)f(x)如圖所示，則此函數(shù)是上凸的。對(duì)于凸函數(shù)，有詹森（Jenson）不等式E[f(x)]f(E[x])

【凸函數(shù)定義】f的定義域中任意兩個(gè)矢量X1，X2（X1≠X2），對(duì)于任意小于1的正數(shù)α（0<α<1)，若證明：設(shè)為固定的信道。令p1(x)和p2(x)為信源的兩種分布，相應(yīng)的平均互信息量分別記為：【定理4-1】

對(duì)于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù)。(固定信道：信道傳遞概率p(y|x)不變)和再選擇信源符號(hào)集X的另一種概率分布p(x)，滿足：其中，相應(yīng)的平均互信息量為根據(jù)平均互信息定義有：其中，應(yīng)用到合并后，有上式第一項(xiàng)：