第3章：信道容量

1、信息論與編碼信息論與編碼西安工業(yè)大學電子信息工程學院 趙 黎第三章 信道容量n信道的功能：信道的功能：以信號形式傳輸和存儲信息。以信號形式傳輸和存儲信息。n信道傳輸信息的速率：信道傳輸信息的速率：與物理信道本身的特性、載荷與物理信道本身的特性、載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關。信息的信號形式和信源輸出信號的統(tǒng)計特性有關。n信道容量研究內容：信道容量研究內容：在什么條件下，通過信道的信息在什么條件下，通過信道的信息量最大。量最大。n信道定義：信道定義：傳輸信息的媒介或通道。傳輸信息的媒介或通道。信道也可以看作信道也可以看作一種變換，把輸入變換成輸出。一種變換，把輸入變換成輸出。n信

2、道的隨機性：信道的隨機性：由于干擾和噪聲的存在，變換是隨機由于干擾和噪聲的存在，變換是隨機（概率）的。（概率）的。n信道的描述：信道的描述：用條件轉移概率表示。用條件轉移概率表示。本章內容n信道的數(shù)學模型及分類信道的數(shù)學模型及分類n單符號離散信道的信道容量單符號離散信道的信道容量3.1 信道的數(shù)學模型及分類n一般信道的數(shù)學模型一般信道的數(shù)學模型n信道的分類信道的分類n實際的信道實際的信道(1) 一般信道的數(shù)學模型n信息論對信道的研究：信息論對信道的研究：對具體物理信道抽象，建立與各對具體物理信道抽象，建立與各種通信系統(tǒng)相適應的信道模型，研究信息在這些模型信種通信系統(tǒng)相適應的信道模型，研究信息在

3、這些模型信道上傳輸?shù)钠毡橐?guī)律，指導通信系統(tǒng)的設計。道上傳輸?shù)钠毡橐?guī)律，指導通信系統(tǒng)的設計。n信道模型：信道模型：不研究信號在信道中傳輸?shù)奈锢磉^程，把信不研究信號在信道中傳輸?shù)奈锢磉^程，把信道模型看作黑匣子。道模型看作黑匣子。n數(shù)學模型的數(shù)學符號表示：數(shù)學模型的數(shù)學符號表示： X P(Y/X) Y(2) 信道的分類信道的分類 根據(jù)輸入輸出隨機信號的特點分類根據(jù)輸入輸出隨機信號的特點分類 根據(jù)輸入輸出隨機變量個數(shù)的多少分類根據(jù)輸入輸出隨機變量個數(shù)的多少分類 根據(jù)輸入輸出個數(shù)分類根據(jù)輸入輸出個數(shù)分類 根據(jù)信道上有無干擾分類根據(jù)信道上有無干擾分類 根據(jù)信道有無記憶特性分類根據(jù)信道有無記憶特性分類 根據(jù)

4、輸入輸出隨機信號的特點分類根據(jù)輸入輸出隨機信號的特點分類n離散信道：離散信道：輸入和輸出的隨機序列的取值都是離散的信道。輸入和輸出的隨機序列的取值都是離散的信道。n連續(xù)信道：連續(xù)信道：輸入和輸出的隨機序列的取值都是連續(xù)的信道。輸入和輸出的隨機序列的取值都是連續(xù)的信道。n半離散半離散半連續(xù)信道半連續(xù)信道：輸入變量取離散值而輸出變量取連輸入變量取離散值而輸出變量取連續(xù)值，或反之續(xù)值，或反之. 根據(jù)輸入輸出隨機變量個數(shù)的多少分類根據(jù)輸入輸出隨機變量個數(shù)的多少分類n單符號信道：單符號信道：輸入和輸出端都只用一個輸入和輸出端都只用一個隨機變量隨機變量來表示。來表示。n離散無記憶擴展信道離散無記憶擴展信道

5、（多符號信道）（多符號信道）：輸入和輸出端用輸入和輸出端用隨機變量隨機變量序列（隨機矢量）序列（隨機矢量）來表示。來表示。 根據(jù)輸入輸出個數(shù)分類根據(jù)輸入輸出個數(shù)分類n單用戶信道：單用戶信道：只有一個輸入和一個輸出的信道。只有一個輸入和一個輸出的信道。n多用戶信道：多用戶信道：有多個輸入和多個輸出的信道。有多個輸入和多個輸出的信道。(多元接入信道和廣多元接入信道和廣播信道播信道) 根據(jù)信道上有無干擾分類根據(jù)信道上有無干擾分類n有干擾信道：有干擾信道：存在干擾或噪聲或兩者都有的信道。存在干擾或噪聲或兩者都有的信道。實際信道一般實際信道一般都是有干擾信道。都是有干擾信道。n無干擾信道：無干擾信道：不

6、存在干擾或噪聲，或干擾和噪聲可忽略不計的信不存在干擾或噪聲，或干擾和噪聲可忽略不計的信道。道。計算機和外存設備之間的信道可看作是無干擾信道。計算機和外存設備之間的信道可看作是無干擾信道。 根據(jù)信道有無記憶特性分類根據(jù)信道有無記憶特性分類n無記憶信道：無記憶信道：輸出僅與當前輸入有關，而與過去輸入無關的信道。輸出僅與當前輸入有關，而與過去輸入無關的信道。n有記憶信道：有記憶信道：信道輸出不僅與當前輸入有關，還與過去輸入和信道輸出不僅與當前輸入有關，還與過去輸入和（或）過去輸出有關。（或）過去輸出有關。(3) 實際的信道實際的信道n實際信道的帶寬總是有限的，所以輸入和輸出信號總可實際信道的帶寬總是

7、有限的，所以輸入和輸出信號總可以分解成隨機序列來研究。隨機序列中每個隨機變量的以分解成隨機序列來研究。隨機序列中每個隨機變量的取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。n一個實際信道可同時具有多種屬性。一個實際信道可同時具有多種屬性。 最簡單的信道是單符號離散信道。最簡單的信道是單符號離散信道。3.2 單符號離散信道的信道容量n信道容量定義信道容量定義n幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量n離散信道容量的一般計算方法離散信道容量的一般計算方法(1) 信道容量的定義信道容量的定義 單符號離散信道的數(shù)學模型單符號離散信道的數(shù)學模

8、型 信道的信息傳輸率信道的信息傳輸率 信道容量信道容量 單符號離散信道的數(shù)學模型單符號離散信道的數(shù)學模型a 信道模型信道模型b 信道統(tǒng)計特性信道統(tǒng)計特性a 信道模型信道模型n設輸入：設輸入：Xx1,x2,xi,xn 輸出：輸出：Yy1,y2,yj,ymn其信道模型：其信道模型：a 信道模型信道模型n用線圖描述：用線圖描述：b 信道統(tǒng)計特性信道統(tǒng)計特性n信道統(tǒng)計特性：信道統(tǒng)計特性：由信道轉移概率描述。由信道轉移概率描述。n信道轉移概率（信道傳遞概率）：信道轉移概率（信道傳遞概率）：條件概率條件概率 p(yj /xi)。n信道特性表示：信道特性表示：用信道轉移概率矩陣，簡稱用信道轉移概率矩陣，簡稱

9、信道矩陣。信道矩陣。n反信道矩陣：反信道矩陣：由條件概率由條件概率 p(xi /yj) 表示。表示。 )/()/()/()/()/()/()/()/()/(2122221112112121nmnnmmnmxypxypxypxypxypxypxypxypxypxxxyyy信信道道矩矩陣陣 )/()/()/()/()/()/()/()/()/(2122221112112121mnmmnnmnyxpyxpyxpyxpyxpyxpyxpyxpyxpyyyxxx反反信信道道矩矩陣陣 信道的信息傳輸率信道的信息傳輸率 信道的信息傳輸率信道的信息傳輸率n研究信道的目的：研究信道的目的：討論信道中平均每個符號

10、傳送的信息討論信道中平均每個符號傳送的信息量量（信道的信息傳輸率）（信道的信息傳輸率）。n信道的信息傳輸率：信道的信息傳輸率：就是平均互信息：就是平均互信息： R=I(X;Y) H(X) H(X/Y)（比特（比特/符號）符號）平均互信息平均互信息 I(X;Y) 就是接收到符號就是接收到符號 Y 后平均后平均每個符號獲得的關于每個符號獲得的關于 X 的信息量的信息量 信道的信息傳輸率信道的信息傳輸率n如果信源熵為如果信源熵為 H(X)，希望在信道輸出端接收的信息量就，希望在信道輸出端接收的信息量就是是 H(X)，由于干擾的存在，一般只能接收到，由于干擾的存在，一般只能接收到 I(X;Y)。n輸出

11、端輸出端 Y 往往只能獲得關于輸入往往只能獲得關于輸入 X 的部分信息，這是由的部分信息，這是由于平均互信息性質決定的：于平均互信息性質決定的：I(X;Y)H(X)。nI(X;Y) 是信源無條件概率是信源無條件概率 p(xi) 和信道轉移概率和信道轉移概率 p(yj /xi) 的二元函數(shù)：的二元函數(shù)： nimjniijiijijinimjjijjiijijiniijijxypxpxypxypxpypxypyxpYXIxypxpyxpxypxpyp11121121)/()()/(log)/()()()/(log)();()/()()()/()()( 信道容量信道容量n當信道特性當信道特性 p(y

12、j /xi) 固定后，固定后，I(X;Y)隨信源概率分布隨信源概率分布 p(xi) 的變化而變化。的變化而變化。n調整調整 p(xi)，在接收端就能獲得不同的信息量。由平均，在接收端就能獲得不同的信息量。由平均互信息的性質已知，互信息的性質已知，I(X;Y) 是是 p(xi) 的上凸函數(shù)，因的上凸函數(shù)，因此總能找到一種概率分布此總能找到一種概率分布 p(xi)（即某一種信源），（即某一種信源），使使信道所能傳送的信息率為最大。信道所能傳送的信息率為最大。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 信道容量信道容量n信道容量信道容

13、量 C：在信道中最大的信息傳輸速率，單位是比在信道中最大的信息傳輸速率，單位是比特特/信道符號。信道符號。n單位時間的信道容量單位時間的信道容量 Ct：若信道平均傳輸一個符號需若信道平均傳輸一個符號需要要 t 秒鐘，則單位時間的信道容量為：秒鐘，則單位時間的信道容量為：n Ct 實際是信道的最大信息傳輸速率。實際是信道的最大信息傳輸速率。（比比特特秒秒）);(max1)(YXItCixpt （比特信道符號）);(maxmax)()(YXIRCiixpxp結結 論論nC 和和 Ct 都是求平均互信息都是求平均互信息 I(X;Y) 的條件極大值問題，的條件極大值問題，當輸入信源概率分布當輸入信源概

14、率分布 p(xi) 調整好以后，調整好以后， C 和和Ct 已與已與 p(xi) 無關，而僅僅是信道轉移概率的函數(shù)，只與信道無關，而僅僅是信道轉移概率的函數(shù)，只與信道統(tǒng)計特性有關；統(tǒng)計特性有關；n信道容量是完全信道容量是完全描述信道特性描述信道特性的參量；的參量；n信道容量是信道信道容量是信道能夠傳送的最大信息量能夠傳送的最大信息量。(2) 幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量 離散無噪聲信道的信道容量離散無噪聲信道的信道容量 強對稱離散信道的信道容量強對稱離散信道的信道容量 對稱離散信道的信道容量對稱離散信道的信道容量 準對稱離散信道的信道容量準對稱離散信道的信道容量 離散無

15、噪信道的信道容量離散無噪信道的信道容量 a 具有一一對應關系的無噪信道具有一一對應關系的無噪信道 b 具有擴展性能的無噪信道具有擴展性能的無噪信道 c 具有歸并性能的無噪信道具有歸并性能的無噪信道a 具有一一對應關系的無噪信道具有一一對應關系的無噪信道（無噪無損信道）（無噪無損信道）n信道線圖信道線圖a 具有一一對應關系的無噪信道具有一一對應關系的無噪信道（無噪無損信道）（無噪無損信道）n信道矩陣信道矩陣 00010010010010001000010000100001a 具有一一對應關系的無噪信道具有一一對應關系的無噪信道（無噪無損信道）（無噪無損信道）n因為信道矩陣中所有元素均是因為信道矩

16、陣中所有元素均是 “1” 或或 “0”，X 和和 Y 有確有確定的對應關系：定的對應關系：n已知已知 X 后后 Y 沒有不確定性，沒有不確定性，n收到收到 Y 后，后，X 也不存在不確定性，也不存在不確定性，nI(X;Y)=H(X)=H(Y)。n當信源呈等概率分布時，具有一一對應確定關系的無噪信道當信源呈等概率分布時，具有一一對應確定關系的無噪信道達到信道容量達到信道容量（信源（信源 X 的最大熵）的最大熵）噪聲熵：噪聲熵：H(Y/X)=0損失熵損失熵/信道疑義度：信道疑義度：H(X/Y)=0符符號號）（比比特特/log)(max);(max2)()(nXHYXICiixpxp b 具有擴展性

17、能的無噪信道具有擴展性能的無噪信道（有噪無損信道）（有噪無損信道）nn0損失熵損失熵/信道疑義度：信道疑義度：H(X/Y)=0b 具有擴展性能的無噪信道具有擴展性能的無噪信道（有噪無損信道）（有噪無損信道）n其信道矩陣為：其信道矩陣為： )/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxypn雖然信道矩陣中的元素不全是雖然信道矩陣中的元素不全是“1”或或“0”，但由于每，但由于每列中只有一個非零元素：已知列中只有一個非零元素：已知 Y 后，后，X 不再有任何不不再有任何不確定度，確定度，

18、n信道容量為：信道容量為：n此時輸入端符號熵小于輸出端符號熵，此時輸入端符號熵小于輸出端符號熵，H(X) 0損失熵損失熵/信道疑義度：信道疑義度：H(X/Y)=0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(X) b 具有擴展性能的無噪信道具有擴展性能的無噪信道（有噪無損信道）（有噪無損信道）n熵之間的關系：熵之間的關系：c 具有歸并性能的無噪信道具有歸并性能的無噪信道（無噪有損信道）（無噪有損信道）nnm，輸入，輸入 X 的符號集個數(shù)大于輸出的符號集個數(shù)大于輸出 Y 的符號集個數(shù)：的符號集個數(shù)：噪聲熵：噪聲熵：H(Y/X)=0損失熵損失熵/信道疑義度：信道疑義度：H(X

19、/Y)0 100010010001001n信道矩陣中的元素非信道矩陣中的元素非“0”即即 “1” ，每行僅有一個非零元素，每行僅有一個非零元素，但每列的非零元素個數(shù)大于但每列的非零元素個數(shù)大于 1：n已知某一個已知某一個 xi 后，對應的后，對應的 yj 完全確定，完全確定，n收到某一個收到某一個 yj 后，對應的后，對應的 xi 不完全確定，不完全確定， 信道疑義度信道疑義度 H(X/Y)0。 n信道容量為：信道容量為：n這種信道的輸入端符號熵大于輸出端符號熵，這種信道的輸入端符號熵大于輸出端符號熵，H(X) H(Y)。符符號號）（比比特特 /log)(max);(max2)()(mYHYX

20、ICiixpxp 噪聲熵：噪聲熵：H(Y/X)=0損失熵損失熵/信道疑義度：信道疑義度：H(X/Y)0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(Y) n注意：注意：在求信道容量時，調整的始終是輸入端的概率分在求信道容量時，調整的始終是輸入端的概率分布布 p(xi) ，盡管信道容量式子中平均互信息，盡管信道容量式子中平均互信息 I(X;Y) 等等于輸出端符號熵于輸出端符號熵 H(Y)，但是在求極大值時調整的仍然，但是在求極大值時調整的仍然是輸入端的概率分布是輸入端的概率分布 p(xi) ，而不能用輸出端的概率分，而不能用輸出端的概率分布布 p(yj) 來代替。來代替。n

21、熵之間的關系：熵之間的關系：舉例舉例：圖圖3.2.4a的信道容量是的信道容量是 log23=1.585(比特比特/信道信道符號符號)，求要達到這一信道容量對應的信源概率分布。，求要達到這一信道容量對應的信源概率分布。q由信道矩陣得由信道矩陣得 p(y1)= p(x1)1+ p(x2)1 p(y2)= p(x3)1+ p(x4)1 p(y3)= p(x5)1q只要只要 p(y1)= p(y2)= p(y3)= (1/3)，H(Y) 達到最大達到最大值，即達到信道容量值，即達到信道容量 C。舉例舉例：q此時使此時使 p(y1)= p(y2)= p(y3)= (1/3) 的信源概率分布的信源概率分布

22、p(xi),i=1,2,3,4,5 存在，但不是惟一的。存在，但不是惟一的。 q這種信道的輸入符號熵大于輸出符號熵，即這種信道的輸入符號熵大于輸出符號熵，即 H(X) H(Y)。100010010001001結結 論論n無損信道的信道容量無損信道的信道容量 C 只決定于信道的輸入符只決定于信道的輸入符號數(shù)號數(shù) n，與信源無關。，與信源無關。n無噪信道的信道容量無噪信道的信道容量 C 只決定于信道的輸出符只決定于信道的輸出符號數(shù)號數(shù) m，與信源無關。，與信源無關。 強對稱離散信道的信道容量強對稱離散信道的信道容量 a 什么是強對稱離散信道什么是強對稱離散信道 b 強對稱信道矩陣特點強對稱信道矩陣

23、特點 c 強對稱離散信道的信道容量強對稱離散信道的信道容量 d 輸入是什么概率分布時達到信道容量輸入是什么概率分布時達到信道容量 e 二進制均勻信道二進制均勻信道a 什么是強對稱離散信道什么是強對稱離散信道n單符號離散信道的單符號離散信道的 X 和和 Y 取值均由取值均由 n 個不同符號組成，個不同符號組成，即即Xx1,x2,xi,xn，Yy1,y2,yj,ynn每每n信道矩陣為：信道矩陣為： pppPnpnpnpnpnpnpnn11111111)(1 npnpp為為：個個符符號號的的錯錯誤誤傳傳遞遞概概率率其其它它為為：個個符符號號的的正正確確傳傳遞遞概概率率，a 什么是強對稱離散信道什么是

24、強對稱離散信道n這種信道稱為這種信道稱為強對稱（均勻）強對稱（均勻）信道。信道。n這類信道中這類信道中：總的錯誤概率是：總的錯誤概率是 p，對稱平均地分配給，對稱平均地分配給(n1)個輸出符號個輸出符號.n信道矩陣中每行之和等于信道矩陣中每行之和等于 1，每列之和也等于，每列之和也等于 1。一般。一般信道矩陣中，每列之和不一定等于信道矩陣中，每列之和不一定等于 1。b 強對稱信道矩陣特點強對稱信道矩陣特點n強對稱信道矩陣，它的每一行和每一強對稱信道矩陣，它的每一行和每一 列都是同一集合各個元素的不同排列。列都是同一集合各個元素的不同排列。n由平均互信息定義：由平均互信息定義： 個個)1(11,

25、nnpnpp njijijnininiiijninjijixypxypHHxpxypxypxpXYHXYHYHYXI121112)/(log)/()()/(log)/()()/()/()();(其其中中令令：其其中中條條件件熵熵：b 強對稱信道矩陣特點強對稱信道矩陣特點nHni 的意義：的意義：是固定是固定 X=xi 時對時對 Y 求和，相當于在信道求和，相當于在信道矩陣中選定了某一行，對該行上各列元素的自信息求加矩陣中選定了某一行，對該行上各列元素的自信息求加權和。由于信道的對稱性，每一行都是同一集合的不同權和。由于信道的對稱性，每一行都是同一集合的不同排列，所以：排列，所以：n當當 xi

26、不同時，不同時，Hni 只是求和順序不同，求和結果完全一只是求和順序不同，求和結果完全一樣。所以樣。所以Hni 與與 X 無關，是一個常數(shù)。無關，是一個常數(shù)。)log()1(log1212 npnpninppH njijijnixypxypH12)/(log)/(b 強對稱信道矩陣特點強對稱信道矩陣特點n因此：因此：)(max)()/()();()()/()(1nixpninininiiHYHCHYHXYHYHYXIHHxpXYHi 所以：所以：c 強對稱離散信道的信道容量強對稱離散信道的信道容量n 如何達到信道容量如何達到信道容量：求一種輸入分布使求一種輸入分布使 H(Y) 取最大值。取最大

27、值。n 現(xiàn)已知輸出符號集現(xiàn)已知輸出符號集 Y 共有共有 n 個符號，則個符號，則 H(Y)log2n。根據(jù)最。根據(jù)最大離散熵定理，只有當大離散熵定理，只有當 p(yj)= (1/n)，即輸出端呈等概率分布時，即輸出端呈等概率分布時， H(Y) 才達到最大值才達到最大值 log2n 。n 要獲得這一最大值，可通過下面公式尋找相應的輸入概率分布；要獲得這一最大值，可通過下面公式尋找相應的輸入概率分布；n 現(xiàn)一般情況下不一定存在一種輸入符號的概率，使輸出符號達到現(xiàn)一般情況下不一定存在一種輸入符號的概率，使輸出符號達到等概率分布。但強對稱離散信道存在。等概率分布。但強對稱離散信道存在。njxypxpy

28、pniijij, 2 , 1)/()()(1 d 輸入是什么概率分布時達到信道容量輸入是什么概率分布時達到信道容量n強對稱離散信道的輸入和輸出之間概率關系可用矩陣表強對稱離散信道的輸入和輸出之間概率關系可用矩陣表示為：示為： nnTnnnnTnnnnpnpnpnpnpnpnTnnnPPPPxpxpxppppxpxpxpPypypyp ，的的轉轉置置，對對于于對對稱稱矩矩陣陣是是其其中中)()()()()()()()()(211111112121d 輸入是什么概率分布時達到信道容量輸入是什么概率分布時達到信道容量n信道矩陣中的每一行都是由同一集合信道矩陣中的每一行都是由同一集合 中的諸元素的不同

29、排列組成，所以保中的諸元素的不同排列組成，所以保 證了證了當輸入符號當輸入符號 X 是等概率分布，是等概率分布， 即即 p(xi)=(1/n) 時，輸出符號時，輸出符號 Y 一定是等概率分布，一定是等概率分布，這時這時 H(Y)=log2n。相應的信道容量為：。相應的信道容量為： 個個)1(11,nnpnpp)/(logloglog,loglog12221122信道符號信道符號比特比特 npnpnpnipppnpHnHnCd 輸入是什么概率分布時達到信道容量輸入是什么概率分布時達到信道容量n結論：結論：當信道輸入呈等概率分布時，強對稱離散信道能當信道輸入呈等概率分布時，強對稱離散信道能夠傳輸最

30、大的平均信息量，即達到信道容量。夠傳輸最大的平均信息量，即達到信道容量。 這個信道容量只與信道的輸出符號數(shù)這個信道容量只與信道的輸出符號數(shù) n 和相應信道矩和相應信道矩陣中的任一行矢量有關。陣中的任一行矢量有關。e 二進制均勻信道二進制均勻信道n當當 n=2 時的強對稱離散信道就是二進制均勻信道。時的強對稱離散信道就是二進制均勻信道。n二進制均勻信道的信道容量為：二進制均勻信道的信道容量為：n二進制均勻信道容量二進制均勻信道容量 曲線如圖曲線如圖3.2.6所示。所示。pppppHpHppppC2222loglog)()(1loglog1 其其中中： 對稱離散信道的信道容量對稱離散信道的信道容量

31、 a 可排列性可排列性 b 對稱離散信道定義對稱離散信道定義 c 對稱離散信道的信道容量對稱離散信道的信道容量a 可排列性可排列性n行可排列：行可排列：一個矩陣的每一行都是同一集合一個矩陣的每一行都是同一集合Qq1,q2,qm 中諸元素的不同排列。中諸元素的不同排列。n列可排列：列可排列：一個矩陣的每一列都是同一集合一個矩陣的每一列都是同一集合Pp1,p2,pn 中諸元素的不同排列。中諸元素的不同排列。n矩陣可排列（具有可排列性）：矩陣可排列（具有可排列性）：一個矩陣的行和列都是一個矩陣的行和列都是可排列的?？膳帕械?。b 對稱離散信道定義對稱離散信道定義n 對稱離散信道：對稱離散信道：信道矩陣

32、具有可排列性。信道矩陣具有可排列性。n 對稱離散信道行、列集合的特點：對稱離散信道行、列集合的特點：n 當當 mn 時，時，P 是是 Q 的子集。的子集。n 當當 m=n 時，時，Q 和和 P 中的所有元素重合，中的所有元素重合，Q 和和 P 是是同一集合。同一集合。b 對稱離散信道定義對稱離散信道定義n舉例：舉例： 的子集的子集是是，對稱信道對稱信道QPnmPQP 61316161313131316161616131311 6131212161313121616131212是是同同一一集集合合和和，對對稱稱信信道道QPnmPb 對稱離散信道定義對稱離散信道定義n舉例：舉例： 7 . 01 .

33、 02 . 01 . 02 . 07 . 0231613161616131313PP不不對對稱稱信信道道c 對稱離散信道的信道容量對稱離散信道的信道容量的的元元素素為為信信道道矩矩陣陣中中的的任任一一行行其其中中，因因此此：，無無關關的的常常數(shù)數(shù)，故故也也是是與與輸輸入入所所以以素素的的不不同同排排列列，一一行行都都是是同同一一集集合合諸諸元元由由于于信信道道的的對對稱稱性性，每每mmmimimiqqqqqqHYHHYHYXIHXYHXH,),()()();()/(2121 mjijijmiminiiijnimjijixypxypHHxpYHxypxypxpYHXYHYHYXI121211)/

34、(log)/()()()/(log)/()()()/()();(其其中中：c 對稱離散信道的信道容量對稱離散信道的信道容量n對稱離散信道的信道容量與強對稱的形式相同，只是這對稱離散信道的信道容量與強對稱的形式相同，只是這里里 mn。n由于對稱信道的特點，其信道矩陣中每一列都是由同一由于對稱信道的特點，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證了當集合中的諸元素的不同排列組成，所以保證了當 X 等等概率分布時，概率分布時，Y 也是等概率分布，從而使也是等概率分布，從而使 Y 的熵達到的熵達到最大值最大值 log2m，即信道容量。，即信道容量。),(log)(max212)

35、(mmixpqqqHmHYHCi 信信道道容容量量為為： 準對稱離散信道的信道容量準對稱離散信道的信道容量 n準對稱離散信道定義：準對稱離散信道定義：一個一個 n 行行 m 列單符號離散信道矩列單符號離散信道矩陣陣 P 的行可排列，列不可排列。但是矩陣中的的行可排列，列不可排列。但是矩陣中的 m 列可列可分成分成 S 個不相交的子集，各子集分別有個不相交的子集，各子集分別有m1,m2,ms個元個元素素(m1+m2+ms=m)，由，由 n 行行 mk(k=1,2,s) 列組列組成的子矩陣成的子矩陣 Pk 具有可排列性。具有可排列性。n舉例舉例 兩個子矩陣均是可排列的，故信道兩個子矩陣均是可排列的

36、，故信道 P 是準對稱信道。是準對稱信道。 8181818122141412118181214181814121PPP子子矩矩陣陣相相交交的的子子集集，構構成成兩兩個個兩兩列列和和后后兩兩列列分分成成互互不不陣陣的的前前具具有有可可排排列列性性，但但把把矩矩行行具具有有可可排排列列性性，列列不不n準對稱離散信道容量為：準對稱離散信道容量為：n可以證明：可以證明：實現(xiàn)離散準對稱無記憶信道信道容量的輸入實現(xiàn)離散準對稱無記憶信道信道容量的輸入符號集的分布為等概率分布。符號集的分布為等概率分布。),()(log)(2121mkkskkqqqHypypmC skmypypkypkMypjkkkj,2,1

37、)()()()( 個個子子集集中中概概率率的的平平均均值值為為第第其其中中818181812P 8181214181814121P214141211Pn舉例舉例n已知準對稱信道矩陣已知準對稱信道矩陣 ，求其信，求其信道容量道容量 81818121/243212212222 mxypxpmxypxpmypypjijiiMypijiiMypjjj83412121/121211211111 mxypxpmxypxpmypypjijiiMypijiiMypjjjsignbitqqqHypypmCmkskkk/06125. 0,log-, 211(3) 離散信道容量的一般計算方法離散信道容量的一般計算方

38、法 如何計算離散信道容量如何計算離散信道容量 用拉格朗日乘子法求信道容量用拉格朗日乘子法求信道容量 一般離散信道容量計算步驟一般離散信道容量計算步驟 如何計算離散信道容量如何計算離散信道容量n由于由于 I(X;Y) 是輸入概率分布是輸入概率分布 p(xi) 的上凸函數(shù)，所以極大值一定存在。的上凸函數(shù)，所以極大值一定存在。n因為因為 I(X;Y) 是是 n 個變量個變量 p(x1),p(x2),p(xn) 的多元函數(shù)，并滿足的多元函數(shù)，并滿足 ，所以可用拉各朗日乘子法計算這個條件極值。，所以可用拉各朗日乘子法計算這個條件極值。 niixp11)(對一般離散信道求信道容量，就是在固定信道條件下，對

39、所有可對一般離散信道求信道容量，就是在固定信道條件下，對所有可能的輸入概率分布能的輸入概率分布 p(xi) ，求平均互信息的極大值。，求平均互信息的極大值。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 用拉各朗日乘子法求信道容量用拉各朗日乘子法求信道容量n引進一個新函數(shù)引進一個新函數(shù) 其中其中為拉各朗日乘子，解方程組：為拉各朗日乘子，解方程組： 可得一般信道容量可得一般信道容量 C。)20. 2 . 3(1)();(1 niixpYXI )21. 2 . 3(0)(1)();()(1 iniiixpxpYXIxp )/()()()

40、22. 2 . 3()/()()(1ijijniijijxypxdpydpxypxpyp 有有由由n將將 I(X;Y) 的表達式代入的表達式代入(3.2.21)得：得：0)(1)()/(log)/()()(log)(112112 ininiiijmjijimjjjxpxpxypxypxpypyp mjijijmjijjijxypxypexypypxyp121220)/(log)/(log)/()(log)/( 求求偏偏導導得得： nimjjijjiypxypyxpYXI112)()/(log)();(n整理得：整理得：)24. 2 . 3(log)(log()()/(log)/()(21221

41、1 eexpypxypxypxpniijijijnimji)23. 2 . 3(log)()/(log)/(122 mjjijijeypxypxyp 并并求求和和：上上式式兩兩邊邊乘乘以以其其中中：)(1)/(1imjijxpxyp n上式左邊為平均互信息的極大值，即：上式左邊為平均互信息的極大值，即：)28. 2 . 3(2)()26. 2 . 3()27. 2 . 3(Cjjjyp 得得：，再再由由和和信信道道矩矩陣陣求求出出由由得得：代代入入式式)23. 2 . 3()25. 2 . 3()25. 2 . 3(log2 eC mjjijmjjijmjijijCypxypCypxypxyp

42、xyp121212)()log/()(log)/()/(log)/()26. 2 . 3()(log2Cypjj 令令：)27. 2 . 3()/()/(log)/(112 mjjijmjijijxypxypxyp 則則：)29. 2 . 3(2log22, 122)(12111 mjmjCmjCmjjjjjCypj 求求出出信信道道容容量量：求求和和得得：上上式式兩兩邊邊對對)22. 2 . 3()/()()()(1 niijijixypxpypxp求求：)28. 2 . 3(2)(Cjjyp 求求： 一般離散信道容量計算步驟一般離散信道容量計算步驟n一般離散信道容量的計算步驟總結如下：一般