最新-信息論與編碼第三章復(fù)習(xí)-PPT精品課件

1、第三章對稱DMC信道無干擾信道單符號加性信道限時限頻高斯白噪聲信道分類離散單符號信道離散序列信道連續(xù)信道多維無記憶加性信道（注水法）7/19/20221Department of Communication China Ji Liang University 7/19/20222Department of Communication China Ji Liang University 3.1 信道的分類和表示參數(shù)(1) 一般信道的數(shù)學(xué)模型(2) 信道的分類(3) 實際的信道(4) 信道的參數(shù)7/19/20223Department of Communication China Ji Liang

2、 University (1)一般信道的數(shù)學(xué)模型信道編碼器信道編碼器基帶調(diào)制器信道+噪聲調(diào)制器信道+噪聲解調(diào)器寫入頭存儲介質(zhì)+介質(zhì)缺陷讀出頭基帶解調(diào)器輸入輸出黑箱7/19/20224Department of Communication China Ji Liang University (1)一般信道的數(shù)學(xué)模型轉(zhuǎn)移概率矩陣輸入輸出信道模型Xa1, a2, ai, anYb1,b2,bj,bm7/19/20225Department of Communication China Ji Liang University 7/19/20226Department of Communication

3、China Ji Liang University (2)信道的分類根據(jù)輸入輸出隨機信號的特點分類(連續(xù)/離散）根據(jù)輸入輸出隨機變量個數(shù)的多少分類（單符號/多符號）根據(jù)輸入輸出個數(shù)分類（單用戶/多用戶）根據(jù)信道上有無干擾分類根據(jù)信道有無記憶特性分類根據(jù)輸入和輸出之間有無反饋7/19/20227Department of Communication China Ji Liang University (3) 實際的信道實際信道的帶寬總是有限的，所以輸入和輸出信號總可以分解成隨機序列來研究。一個實際信道可同時具有多種屬性。 最簡單的信道是單符號離散信道。7/19/20228Department o

4、f Communication China Ji Liang University (4) 信道參數(shù)二進制離散信道模型離散無記憶信道離散輸入、連續(xù)輸出信道波形信道7/19/20229Department of Communication China Ji Liang University 二進制離散信道模型 a）二進制離散信道模型的組成 二進制離散信道模型由一個允許輸入值的集合 X0,1 和可能輸出值的集合Y=0,1，以及一組表示輸入、輸出關(guān)系的條件概率（轉(zhuǎn)移概率）組成。 7/19/202210Department of Communication China Ji Liang Univers

5、ity b）二進制對稱信道 （簡稱為 BSC信道 ）0輸入10輸出11-p1-ppp二進制對稱信道7/19/202211Department of Communication China Ji Liang University B離散無記憶信道 （a）離散無記憶信道（DMC信道）x1x2xny1y2ym7/19/202212Department of Communication China Ji Liang University 聯(lián)合條件概率 7/19/202213Department of Communication China Ji Liang University C離散輸入、連續(xù)輸出信

6、道 離散時間無記憶信道 假設(shè)信道輸入符號選自一個有限的、離散的輸入字符集X=a1，a2， an，而信道輸出未經(jīng)量化（m），這時的譯碼器輸出可以是實軸上的任意值，即y=- ，。這樣的信道模型為離散時間無記憶信道。 7/19/202214Department of Communication China Ji Liang University 說明：它的特性由離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù) pY(y/X=ai), i=1,2,n來決定。這類信道中最重要的一種是加性高斯白噪聲（AWGN）信道，對它而言 Y=XG , 式中G是一個零均值、方差為 的高斯隨機變量，X=ai，i=1，2，n

7、。 7/19/202215Department of Communication China Ji Liang University 當 X給定后，Y是一個均值為ai、方差 為的高斯隨機變量 7/19/202216Department of Communication China Ji Liang University D波形信道 波形信道是這樣一種信道模型：其輸入是模擬波形，其輸出也是模擬波形。假設(shè)輸入該信道的是帶限信號x（t），相應(yīng)的輸出是y（t），那么 y（t）=x（t）n（t） 這里n（t）代表加性噪聲過程的一個樣本函數(shù)。 7/19/202217Department of Commun

8、ication China Ji Liang University 3.2離散單個符號信道及其容量引言： 信道容量定義3.2.1 無干擾離散信道3.2.2 對稱DMC信道3.2.3 準對稱DMC信道3.3.4 一般DMC信道7/19/202218Department of Communication China Ji Liang University 信道的信息傳輸率信道的信息傳輸率：就是平均互信息 R=I(X;Y)。I(X;Y)是信源無條件概率p(ai)和信道轉(zhuǎn)移概率p(bj /ai)的二元函數(shù)：當信道特性p(bj /ai)固定后，I(X;Y)隨信源概率分布p(ai) 的變化而變化。由平均互

9、信息的性質(zhì)已知，I(X;Y)是p (ai) 的上凸函數(shù)，因此總能找到一種概率分布 p (ai) （即某一種信源），使信道所能傳送的信息率為最大。7/19/202219Department of Communication China Ji Liang University 信道容量信道容量C：在信道中最大的信息傳輸率。單位時間的信道容量Ct：若信道平均傳輸一個符號需要t 秒鐘，則單位時間的信道容量為： Ct實際是信道的最大信息傳輸速率。7/19/202220Department of Communication China Ji Liang University 3.2.1 無干擾離散信道 具

10、有一一對應(yīng)關(guān)系的無噪信道 具有擴展性能的無噪信道 具有歸并性能的無噪信道7/19/202221Department of Communication China Ji Liang University 具有一一對應(yīng)關(guān)系的無噪信道這種信道如右圖所示7/19/202222Department of Communication China Ji Liang University I(X;Y)=H(X)=H(Y)。當信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道達到信道容量7/19/202223Department of Communication China Ji Liang Universit

11、y 具有擴展性能的無噪信道此信道的舉例如右圖所示。nm，輸入X的符號集個數(shù)大于輸出Y的符號集個數(shù)。7/19/202226Department of Communication China Ji Liang University 信道噪聲熵 H(Y/X)=0。信道容量為：7/19/202227Department of Communication China Ji Liang University 3.2.2 對稱DMC信道對稱信道矩陣，它的每一行和每一列都是同一集合各個元素的不同排列。可當信道輸入呈等概率分布時，強對稱離散信道能夠傳輸最大的平均信息量，即達到信道容量：7/19/202228De

12、partment of Communication China Ji Liang University 3.2.3 準對稱DMC信道準對稱離散信道定義： 一個n行m列單符號離散信道矩陣P的行可排列，列不可排列。但是矩陣中的m列可分成S個不相交的子集，各子集分別有m1,m2,ms個元素(m1+m2+ms=m)，由n行mk(k=1,2,s)列組成的子矩陣Pk具有可排列性。當輸入分布達到等概時，達到信道容量：7/19/202229Department of Communication China Ji Liang University 7/19/202230Department of Communi

13、cation China Ji Liang University 為使 I（X;Y）最大化以便求取DMC容量，輸入概率 p（xi）必須滿足的充分和必要條件是: 3.2.4 一般DMC信道每個概率非零的輸入符號對Y提供相同的平均互信息7/19/202231Department of Communication China Ji Liang University 本講內(nèi)容3.3 離散序列信道及其容量3.4 連續(xù)信道及其容量7/19/202232Department of Communication China Ji Liang University 3.3 離散序列信道及其容量(1) 離散序列信道

14、的定義(2) 離散序列信道的模型(3) 離散序列信道的信道容量7/19/202233Department of Communication China Ji Liang University 3.3 離散序列信道及其容量（1）離散序列信道定義定義：多符號離散信源X =X1X2XL在L個不同時刻分別通過單符號離散信道X P(Y/X) Y，則在輸出端出現(xiàn)相應(yīng)的隨機序列Y =Y1Y2YL，這樣形成一個新的信道稱為離散序列信道。由于新信道相當于單符號離散信道在L個不同時刻連續(xù)運用了L次，所以也稱為單符號離散信道X P(Y/X) Y的L次擴展。7/19/202234Department of Commu

15、nication China Ji Liang University 3.3 離散序列信道及其容量（2）離散序列信道模型設(shè)信源矢量X的每一個隨機變量Xl ( l=1,2,L)均取自并取遍于信道的輸入符號集a1,a2,an ，則信源共有nL個不同的元素ai(i=1,2,nL)。則輸出矢量Y由L個符號組成的輸出序列Y =Y1Y2 YL ，它的每一個隨機變量Yl均取自并取遍于信道的輸出符號集b1,b2,bm 7/19/202235Department of Communication China Ji Liang University 3.3 離散序列信道及其容量離散序列信道模型7/19/20223

16、6Department of Communication China Ji Liang University 3.3 離散序列信道及其容量對于無記憶離散序列信道，其信道轉(zhuǎn)移概率為：若是平穩(wěn)的，又有：7/19/202237Department of Communication China Ji Liang University 3.3 離散序列信道及其容量根據(jù)平均互信息的定義I(X;Y)=H(Y)H(Y /X)如果信道是無記憶的，有：如果X中各個分量相互獨立，有：7/19/202238Department of Communication China Ji Liang University 3.3 離散序列信道及其容量（3）離散序列信道容量當X中各個分量相互獨立且信道無記憶時，有當X達到最佳分布時，有信道容量：當信道平穩(wěn)時，有7/19/202239Department of Communication China Ji Liang University 3.3 離散序列信道及其容量舉例p55：BSC的二