信息與編碼第4章-信道及信道容量2課件

第4章信道及信道容量第4章信道及信道容量1主要學習內容一、信道的概念與分類二、離散單符號信道與信道容量的概念三、幾種特殊信道及其信道容量的求法四、一般離散信道的信道容量求法五、信道容量定理及其應用六、離散多符號信道的概念及其信道容量七、組合信道的概念及其信道容量主要學習內容一、信道的概念與分類21、離散單符號信道的含義定義：信道的輸入、輸出都取值于離散符號集，且都用一個隨機變量來表示的信道就是離散單符號信道。地位：它是最簡單的信道，也是實際信道的基本組成單元。含義：每次傳輸一個符號作為一個消息。1、離散單符號信道的含義定義：信道的輸入、輸出都取值于離散符3圖形表示圖形表示42、離散單符號信道的數學模型實質上就是在輸入隨機變量（符號集）X的條件下輸出隨機變量（符號集）Y的條件概率分布。2、離散單符號信道的數學模型實質上就是在輸入隨機變量（符號集5輸入隨機變量（符號集）X的概率空間輸入隨機變量（符號集）X的概率空間6信道的數學模型（條件概率分布）信道矩陣（傳遞概率矩陣）信道的數學模型（條件概率分布）信道矩陣（傳遞概率矩陣）7簡單表示簡單表示為：簡單表示簡單表示為：8輸出隨機變量（符號集）Y的概率空間輸出隨機變量（符號集）Y的概率空間9三者的關系三者的關系10二元對稱信道BSC(BinarySymmetricChannel)傳遞概率圖為：信道矩陣為：

p為錯誤概率二元對稱信道BSC(BinarySymmetricCha11相關名詞前向概率：p(yj/xi)后向概率:p(xi/yj)輸入符號的先驗概率:p(xi)輸入符號的后驗概率:p(xi/yj)相關名詞前向概率：p(yj/xi)12概率知識回顧條件概率公式概率知識回顧條件概率公式13全概率公式全概率公式14貝葉斯公式貝葉斯公式153、平均互信息I(X;Y)的含義在統(tǒng)計平均的意義上，由Y中的一個符號，能得到X中一個符號的信息量。3、平均互信息I(X;Y)的含義在統(tǒng)計平均的意義16在信道中的含義（信息傳輸率）當X為信源、Y表示信宿時，I(X;Y)表示在平均的意義上信源每發(fā)出一個符號流經信道到達信宿時，由信宿的每個符號所能得到的關于信源每個符號的信息量，亦即信源每發(fā)出一個符號流經信道的信息量。稱為：信息傳輸率，單位是：比特/符號。若信道平均每傳輸一個符號用t秒，令則Rt

表示信道平均每秒傳輸的信息量，稱為：信息傳輸速率，單位是：比特/秒。在信道中的含義（信息傳輸率）當X為信源、Y表示信宿時，17信道疑義度由:I(X;Y)=H(X)-H(X/Y)得到：H(X/Y)=H(X)-I(X;Y)H(X）表示：信源本來平均每個符號具有的信息量（不確定性）；I(X;Y)表示：信宿接收到符號后，由其每個符號所能得到信源每個符號的信息量；H(X/Y)表示：信宿接收到符號后，信源的每個符號還剩余的信息量（不確定性），產生的原因是因為信道有干擾，故稱H(X/Y)為信道疑義度。信道疑義度由:I(X;Y)=H(X)-H18平均互信息I(X;Y)的性質課本中第22頁，性質5：凸函數性；定理2.1當條件概率分布{p(yj/xi)}給定時，平均互信息I（X；Y）是輸入分布{p(xi)}的上凸函數。定理2.2對于固定的輸入分布{p(xi)}，平均互信息量I（X；Y）是條件概率分布{p(yj/xi)}的下凸函數。平均互信息I(X;Y)的性質課本中第22頁，性質19一個例題設二元對稱信道中，錯誤概率p=3/4，當輸入分布分別為(1/2,1/2)和(1/4,3/4)時，分別求相應的平均互信息I(X;Y).一個例題設二元對稱信道中，錯誤概率p=3/4，當輸入分布20方法：利用平均互信息的如下公式輸入分布PX

與條件概率分布PY/X（信道矩陣）已知，而PY=PX*PY/X,p(xiyj)=p(xi)*p(yj/xi),所以由輸入分布和條件概率分布可以求出平均互信息。方法：利用平均互信息的如下公式21I(X;Y)的求解1I(X;Y)的求解122信息與編碼第4章-信道及信道容量2課件23I(X;Y)的求解2I(X;Y)的求解224信息與編碼第4章-信道及信道容量2課件25說明信道固定時（條件概率轉移矩陣固定時），不同的輸入分布對應著不同的平均互信息。說明信道固定時（條件概率轉移矩陣固定時），不同的輸入分布對應26最佳輸入分布因為條件概率分布即表示信道，由定理2.1知：當信道固定時，存在一種輸入分布，使得平均互信息I（X;Y）在該輸入分布下達到最大值，稱此時的輸入分布為：最佳輸入分布。最佳輸入分布因為條件概率分布即表示信道，由定理2.1知：當信274、信道容量的定義定義4.1信道容量為平均互信息對于輸入概率分布的最大值：單位依所用的對數不同可以是：比特/符號，奈特/符號，等。相應的輸入概率分布被稱為最佳輸入分布。4、信道容量的定義定義4.1信道容量為平均互信息對于輸入概28例4.1二元對稱信道

（BSC：binarysymmetricchannel）0101信道概率轉移圖輸入符號集X={0,1},輸入概率分布為輸出符號集Y={0,1}，即r＝s＝2．傳遞概率：

例4.1二元對稱信道

（BSC：binarysymme29解I(X;Y)=H(Y)-H(Y/X)注意：上兩個式子是如何得到的？表示什么意思？解I(X;Y)=H(Y)-H(Y/X)30總結1、離散單符號信道的含義2、離散單符號信道的數學模型3、平均互信息I(X;Y)的含義4、信道容量的含義總結1、離散單符號信道的含義31第4章信道及信道容量第4章信道及信道容量32主要學習內容一、信道的概念與分類二、離散單符號信道與信道容量的概念三、幾種特殊信道及其信道容量的求法四、一般離散信道的信道容量求法五、信道容量定理及其應用六、離散多符號信道的概念及其信道容量七、組合信道的概念及其信道容量主要學習內容一、信道的概念與分類331、離散單符號信道的含義定義：信道的輸入、輸出都取值于離散符號集，且都用一個隨機變量來表示的信道就是離散單符號信道。地位：它是最簡單的信道，也是實際信道的基本組成單元。含義：每次傳輸一個符號作為一個消息。1、離散單符號信道的含義定義：信道的輸入、輸出都取值于離散符34圖形表示圖形表示352、離散單符號信道的數學模型實質上就是在輸入隨機變量（符號集）X的條件下輸出隨機變量（符號集）Y的條件概率分布。2、離散單符號信道的數學模型實質上就是在輸入隨機變量（符號集36輸入隨機變量（符號集）X的概率空間輸入隨機變量（符號集）X的概率空間37信道的數學模型（條件概率分布）信道矩陣（傳遞概率矩陣）信道的數學模型（條件概率分布）信道矩陣（傳遞概率矩陣）38簡單表示簡單表示為：簡單表示簡單表示為：39輸出隨機變量（符號集）Y的概率空間輸出隨機變量（符號集）Y的概率空間40三者的關系三者的關系41二元對稱信道BSC(BinarySymmetricChannel)傳遞概率圖為：信道矩陣為：

p為錯誤概率二元對稱信道BSC(BinarySymmetricCha42相關名詞前向概率：p(yj/xi)后向概率:p(xi/yj)輸入符號的先驗概率:p(xi)輸入符號的后驗概率:p(xi/yj)相關名詞前向概率：p(yj/xi)43概率知識回顧條件概率公式概率知識回顧條件概率公式44全概率公式全概率公式45貝葉斯公式貝葉斯公式463、平均互信息I(X;Y)的含義在統(tǒng)計平均的意義上，由Y中的一個符號，能得到X中一個符號的信息量。3、平均互信息I(X;Y)的含義在統(tǒng)計平均的意義47在信道中的含義（信息傳輸率）當X為信源、Y表示信宿時，I(X;Y)表示在平均的意義上信源每發(fā)出一個符號流經信道到達信宿時，由信宿的每個符號所能得到的關于信源每個符號的信息量，亦即信源每發(fā)出一個符號流經信道的信息量。稱為：信息傳輸率，單位是：比特/符號。若信道平均每傳輸一個符號用t秒，令則Rt

表示信道平均每秒傳輸的信息量，稱為：信息傳輸速率，單位是：比特/秒。在信道中的含義（信息傳輸率）當X為信源、Y表示信宿時，48信道疑義度由:I(X;Y)=H(X)-H(X/Y)得到：H(X/Y)=H(X)-I(X;Y)H(X）表示：信源本來平均每個符號具有的信息量（不確定性）；I(X;Y)表示：信宿接收到符號后，由其每個符號所能得到信源每個符號的信息量；H(X/Y)表示：信宿接收到符號后，信源的每個符號還剩余的信息量（不確定性），產生的原因是因為信道有干擾，故稱H(X/Y)為信道疑義度。信道疑義度由:I(X;Y)=H(X)-H49平均互信息I(X;Y)的性質課本中第22頁，性質5：凸函數性；定理2.1當條件概率分布{p(yj/xi)}給定時，平均互信息I（X；Y）是輸入分布{p(xi)}的上凸函數。定理2.2對于固定的輸入分布{p(xi)}，平均互信息量I（X；Y）是條件概率分布{p(yj/xi)}的下凸函數。平均互信息I(X;Y)的性質課本中第22頁，性質50一個例題設二元對稱信道中，錯誤概率p=3/4，當輸入分布分別為(1/2,1/2)和(1/4,3/4)時，分別求相應的平均互信息I(X;Y).一個例題設二元對稱信道中，錯誤概率p=3/4，當輸入分布51方法：利用平均互信息的如下公式輸入分布PX

與條件概率分布PY/X（信道矩陣）已知，而PY=PX*PY/X,p(xiyj)=p(xi)*p(yj/xi),所以由輸入分布和條件概率分布可以求出平均互信息。方法：利用平均互信息的如下公式52I(X;Y)的求解1I(X;Y)的求解153信息與編碼第4章-信道及信道容量2課件54I(X;Y)的求解2I(X;Y)的求解255信息與編碼第4章-信道及信道容量2課件56說明信道固定時（條件概率轉移矩陣固定時），不同的輸入分布對應著不同的平均互信息。說明信道固定時（條件概率轉移矩陣固定時），不同的輸入分布對