信道與信道容量

信道與信道容量第一頁，共四十七頁，2022年，8月28日信道模型和信道容量信道傳送信息的載體，信號通過的通道。任務是以信號方式傳輸信息、存儲信息。研究信道就是研究信道中理論上能夠傳輸或存儲的最大信息量，即信道的容量問題。信息論不研究信號在信道中傳輸?shù)奈锢磉^程。信道研究方法抽象地將信道問題歸結為輸入、輸出和轉移概率矩陣三個要素來描述。信道輸入X輸出YP(Y/X)2023/1/182第二頁，共四十七頁，2022年，8月28日信道分類按信道的用戶數(shù)量來劃分單用戶信道：即只有一個輸入端和一個輸出端的單向通信信道。多用戶信道：即在輸入端或輸出端中至少有一端存在兩個以上的用戶，并且還可以雙向通信的信道。按輸入/輸出之間的關系來劃分無反饋信道：信道的輸出端信號不反饋到輸入端，即輸出信號對輸入信號沒有影響。反饋信道：信道的輸出信號通過一定途徑反饋到輸入端，使輸入端的信號發(fā)生變化。2023/1/183第三頁，共四十七頁，2022年，8月28日信道分類按信道參數(shù)與時間的關系來劃分固定參數(shù)信道：即信道的統(tǒng)計特性不隨時間而變化，如光纖、電纜信道。時變參數(shù)信道：即信道的統(tǒng)計特性隨時間而變化，如無線信道。按信道中的噪聲種類來劃分隨機差錯信道：指噪聲隨機地影響每個傳輸碼元，如以高斯白噪聲為主體的信道。突發(fā)差錯信道：指噪聲、干擾的影響是前后相關的，錯誤成串出現(xiàn)，如脈沖干擾或閃電等。2023/1/184第四頁，共四十七頁，2022年，8月28日信道分類按輸入/輸出信號在幅度和時間上的取值劃分離散信道：輸入和輸出的信號在時間和幅度上均為離散的信道。連續(xù)信道：信號的幅度連續(xù)，時間離散。半離散半連續(xù)信道：輸入變量取值離散而輸出變量取值連續(xù)。輸入變量取值連續(xù)而輸出變量取值離散。波形信道：信道的輸入和輸出信號在時間和幅度上均連續(xù)，一般可用隨機過程來描述。單用戶、無反饋、固定參數(shù)的離散信道2023/1/185第五頁，共四十七頁，2022年，8月28日信道模型信道轉移概率矩陣p(Y/X)描述輸入/輸出的統(tǒng)計依賴關系，反映信道統(tǒng)計關系。信道的輸入X=(X1,X2,…,Xi,…)輸入符號集：Xi={a1,a2,…,an}信道的輸出Y=(Y1,Y2,…,Yj,…)輸出符號集：Yj={b1,b2,…,bm}信道輸入X輸出Yp(Y/X)2023/1/186第六頁，共四十七頁，2022年，8月28日根據(jù)干擾和記憶性分類無干擾（無噪聲）信道信道的輸出信號Y與輸入信號X之間有確定的關系Y=f(X)有干擾無記憶信道每個輸出信號只與當前輸入信號之間有轉移概率關系，與其他時刻的輸入（出）信號無關。有干擾有記憶信道一般情況下，信道存在碼間干擾，輸入信號不但與當前輸入信號有關，還與以前的輸入信號有關。將記憶很強的L個符號當作矢量符號，各矢量符號之間認為是無記憶的。將轉移概率看成馬爾可夫鏈的形式。2023/1/187第七頁，共四十七頁，2022年，8月28日信道模型二進制離散信道：BSC信道輸入符號X取值{0,1}輸出符號Y取值{0,1}信道轉移概率

p(0/0)=1－p

p(0/1)=p

p(1/1)=1－p

p(1/0)=p0101pp1-p1-p輸入輸出無錯傳輸概率有錯傳輸概率2023/1/188第八頁，共四十七頁，2022年，8月28日信道模型離散無記憶信道：DMC信道輸入符號集：X={a1,a2,…,an}輸出符號集：Y={b1,b2,…,bm}輸入－輸出特性p(Y=bj/X=ai)≡p(bj/ai)=pij轉移概率矩陣各行概率之和為12023/1/189第九頁，共四十七頁，2022年，8月28日信道模型離散輸入、連續(xù)輸出信道輸入符號集：X={a1,a2,…,an}輸出未經(jīng)量化，即Y={-∞,∞}輸出特性由離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù)p(y/X=ai)

來決定。加性高斯白噪聲（AWGN）信道式中，G是均值為零、方差為σ2的高斯隨機變量當X給定，Y是一個均值為ai、方差為σ2的高斯隨機變量有限、離散Y＝X＋G無限、連續(xù)2023/1/1810第十頁，共四十七頁，2022年，8月28日信道模型波形信道輸入是模擬波形，輸出也是模擬波形連續(xù)無記憶信道和連續(xù)有記憶信道任一時刻輸出變量與以前時刻的輸入輸出是否有關根據(jù)噪聲對信道中信號的作用不同，可將噪聲分為：加性噪聲和乘性噪聲假設輸入該信道的帶限信號x(t)，相應的輸出是y(t)，n(t)代表加性噪聲過程的一個樣本函數(shù)，則y(t)＝x(t)＋n(t)加性高斯白噪聲2023/1/1811第十一頁，共四十七頁，2022年，8月28日信道容量的定義信道傳輸率R信道中平均每個符號能傳送的信息量R＝I(X;Y)bit/符號信息傳輸速率Rt若平均傳輸一個符號所需時間為t則Rt＝I(X;Y)/t

bit/s當信道確定時，p(bj/ai)確定?；バ畔⑹顷P于p(ai)的函數(shù)。2023/1/1812第十二頁，共四十七頁，2022年，8月28日信道容量的定義定理：給定轉移概率矩陣P后，平均互信息I(X;Y)是概率矢量Px的上凸函數(shù)。概率矢量Px＝[p(a1),p(a2),…p(an)]用I(Px)表示I是Px的函數(shù)，則在I(Px)曲線的上凸點對應的輸入符號概率矢量Px上，I(Px)取得極大值。這個值就是信道容量。2023/1/1813第十三頁，共四十七頁，2022年，8月28日信道容量的定義信道容量信道容量C的單位是信道上每傳送一個符號所能攜帶的比特數(shù)，即比特/符號。如果以e為底，即取自然對數(shù)時，信道容量的單位是奈特/符號。如果已知符號傳送周期是T秒，信道容量Ct=C/T，單位為bit/s或nat/s。2023/1/1814第十四頁，共四十七頁，2022年，8月28日第3章信道與信道容量3.1 信道的基本概念3.2 離散單個符號信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配2023/1/1815第十五頁，共四十七頁，2022年，8月28日離散單符號信道離散單個符號信道無干擾離散信道有擾離散信道對稱DMC信道準對稱DMC信道一般DMC信道無噪無損信道無噪有損信道有噪無損信道2023/1/1816第十六頁，共四十七頁，2022年，8月28日無干擾離散信道信道輸入X={a1,a2,…,an}，信道輸出Y={b1,b2,…,bm}無噪無損信道輸入和輸出符號之間有確定的一一對應關系。H(Y/X)=0，H(X/Y)=0，I(X;Y)=H(X)=H(Y)C=maxI(X;Y)=logn輸入符號等概率分布2023/1/1817第十七頁，共四十七頁，2022年，8月28日無干擾離散信道無噪有損信道多個輸入變成一個輸出。H(Y/X)=0，H(X/Y)≠0，H(X)＞H(Y)C=maxI(X;Y)=maxH(Y)2023/1/1818第十八頁，共四十七頁，2022年，8月28日無干擾離散信道有噪無損信道一個輸入對應多個輸出。H(Y/X)≠0，H(X/Y)=0，H(X)＜H(Y)C=maxI(X;Y)=maxH(X)2023/1/1819第十九頁，共四十七頁，2022年，8月28日對稱DMC信道對稱DMC信道的定義輸入對稱矩陣：轉移概率矩陣P的每一行都是第一行的置換（包含同樣元素）。輸出對稱矩陣：轉移概率矩陣P的每一列都是第一列的置換（包含同樣元素）。如果輸入、輸出都對稱，則稱該DMC為對稱DMC信道2023/1/1820第二十頁，共四十七頁，2022年，8月28日對稱DMC信道有擾對稱DMC信道具有如下性質：對稱信道的條件熵H(Y/X)與信道輸入符號的概率分布無關。如果信道輸入符號等概率分布，則信道輸出符號也等概率分布；反之，若信道輸出符號等概率分布時，信道輸入符號也是等概率分布。2023/1/1821第二十一頁，共四十七頁，2022年，8月28日對稱DMC信道當信道輸入符號等概率分布時，對稱DMC信道達到其信道容量。2023/1/1822第二十二頁，共四十七頁，2022年，8月28日對稱DMC信道例：信道轉移概率矩陣為求：信道容量解：n=2時，為BSC信道ε=0時無差錯，信道容量最大ε=1/2時，信道容量為02023/1/1823第二十三頁，共四十七頁，2022年，8月28日對稱DMC信道實際通信系統(tǒng)中，信號往往要通過幾個環(huán)節(jié)的傳輸或多步的處理。若將這些傳輸和處理看成信道，則串接成為一個串聯(lián)信道。信道1信道2信道m(xù)…XYZW根據(jù)信息不增性：串接的信道越多，其信道容量可能會越??；串接信道數(shù)量無限多時，信道容量趨于零。2023/1/1824第二十四頁，共四十七頁，2022年，8月28日對稱DMC信道例：設有兩個離散BSC信道，其轉移矩陣為串聯(lián)信道的轉移矩陣為：m為串接信道的個數(shù)2023/1/1825第二十五頁，共四十七頁，2022年，8月28日準對稱DMC信道如果轉移概率矩陣P的輸入對稱而輸出不對稱，即P的每一行都包含相同的元素而各列的元素不同，則稱該信道是準對稱DMC信道。準對稱DMC信道的容量2023/1/1826第二十六頁，共四十七頁，2022年，8月28日準對稱DMC信道例：已知信道轉移矩陣為求該信道容量。解：設輸入符號概率為p(a1)=α，p(a2)=1－α

聯(lián)合概率矩陣輸入符號等概率分布時，準對稱DMC信道達到其信道容量C2023/1/1827第二十七頁，共四十七頁，2022年，8月28日準對稱DMC信道例：設信道轉移概率矩陣為： 求該信道的容量。解：當輸入符號等概率分布時， 達到信道的容量，即2023/1/1828第二十八頁，共四十七頁，2022年，8月28日準對稱DMC信道矩陣分解法將轉移概率矩陣劃分成若干個互不相交的對稱子矩陣。當輸入分布為等概率時，達到信道容量為n為輸入符號集個數(shù)p1′…

ps′是轉移概率矩陣中一行的元素Nk是第k個子矩陣中行元素之和Mk是第k個子矩陣中列元素之和2023/1/1829第二十九頁，共四十七頁，2022年，8月28日一般DMC信道以輸入符號概率矢量Px為自變量的函數(shù)I(Px)的極大值，即信道容量。為了使I(X;Y)最大化，即求取信道容量的值，輸入符號概率集{p(ai)}必須滿足的充分必要條件是：I(ai;Y)＝C，對于所有滿足p(ai)＞0條件的iI(ai;Y)≤C，對于所有滿足p(ai)＝0條件的i此結論只給出了達到信道容量C時輸入符號概率分布的充要條件，并未給出具體值，所以C沒有具體可求的公式。2023/1/1830第三十頁，共四十七頁，2022年，8月28日第3章信道與信道容量3.1 信道的基本概念3.2 離散單個符號信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配2023/1/1831第三十一頁，共四十七頁，2022年，8月28日離散序列信道及其容量信道輸入X輸出Yp(Y/X)X=(X1,X2,…,XL)Xl={a1,a2,…,an}Y=(Y1,Y2,…,YL)Yl={b1,b2,…,bm}無記憶離散序列信道的轉移概率為：若信道是平穩(wěn)的，則：2023/1/1832第三十二頁，共四十七頁，2022年，8月28日離散序列信道及其容量平均互信息的兩個性質：如果信道無記憶如果輸入矢量X中 各個分量相互獨立獨立、無記憶且平穩(wěn)2023/1/1833第三十三頁，共四十七頁，2022年，8月28日離散序列信道及其容量例：求BSC二次擴展信道的信道容量。解：0101pp1-p1-p輸入輸出p=0.1時，C1=0.53bit/符號 C2=1.06bit/序列C2=2C12023/1/1834第三十四頁，共四十七頁，2022年，8月28日離散序列信道及其容量獨立并聯(lián)信道L個相互獨立的信道，每個信道的輸出只與本信道的輸入有關。信道XYp(Y/X)2023/1/1835第三十五頁，共四十七頁，2022年，8月28日第3章信道與信道容量3.1 信道的基本概念3.2 離散單個符號信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配2023/1/1836第三十六頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量連續(xù)單符號加性信道信道的輸入和輸出都是取值連續(xù)的一維隨機變量，加入信道的噪聲是均值為零、方差為σ2的加性高斯噪聲。非高斯噪聲信道的容量要大于高斯噪聲信道的容量2023/1/1837第三十七頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量多維無記憶加性連續(xù)信道多維無記憶加性連續(xù)信道可等價成L個獨立的并聯(lián)高斯加性信道2023/1/1838第三十八頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量注水法某些單元時刻的噪聲太大，使子信道信號功率pl出現(xiàn)負值。置pl=0，重新調整信號功率的分配，直至pl不再出現(xiàn)負值。噪聲小的子信道分配到的輸入功率大，傳輸?shù)谋忍財?shù)多。2023/1/1839第三十九頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量受加性高斯白噪聲干擾的帶限波形信道輸入x(t)、輸出y(t)和噪聲n(t)：模擬波形帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式為W：頻帶寬度，簡稱帶寬SNR(信噪比)：表示信號功率與噪聲功率的比值PS：信號的平均功率加性白噪聲的功率譜密度為N0/2香農(nóng)公式bit/s2023/1/1840第四十頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量香農(nóng)公式的討論帶寬W一定時，信道容量C

隨信噪比SNR的增加而單調增加，因此增大信號功率、減小信道噪聲可以增加信道容量。信道容量C一定時，帶寬W增大，信噪比SNR可降低，即二者可以互換。如果輸入信號功率PS固定，信道容量C

隨帶寬W的增加而增加。但到一定階段后，增加變得緩慢。2023/1/1841第四十一頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量香農(nóng)限每傳輸1比特信息所需的能量。當歸一化的信噪比小于香農(nóng)限（-1.6dB）時，歸一化信道容量為零，即信道完全喪失通信能力。頻帶利用率歸一化信道容量單位頻帶的信息傳輸率。2023/1/1842第四十二頁，共四十七頁，2022年，8月28日連續(xù)信道及其容量例：電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝100，計算該信道的信道容量。解：實際電話信道的容量只有19.2kbit/s理論計算沒有考慮串音、回波等干擾因素2023/1/1843第四十三頁，共四十七頁，2022年，8月28日第3章信道與信道容量3.1 信道的基本概念3.2 離散單個符