信息論與編碼概念總結(jié)

1、第一章1.通信系統(tǒng)的基本模型:2.信息論研究內(nèi)容：信源熵，信道容量，信息率失真函數(shù)，信源編碼，信道編碼，密碼體制的安全性測度等等第二章.自信息量：一個(gè)隨機(jī)事件發(fā)生某一結(jié)果所帶的信息量。.平均互信息量：兩個(gè)離散隨機(jī)事件集合X和Y，若其任意兩件的互信息量為 I（Xi;Yj），則其聯(lián)合概率加權(quán)的統(tǒng)計(jì)平均值，稱為兩集合的平均互信息量，用I（X;Y ）表示.熵功率：與一個(gè)連續(xù)信源具有相同熵的高斯信源的平均功率定義為熵功率。如果熵功率等于信源平均功率，表示信源沒有剩余；熵功率和信源的平均功率相差越大，說明信源的剩余越大。所以信源平均功率和熵功率之差稱為連續(xù)信源的剩余度。信源熵的相對率(信源效率)：實(shí)際熵與

2、最大熵的比值信源冗余度：意義：針對最大熵而言，無用信息在其中所占的比例。.極限熵：平均符號熵的N取極限值，即原始信源不斷發(fā)符號，符號間的統(tǒng)計(jì)關(guān)系延伸到無窮。.平均符號熵：.離散信源和連續(xù)信源的最大熵定理。離散無記憶信源，等概率分布時(shí)熵最大。連續(xù)信源，峰值功率受限時(shí)，均勻分布的熵最大。平均功率受限時(shí)，高斯分布的熵最大。均值受限時(shí)，指數(shù)分布的熵最大.限平均功率的連續(xù)信源的最大熵功率：若一個(gè)連續(xù)信源輸出信號的平均功率被限定為，則其輸出信號幅度的概率密度分布是高斯分布時(shí)，信源有最大的熵，其值為.對于維連續(xù)平穩(wěn)信源來說，若其輸出的維隨機(jī)序列的協(xié)方差矩陣被限定，則維隨機(jī)矢量為正態(tài)分布時(shí)信源的熵最大，也就是

3、維高斯信源的熵最大，其值為7.離散信源的無失真定長編碼定理：離散信源無失真編碼的基本原理原理圖說明：（1） 信源發(fā)出的消息：是多符號離散信源消息，長度為L,可以用L次擴(kuò)展信源表示為： XL=(X1X2XL) 其中，每一位Xi都取自同一個(gè)原始信源符號集合（n種符號）： X=x1，x2，xn 則最多可以對應(yīng)nL條消息。（2）信源編碼后，編成的碼序列長度為k,可以用k次擴(kuò)展信宿符號表示為：Yk=(Y1Y2Yk) 稱為碼字/碼組其中，每一位Yi都取自同一個(gè)原始信宿符號集合：Y=y1，y2，ym 又叫信道基本符號集合（稱為碼元，且是m進(jìn)制的）則最多可編成mk個(gè)碼序列，對應(yīng)mk條消息定長編碼：信源消息編成

4、的碼字長度k是固定的。對應(yīng)的編碼定理稱為定長信源編碼定理。變長編碼：信源消息編成的碼字長度k是可變的。8.離散信源的最佳變長編碼定理最佳變長編碼定理：若信源有n條消息，第i條消息出現(xiàn)的概率為pi，且p1>=p2>=>=pn，且第i條消息對應(yīng)的碼長為ki，并有k1<=k2<=<=kn即：把經(jīng)常出現(xiàn)的消息編成短碼，不經(jīng)常出現(xiàn)的消息編成長碼。這樣可使平均碼長最短，從而提高通信效率，代價(jià)是增加了編譯碼設(shè)備的復(fù)雜度。在不等長碼字組成的序列中，要正確識別每個(gè)長度不同的碼字的起點(diǎn)就比等長編碼復(fù)雜得多。第三章1.信道容量的概念及用途：最大的信息傳輸速率為信息容量信道的功能：

5、以信號形式傳輸和存儲信息2.信道編碼定理：若有一個(gè)離散無記憶平穩(wěn)信源，其容量為C，輸入序列長度為L，則只要傳輸?shù)男畔⑺俣萊<C則總可以找到一種編碼，使當(dāng)L足夠大時(shí)，得到的譯碼錯(cuò)誤概率反之，若R>C時(shí)，則無論采用何種編碼，必然會有譯碼差錯(cuò)第四章1.保真度準(zhǔn)則下的信源編碼定理：設(shè)有某一信源的信息率失真函數(shù)為R(D)，選擇有限的失真函數(shù)d，對于任意允許的平均失真度D，當(dāng)壓縮后的信息率 R>R(D)則一定存在某種信源編碼方法，使譯碼后的平均失真度<=D反之，若壓縮后的信息率R<R(D)則無論用什么編碼方法，必有譯碼后的平均失真>=D2.信息率失真函數(shù)的概念及應(yīng)用：給

6、定信源和失真函數(shù)，要使信源的平均失真 (D為給定的失真上限)，則需找到某個(gè)信道（滿足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密度函數(shù)），使在該信道（稱為試驗(yàn)信道）上傳輸?shù)男畔⑺俾蔬_(dá)到最小，這個(gè)最小的信息速率稱為信息率失真函數(shù)，記作R(D)。信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。3.信道容量和信息率失真函數(shù)的比較：相同點(diǎn)：二者都是求平均互信息的極值不同點(diǎn)：1、C和R(D)的不同：（1）信道容量：選擇某一信源分布的情況下，求平均互信息的極大值。依據(jù)：平均互信息I是信源概率分布p(xi)的嚴(yán)格上凸函數(shù)。（2）信息率失真函數(shù)：求選擇某一壓縮試驗(yàn)信道（轉(zhuǎn)移概率分布）的情況下，依據(jù)保真度準(zhǔn)

7、則，求平均互信息的極小值。依據(jù)：平均互信息I是信道轉(zhuǎn)移概率分布p(yj/xi)的嚴(yán)格下凸函數(shù)。2、 C和R(D)的不同：（1）信道容量C一旦求出來，則與信源分布無關(guān)（只是證明存在這樣的滿足信道容量的信源分布），它只和信道轉(zhuǎn)移概率分布p(yj/xi)有關(guān)。即信道容量和信源特性無關(guān)，反映信道特性。2）信息率失真函數(shù)R(D)一旦求出來，則與信道轉(zhuǎn)移概率分布無關(guān)（只是證明存在達(dá)到最小信息率的壓縮試驗(yàn)信道），它只和信源概率分布p(xi)有關(guān)。即信息率失真函數(shù)和信道特性無關(guān)，反映信源特性。3、 C和R(D)的不同：（1）信道容量是通過信道編碼增加信息冗余度來提高通信的可靠性，是信息傳輸?shù)睦碚摶A(chǔ)。（2）信

8、息率失真函數(shù)是通過信源編碼減少信息冗余度來提高通信有效性，是信源壓縮的理論基礎(chǔ)。第五章最佳變長信源編碼定理：最佳變長編碼定理：若信源有n條消息，第i條消息出現(xiàn)的概率為pi，且p1>=p2>=>=pn，且第i條消息對應(yīng)的碼長為ki，并有k1<=k2<=<=kn即：把經(jīng)常出現(xiàn)的消息編成短碼，不經(jīng)常出現(xiàn)的消息編成長碼。這樣可使平均碼長最短，從而提高通信效率，代價(jià)是增加了編譯碼設(shè)備的復(fù)雜度。在不等長碼字組成的序列中，要正確識別每個(gè)長度不同的碼字的起點(diǎn)就比等長編碼復(fù)雜得多。第六章1.信道編碼的作用：一類信道編碼的是對傳輸信號的碼型進(jìn)行變換，使之跟適合與信道特性或滿足接收端對恢復(fù)信號的要求，從而減少信息損失；一類信道編碼是在信息序列中人為的增加冗余位，使之具有相關(guān)特性，在接收端利用相關(guān)特性進(jìn)行檢錯(cuò)或糾錯(cuò)。2.信道編碼器的性能指標(biāo)及其與碼長之間