信息論基礎(chǔ)-總復(fù)習(xí)課件

1、試題類型判斷題共 10小題，滿分 20 分 ；填空題共 6小題，滿分 20分 ；證明題共 1小題，滿分 10分 ；計(jì)算題共 4小題，滿分 50 分：各類熵以及互信息的計(jì)算；馬爾科夫信源熵及其相關(guān)；唯一可譯碼的判定、D進(jìn)Huffman編碼及其相關(guān)；線性分組碼綜合；二進(jìn)信道容量的計(jì)算及其相關(guān)；r元等概分布對(duì)稱信源的率失真函數(shù)與失真度的計(jì)算信息論的基本內(nèi)容課程特點(diǎn)： 以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時(shí)主要把注意力集中到基本概念的理解上，不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時(shí)注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。信源編碼器

2、信道譯碼器信宿噪聲源通信系統(tǒng)模型信息論的研究對(duì)象是這種統(tǒng)一的通信系統(tǒng)模型。狹義信息論：主要研究信息的度量、信道容量（信道的傳輸能力）、信源及信道的編碼問題。這部分理論是Shannon信息論，也稱基礎(chǔ)信息論 香農(nóng)信息論的核心： 揭示了在通信系統(tǒng)中采用適當(dāng)?shù)木幋a后能夠?qū)崿F(xiàn)有效且可靠的傳輸信息，并得出了信源編碼定理和信道編碼定理。 三大定理無失真信源編碼定理（第一極限定理）信道編碼定理（第二極限定理）有失真信源編定理（第三極限定理） 從數(shù)學(xué)觀點(diǎn)看，這些定理是最優(yōu)編碼的存在定理。但從工程觀點(diǎn)看，這些定理不是結(jié)構(gòu)性的，不能從定理的結(jié)果直接得出實(shí)現(xiàn)最優(yōu)編碼的具體途徑。然而，它們給出了編碼的性能極限，在理論

3、上闡明了通信系統(tǒng)中各種因素的相互關(guān)系，為人們尋找最佳通信系統(tǒng)提供了重要的理論依據(jù)。 Shannon信息論：在噪聲環(huán)境下，可靠地、安全地、有效地傳送信息理論 -狹義信息論編碼理論與技術(shù)有效性編碼：壓縮信源的冗余,從而提高信息的傳輸效率,主要是針對(duì)信源的統(tǒng)計(jì)性進(jìn)行編碼,故也稱為信源編碼?？煽啃跃幋a：一般增加信源的冗余,有以提高信息傳輸?shù)目煽啃? 主要是針對(duì)信道的統(tǒng)計(jì)性進(jìn)行編碼,故也稱為信道編碼安全性編碼：將信源的明文編碼成密文，提高通信的安全性?！靶畔ⅰ钡亩x仙農(nóng)從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息做出了科學(xué)的定義；仙農(nóng)注意到：收信者在收到消息之前是不知道消息的具體內(nèi)容的。通信系統(tǒng)消息的傳輸對(duì)收信

4、者來說，是一個(gè)從不知到知的過程，或者從知之甚少到知之甚多的過程，或是從不確定到部分確定或全部確定的過程。因此, 對(duì)于收信者來說, 通信過程是消除事物狀態(tài)的不確定性的過程，不確定性的消除，就獲得了信息，原先的不確定性消除的越多，獲得的信息就越多；“信息”是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述，這就是仙農(nóng)關(guān)于信息的定義。自信息定義：若事件x的概率為p(x)，則稱 或 為事件x的自信息量，簡稱x的自信息.（自）互信息量定義互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量；互信息量可能為正數(shù)、負(fù)數(shù)、0；xiyj信道p(xi): 發(fā)送端發(fā)送 xi 的概率；P(xi|yj): 接收

5、端收到 yj 后，發(fā)送端發(fā)送 xi 的概率定義:平均互信息量定義與其他熵的關(guān)系 I(X;Y) = H(X) - H(X|Y) I(X;Y)=H(Y) - H(Y|X) I(X;Y)=H(X)+H(Y)-H(X,Y)表達(dá)平均互信息量的熵I(X;Y), 是確定通過信道的信息量的多少，因此稱它為信道傳輸率或傳信率。熵的含義 性質(zhì)熵是從整個(gè)集合的統(tǒng)計(jì)特性來考慮的，它是從平均意義上來表征集合的總體特征的。 熵表示事件集合中事件發(fā)生后，每個(gè)事件提供的平均信息量；熵表示事件發(fā)生前，集合的平均不確定性；信道中熵的信息流圖 H(Y|X) :信道散布度； H(X|Y) :信道含糊度； 它們都是由于噪聲干擾的存在而

6、存在的。信道中存在噪聲干擾，是減低信道傳信能力的基本原因。H(X)H(Y)I(X;Y)H(X|Y)H(Y|X)各類熵與集合圖的類比H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X,Y)ABABABABAB信道容量的計(jì)算通常計(jì)算一個(gè)信道的信道容量是比較麻煩的，甚至是不可能精確計(jì)算出來的，這是因?yàn)樾枰獙?duì)所有可能的輸入信號(hào)的概率分布來計(jì)算I(X;Y)，從中找出最大可能的一個(gè)作為信道容量; 由于 I(X,Y)=H(X)-H(X/Y) bit/符號(hào)是輸入隨機(jī)變量X的概率分布p(x)的上凸函數(shù)，因此對(duì)于一個(gè)確定信道，總存在一個(gè)信源（某種概率分布p0(x)），使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，

7、即每個(gè)固定信道都有一個(gè)最大的信息傳輸率，定義這個(gè)最大值為信道容量C： 當(dāng)信源和損失（距離）函數(shù)給定后，我們總希望尋找平均互信息的最小值。也就是在模擬信道集合C中找一個(gè)信道，使平均互信息取極小值；由于平均互信息是轉(zhuǎn)移概率的凹函數(shù)（下凸），所以存在信道使得有極小值，它就是信源必須傳輸?shù)淖钚∑骄畔⒘?，?改變模擬信道求平均互信息的最小值，實(shí)質(zhì)上是選擇一種編碼方式使信息傳輸率為最小。率失真函數(shù)的計(jì)算什么是數(shù)據(jù)壓縮 數(shù)據(jù)壓縮就是在一定的精度損失條件下，以最少的數(shù)碼表示信源所發(fā)出的信號(hào)信源編碼信道編碼信道信道譯碼信源譯碼信源信宿多媒體信源引起了“數(shù)據(jù)爆炸”如果不進(jìn)行數(shù)據(jù)壓縮 傳輸和存儲(chǔ)都難以實(shí)用化。多媒

8、體數(shù)據(jù)數(shù)據(jù)壓縮的必要性分鐘數(shù)字音頻信號(hào)需要的存儲(chǔ)空間1時(shí)間域壓縮迅速傳輸媒體信源頻率域壓縮并行開通更多業(yè)務(wù)空間域壓縮降低存儲(chǔ)費(fèi)用能量域壓縮降低發(fā)射功率數(shù)據(jù)壓縮的好處壓縮比要大恢復(fù)后的失真小壓縮算法要簡單、速度快壓縮能否用硬件實(shí)現(xiàn)數(shù)據(jù)壓縮技術(shù)實(shí)現(xiàn)的衡量標(biāo)準(zhǔn) 無損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)(或者叫做還原，解壓縮)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同；無損壓縮用于要求重構(gòu)的信號(hào)與原始信號(hào)完全一致的場合。 有損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對(duì)原始資料表達(dá)的信息造成誤解。有損壓縮適用于重構(gòu)信號(hào)不一定非要和原始信號(hào)完全相同的場合。數(shù)據(jù)壓縮技術(shù)的分類經(jīng)典數(shù)據(jù)壓縮理論信息論中的信源編碼理