北京郵電大學(xué)通信工程專業(yè)通信原理課程課件第七章信源與信源編碼

第七章信源與信源編碼彭濤pengtao@第七章信源與信源編碼彭濤17.1引言信源編碼：去掉信源輸出中的冗余信息，提供有效性內(nèi)容信源分類及其統(tǒng)計(jì)特性信息熵，信源剩余度互信息，各類熵與互信息的關(guān)系Huffman編碼7.1引言信源編碼：去掉信源輸出中的冗余信息，提供有效性27.2信源分類及其統(tǒng)計(jì)特性描述信源分類連續(xù)/模擬信源離散/數(shù)字信源重點(diǎn)研究7.2信源分類及其統(tǒng)計(jì)特性描述信源分類37.2信源分類及其統(tǒng)計(jì)特性描述單消息（符號(hào)）離散信源只輸出一個(gè)離散符號(hào)統(tǒng)計(jì)特性描述7.2信源分類及其統(tǒng)計(jì)特性描述單消息（符號(hào)）離散信源47.2信源分類及其統(tǒng)計(jì)特性描述離散消息（符號(hào)）序列信源輸出一個(gè)離散消息（符號(hào)）序列統(tǒng)計(jì)特性描述7.2信源分類及其統(tǒng)計(jì)特性描述離散消息（符號(hào)）序列信源57.2信源分類及其統(tǒng)計(jì)特性描述離散消息（符號(hào)）序列信源離散無記憶序列信源：序列中前后符號(hào)相互統(tǒng)計(jì)獨(dú)立離散有記憶序列信源：序列中前后符號(hào)不是相互統(tǒng)計(jì)獨(dú)立的可用馬爾可夫鏈表示7.2信源分類及其統(tǒng)計(jì)特性描述離散消息（符號(hào)）序列信源67.3信息熵H(X)信息的基本特征：不確定性。因此信息應(yīng)該是概率P的函數(shù)信息的兩個(gè)特點(diǎn)隨概率P的遞減性：概率越大，信息量越小可加性：兩個(gè)獨(dú)立消息的總信息量應(yīng)是兩個(gè)消息的信息量的和滿足這兩個(gè)條件的表示信息量的函數(shù)只有一種可能：對(duì)數(shù)函數(shù)7.3信息熵H(X)信息的基本特征：不確定性。因此信息應(yīng)該77.3信息熵H(X)單消息離散信源的信息度量自信息量：出現(xiàn)某個(gè)消息時(shí)的信息量理解：消息出現(xiàn)概率越小，信息量越大7.3信息熵H(X)單消息離散信源的信息度量87.3信息熵H(X)單消息離散信源的信息度量?jī)蓚€(gè)單消息離散信源X,Y的聯(lián)合信息量7.3信息熵H(X)單消息離散信源的信息度量97.3信息熵H(X)單消息離散信源的信息熵前面定義的是一個(gè)具體消息的信息量，因?yàn)樾旁摧敵龅南⒂卸喾N可能性，所以可以把信息熵理解為這個(gè)輸出消息（考慮多種可能性）的平均信息量信息熵也可以理解為對(duì)信源的不確定性的平均度量在各種可能性等概時(shí)，信源的信息熵最大（圖7.3.1）7.3信息熵H(X)單消息離散信源的信息熵107.3信息熵H(X)信息量和熵的單位對(duì)數(shù)以2為底時(shí)，單位為比特(bit)對(duì)數(shù)以e為底時(shí)，單位為奈特(Nat)對(duì)數(shù)以10為底時(shí)，單位為笛特(Det)1bit=0.693Nat=0.301Det7.3信息熵H(X)信息量和熵的單位117.3信息熵H(X)兩個(gè)單消息離散信源的聯(lián)合熵和條件熵7.3信息熵H(X)兩個(gè)單消息離散信源的聯(lián)合熵和條件熵127.3信息熵H(X)聯(lián)合熵和條件熵的一些性質(zhì)7.3信息熵H(X)聯(lián)合熵和條件熵的一些性質(zhì)137.3信息熵H(X)離散消息序列信源的信息熵、剩余度7.3信息熵H(X)離散消息序列信源的信息熵、剩余度147.3信息熵H(X)離散消息序列信源的信息熵、剩余度7.3信息熵H(X)離散消息序列信源的信息熵、剩余度157.4互信息I(X;Y)互信息的定義I(X;Y)及理解7.4互信息I(X;Y)互信息的定義I(X;Y)及理解167.4互信息I(X;Y)各種信息熵的關(guān)系7.4互信息I(X;Y)各種信息熵的關(guān)系17Huffman編碼等長(zhǎng)編碼：對(duì)信源輸出的各種出現(xiàn)概率的符號(hào)用等長(zhǎng)的碼字表示沒有充分利用信源的統(tǒng)計(jì)特性變長(zhǎng)編碼：根據(jù)信源輸出符號(hào)出現(xiàn)概率不同選擇碼字，出現(xiàn)概率大的用短碼，出現(xiàn)概率小的用長(zhǎng)碼利用了信源的統(tǒng)計(jì)特性，其編碼效率高于等長(zhǎng)編碼Huffman編碼：Huffman提出的一種變長(zhǎng)編碼是單消息信源的最佳變長(zhǎng)編碼Huffman編碼等長(zhǎng)編碼：對(duì)信源輸出的各種出現(xiàn)概率的符號(hào)用18Huffman編碼圖解Huffman編碼方法1.寫出消息概率2.對(duì)最小的兩概率編碼（0/1）3.對(duì)這兩概率合并4.重復(fù)3，直至結(jié)束5.自頂而下到達(dá)某消息即得編碼Huffman編碼圖解Huffman編碼方法19Huffman編碼確定了對(duì)信源符號(hào)的編碼規(guī)則，可進(jìn)行編譯碼這種特性得益于Huffman編碼的非延長(zhǎng)性和異前置性非延長(zhǎng)性：把任一許用碼組延長(zhǎng)（添加數(shù)字）都得