信息論基礎(chǔ)理論及應(yīng)用6無失真信源編碼

1、第四章無失真信源編碼 1 冗余度的概念； 2 數(shù)據(jù)壓縮的概念 3 數(shù)據(jù)壓縮的基本途徑 4 編碼器 5 等長碼及等長信源編碼定理 6 變長碼及變長信源編碼定理 7 霍夫曼碼和其他編碼方法信息論面對通信系統(tǒng)回答了以下兩個問題： 在不失真或者允許一定失真條件下，如何用盡可能少的符號來傳送信源信息，以提高信息傳輸率-信源編碼 在信道受干擾的情況下，如何增加信道的抗干擾能力，同時使信息傳輸率最大-信道編碼冗余度的概念冗余度的概念冗余度的概念冗余度的概念冗余度的概念冗余度的概念4.1HHHHHHHHHNmin0max012冗余度的概念冗余度的概念冗余度的概念冗余度的概念冗余度的概念冗余度的概念冗余度計算機

2、文件表現(xiàn)為字符集合或者是二進制集合，當然二者最終存儲形式都是“0”、“1”代碼。有一類邏輯壓縮方法，就是從分析數(shù)據(jù)入手，看那些數(shù)據(jù)可以省去，又如何以最少的符號來代替必不可少的數(shù)據(jù)。這實際上只是一種由數(shù)據(jù)自身特點及設(shè)計者技巧來決定的壓縮表示法。本節(jié)討論的是減少計算機文件內(nèi)部冗余度的辦法的統(tǒng)計編碼方法。文件的冗余類型 字符分布 字符重復 位置冗余 高使用模式4.2 數(shù)據(jù)壓縮的概念 信源編碼信源編碼：主要解決有效性問題。通過對信源的壓縮、擾亂、加密等一系列處理，力求用最少的數(shù)碼傳遞最大的信息量，使信號更適宜傳輸。 信道編碼信道編碼：主要解決可靠性問題。即盡量使處理過的信號在傳輸過程中不出錯或少出錯，

3、即使出了出了錯也要能自動檢錯和盡量糾錯。 因此，從信息論的角度看，信源編碼的一個最主要的目的，就是要解決數(shù)據(jù)的壓縮的問題，它構(gòu)成了數(shù)據(jù)壓縮的理論基礎(chǔ)。 數(shù)據(jù)壓縮，就是以最少的數(shù)碼表示信源所發(fā)出的信號，減少容納給定消息集合或數(shù)據(jù)采樣集合的信號空間。數(shù)據(jù)壓縮的概念所謂信號空間亦即被壓縮的對象是指：v 物理空間：如存儲器、磁盤、磁帶、光盤等數(shù)據(jù)存儲介質(zhì)；時間區(qū)間：如傳遞給定信號所需要的時間；1. 電磁頻譜區(qū)域：如為傳遞給定消息所要求的帶寬。數(shù)據(jù)壓縮的概念解決方法解決方法減小數(shù)據(jù)存儲空間；提高傳輸速度時域壓縮；提高頻帶利用率（在通信干線上開通更多的并行業(yè)務(wù)（電視、傳真、電話、可視圖文等）。數(shù)據(jù)壓縮技術(shù)

4、分類數(shù)據(jù)壓縮技術(shù)分類可逆壓縮可逆壓縮; ;1.1. 不可逆壓縮不可逆壓縮 可逆壓縮可逆壓縮可逆壓縮：可逆壓縮： 亦稱無失真、無差錯編碼亦稱無失真、無差錯編碼(Error Free (Error Free Coding)Coding)或（或（Noiseless CodingNoiseless Coding），不同專業(yè)），不同專業(yè)的文獻作者還采用了另外些術(shù)語，如冗余度的文獻作者還采用了另外些術(shù)語，如冗余度壓縮（壓縮（Redundancy ReductionRedundancy Reduction）, ,熵編碼熵編碼（Entropy CodingEntropy Coding）、數(shù)據(jù)緊縮）、數(shù)據(jù)緊縮(

5、Data (Data Compaction)Compaction)等等。等等。理論依據(jù)：理論依據(jù)： 香農(nóng)在創(chuàng)立信息論時，提出把數(shù)據(jù)看作是信香農(nóng)在創(chuàng)立信息論時，提出把數(shù)據(jù)看作是信息與冗余度的結(jié)合。息與冗余度的結(jié)合?？赡鎵嚎s可逆壓縮【例【例4-14-1】在一個數(shù)據(jù)采集系統(tǒng)，如信號在一段在一個數(shù)據(jù)采集系統(tǒng)，如信號在一段長時間內(nèi)不變，則許多連續(xù)采樣值是重復不變長時間內(nèi)不變，則許多連續(xù)采樣值是重復不變的。的。 顯而易見的方法就是計算兩個不同采樣值間顯而易見的方法就是計算兩個不同采樣值間的重復采樣數(shù)目的重復采樣數(shù)目, ,然后將變化的采樣值和重復數(shù)然后將變化的采樣值和重復數(shù)目一起發(fā)送目一起發(fā)送, ,即壓縮又

6、無失真即壓縮又無失真( (compressioncompression）【例【例4-24-2】1212位位A/DA/D轉(zhuǎn)換器采樣數(shù)據(jù)。為了便于轉(zhuǎn)換器采樣數(shù)據(jù)。為了便于處理，常用一個處理，常用一個2 2個個8 8 位的寄存器來存一個樣值，位的寄存器來存一個樣值，這就使每一樣值額外增加了這就使每一樣值額外增加了4 4位冗余度位冗余度. 若改用若改用6 6個字（個字（48bit48bit）存）存4 4個數(shù)據(jù)，即可消除冗個數(shù)據(jù)，即可消除冗余度（余度（CompactionCompaction）不可逆壓縮不可逆壓縮不可逆壓縮不可逆壓縮 ： 有失真編碼（有失真編碼（LossyLossyCodingCodin

7、g），亦稱），亦稱熵壓縮（熵壓縮（Entropy CompressingEntropy Compressing）【例【例4-34-3】為了簡單地實現(xiàn)熵編碼，我們】為了簡單地實現(xiàn)熵編碼，我們在監(jiān)督采樣時設(shè)置某個門限；只有當采樣在監(jiān)督采樣時設(shè)置某個門限；只有當采樣值過該門限時才傳數(shù)據(jù)。值過該門限時才傳數(shù)據(jù)。丟失了信息。丟失了信息。數(shù)據(jù)壓縮的類比 【例【例4-44-4】設(shè)想我們將菜葉（數(shù)據(jù)）倒入一個鐵桶（存儲設(shè)想我們將菜葉（數(shù)據(jù)）倒入一個鐵桶（存儲器）的情形，為了使鐵桶裝得盡可能多的茶葉。器）的情形，為了使鐵桶裝得盡可能多的茶葉。 有以下幾種可行的途徑：有以下幾種可行的途徑：將茶葉罐顛一顛、搖一搖，

8、使茶葉排列更緊密，擠掉外在的一些外在將茶葉罐顛一顛、搖一搖，使茶葉排列更緊密，擠掉外在的一些外在的的“冗余度（冗余度（ CompactionCompaction）”。無失真壓縮。無失真壓縮將茶葉烤干，去除茶葉的水分，減小自身體積將茶葉烤干，去除茶葉的水分，減小自身體積消除消除“內(nèi)在的冗余內(nèi)在的冗余度度”（compressioncompression）。無失真壓縮）。無失真壓縮將干菜葉壓成末，此時裝的最多（壓縮最大），將干菜葉壓成末，此時裝的最多（壓縮最大）， 但但“ “ 葉葉”已變已變“粉粉”，不可逆壓縮。茶葉已無法復原。，不可逆壓縮。茶葉已無法復原。 有失真信源編碼。有失真信源編碼。 由此我

9、們已建立了一個初步的概念，即：由此我們已建立了一個初步的概念，即：有冗余度就可以壓縮（罐中有空氣，茶葉中有水分）有冗余度就可以壓縮（罐中有空氣，茶葉中有水分）壓縮只能在一定限度內(nèi)可逆（菜葉倒出來仍然完整）壓縮只能在一定限度內(nèi)可逆（菜葉倒出來仍然完整）超過此限度（信息熵）必然帶來失真（茶葉會破碎）超過此限度（信息熵）必然帶來失真（茶葉會破碎）1. 允許的失真越大，壓縮比也可以越大（茶葉壓得余額碎，罐可裝得越允許的失真越大，壓縮比也可以越大（茶葉壓得余額碎，罐可裝得越多）多）3 數(shù)據(jù)壓縮的基本途徑數(shù)據(jù)壓縮的基本途徑 基本途徑之一概率匹配 基本途徑之二對獨立分量進行編碼 基本途徑之三利用條件概率基本

10、途徑之一概率匹配基本途徑之一概率匹配基本途徑之一概率匹配基本途徑之一概率匹配%100/ )(143. 1/4log/75. 1381381241121)(41lXHlCRbitlapliii符號基本途徑之二對獨立分量進行編碼不考慮相關(guān)性時信源熵為H(X)+H(Y)考慮相關(guān)性時信源熵為H(X)+H(Y)-I(X,Y)基本途徑之三利用條件概率基本途徑之三利用條件概率基本途徑之三利用條件概率4 4、編碼器、編碼器 編碼實質(zhì)是對信源的原始符號按一定的數(shù)學規(guī)則進行的一種變換，如下圖所示圖4.1 無記憶信源編碼器編碼器編碼器編碼器編碼器無失真信源編碼 無失真編碼概述 定長信源編碼 變長信源編碼 無失真信源

11、編碼方法舉例4.1無失真編碼概述1離散、無失真、無記憶信源編碼的一般模型：總碼組合數(shù)：)(21NiiiSSSS),(21liiixxxC總組合數(shù)：Nqlr入出信源編碼4.1無失真編碼概述2 問題問題：能否進行無失真編碼，怎樣進行無失真編碼若：不考慮信源統(tǒng)計特性： 應(yīng)滿足條件應(yīng)滿足條件： 相互矛盾！ lrqrqNN有效：無失真：lrqNlrqlNloglog由結(jié)論結(jié)論：當q=r時，lN不有效。當l=N時，rq，亦不滿足有效性解決辦法解決辦法：引入信源統(tǒng)計特性。4.1無失真編碼概述3考察無失真條件考察無失真條件： 分別表示等概條件下的消息熵 與碼字熵 之比， 考慮信源的實際統(tǒng)計特性（非等概），實際

12、消息熵為： 代入無失真條件得： 此時：即使q=r,只要 就有可能實現(xiàn)N0,0，只要滿足： (l/N)logrH(S)+ 則：當N足夠大時，可使譯碼差錯小于， 反之，當 (l/N)logrH(S)-2 時，譯碼一定出錯。解釋：定長編碼定理給出了信源進行等長編碼所需碼長的理論極限值。 4.2定長編碼定理2-進一步理解若要求變得的等長碼是唯一可譯的，則必須：若N1，則：結(jié)論結(jié)論：對于唯一可譯碼，每個信源符號至少需要用 個碼符號來變換。當采用二元碼編碼時，r2，則：結(jié)論結(jié)論：對信源進行二元等長編碼時，每個信源符號所需碼長的極限值為 rqNlrqlNloglogrqloglogrqlloglog)(lo

13、glog21bitqlqNlN)(logbitq例1：英文電報有32個符號（266），即n=32， 若m=2，L1（即對信源的逐個符號進行二元編碼）， 則：解釋：每個英文電報符號至少需要用5位二元符號編碼問題：在考慮符號出現(xiàn)的概率和符號間相關(guān)性前提下,每個英文符 號平均攜帶的信息量是1.4bit/符號（ ），5bit/符號， 等長編碼效率極低，如何提高效率？如何體現(xiàn)有效性？532loglogqlBit/符號bitH4 . 1解決方法：考察：字母個數(shù)為q，字母出現(xiàn)非等概，且字母之間相關(guān)長度為N的英文信源，其可能的字母序列總數(shù)為 ；但其中大部分字母序列是無意義的字母組合，而且隨著N的增加，這種無意

14、義序列的總數(shù)越來越大。方法：進行聯(lián)合編碼，即對字母序列編碼，且只對哪些有意義的字母序列編碼，即需編碼的字母序列的總數(shù) ,則平均每個信源符號所需的碼符號個數(shù)可以大大減少，從而提高了傳輸效率。問題：會引入一定的誤差，當N足夠長后，誤差可以任意小。NqNq4.2定長編碼定理5（物理意義） 結(jié)論： 可推廣至離散、非平穩(wěn)無記憶信源和有記憶信源情況 只要編碼信息率大于信源序列攜帶的信息量（熵)，總可以實現(xiàn)幾乎無失真編碼(l/N)log rH(S)+rSHNllog)(二元碼時，r2：)()()()(SHSHNlRSHNlSHNll最佳等長碼時：4.2定長編碼定理6（實際應(yīng)用問題） 編譯碼同步問題 問題：如

15、何使譯碼端知道碼字起點 解決辦法：1、每個碼字加短同步前綴 2、每若干碼字加較長同步前綴 分組長度與編譯碼復雜性、編譯碼延時等等關(guān)系 問題：要實現(xiàn)有效，源序列分組很長，使得編譯碼 復雜性和延時增加 解決辦法：目前沒有理想到解決辦法 定長信源編碼的理論意義遠大于其實用價值4.2定長編碼定理7（舉例)例2：設(shè)有一簡單離散信源：L=1,n=2對其進行近似于無失真的等長編碼，若要求其編碼效率為96%，差錯率低于10-5，試求符號聯(lián)合編碼長度L=？解： 由編碼效率：即： 再由:可見,需要4100萬個信源符號聯(lián)合編碼,才能達到上述要求,這顯然是不現(xiàn)實的.一般來說：當一般來說：當N有限時，高傳輸效率的等長碼

16、往往要引入一定的失真和錯誤，有限時，高傳輸效率的等長碼往往要引入一定的失真和錯誤，它不能象變長編碼那樣可以實現(xiàn)真正的無失真編碼它不能象變長編碼那樣可以實現(xiàn)真正的無失真編碼信源符號）/(811. 0log)(21bitppSHiii%96)()(SHSH034.096.096.0811.0811.075222221013. 410)034. 0(4715. 0PLLP4715. 0)(log221)(22SHppiii412431sspS4.5 變長碼變長碼 可見變長碼的編碼思想就是，用短碼表示高概率的符號，用長碼表示低概率符號，編碼后使平均碼長接近于信源的信息熵。 缺點是：解碼遠比等長碼復雜，

17、并且還存在唯一可譯性、譯碼實時性、均勻輸入輸出的緩存問題4.6變長信源編碼-1 幾個碼類的概念 非奇異碼（奇異碼、單義碼） 唯一可譯碼 前綴碼（即時碼、非延長碼、異前置碼） 最佳碼（緊致碼） Kraft定理 唯一可譯碼存在定理 變長編碼定理（香農(nóng)第一定理）4.6變長信源編碼-2(幾個碼類的概念) 非奇異碼： 每一個碼字僅對應(yīng)信源中的一個信源符號（序列）。 編碼是單義的。 反之為奇異碼或非單義碼。4.6變長信源編碼-3(幾個碼類的概念) 唯一可譯碼 編碼單義、譯碼單義 對任何一個有限長度的信源字母序列，如果編碼得到的碼字母序列不與其他任何信源字母序列所對應(yīng)的碼字母序列相同。4.6變長信源編碼-4

18、(幾個碼類的概念) 即時碼 是一類唯一可譯碼 在一個變長碼中，沒有任何一個碼字是其他碼字的前綴。 譯碼時無需參考后續(xù)的碼符號就能立即作出判斷，進行無延時譯碼。 又稱即時碼、非延時碼4.6變長信源編碼-5(幾個碼類的概念) 最佳碼 唯一可譯碼的一類 其平均碼長小于其他唯一可譯碼的平均長度所有的碼非奇異碼唯一可譯碼即時碼4.6變長信源編碼-6（幾種類型的信源編碼 舉例）例3：信源信源概率概率pi 編碼編碼編碼編碼編碼編碼編碼編碼編碼編碼S11/2000000S21/401011001S31/810100110011S41/81110111110111編碼編碼唯一可譯等長編碼編碼奇異編碼編碼非奇異編

19、碼編碼即時編碼編碼唯一可譯不等長定理定理4.4：對于碼符號為X：x1,x2,xq的任意即時碼，其碼字為W1，W2, Wq符號，所對應(yīng)碼長分別為l1,l2,lq。則必定滿足Kraft不等式，即：反之，若碼長滿足Kraft不等式，則一定存在這樣碼長的即時碼qilir11定理定理4.5：對于碼符號為X：x1,x2,xq的任一唯一可譯碼，其碼字為W1，W2, Wq符號，所對應(yīng)碼長分別為l1,l2,lq。則必定滿足Kraft不等式，即：反之，若碼長滿足Kraft不等式，則一定存在這樣碼長的唯一可譯碼qilir11定理定理4.6：若存在碼長分別為l1,l2,lq的唯一可譯碼。則一定存在具有相同碼長的即時碼

20、碼樹變長碼的樹圖表示將變長碼與碼樹建立“一一對應(yīng)”關(guān)系：樹根碼字起點樹枝數(shù)碼的進制數(shù)節(jié)點碼字或碼字的一部分終止節(jié)點碼字節(jié)數(shù)碼長非滿樹變長碼滿樹等長碼 變長碼變長碼變長碼唯一可譯變長碼的判斷法 將碼C所有可能的尾隨后綴組成一個集合F，當且僅當集合F中沒有包含任意碼字，則可判斷此碼C為唯一可譯變長碼 例4.2 現(xiàn)設(shè)碼C=0,10,1100,1110,1011,1101, 判斷碼C是否為唯一可譯碼 F=11，00，10，01，0，1，100，110，011，101，而10，0都是C中的碼字，所以碼C不是唯一可譯碼 10101110110100010111100001110 例4.1 設(shè)碼C=110,

21、11,100,00,10, 判斷碼C是否為唯一可譯碼 F=0，F(xiàn)集中沒有元素是碼C的碼字，所以碼C是唯一可譯 01000114.6變長編碼定理問題： 對于已知信源S可用碼符號X進行變長編碼，而且對同一信源編成同一碼符號的前綴碼或惟一可譯碼可有許多種。究竟哪一種最好呢?從高速度傳輸信息的觀點來考慮，當然希望選擇由短的碼符號組成的碼字，就是用碼長作為選擇準則。引入：碼的平均長度。 離散無記憶平穩(wěn)信源 信源熵率為 碼字母表個數(shù)為M， 則即時碼平均碼長： ninipppsSsSsSPS11)(SH)(1iMiiapll4.6變長編碼定理定理4.7 無失真變長信源編碼定理(即香農(nóng)第一定理) ： 離散無記

22、憶平穩(wěn)信源S，其熵率為 ，并有碼符號X=x1,xm。對信源S進行編碼,總可以找到一種編碼方法，構(gòu)成惟一可譯碼，使信源S中每個信源符號所需的平均碼長滿足: )(SH1log)(log)(rSHrSHL 下界證明rSHLrsPrsPsPrsPrsPsPsPrlsPsPsPlsPrsPsPrLSHqililiqiqiiliqiliiqiiqiiiqiiqiiiiqiiiiiiilog)(01loglog)()(log)(log)(log)()(log)(log)()(log)()(log)(log)(log)(111111111 上界證明1log)()(log)(log)()(1log)(loglo

23、g)(log,log)(loglog)(log1i1i1irsHLsPrsPsPlsPrsPlrsPrsPlrsPlqiiqiqiiiiiiiii所以的最小整數(shù)是不小于令4.6變長編碼定理 物理意義： 又稱無噪信道編碼定理 編碼后的碼符號信源盡可能為等概分布，使每個碼符號平均所含的信息量達到最大 要做到無失真編碼，變換每個信源符號平均所需最少的r元碼元數(shù)就是信源的熵率（以r進制信息量單位測度） 信源的熵率是描述信源每個符號平均所需最少的比特數(shù) 定理說明： 是存在性定理具有理論指導意義 是構(gòu)造性定理設(shè)計出多種具體編碼方法4.6變長編碼定理15編碼效率 變長碼編碼效率：衡量各種編碼方法的優(yōu)略，判斷

24、是否最佳碼。 編碼前平均每個信源符號攜帶的信息量為： 編碼后平均每個信源符號攜帶的最大的信息量為： 定義變長碼編碼效率為： 另一種理解： 最佳碼（極限時）每個信源符號的平均碼長為： 某一方法得到的每個信源符號的平均碼長為： 定義變長碼編碼效率為：rllogLSHrLSHr)(log)()(SH)(log)(SHlrrSHl)(lSHllr比較： 定長編碼的編碼效率： 變長編碼的編碼效率：NSlHrSHRSHrNl)(log)()(LSHrLSHr)(log)( 例4：p145例4.1一離散無記憶信源412431sspS其熵為：信源符號）比特/(811.0log4log)(344341SH用二元

25、符號（0，1；m=2）構(gòu)造一個前綴碼：1,021ss此時每個信源符號平均碼長為：1l811.0)(lSH編碼效率為：為提高編碼效率，對S的2次擴展信源進行2維聯(lián)合編碼：構(gòu)造一個擴展信源S2的前綴碼：前綴碼 s1s2 9/16 0 s1s23/16 10 s1s2 3/16110 s1s2 1/16111i)(iP此時平均碼長為：16272l此時信源S中每個符號對應(yīng)的平均碼長為：322716272 l編碼效率為：961.0)(2lSH同樣可得：985.0)(3lSH991.0)(4lSH定長編碼與變長編碼效率比較：例4.4與例4.1相比： 同一個信源，當要求編碼效率達到96時， 等長碼需要410

26、0萬個信源符號聯(lián)合編碼； 變長碼只需2個符號（二次擴展信源）聯(lián)合編碼；結(jié)論：采用變長編碼，N不需要很大就可以達到相當高的編碼效率，而且可以實現(xiàn)無失真編碼。且隨著N的增大，編碼效率越來越接近于1。無失真編碼的實質(zhì) 無失真編碼的實質(zhì)就是：對離散信源進行適當?shù)淖儞Q，使變換后新的碼符號信源盡可能的為等概率分布，以使新信源的每個碼符號平均所含的信息量達到最大碼符號碼符號碼符號/1381log3)(/1241log2)(/1121log1)(321bitaIbitaIbitaI信源編碼 針對信源的編碼，能更加有效地傳輸、存儲信息。 編碼后盡可能減少所需信息的損失，提高編碼后攜帶信息的效率 本節(jié)介紹霍夫曼本

27、節(jié)介紹霍夫曼(Huffman)碼、費諾碼、費諾(Fano)碼和碼和香農(nóng)香農(nóng) -費諾費諾-埃利斯埃利斯(Shannon-Fano-Elias)碼。碼。 香農(nóng)第一定理指出了平均碼長與信源熵之間的關(guān)香農(nóng)第一定理指出了平均碼長與信源熵之間的關(guān)系，同時也指出了通過編碼可使平均碼長達到極限系，同時也指出了通過編碼可使平均碼長達到極限值。值。 但如何編碼呢？但如何編碼呢？ 1952年，霍夫曼提出了一種構(gòu)造最佳碼年，霍夫曼提出了一種構(gòu)造最佳碼的方法。的方法。 這是一種最佳的逐個符號的編碼這是一種最佳的逐個符號的編碼方法。編碼對象為離散信源：方法。編碼對象為離散信源：,.,)(,.,2121qiqpppsPss

28、sS編碼步驟（對二元系統(tǒng)）：編碼步驟（對二元系統(tǒng)）： v將將q個信源符號按概率遞減的方式排列起來；個信源符號按概率遞減的方式排列起來； v用用“0”,“1”碼符號分別表示概率最小的兩個信源碼符號分別表示概率最小的兩個信源符號，并將這兩個概率最小的信源符號合并成一符號，并將這兩個概率最小的信源符號合并成一個符號，從而得到只包含個符號，從而得到只包含 q-1個符號的新信源，個符號的新信源，稱之為稱之為S信源的縮減信源信源的縮減信源S1； v將縮減信源將縮減信源S1的符號仍按概率大小以遞減次序排的符號仍按概率大小以遞減次序排列，再將其最后兩個概率最小的符號合并成一個列，再將其最后兩個概率最小的符號合

29、并成一個符號，并分別用符號，并分別用“0”，“1”碼符號表示，這樣又碼符號表示，這樣又形成了形成了q-2個符號的縮減信源個符號的縮減信源S2； v依次繼續(xù)下去，直到信源最后只剩下兩個符號為依次繼續(xù)下去，直到信源最后只剩下兩個符號為止，將這最后兩個符號分別用止，將這最后兩個符號分別用“0”，“1” 碼符號碼符號表示，然后從最后一級縮減信源開始，向前返回，表示，然后從最后一級縮減信源開始，向前返回，得出各信源符號所對應(yīng)的碼符號序列，即得出對得出各信源符號所對應(yīng)的碼符號序列，即得出對應(yīng)的碼字。應(yīng)的碼字。 按霍夫曼的編碼方法，可知這種碼有以下特點：它是一種分組碼它是一種即時碼它是一種唯一可譯碼解碼：霍夫曼碼串可通過從左到右檢查各個符號進行解碼。本例中00011011010011a3 a2 a5 a2 a6a511 l=2a210 l=2a6011 l=3a4010 l=3a1001 l=3a30001 l=4a70000 l=4（huffman編碼）編碼方法：例 ： =消息U 概率pi 編碼C U1 1/2 0 0 1 0 U2 1/4 0 10 1/2 1 U3 1/8 0 110 1/4 1 U4 1/8 1 111pis8/18/14/12/14321ssss（huff