信息論與編碼第五章習(xí)題參考答案

5.1某離散無記憶信源的概率空間為采用香農(nóng)碼和費諾碼對該信源進(jìn)行二進(jìn)制變長編碼，寫出編碼輸出碼字，并且求出平均碼長和編碼效率。解：計算相應(yīng)的自信息量比特比特比特比特比特比特比特比特根據(jù)香農(nóng)碼編碼方法確定碼長可以得到對應(yīng)碼長如表所示符號概率累計概率自信息量碼長碼字a11/20110a21/41/22210a31/83/433110a41/167/8441110a51/3215/165511110a61/6431/3266111110a71/12863/64771111110a81/128127/128771111111平均碼長由于每個符號的碼長等于自信息量，所以編碼效率為1。費羅馬編碼過程符號碼字碼長a11/2001a21/410102a31/8101103a41/16101104a51/321011105a61/6410111106a71/128101111107a81/128111111175.2某離散無記憶信源的概率空間為使用費羅碼對該信源的擴(kuò)展信源進(jìn)行二進(jìn)制變長編碼，(1)擴(kuò)展信源長度，寫出編碼碼字，計算平均碼長和編碼效率。(2)擴(kuò)展信源長度，寫出編碼碼字，計算平均碼長和編碼效率。(3)擴(kuò)展信源長度，寫出編碼碼字，計算平均碼長和編碼效率，并且與(1)的結(jié)果進(jìn)行比較。解：信息熵比特/符號（1）符號碼字碼長A101A211平均碼長比特/符號編碼效率為（2）序列碼字碼長a1a19/16001a1a23/1610102a2a13/16101103a2a21/1611113平均碼長為比特/符號編碼效率（3）當(dāng)N=4時，a1a1a1a181/2560000a1a1a1a227/25610010a1a1a2a127/2561011a1a2a1a127/256100100a2a1a1a127/256101010a1a1a2a29/25611011a1a2a1a29/2561001100a1a2a2a19/2561011010a2a1a1a29/256111011a2a1a2a19/25610011100a2a2a1a19/256111101a1a2a2a23/256100111100a2a1a2a23/2561111101a2a2a1a23/25610111110a2a2a2a13/256101111110a2a2a2a21/25611111111序列碼長平均碼長可見，隨著信源擴(kuò)展長度的增加，平均碼長逐漸逼近熵，編碼效率也逐漸提高。.5.3某離散無記憶信源的概率空間為使用哈夫碼編碼法對該信源的擴(kuò)展信源進(jìn)行二進(jìn)制變長編碼，(1)擴(kuò)展信源長度，寫出編碼碼字，計算平均碼長和編碼效率。(2)擴(kuò)展信源長度，寫出編碼碼字，計算平均碼長和編碼效率。(3)擴(kuò)展信源長度，寫出編碼碼字，計算平均碼長和編碼效率，并且與(1)的結(jié)果進(jìn)行比較。5.4某離散無記憶信源的概率空間使用約定碼表進(jìn)行哈夫曼進(jìn)行編碼，約定碼表的概率空間為(1)計算平均碼長與編碼效率。(2)如果直接對信源進(jìn)行哈夫曼編碼，寫出編碼碼字，計算平均碼長和編碼效率。(3)比較上述編碼結(jié)果，并進(jìn)行討論。解：信源的熵為H(X)=1.984375比特/符號。1）利用約定碼表的概率空間進(jìn)行編碼，得到相應(yīng)的編碼碼表如下編碼碼字碼長a101a2102a31103a411104a5111105a61111106a711111107a811111117平均碼長為編碼效率為2）編碼碼表為編碼碼字碼長a201a1102a31103a511104a4111105a61111106a711111107a811111117平均碼長為1.984375比特/符號，編碼效率為1.3）當(dāng)實際數(shù)據(jù)統(tǒng)計規(guī)律與產(chǎn)生碼表對應(yīng)的概率相差較大時，編碼效率會明顯降低。5.5某信源的概率空間為使用3進(jìn)制符號(0，1，2)進(jìn)行編碼，寫出哈夫碼和費羅碼，并且計算編碼效率。5.6某離散無記憶信源的概率空間為(1)采用二進(jìn)制哈夫曼碼編碼對信源編碼，計算編碼效率。(2)如果采用等長碼編碼，要求錯誤譯碼概率小于，則序列長度為多少？解：（1）編碼結(jié)果如下碼字碼長a1002a2102a3112a40103a501104a601114平均碼長為信源的熵為H（X）=2.353比特/符號編碼效率為2）自信息量方差為D[I(ai)]=0.527;將參數(shù)代入5.8某信源輸出二進(jìn)制序列(0000,0000,0000,0001,1111,0000,0010,0000)，對該序列進(jìn)行不同形式的游程編碼，分別給出編碼結(jié)果(1)直接統(tǒng)計連續(xù)0和1的個數(shù)。(2)采用四進(jìn)制數(shù)據(jù)進(jìn)行編碼，即如果連續(xù)出現(xiàn)符號數(shù)量為1,2,3，則輸出符號“1”,“2”,“3”，如果當(dāng)前編碼輸出為“3”，之后出現(xiàn)符號變化，則應(yīng)當(dāng)一個“0”，再對變化后的符號序列進(jìn)行編碼，寫出編碼結(jié)果。(3)將符號序列分為4個一組，如果一組的4個符號全部為0，則輸出符號“0”；否則輸出符號“1”，并且直接輸出該符號序列。解1)輸出結(jié)果為15,5,6,1,5；2)33333032330132；3）00010001111110100100；5.9使用表5.8二進(jìn)制游程編碼碼表對題5.8給定的序列進(jìn)行游程編碼。解：0001001111110101005.10離散無記憶信源的概率空間為使用算術(shù)編碼方法對輸出序列進(jìn)行編碼，并且對結(jié)果進(jìn)行譯碼。解：累計概率Pi如表所示P10P20.5P30.75P40.875令C0=0,A0=1;C1=C0+A0P2=0+1*0.5=0.5;A1=A0*p2=0.25;C2=C1+A1P1=0.5+0.25*0=0.5;A2=A1*p1=0.25*0.5=0.125;C3=C2+A2P1=0.5+0.125*0=0.5;A3=A2*p1=0.125*0.5=0.0625;C4=C3+A3P3=0.5+0.0625*0.75=0.546875;A4=A3*p3=0.0625*0.125=0.0078125;L=-lbA4=7;編碼輸出為100110譯碼過程如下將接受到的碼字100110轉(zhuǎn)化為概率C0=0.546875,并令A(yù)0=1；由于概率處于[0.5,0.75),所以第一個符號譯碼為a2,C1=(C0-P2)/p2=(0.546875-0.5)/0.25=0.1875；由于C1處于區(qū)間[0,0.5)，所以第2個符號譯碼為a1;C2=(C1-P1)/p1=0.375；由于C2處于區(qū)間[0,0.5)，所以第3個符號譯碼為a1;C3=(C2-P1)/p1=0.75；由于C3處于區(qū)間[0.75，0.875)，所以第4個符號譯碼為a3;C4=(C1-P3)/p3=0；譯碼輸出符號數(shù)量已經(jīng)達(dá)到要求，譯碼結(jié)束。5.11某信源輸出符號有兩種類型，對應(yīng)的概率空間分別為輸出序列為，對應(yīng)的符號類型分別為，使用算術(shù)編碼器進(jìn)行編碼，并且對結(jié)果進(jìn)行譯碼。解：首先計算累計概率P110P120.5P130.75P140.875P210P220.25P230.5P240.75A0=1,C0=0；第1個輸入符號為第1類數(shù)據(jù)的a2,所以有C1=C0+A0P12=0.5A1=A0p12=0.25第2個輸入符號為第2類數(shù)據(jù)的a1,所以有C2=C1+A1P21=0.5A2=A1p21=0.0625第3個輸入符號為第1類數(shù)據(jù)的a1,所以有C3=C2+A2P11=0.5A3=A2p11=0.03125第4個輸入符號為第1類數(shù)據(jù)的a3,所以有C4=C3+A3P13=0.5234375A4=A3p13=0.00390625L=-lb0.00390625=8將C4小數(shù)部分用8比特二進(jìn)制表示出來，得到輸出碼字為1000,0110譯碼過程：將接受到碼字化為概率C0=0.52343751）第1個數(shù)據(jù)為第1類數(shù)據(jù)，處于區(qū)間[0.5,0.75)譯碼輸出為a2;C1=（C0-P12）/p12=(0.5234375-0.5)/0.25=0.093752)第2個數(shù)據(jù)為第2類數(shù)據(jù)，處于區(qū)間[0,0.25)譯碼輸出為a1;C2=（C1-P21）/p21=(0.09375-0)/0.25=