信息理論與編碼

信息理論與編碼第一頁(yè)，共二十五頁(yè)，2022年，8月28日2-5：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%身高為1.6m以上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高1.6m以上的某女孩是大學(xué)生的消息，問(wèn)獲得多少信息量。

A=“女孩”，B=“大學(xué)生”，C=“身高1.6m以上”

P(B/A)=0.25P(C/AB)=0.75P(C/A)=0.5第二頁(yè)，共二十五頁(yè)，2022年，8月28日第一節(jié)：?jiǎn)畏?hào)離散信源

一：符號(hào)的信息量

二：信源的平均信息量1、信息熵信源X中各符號(hào)平均信息量。單位bit/symbol第三頁(yè)，共二十五頁(yè)，2022年，8月28日定義：在給定Y條件下，X的條件熵

H（X/Y）=2、條件熵相應(yīng)地，在給定X的條件下，Y的條件熵H(Y/X)定義為H(Y/X)=H(Y/X):噪聲對(duì)各符號(hào)產(chǎn)生的平均信量，稱(chēng)為噪聲熵。H(X/Y)：在傳輸符號(hào)時(shí)平均損失的信息量，稱(chēng)為疑義度。3、聯(lián)合熵H（XY）=聯(lián)合熵H（XY）表示X和Y同時(shí)提供的符號(hào)平均信息量

第四頁(yè)，共二十五頁(yè)，2022年，8月28日4、平均互信息量表示通信系統(tǒng)在傳輸一個(gè)符號(hào)時(shí)，所傳送的平均信息量。各參數(shù)的意義總結(jié):

H（X）是符號(hào)集合X中每個(gè)符號(hào)包含的平均信息量.I（X；Y）信道上能傳輸?shù)钠骄畔⒘?H（X／Y）稱(chēng)為疑義度，它是信道中每個(gè)符號(hào)損失的

信息量。H（Y／X）稱(chēng)為噪聲熵。H(XY)聯(lián)合熵第五頁(yè)，共二十五頁(yè)，2022年，8月28日第六頁(yè)，共二十五頁(yè)，2022年，8月28日第七頁(yè)，共二十五頁(yè)，2022年，8月28日

H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

第八頁(yè)，共二十五頁(yè)，2022年，8月28日1）I（X；Y）=H（X）一H（X／Y）I（X；Y）=H（Y）一H（Y／X）3）I（X；Y）=I（Y；X）4)I(X;Y)=H(X)+H(Y)-H(XY)第九頁(yè)，共二十五頁(yè)，2022年，8月28日例2-9：二進(jìn)制通信系統(tǒng)使用符號(hào)0和1，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼。設(shè)：u0---發(fā)出一個(gè)0；u1—發(fā)出一個(gè)1；v0—收到一個(gè)0；v1—收到一個(gè)1。P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.(1)已知發(fā)出一個(gè)0，求收到符號(hào)后的信息量；(2)已知發(fā)出一個(gè)符號(hào)，求收到符號(hào)后的信息量；(3)已知發(fā)出的和收到的符號(hào)，求能得到的信息量；(4)已知收到的符號(hào)，求被告知發(fā)出的符號(hào)能得到的信息量。求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY)(4)H(X/Y)?I(X;Y)第十頁(yè)，共二十五頁(yè)，2022年，8月28日求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY(4)H(X/Y)?I(X;Y)第十一頁(yè)，共二十五頁(yè)，2022年，8月28日2-10在一個(gè)袋中放入5個(gè)黑球、10個(gè)白球，以摸出一個(gè)球?yàn)橐淮螌?shí)驗(yàn)，摸出的球不再放進(jìn)去。求：（1）一次實(shí)驗(yàn)X包含的不確定度；（2）第一次實(shí)驗(yàn)X摸出的是黑球，第二次實(shí)驗(yàn)Y給出的不確定度；（3)第一次實(shí)驗(yàn)X摸出的是白球，第二次實(shí)驗(yàn)Y給出的不確定度；（4）第二次實(shí)驗(yàn)Y包含的不確定度。求:(1)H(X)(2)H(Y/X=“黑”)(3)H(Y/X=“白”)(4)H(Y)第十二頁(yè)，共二十五頁(yè)，2022年，8月28日求:(1)H(X)(2)H(Y/X=“黑”)(3)H(Y/X=“白”)(4)H(Y)(1)H(X)=H(1/3,2/3)=0.92(2)H(Y/X=“黑”)=H(2/7,/5/7)=0.86(3)H(Y/X=“白”)=H(5/14,9/14)=0.94(4)H(Y)P(y=“黑”)=1/3,P(y=“白”)=2/3H(Y)=0.92通過(guò)第2次的實(shí)驗(yàn)結(jié)果能夠獲得的關(guān)于第1次實(shí)驗(yàn)的信息量為I(X;Y)=?練習(xí):習(xí)題2-11第十三頁(yè)，共二十五頁(yè)，2022年，8月28日什么叫全損離散信道?

分析:I（X；Y）＝H（X）-H（X／Y）如果X與Y是相互獨(dú)立的，I（X；Y）=0。信源發(fā)出的信息量在信道上全部損失掉了，此時(shí)稱(chēng)為全損離散信道什么叫無(wú)擾離散信道?

由于沒(méi)有噪聲，X=Y,所以信道不損失信息量，疑義度H（X／Y）為零，噪聲熵也為零。此時(shí)有：I（X；Y）=H（X）這時(shí)的信道叫無(wú)擾離散信道。第十四頁(yè)，共二十五頁(yè)，2022年，8月28日

數(shù)據(jù)處理定理(1):當(dāng)消息通過(guò)多級(jí)處理器時(shí)，隨著處理器數(shù)目的增多，輸人消息與輸出消息之間的平均互信息量趨于變小。

三、數(shù)據(jù)處理中信息的變化I(X;Z)<=I(X;Y)I(X;Z)<=I(Y;Z)數(shù)據(jù)處理定理(2):如果想從測(cè)量值Y中獲得關(guān)于X的信息量，則測(cè)量次數(shù)越多越好。I(X;Y1)<=I(X;Y1Y2)第一級(jí)處理器第二級(jí)處理器XYZ輸入第十五頁(yè)，共二十五頁(yè)，2022年，8月28日四、熵的性質(zhì)1、非負(fù)性H(X)>=0,I(X;Y)>=02、對(duì)稱(chēng)性H(p1,p2,…pn)=H(p2,p1,…pn)3、確定性H(1,0,0,…0)=04、最大熵定理：對(duì)于X{a1,a2,…an}

當(dāng)p(ai)=1/n時(shí)，Hmax(X)=log2n5、條件熵小于無(wú)條件熵H(X/Y)<=H(X)

H(X/Y1Y2)<=H(X/Y1)

在相互獨(dú)立時(shí)取等號(hào)。聯(lián)合熵大于獨(dú)立熵H(XY)>=H(x)

H(XY)<=H(x)+H(Y)

在X=Y時(shí)，取等號(hào)。第十六頁(yè)，共二十五頁(yè)，2022年，8月28日作業(yè):2-12,2-14第十七頁(yè)，共二十五頁(yè)，2022年，8月28日2.3離散序列信源的熵

設(shè):信源輸出的隨機(jī)序列為X=X1X2X3…XL序列熵:H(X1X2X3…XL)=H(XL)bit/seq序列平均符號(hào)熵:HL(X)=H(XL)/Lbit/symbol一、無(wú)記憶離散序列H(XL)=H（X1）+H（X2）+…+H(XL)=LH(X)HL(X)=H(X)第十八頁(yè)，共二十五頁(yè)，2022年，8月28日設(shè):信源輸出的隨機(jī)序列為X=X1X2X3…XL序列熵:H(X1X2X3…XL)=H(XL)bit/seq序列平均符號(hào)熵:HL(X)=H(XL)/Lbit/symbol二、有記憶離散序列H(XL)=H（X1)+H（X2/X1)+H(X3/X1X2)+…+H(XL/X1X2…XL-1)HL(X)=H(XL)/L第十九頁(yè)，共二十五頁(yè)，2022年，8月28日例：2-12已知:離散有記憶信源中各符號(hào)的概率空間為:

現(xiàn)信源發(fā)出二重符號(hào)序列消息（ai,aj），這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率p(aj/ai)表示，并由下表給出。求離散信源的序列熵和平均每個(gè)符號(hào)的熵?第二十頁(yè)，共二十五頁(yè)，2022年，8月28日第二十一頁(yè)，共二十五頁(yè)，2022年，8月28日特點(diǎn)：（1）H(XL/X1X2…XL-1)為L(zhǎng)的單調(diào)非增函數(shù)。有記憶離散序列X=X1X2X3…XLH(XL)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XL/X1X2…XL-1)（2）HL(X)>=H(XL/X1X2…XL-1)（3）HL(X)是L的單調(diào)非增函數(shù)H0(X):信源等概率時(shí)的熵（最大熵）H1(X):單符號(hào)信源熵HL(X):序列長(zhǎng)度為L(zhǎng)的平均符號(hào)熵H∞(X):極限熵第二十二頁(yè)，共二十五頁(yè)，2022年，8月28日第4節(jié)連續(xù)信源的熵和互信息

一：熵的定義第二十三頁(yè)，共二十五頁(yè)，2022年，8月28日第二十四頁(yè)，共二十五頁(yè)