信息理論與編碼

1、信息理論與編碼第1頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一2-5：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%身高為1.6m以上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高1.6m以上的某女孩是大學(xué)生的消息，問獲得多少信息量。A=“女孩”，B=“大學(xué)生”，C=“身高1.6m以上”P(B/A)=0.25 P(C/AB)=0.75 P(C/A)=0.5第2頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一第一節(jié)：單符號離散信源一：符號的信息量二：信源的平均信息量1、信息熵信源X中各符號平均信息量。單位bit/symbol第3頁，共25頁，2022年，5月

2、20日，0點(diǎn)57分，星期一定義：在給定Y條件下，X的條件熵 H（X/Y）= 2、條件熵相應(yīng)地，在給定X的條件下，Y的條件熵H(Y/X)定義為H(Y/X)= H(Y/X):噪聲對各符號產(chǎn)生的平均信量，稱為噪聲熵。H(X/Y)：在傳輸符號時平均損失的信息量，稱為疑義度。3、聯(lián)合熵H（XY）=聯(lián)合熵H（XY）表示X和Y同時提供的符號平均信息量 第4頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一4、 平均互信息量表示通信系統(tǒng)在傳輸一個符號時，所傳送的平均信息量。各參數(shù)的意義總結(jié): H（X）是符號集合X中每個符號包含的平均信息量.I（X；Y）信道上能傳輸?shù)钠骄畔⒘? H（XY）稱為疑義度，它

3、是信道中每個符號損失的 信息量。H（YX） 稱為噪聲熵。H(XY)聯(lián)合熵第5頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一第6頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一第7頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一 H（XY）H（X）H（YX） H（XY）H（Y）H（XY） 第8頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一1）I（X；Y）= H（X）一H（XY ） I（X；Y）= H（Y）一 H（YX）3） I（X；Y）= I（Y；X）4) I(X;Y)=H(X)+H(Y)-H(XY) 第9頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期

4、一例2-9：二進(jìn)制通信系統(tǒng)使用符號0和1，由于存在失真，傳輸時會產(chǎn)生誤碼。設(shè)：u0-發(fā)出一個0；u1發(fā)出一個1；v0收到一個0；v1收到一個1。P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.(1)已知發(fā)出一個0，求收到符號后的信息量；(2)已知發(fā)出一個符號，求收到符號后的信息量；(3)已知發(fā)出的和收到的符號，求能得到的信息量；(4)已知收到的符號，求被告知發(fā)出的符號能得到的信息量。求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY)(4)H(X/Y)?I(X;Y)第10頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一求:(1)H(Y/u0)(2)H(Y/

5、X)(3)H(XY(4)H(X/Y)?I(X;Y)第11頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一2-10 在一個袋中放入5個黑球、10個白球，以摸出一個球?yàn)橐淮螌?shí)驗(yàn)，摸出的球不再放進(jìn)去。求：（1）一次實(shí)驗(yàn)X包含的不確定度；（2）第一次實(shí)驗(yàn)X摸出的是黑球，第二次實(shí)驗(yàn)Y給出的不確定度；（3)第一次實(shí)驗(yàn)X摸出的是白球，第二次實(shí)驗(yàn)Y給出的不確定度；（4）第二次實(shí)驗(yàn)Y包含的不確定度。求:(1)H(X)(2)H(Y/X=“黑”)(3)H(Y/X=“白”)(4)H(Y)第12頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一求:(1)H(X)(2)H(Y/X=“黑”)(3)H(Y/X=

6、“白”)(4)H(Y)(1)H(X)=H(1/3,2/3)=0.92(2)H(Y/X=“黑”)=H(2/7,/5/7)=0.86(3)H(Y/X=“白”)=H(5/14,9/14)=0.94(4)H(Y)P(y=“黑”)=1/3,P(y=“白”)=2/3H(Y)=0.92通過第2次的實(shí)驗(yàn)結(jié)果能夠獲得的關(guān)于第1次實(shí)驗(yàn)的信息量為I(X;Y)=?練習(xí):習(xí)題2-11第13頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一什么叫全損離散信道? 分析: I（X；Y）H（X）-H（XY）如果X與Y是相互獨(dú)立的，I（X；Y）=0。信源發(fā)出的信息量在信道上全部損失掉了，此時稱為全損離散信道什么叫無擾離散信

7、道? 由于沒有噪聲，X=Y,所以信道不損失信息量，疑義度H（XY）為零，噪聲熵也為零。 此時有：I（X；Y）=H（X）這時的信道叫無擾離散信道。第14頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一 數(shù)據(jù)處理定理 (1) :當(dāng)消息通過多級處理器時，隨著處理器數(shù)目的增多，輸人消息與輸出消息之間的平均互信息量趨于變小。 三、數(shù)據(jù)處理中信息的變化I(X;Z)=I(X;Y)I(X;Z)=I(Y;Z)數(shù)據(jù)處理定理(2) :如果想從測量值Y中獲得關(guān)于X的信息量，則測量次數(shù)越多越好。I(X;Y1)=0, I(X;Y)=02、對稱性 H(p1,p2,pn)=H(p2,p1,pn)3、確定性 H(1,0,0,0)=04、最大熵定理：對于Xa1,a2,an 當(dāng)p(ai)=1/n時，Hmax(X)=log2n5、條件熵小于無條件熵 H(X/Y)=H(X) H(X/Y1Y2)=H(x) H(XY)= H(XL/X1X2XL-1)（3） HL(X)是L的單調(diào)非增函數(shù)H0(X):信源等概率時的熵（最大熵）H1(X):單符號信源熵HL(X):序列長度為L的平均符號熵H(X):極限熵第22頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一第4節(jié) 連續(xù)信源的熵和互信息一：熵的定義第23頁，共25頁，2022年，5月20日，0點(diǎn)57分，星期一第24頁，共25頁，2022年，5月20日，0點(diǎn)57分，