信息論與編碼信息的度量

信息論與編碼信息的度量1第一頁，共六十五頁，編輯于2023年，星期六2.5聯(lián)合熵和條件熵

聯(lián)合熵：聯(lián)合自信息量的統(tǒng)計(jì)平均。條件熵：條件自信息量的統(tǒng)計(jì)平均各類熵之間的關(guān)系：與各類自信息量之間的關(guān)系對應(yīng)。2第二頁，共六十五頁，編輯于2023年，星期六1聯(lián)合熵設(shè)聯(lián)合概率空間為聯(lián)合符號的先驗(yàn)不確定性稱為聯(lián)合自信息量:統(tǒng)計(jì)平均聯(lián)合熵熵的物理意義:信源的平均不確定性。3第三頁，共六十五頁，編輯于2023年，星期六2條件熵設(shè)聯(lián)合概率空間為條件自信息量:統(tǒng)計(jì)平均條件熵4第四頁，共六十五頁，編輯于2023年，星期六3各類熵之間的關(guān)系同理總之熵的強(qiáng)可加性推廣5第五頁，共六十五頁，編輯于2023年，星期六各類熵之間的關(guān)系(續(xù))于是因此，熵之間的關(guān)系簡化：熵的可加性推廣：當(dāng)與相互獨(dú)立，則統(tǒng)計(jì)獨(dú)立時(shí)，有6第六頁，共六十五頁，編輯于2023年，星期六X01P2/31/3例已知某離散信源如下，且其符號轉(zhuǎn)移概率如右下所示，求H(X)、H(Y|X)和H(X,Y)7第七頁，共六十五頁，編輯于2023年，星期六解：8第八頁，共六十五頁，編輯于2023年，星期六另一方面：后驗(yàn)概率可以求出：可以求出條件熵：同樣可以求出聯(lián)合熵：9第九頁，共六十五頁，編輯于2023年，星期六例

已知一離散二維平穩(wěn)信源一維概率分布二維概率分布表2.2

ajai01201/41/18011/181/31/18201/187/36求兩種熵。

10第十頁，共六十五頁，編輯于2023年，星期六解:(1)計(jì)算條件概率二維條件概率分布表2.3

ajai01209/111/8012/113/42/9201/87/911第十一頁，共六十五頁，編輯于2023年，星期六(2)

(3)另12第十二頁，共六十五頁，編輯于2023年，星期六2.6平均互信息量及其性質(zhì)平均互信息量平均互信息量的基本性質(zhì)13第十三頁，共六十五頁，編輯于2023年，星期六

互信息量互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量；互信息量可能為正數(shù)、負(fù)數(shù)、0；對于無干擾信道，I(xi;yj)=I(xi)xiyj信道p(xi):發(fā)送端發(fā)送xi的概率；P(xi|yj):接收端收到y(tǒng)j后，發(fā)送端發(fā)送xi的概率定義:14第十四頁，共六十五頁，編輯于2023年，星期六為什么需要定義平均互信息量？互信息量是定量地研究信息流通問題的重要基礎(chǔ)。但它只能定量地描述輸入隨機(jī)變量發(fā)出某個(gè)具體消息，輸出變量出現(xiàn)某一個(gè)具體消息時(shí)，流經(jīng)信道的信息量；此外還是隨和變化而變化的隨機(jī)變量。互信息量不能從整體上作為信道中信息流通的測度。這種測度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過一個(gè)符號流經(jīng)信道的平均信息量。定義互信息量在聯(lián)合概率空間中的統(tǒng)計(jì)平均值為Y對X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。15第十五頁，共六十五頁，編輯于2023年，星期六

平均互信息量：與之間的平均互信息量是統(tǒng)計(jì)平均意義下的先驗(yàn)不確定性與后驗(yàn)不確定性之差，也是互信息量的統(tǒng)計(jì)平均：16第十六頁，共六十五頁，編輯于2023年，星期六

1.對稱性根據(jù)互信息量的對稱性，容易推得 I(X;Y)=I(Y;X) 說明從集合Y中獲取X的信息量，等于從集合X中獲取Y的信息量。

17第十七頁，共六十五頁，編輯于2023年，星期六

2.與各種熵的關(guān)系I(X;Y)=H(X)–H(X|Y) I(Y;X)=H(Y)–H(Y|X) I(X;Y)=H(X)+H(Y)–H(XY) H(XY)為X集合和Y集合的共熵，或稱聯(lián)合熵。共熵應(yīng)該是聯(lián)合符號集合XY上的每個(gè)元素對xy的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。18第十八頁，共六十五頁，編輯于2023年，星期六I(X;Y)=H(X)+H(Y)–H(XY)根據(jù)各種熵的定義，從該式可以清楚看出平均互信息量是一個(gè)表征信息流通的量其物理意義就是信源端的信息通過信道后傳輸?shù)叫潘薅说钠骄畔⒘俊?9第十九頁，共六十五頁，編輯于2023年，星期六3有界性各種熵以及平均互信息量之間的關(guān)系可用以下文氏圖表示。

熵、平均互信息量關(guān)系圖20第二十頁，共六十五頁，編輯于2023年，星期六例

已知信源空間 信道特性如圖所示，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)。

圖信道特性21第二十一頁，共六十五頁，編輯于2023年，星期六解（1）根據(jù)P(xiyj)=P(xi)P(yj

|xi)，求各聯(lián)合概率，得 P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40（2）根據(jù)，求Y集合中各符號的概率，得 P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.4122第二十二頁，共六十五頁，編輯于2023年，星期六（3）根據(jù)P(xi|yj)=P(xiyj)/P(yj)，求各后驗(yàn)概率，得 P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024

P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97623第二十三頁，共六十五頁，編輯于2023年，星期六（4）求熵，有

I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符24第二十四頁，共六十五頁，編輯于2023年，星期六2.7離散無記憶信源的擴(kuò)展DMSDMSDMS研究信源輸出的單個(gè)符號的統(tǒng)計(jì)特性研究信源輸出的符號串的統(tǒng)計(jì)特性單符號信源的次擴(kuò)展信源多符號信源??25第二十五頁，共六十五頁，編輯于2023年，星期六輸出的消息序列中各符號之間無相互依賴關(guān)系的信源。亦稱為單符號離散平穩(wěn)無記憶信源的擴(kuò)展信源。序列長度就是擴(kuò)展次數(shù)。單符號信源{0，1}經(jīng)過擴(kuò)展，變成了：{00，01，10，11}例2.2.126第二十六頁，共六十五頁，編輯于2023年，星期六27第二十七頁，共六十五頁，編輯于2023年，星期六

N次擴(kuò)展信源：離散無記憶信源，考慮任意N個(gè)相鄰時(shí)刻的輸出隨機(jī)變量把看成是一個(gè)新的離散無記憶信源的輸出，稱為的N次擴(kuò)展信源。擴(kuò)展信源的熵：

bit/N元符號28第二十八頁，共六十五頁，編輯于2023年，星期六擴(kuò)展信源的熵DMSDMS?因?yàn)槭荄MS，故獨(dú)立同分布，所以29第二十九頁，共六十五頁，編輯于2023年，星期六單符號信源如下,求二次擴(kuò)展信源熵?cái)U(kuò)展信源：例30第三十頁，共六十五頁，編輯于2023年，星期六31第三十一頁，共六十五頁，編輯于2023年，星期六擴(kuò)展信源模型的求法例設(shè)有離散無記憶信源。（1）求和；（2）當(dāng)時(shí)，計(jì)算。解（1）求2次和3次擴(kuò)展信源的符號表:32第三十二頁，共六十五頁，編輯于2023年，星期六擴(kuò)展信源模型的求法(續(xù)一)求概率：

根據(jù)信源的無記憶特性，有

同理可得：

33第三十三頁，共六十五頁，編輯于2023年，星期六擴(kuò)展信源模型的求法(續(xù)二)（2）當(dāng)時(shí)，計(jì)算。有兩種求法。方法一：Bit/符號Bit/三元符號方法二：Bit/三元符號34第三十四頁，共六十五頁，編輯于2023年，星期六2.8離散有記憶信源的熵N階平穩(wěn)信源的聯(lián)合熵

bit/N長符號串或

bit/符號一般離散有記憶信源的極限熵：考慮，

bit/符號進(jìn)一步推導(dǎo)可得出

35第三十五頁，共六十五頁，編輯于2023年，星期六如果是無記憶的，則有

于是

bit/符號36第三十六頁，共六十五頁，編輯于2023年，星期六2.10離散信源的信息（速）率和信息含量效率信息率

信息速率信息含量效率相對冗余度37第三十七頁，共六十五頁，編輯于2023年，星期六

信息率用來衡量信源發(fā)出信息的能力。定義為平均一個(gè)符號所攜帶的信息量，即信源的實(shí)在信息，在數(shù)值上等于信源的極限熵。

bit/符號信息速率

信源單位時(shí)間內(nèi)發(fā)出的平均信息量。如果信源平均秒發(fā)出一個(gè)符號，則

bit/秒38第三十八頁，共六十五頁，編輯于2023年，星期六

信息含量效率

定義為實(shí)際的實(shí)在信息與最大的實(shí)在信息之比。顯然當(dāng)且僅當(dāng)是DMS且等概率分布（）時(shí)，。39第三十九頁，共六十五頁，編輯于2023年，星期六

相對冗余度表示信源含無效成份的程度。定義為當(dāng)然也有當(dāng)且僅當(dāng)，。對于DMS，只須把公式中的極限熵?fù)Q成普通熵即可。40第四十頁，共六十五頁，編輯于2023年，星期六信源的信息含量效率：信源的相對冗余度：當(dāng)且僅當(dāng)信源是DMS且等概率分布（）時(shí)

例設(shè)DMS為。求信源的信息含量效率和相對冗余度。解：41第四十一頁，共六十五頁，編輯于2023年，星期六作業(yè):PP.2.6;2.10(1);2.11;42第四十二頁，共六十五頁，編輯于2023年，星期六2.11連續(xù)隨機(jī)變量下的熵和平均互信息量2.11.1連續(xù)隨機(jī)變量下的熵2.11.2連續(xù)隨機(jī)變量下的平均互信息量2.11.3微分熵的極大化問題2.11.4連續(xù)信源的熵功率43第四十三頁，共六十五頁，編輯于2023年，星期六作業(yè)：P.502.62.1144第四十四頁，共六十五頁，編輯于2023年，星期六2.11.1連續(xù)隨機(jī)變量下的熵連續(xù)信源的數(shù)學(xué)模型連續(xù)隨機(jī)變量的微分熵45第四十五頁，共六十五頁，編輯于2023年，星期六連續(xù)信源

的數(shù)學(xué)模型是連續(xù)隨機(jī)變量，其取值集合是連續(xù)區(qū)間，概率密度函數(shù)是，連續(xù)信源的數(shù)學(xué)模型為：46第四十六頁，共六十五頁，編輯于2023年，星期六連續(xù)隨機(jī)變量的微分熵把連續(xù)熵看成離散熵的極限情況，將的值域等分為K個(gè)子區(qū)間：，，第k個(gè)子區(qū)間內(nèi)的概率為，這樣得到一個(gè)離散隨機(jī)變量，其概率空間為47第四十七頁，共六十五頁，編輯于2023年，星期六且概率空間是完備的：根據(jù)離散熵公式，有48第四十八頁，共六十五頁，編輯于2023年，星期六將區(qū)間無限細(xì)分，即，，對離散熵取極限即可得連續(xù)熵的實(shí)際值：第二項(xiàng)為無窮大，因此，連續(xù)熵為無窮大，失去意義。第一項(xiàng)表示連續(xù)熵的相對值，稱其為連續(xù)隨機(jī)變量的微分熵，記為。49第四十九頁，共六十五頁，編輯于2023年，星期六微分熵的更一般的定義式為微分熵就不當(dāng)作連續(xù)隨機(jī)變量的真正測度。在考慮熵的變化時(shí)，微分熵仍具相對意義。微分熵是去掉無窮大項(xiàng)后剩下的有限項(xiàng)，因此失去作為不確定性度量的某些重要性質(zhì)，如：不具備非負(fù)性，可能出現(xiàn)負(fù)值；在隨機(jī)變量的一一變換之下，微分熵可能改變。50第五十頁，共六十五頁，編輯于2023年，星期六連續(xù)隨機(jī)變量和之間的平均互信息量51第五十一頁，共六十五頁，編輯于2023年，星期六平均互信息量與微分熵之間的關(guān)系即連續(xù)情況下的平均互信息量有實(shí)際的物理意義，仍具有互易性和非負(fù)性，即

52第五十二頁，共六十五頁，編輯于2023年，星期六求均勻分布的連續(xù)信源熵例2.3.153第五十三頁，共六十五頁，編輯于2023年，星期六2平均互信息量的物理解釋信源觀察過程

從中獲得的關(guān)于的信息＝的先驗(yàn)(平均)不確定性－的后驗(yàn)(平均)不確定性54第五十四頁，共六十五頁，編輯于2023年，星期六3公式推導(dǎo)?推導(dǎo):55第五十五頁，共六十五頁，編輯于2023年，星期六4平均互信息量的性質(zhì)（1）互易性:說明:56第五十六頁，共六十五頁，編輯于2023年，星期六（2）非負(fù)性：注意：可正可負(fù)。條件熵不會大于無條件熵，增加條件只可能使不確定性減小，不會增大不確定性推廣：條件多的熵不會大于條件少的熵。即57第五十七頁，共六十五頁，編輯于2023年，星期六（3）有界性：簡證：58第五十八頁，共六十五頁，編輯于2023年，星期六例均勻分布隨機(jī)變量的熵設(shè)連續(xù)隨機(jī)變量服從均勻分布，即概率密度函數(shù)為：