2-3-第2章215-6-平均互信息量和各種熵關(guān)系重點(diǎn)

第2章信源熵2.1單符號(hào)離散信源2.1.1單符號(hào)離散信源的數(shù)學(xué)模型2.1.2自信息和信源熵2.1.3信源熵的基本性質(zhì)和定理2.1.4加權(quán)熵的概念及基本性質(zhì)2.1.5平均互信息量一、平均互信息量定義二、平均互信息量物理意義二、平均互信息量性質(zhì)2.1.6各種熵之間的關(guān)系1離散集的平均互信息量不同概率空間集合之間的平均互信息量對(duì)于通信問題的探討特殊重要。通信的目的是在接收端精確地或以盡可能小的失真復(fù)現(xiàn)發(fā)送的消息。一般通信系統(tǒng)的輸入和輸出存在確定的概率關(guān)系。令X和Y分別表示一個(gè)通信系統(tǒng)的輸入事務(wù)集和輸出事務(wù)集。探討輸入X、輸出Y均為離散的狀況。探討離散集X和Y的平均互信息量。這時(shí)輸入和輸出均可用離散概率空間描述。P(Y/X)XY2互信息量—信道中信息流通的測(cè)度？互信息量I(xi;yj)是定量探討信息流通問題的重要基礎(chǔ)。它只能定量地描述輸入隨機(jī)變量發(fā)出某個(gè)具體消息xi，輸出變量出現(xiàn)某一具體消息yj時(shí)，流經(jīng)信道的信息量?！拜斎離i，輸出yj”是一個(gè)概率為p(xiyj)的隨機(jī)事務(wù)，相應(yīng)的I(xi;yj)也是隨xi和yj變更而變更的隨機(jī)量?；バ畔⒘縄(xi;yj)不能從整體上作為信道中信息流通的測(cè)度。這種測(cè)度應(yīng)當(dāng)是從整體的角度動(dòng)身，在平均意義上度量每通過一個(gè)符號(hào)流經(jīng)信道的平均信息量。作為一個(gè)測(cè)度，它不能是隨機(jī)量，而是一個(gè)確定的量。3輸入X、輸出Y的離散概率空間描述4輸入X、輸出Y的聯(lián)合空間XY5平均條件互信息量定義：在聯(lián)合集XY上，由供應(yīng)的關(guān)于集X的平均條件互信息量等于由所供應(yīng)的互信息量在整個(gè)X中以后驗(yàn)概率加權(quán)的平均值，其定義式為由于互信息是表示觀測(cè)到后獲得的關(guān)于事務(wù)的信息量，即故平均條件互信息量又可以表示為6定理定理：聯(lián)合集XY上的平均條件互信息量有

等號(hào)成立當(dāng)且僅當(dāng)X集中的各個(gè)都與事務(wù)相互獨(dú)立。平均條件互信息量表示觀測(cè)到y(tǒng)j后獲得的關(guān)于集X的平均信息量。I(X;yj)照舊是一個(gè)隨機(jī)變量，隨yj的變更而變更，因此，不能作為信道中流通信息量的整體測(cè)度。7平均互信息量定義：平均互信息量I(X;Y)是平均條件互信息量I(X;yj)在整個(gè)集Y上的概率加權(quán)平均值。其定義式為定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計(jì)平均值稱I(X;Y)是Y對(duì)X的平均互信息量，簡(jiǎn)稱平均互信息，也稱平均交互信息量或交互熵。平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機(jī)性，成為一個(gè)確定的量，因此，可以作為信道中流通信息量的整體測(cè)度。8平均互信息量的其它定義平均互信息量I(X;Y)也可定義為9平均互信息的性質(zhì)

平均互信息量有以下基本性質(zhì)：1、互易性（對(duì)稱性）2、非負(fù)性3、極值性4、凸函數(shù)性10平均互信息的性質(zhì)1、互易性（對(duì)稱性）I(X;Y)=I(Y;X)該性質(zhì)表示從集Y中獲得關(guān)于X的信息量等于從集X中獲得關(guān)于Y的信息量。當(dāng)集X和集Y統(tǒng)計(jì)獨(dú)立時(shí)，有I(X;Y)=I(Y;X)=0它意味著不能從一個(gè)集獲得關(guān)于另一個(gè)集的任何信息2、非負(fù)性I(X;Y)≥0當(dāng)且僅當(dāng)X與Y相互獨(dú)立時(shí)，等號(hào)成立。即假如X與Y相互獨(dú)立，它們之間相互不能供應(yīng)任何信息。11性質(zhì)1：非負(fù)性I(X;Y)≥0的證明12性質(zhì)2：對(duì)稱性I(X;Y)=I(Y;X)的證明證明：按定義13平均互信息的性質(zhì)（續(xù)）3、極值性I(X;Y)≤H(X)；I(X;Y)≤H(Y)證明：因?yàn)镮(X;Y)=H(X)-H(X/Y)，條件熵H(X/Y)為非負(fù)，故兩個(gè)不等式成立。4、凸函數(shù)性平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函數(shù)；該性質(zhì)是探討信道容量的理論基礎(chǔ)平均互信息量I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)。該性質(zhì)是探討率失真函數(shù)的理論基礎(chǔ)14第2章信源熵2.1單符號(hào)離散信源2.1.1單符號(hào)離散信源的數(shù)學(xué)模型2.1.2自信息和信源熵2.1.3信源熵的基本性質(zhì)和定理2.1.4加權(quán)熵的概念及基本性質(zhì)2.1.5平均互信息量2.1.6各種熵之間的關(guān)系15平均互信息和各類熵的關(guān)系平均互信息和各類熵的關(guān)系I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)I(X;Y)=H(X)+H(Y)-H(XY)16幾個(gè)關(guān)系式的證明17維拉圖平均互信息量I(X;Y)和各類熵的關(guān)系可用維拉圖表示。當(dāng)集X和Y統(tǒng)計(jì)獨(dú)立時(shí)，I(X;Y)=0，得到H(X,Y)max=H(X)+H(Y)H(Y)H(X)H(X,Y)I(X;Y)H(X/Y)H(Y/X)18損失熵H(X/Y)條件熵H(X/Y)表示在已知輸出Y的條件下輸入X的剩余不確定性，即信道損失。依據(jù)互信息量I(X;Y)與條件熵H(X/Y)的關(guān)系可看出，I(X;Y)等于輸入平均信息量H(X)減去信道損失，它反映了信道傳輸信息的實(shí)力。最大平均互信息量就是信道容量。19小結(jié)為了介紹兩個(gè)離散集之間的平均互信息量，首先定義了在一個(gè)事務(wù)發(fā)生條件