liyang信源及信源熵

信源及信源熵李揚(yáng)目錄信息論中的信源信源的描述和分類信源熵離散與連續(xù)信源熵熵的性質(zhì)信息論中的信源信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來源。信源具有不確定性和隨機(jī)性，任何已知的消息無信息可言。不確定的符號(hào)有統(tǒng)計(jì)規(guī)律性，可以用隨機(jī)變量、隨機(jī)矢量、隨機(jī)過程來描述、研究。信源的描述和分類信源的分類有多種方式消息在時(shí)間上和幅度上分布情況離散信源（時(shí)間、幅度都離散）連續(xù)信源（時(shí)間或是幅度上連續(xù)）例子離散文字?jǐn)?shù)字?jǐn)?shù)據(jù)連續(xù)語音圖像等信源的描述和分類按照信源發(fā)出的信號(hào)間關(guān)系無記憶信源：發(fā)出單個(gè)符號(hào)的無記憶信源

發(fā)出符號(hào)序列的無記憶信源有記憶信源：發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的有記憶信源

信源的描述和分類例子無記憶，有放回的摸球、擲骰子，二進(jìn)制兩次取球的結(jié)果是無關(guān)的獨(dú)立的，無統(tǒng)計(jì)關(guān)聯(lián)性，出現(xiàn)的概率是先驗(yàn)概率；有記憶，無放回的取球兩次取球的結(jié)果有關(guān)聯(lián)；獨(dú)立同分布信源在離散無記憶信源中，信源輸出的每個(gè)符號(hào)是統(tǒng)計(jì)獨(dú)立的，且具有相同的概率空間，即有p1(X1)=p(X1)=p(Xi),則該信源是離散平穩(wěn)無記憶信源，亦稱為獨(dú)立同分布(independentlyidenticaldistribution，i.i.d.)信源。馬爾科夫信源當(dāng)信源的記憶長(zhǎng)度為m+1時(shí)，該時(shí)刻發(fā)出的符號(hào)與前m個(gè)符號(hào)有關(guān)聯(lián)性，而與更前面的符號(hào)無關(guān)。

通過概率空間描述信源

單符號(hào)信源：是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。信源每次輸出一個(gè)符號(hào)，通常用離散隨機(jī)變量和其概率分布來表示。

多符號(hào)信源：信源每次發(fā)出一個(gè)符號(hào)序列，用隨機(jī)矢量來表示。連續(xù)信源概率密度函數(shù)

顯然應(yīng)滿足

馬爾科夫信源

若信源在某一時(shí)刻發(fā)出的符號(hào)概率除與該符號(hào)有關(guān)外，還與此前的符號(hào)有關(guān)，則此類信源為有記憶信源。如果與前面無限個(gè)符號(hào)有關(guān)，為無限記憶信源；如果僅與前面有限個(gè)符號(hào)有關(guān)，為有限記憶信源。

有記憶信源序列的聯(lián)合概率與條件概率有關(guān)沒寫完馬氏鏈？？？？？信源的概率空間可以表示為

但在何時(shí)發(fā)出哪種符號(hào)，是不確定的。

定義概率為p(x)的符號(hào)自信息量為

自信息量的單位與所用對(duì)數(shù)的底有關(guān)：對(duì)數(shù)底為2時(shí)，單位是比特（bit）對(duì)數(shù)底是自然數(shù)e時(shí)，單位是奈特(nat)對(duì)數(shù)底是10時(shí)，單位是笛特(det)自信息量三個(gè)單位間的轉(zhuǎn)換關(guān)系為1nat=1.433bit1det=3.322bit例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit定義：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：定義：聯(lián)合概率空間中，事件x在事件y給定條件下的條件（自）信息量為：聯(lián)合自信息、條件自信息與自信息間的關(guān)系

自信息量表征各個(gè)符號(hào)的不確定度，信源總是包含著多個(gè)符號(hào)，各符號(hào)的自信息量不同，自信息量不能作為總體的信息度量。為了表征出信源的總體特征，我們引入了平均自信息量，即平均每個(gè)符號(hào)的所能提供的信息量，也是信源中各個(gè)符號(hào)自信息量的數(shù)學(xué)期望，稱為信源熵。表達(dá)式為單位為bit/符號(hào)例子條件熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵

聯(lián)合熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵

聯(lián)合熵、條件熵與熵的關(guān)系連續(xù)信源單個(gè)符號(hào)信源熵討論連續(xù)時(shí)我們往往用離散來逼近連續(xù)，有公式波形信源的熵信源熵的性質(zhì)7、擴(kuò)展性8、可加性

9、遞增性這條性質(zhì)表明，若原信源X中有一元素劃分成m個(gè)元素（符號(hào)），而這m個(gè)元素的概率之和等于原元素