通信與信息理論基礎(chǔ)

1通信與信息理論基礎(chǔ)

信息科學(xué)與技術(shù)學(xué)院西南交通大學(xué)提綱2

信源信道通信系統(tǒng)信息熵的關(guān)系總結(jié)

3（一）信源2.1.1分類按照信源發(fā)出的消息在時間和幅度上的分布情況分類:

離散信源、連續(xù)信源。按照信源發(fā)出的符號之間的關(guān)系分類：無記憶信源：不同時刻發(fā)出的消息是獨(dú)立的發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源有記憶信源：不同時刻發(fā)出的消息是相互依賴的發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源4單個符號信源：每次只是發(fā)出一個消息的信源。離散信源概率空間的表示：

其中符號集A＝{a1,a2,…,an},XA，

連續(xù)信源概率空間的表示：

且滿足Px(X)>=0,

5符號序列信源：輸出的消息是由一系列的符號組成，每次發(fā)出1組含2個以上符號序列來代表一個消息的信源。概率空間的表示：

6有記憶信源的概率表示：

72.1.2信源符號的不確定度與信息量描述概率小不確定度大信息量大自信息量

設(shè)信源輸出n個符號{x1,x2,,xn}

每個符號的概率為{p(x1),p(x2),,p(xn)}

則每個符號的自信息量為8自信息量的特性：①p(xi)=1,I(xi)=0②p(xi)=0,I(xi)=③非負(fù)性④單調(diào)遞減性；若p(x1)<p(x2),則I(x1)>I(x2)⑤可加性當(dāng)xi,yi

獨(dú)立，有p(xi,yi)=p(xi)p(yi)910自信息量的單位對數(shù)以2為底(log)，單位為比特(bit,binaryunit)對數(shù)以e為底(ln)，單位為奈特(nat,natureunit)對數(shù)以10為底(lg)，單位為哈特(Hart,Hartley)單位轉(zhuǎn)換1nat=logebit≈1.433bit1Hart≈3.322bit11例設(shè)信源發(fā)出兩個符號0和1，發(fā)0的概率為p(0)=1/4，

發(fā)1的概率為p(1)=3/4，則符號0和1的自信息量分

別為：

I(0)=log2(1/4)=2bit，

I(1)=log2(3/4)=0.4bit.

如發(fā)0的概率p(0)=p(1)=1/2，則符號0和1的自信

息量為：

I(0)=I(1)=log2(1/2)=1bit

12符號ai與符號aj的聯(lián)合自信息量：

收到符號ai與aj后獲得的信息量！條件自信息量在出現(xiàn)aj的條件下，信源發(fā)出符號ai的不確定！13條件自信息量

p(ai|aj)=1p(ai,aj)=p(ai)p(aj),ai和aj獨(dú)立14

因為

則有若ai和aj獨(dú)立15離散信源熵自信息量I(xi)只表征符號xi的不確定度，而一個信源總包含多個符號，每個符號又按概率空間的先驗概率分布，因而每個符號的自信息量可能不同。平均自信息量：即平均每個符號所能夠提供的信息量。它是信源中每個符號自信息量的數(shù)學(xué)期望。

2.1.3信源熵16例設(shè)信源符號集X＝{x1,x2,x3}，每個符號的概率分別為p(x1)=1/2,p(x2)=1/4,p(x3)=1/4，則信源熵為

17例

二元信源

該信源X輸出符號只有兩個，設(shè)為0和1，輸出符號發(fā)生的概率分別為p和q，p+q=1.即信源的概率空間為則二元信源熵為：18定理設(shè)信源符號集X＝{x1,x2,,xr}，每個符號發(fā)生的概率分別為pi。則H(X)logr，并且H(X)=r當(dāng)且僅當(dāng)pi=1/r對所有i成立；H(X)=0當(dāng)且僅當(dāng)pi=1對某一個i成立。證明：由于logx是x的凸函數(shù)，即滿足那么Jensen不等式19

因為對于任意的i,所以而20（二）信道輸入X＝{x1,x2,,xr}輸出Y＝{y1,y2,,ys}k時刻的輸出僅依賴于k

時刻的輸入（Memoryless）┆┆x1x2xry1y2ys2.2.1信道分類離散無記憶信道（DiscreteMemorylessChannelDMC）21┆

┆

xyp(y|x)其概率表示22二元對稱信道（BinarySymmetricChannel）00111

p1

ppp23二元刪除信道（BinaryErasureChannel）0011pq1

p1

q?242.2.2信道的不確信性（條件熵）給定輸出yj的條件下，信源X的條件熵為給定輸出yj的條件下，輸入是xi的自信息量為25在給定輸出Y的條件下，信源X的條件熵為熵H(X|Y)表示已知Y后，X的不確定度。熵H(Y|X)表示已知X后，Y的不確定度。26（三）通信系統(tǒng)2.3.1聯(lián)合熵H(X,Y)表示X和Y同時發(fā)生的不確定度。272.3.2H(X,Y)，H(X)與H(X|Y)之間的關(guān)系同理28二元刪除信道如下圖所示00113/41/21/41/2?XY求：信源熵H(X)？條件熵H(Y|X)?聯(lián)合熵H(X,Y)?2900113/41/21/41/2XY已知發(fā)出一個0，求收到符號后得到的信息量？已知發(fā)出的符號，求收到符號后得到的信息量？已知發(fā)出和收到的符號，求得到的信息量？302.3.3通信系統(tǒng)的信息量（互信息量）如果定義符號的互信息量I(xi;yj)為則I(X;Y)為上述I(xi;yj)的概率加權(quán)統(tǒng)計平均值XY31問題：I(X;Y)0?32（四）通信系統(tǒng)的信息熵之間的關(guān)系H(X|Y)H(Y|X)I(X;Y)H(X,Y)H(X)H(Y)33互信息量I(X;Y)可以看作是有擾離散信道上傳輸?shù)钠骄畔⒘織l件熵H(X|Y)可以看作是有擾離散信道