第二章信源及其信息量李偉

第二章信源及其信息量李偉第一頁，共七十五頁，2022年，8月28日2.1

信源基本分類及其數(shù)學模型

在通信系統(tǒng)中，收信者在未收到信息以前，對信源發(fā)出什么樣的消息是不確定的，是隨機的，所以可以用隨機變量、隨機矢量或隨機過程來描述信源輸出的消息，或者說用一個樣本空間及其概率測度來描述信源。不同的信源根據(jù)其輸出消息的不同的隨機性質(zhì)進行分類。第二頁，共七十五頁，2022年，8月28日1、離散信源數(shù)學模型如下：

集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對應消息的概率密度，各個消息的輸出概率總和應該為1。例：天氣預報無記憶信源

X的各時刻取值相互獨立。有記憶信源

X的各時刻取值互相有關聯(lián)。第三頁，共七十五頁，2022年，8月28日2、連續(xù)信源數(shù)學模型如下：

每次只輸出一個消息，但消息的可能數(shù)目是無窮多個。例：電壓、溫度等。第四頁，共七十五頁，2022年，8月28日2.2.1.自信息量2.2

離散信源及其信息量針對信源X某一單個消息或符號第五頁，共七十五頁，2022年，8月28日【例2.1】若盒中有6個電阻，阻值為1Ω、2Ω、3Ω的分別為2個、1個、3個，將從盒子中取出阻值為iΩ的電阻記為事件（i=1，2，3），則事件集X={x1,

x2,x3}，其概率分布計算出各事件的自信息量列表2-1如下：消息xi

x1

x2

x3

概率分布q(xi)

1/3

1/6

1/2

自信息量I(xi)

log3

log6

log2

第六頁，共七十五頁，2022年，8月28日自信息量I(ai)代表兩種含義：1.事件ai發(fā)生以前，表示事件發(fā)生的先驗不確定性2.當事件ai發(fā)生以后，表示事件ai所能提供的最大信息量（在無噪情況下）

第七頁，共七十五頁，2022年，8月28日二維聯(lián)合集XY上元素xi

yj的聯(lián)合自信息量I(xiyj)定義為：

條件自信息量在已知事件yj條件下,隨機事件xi發(fā)生的概率為條件概率p(xi︱yj),條件自信息量定義為：

聯(lián)合自信息量第八頁，共七十五頁，2022年，8月28日【例2.2】某住宅區(qū)共建有若干棟商品房，每棟有5個單元，每個單元住有12戶，甲要到該住宅區(qū)找他的朋友乙，若：

1.

甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？

2.

甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶號：（1）甲找到乙這一事件是二維聯(lián)合集XY上的等概分布，這一事件提供給甲的信息量為

I(xiyj)=-log

p(xiyj)

=

log60=5.907（比特）

（2）在二維聯(lián)合集XY上的條件分布概率為，這一事件提供給甲的信息量為條件自信息量

I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

第九頁，共七十五頁，2022年，8月28日2.2.2離散集的平均自信息量

⑴平均自信息量(熵)

人們注意的是整個系統(tǒng)的統(tǒng)計特性，當信源各個消息的出現(xiàn)概率相互統(tǒng)計獨立時，這種信源稱為無記憶信源，無記憶信源的平均自信息量定義為各消息自信息量的概率加權平均值（統(tǒng)計平均值），即平均自信息量H(X)定義為：

H(X)的表達式與統(tǒng)計物理學中的熱熵具有相類似的形式，在概念上二者也有相同之處，故借用熵這個詞把H(X)稱為集合X的信息熵，簡稱熵。

第十頁，共七十五頁，2022年，8月28日【例2.3】計算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.99－

0.01log0.01=0.08（比特/符號）（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1（比特/符號）（3）信源三:等概信源熵H(X3)=-4×0.25log0.25=log4=2（比特/符號）第十一頁，共七十五頁，2022年，8月28日(5)

信源五：一般情況下，二元信源的概率分布為熵H(X)=–δlogδ-（1-δ）log（1-δ）記H2(δ)=–δlogδ-（1-δ）log（1-δ）H2(δ)與δ的關系如圖2-2所示。（4）信源四：信源為確定事件熵H(X4)=-0log0–1log1=0

計算結果說明確定事件的熵為零

H2(δ)

00.51δ圖2-2H2(δ)與δ關系第十二頁，共七十五頁，2022年，8月28日⑵．平均條件自信息量(條件熵)若事件xi,

yj的聯(lián)合分布概率為p(xi

yj)，給定yj條件下事件xi的條件自信息量為I(xi︱yj)，則H(X︱Y)定義為：第十三頁，共七十五頁，2022年，8月28日從通信角度來看：若將X={x1，x2，…，xi，…}視為信源輸出符號；

Y={y1，y2，…，yj，…}視為信宿接收符號；從通信角度來看，H(X︱Y)是收到確定消息yj后，由于信道干擾，關于發(fā)送的是否為xi仍具有的疑義度，故稱H(X︱Y)為疑義度（損失熵）。存在以下兩種極端情況：（1）對于無噪信道H(X︱Y)=0

（2）在強噪聲情況下，收到的Y與X毫不相干，可視為統(tǒng)計獨立，H(X︱Y)=H(X)

第十四頁，共七十五頁，2022年，8月28日（2）對于強噪信道，有H(Y︱X)=H(Y)。（1）

對于無擾信道，有H(Y︱X)=0。從通信角度來看，H(Y︱X)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱H(Y︱X)為噪聲熵（散布度）。存在以下兩種極端情況：第十五頁，共七十五頁，2022年，8月28日⑶．聯(lián)合熵聯(lián)合熵H(XY)是定義在二維空間XY上，對元素xiyj的自信息量的統(tǒng)計平均值，若記事件xi

yj出現(xiàn)的概率為p(xiyj)，其自信息量為I(xiyj)，則聯(lián)合熵H(X

Y)定義為

第十六頁，共七十五頁，2022年，8月28日⑷．熵函數(shù)的性質(zhì)

（1）對稱性集合X={x1，x2，…，xN}中的各元素x1，x2，…，xN任意改變其順序時，熵只和分布（概率）有關，不關心某個具體事件對應哪個概率。例如和的熵是相等的。第十七頁，共七十五頁，2022年，8月28日

（2）非負性：H(X)0

（3）確定性：在集合X=(x1，x2，…，xN)中，若有一個事件是必然事件，則其余事件必為不可能事件，即該集合的概率分布為

（4）可加性：集合X={x1，x2，…，xi，xi+1，…，xN}的概率分布為：則下式成立：H(X)=H(x1，x2，…，xi，xi+1，…，xN)

第十八頁，共七十五頁，2022年，8月28日？思考題：若有6行8列的棋方格看，現(xiàn)有A,B兩個質(zhì)點分別以等概率落入方格內(nèi)，但兩質(zhì)點不能落入同一格內(nèi)，若A,B是可分辨的，求A,B同時落入的平均自信息量。第十九頁，共七十五頁，2022年，8月28日⑴.互信息量從通信的角度引出互信息量的概念信源符號X={x1，x2，…，xI}

，xi∈{a1,a2,…,ak}，i=1,2,…,I。經(jīng)過信道傳輸，信宿方接收到符號Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。簡單的通信模型{b1,b2,…,bD}信源符號集{a1,a2,…,ak}信宿符號集干擾{x1，x2，…xI}{y1，y2，…yJ}信源

信道信宿2.2.3互信息量第二十頁，共七十五頁，2022年，8月28日事件xi是否發(fā)生具有不確定性，用I(xi)度量。接收到符號yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi︱yj)度量。觀察事件前后，這兩者之差就是通信過程中所獲得的信息量，用I(xi;yj)表示：。注：式I(xi；yj)

和式I(xi，yj)的區(qū)別在于：前者是事件xi∈X和事件yj∈Y之間的互信息量，后者是二維空間XY

上元素xiyj的自信息量。稱上式為事件xi和事件yj之間的互信息量。第二十一頁，共七十五頁，2022年，8月28日定義xi∈X和yj∈

Y之間的互信息量為I(xi;yj)，在集合X上對I(xi;yj)進行概率加權統(tǒng)計平均，可得I(X;yj)為：

⑵.平均互信息量

再將式對集合Y進行統(tǒng)計平均，就可以得到平均互信息量

當X,Y統(tǒng)計獨立時，I(xi;yj)=0，從而I(X;Y)=0

第二十二頁，共七十五頁，2022年，8月28日【例2.4作業(yè)】二元等概信源，通過信道轉移概率為的信道傳輸，信宿接收符號Y={y0,y1}，計算信源與信宿間的平均互信息量I（X；Y）。

（1）

先根據(jù)計算出

（2）

由計算后驗概率第二十三頁，共七十五頁，2022年，8月28日

（3）計算各消息之間的互信息量I(xi;yj)

（比特）

（比特）（比特）

（比特）

第二十四頁，共七十五頁，2022年，8月28日（4）

計算平均互信息量

（比特）

第二十五頁，共七十五頁，2022年，8月28日2平均互信息量的性質(zhì)

(1)

非負性：

(2)

互易性： I(X;Y)=I(Y;X)

由的對稱性可得到。

(3)第二十六頁，共七十五頁，2022年，8月28日I(X;Y)=H（X）-H（X︱Y）I(X;Y)=H（Y）-H（Y︱X） I(X;Y)=H(X)+H(Y)-H(XY)

⑷平均互信息量與信源熵、條件熵的關系維拉圖它們之間的關系可以用維拉圖表示第二十七頁，共七十五頁，2022年，8月28日

設X為發(fā)送消息符號集，Y為接收符號集，H(X)是輸入集的平均不確定性,H（X︱Y）是觀察到Y后，集X還保留的不確定性，二者之差I(X;Y)就是在接收過程中得到的關于X,Y的平均互信息量。

對于無擾信道，I(X;Y)=H(X)。

對于強噪信道，I(X;Y)=0。從通信的角度來討論平均互信息量I(X;Y)的物理意義由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意義第二十八頁，共七十五頁，2022年，8月28日

對于無擾信道，有I(X;Y)=H(X)=H(Y)。對于強噪信道，有H（Y︱X）=H（Y），從而I(X;Y)=0。H(Y)是觀察到Y所獲得的信息量，H（Y︱X）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性，二者之差I(X;Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意義第二十九頁，共七十五頁，2022年，8月28日通信前，隨機變量X和隨機變量Y可視為統(tǒng)計獨立，其先驗不確定性為H(X)+H(Y)，通信后，整個系統(tǒng)的后驗不確定性為H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信過程中不確定性減少的量，也就是通信過程中獲得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意義第三十頁，共七十五頁，2022年，8月28日【例2.5】已知信源消息集為X={0,1},接收符號集為Y={0,1}，通過有擾信道傳輸，其傳輸特性如圖所示，這是一個二進制對稱信道BSC。已知先驗概率,計算平均互信息量I(X;Y)及各種熵。

01-ε

0

11-ε1

二進制對稱信道εε記q(x)為信源輸入概率；

ω(y)為信宿輸出概率；

p(y︱x)為信道轉移概率；

φ(x︱y)為后驗概率。第三十一頁，共七十五頁，2022年，8月28日（1）由圖得，先算出p(xiyj)=

q(xi)p(yj︱xi)

（2）計算得：

第三十二頁，共七十五頁，2022年，8月28日

（3）

計算后驗概率，得：

（4）計算各種熵及平均互信息量：信源熵

信宿熵

聯(lián)合熵

=-2×0.5(1-ε)log0.5(1-ε)-2×0.5εlog0.5ε

=log2-(1-ε)log(1-ε)-εlogε=log2+H

2(ε)式中：第三十三頁，共七十五頁，2022年，8月28日散布度

=-p(00)logp(0︱0)-p(01)logp(1︱0)-p(10)logp(0︱1)-p(11)logp(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)可疑度

=-p(00)logφ(0︱0)-p(01)logφ(0︱1)-p(10)logφ(1︱0)-p(11)logφ(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)平均互信息量I(X;Y)=H(X)+H(Y)-H(XY)=log2+H

2(ε)

第三十四頁，共七十五頁，2022年，8月28日研究通信問題，主要研究的是信源和信道，它們的統(tǒng)計特性可以分別用消息先驗概率p(x)及信道轉移概率p(y︱x)來描述，而平均互信息量I(X;Y)是經(jīng)過一次通信后信宿所獲得的信息。平均互信息量定義為：

上式說明I(X;Y)是信源分布概率q(x)和信道轉移概率p(y︱x)的函數(shù)，下面兩條定理闡明了I(X;Y)與q(x)和p(y︱x)之間的關系。⑸有關平均互信息量的兩條定理第三十五頁，共七十五頁，2022年，8月28日定理2.1

當信道給定，即信道轉移概率p(y︱x)固定，平均互信息量I(X;Y)是信源概率分布q(x)的∩型凸函數(shù)。定理2.2

當信源給定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道轉移概率p(y︱x)的∪型凸函數(shù)。

定理2.2說明，信源固定以后，用不同的信道來傳輸同一信源符號時，在信道輸出端獲得的信息量是不同的?？梢?，對每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。

定理2.1說明，信道固定時，對于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對于每一個固定信道，一定存在一種信源（一種分布）q(x)，使輸出端獲得的信息量最大。第三十六頁，共七十五頁，2022年，8月28日【例2.6】二進制對稱信道BSC如圖所示，輸入符號集X={x1,x2}={0,1}，輸出符號集Y={y1,y2}={0,1}，信道轉移概率矩陣

信源分布為：計算平均互信息量I(X;Y)=H（Y）-H（Y︱X）

01-ε

0

11-ε1

二進制對稱信道εε第三十七頁，共七十五頁，2022年，8月28日先由算出：ω(0)=q(0)p(0︱0)+q(1)p(0︱1)=δ(1-ε)+(1-δ)εω(1)==1-ω(0)

再計算熵和條件熵

=

H2[δ(1-ε)+(1-δ)ε]=-(1-ε)log(1-ε)-εlogε=H2(ε)第三十八頁，共七十五頁，2022年，8月28日則平均互信息量I(X;Y)=H（Y)-H（Y︱X）=

H2[δ(1-ε)+(1-δ)ε]-H2(ε)

當信道固定，即

為恒值，則I(X;Y)是δ的∩函數(shù)，其曲線如下圖所示。當δ=0.5時,I(X;Y)取得極大值，其值為log2-H2(ε),這種情況對應等概分布,信源的平均不確定性最大. 當δ=0或1時，這是確定信源的情況，通信得不到任何信息，即I(X;Y)=0。

ε為恒值時的I(X;Y)曲線00.51δlog2-H2(ε)I(X;Y)第三十九頁，共七十五頁，2022年，8月28日2.2.4

離散信源序列熵信源輸出序列為Xk=(x1…

xi…

xL），xi∈{a0,a1,…,an-1}，記Xk=x1x2…

xL則信源熵為

下面分兩種情況來考慮：

①信源離散無記憶可計算出該信源的熵：

H(XL)=H(X1)+H(X2︱X1)+H(X3︱X1X2)+…+H(XL︱X1X2…XL

-1)第四十頁，共七十五頁，2022年，8月28日

②信源離散有記憶H(XL)=H(X1)+H(X2︱X1)+H(X3︱X1X2)+…+H(XL︱X1X2…XL-1)記為：

根據(jù)熵的關系，條件熵小于等于無條件熵，即有

熵的鏈規(guī)則第四十一頁，共七十五頁，2022年，8月28日

等號在信源無記憶（統(tǒng)計獨立）時成立。H(XL)≤LH(X)等號在信源無記憶時成立對于平穩(wěn)信源第四十二頁，共七十五頁，2022年，8月28日2.2.6馬爾可夫信源

在很多信源的輸出序列中，符號之間的依賴關系是有限的，任何時刻信源符號發(fā)生的概率只與前邊已經(jīng)發(fā)出的若干個符號有關，而與更前面的符號無關。為了描述這類信源除了信源符號集外還要引入狀態(tài)集。這時，信源輸出消息符號還與信源所處的狀態(tài)有關。若一個信源滿足下面兩個條件，則稱為馬爾可夫信源：（1）某一時刻信源輸出的符號的概率只與當前所處的狀態(tài)有關，而與以前的狀態(tài)無關；（2）信源的下一個狀態(tài)由當前狀態(tài)和下一刻的輸出唯一確定。第四十三頁，共七十五頁，2022年，8月28日（1）某一時刻信源輸出的符號的概率只與當前所處的狀態(tài)有關，而與以前的狀態(tài)無關。即當符號輸出概率與時刻L無關，稱為具有時齊性。即第四十四頁，共七十五頁，2022年，8月28日（2）信源的下一個狀態(tài)由當前狀態(tài)和下一刻的輸出唯一確定。

條件（2）表明，若信源處于某一狀態(tài)，當它發(fā)出一個符號后，所處的狀態(tài)就變了，一定轉移到另一狀態(tài)。狀態(tài)的轉移依賴于發(fā)出的信源符號，因此任何時刻信源處在什么狀態(tài)完全由前一時刻的狀態(tài)和發(fā)出的符號決定。第四十五頁，共七十五頁，2022年，8月28日例：二階馬爾可夫信源，原始符號集為{1,0}，條件概率定為：P(0|00)=P(1|11)=0.8P(1|00)=P(0|11)=0.2P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5

由此可見，信源共有22=4種狀態(tài)

E：{e1=00,e2=01,e3=10,e4=11}第四十六頁，共七十五頁，2022年，8月28日狀態(tài)之間有轉移概率，p(e2/e1)=p(e3/e4)=0.2p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5P(e1/e1)=p(e4/e4)=0.801100:0.51:0.20:0.2000:0.8111:0.81:0.50:0.51:0.5其狀態(tài)轉移圖如圖。在狀態(tài)轉換圖中，把信源的每一種狀態(tài)用圓圈表示，用有向箭頭表示信源發(fā)出某一符號后由一種狀態(tài)到另一狀態(tài)的轉移。第四十七頁，共七十五頁，2022年，8月28日

由上例可知，m階馬爾可夫信源符號集共有q個符號，則信源共有個不同狀態(tài)。信源在某一時刻時，必然處于某一種狀態(tài)，等到下一個字符輸出時，轉移到另外一個狀態(tài)。第四十八頁，共七十五頁，2022年，8月28日舉例[例2.7]設信源符號

X∈{x1,x2,x3}

，信源所處的狀態(tài)S∈{e1,e2,e3,e4,e5}

。各狀態(tài)之間的轉移情況由圖2.2.1給出。第四十九頁，共七十五頁，2022年，8月28日將圖中信源在ei狀態(tài)下發(fā)符號xk的條件概率p(xk/ei)用矩陣表示由矩陣看出：由圖中可得狀態(tài)的一步轉移概率：該信源滿足馬爾可夫信源定義。第五十頁，共七十五頁，2022年，8月28日定義為各狀態(tài)的極限概率，則時齊、遍歷的馬爾可夫信源的熵為第五十一頁，共七十五頁，2022年，8月28日馬爾可夫信源的熵：這里給出結論：表明m階馬爾可夫信源的極限熵等于m階條件熵。根據(jù)求條件熵公式還可得到或：為穩(wěn)態(tài)概率，為信源處于某一狀態(tài)下發(fā)出一個消息符號的平均不確定性。第五十二頁，共七十五頁，2022年，8月28日(3)舉例[例2.8]

二元2階馬爾可夫信源，原始信號X的符號集為{X1=0,X2=1}，其狀態(tài)空間共有nm=22=4個不同的狀態(tài)e1,e2,e3,e4，即E：{e1=00,e2=01,e3=10,e4=11}狀態(tài)轉移圖見右圖所示。解：p(e1/e1)=p(x1/e1)=p(0/00)=0.8

p(e2/e1)=p(x2/e1)=p(1/00)=0.2p(e3/e2)=p(x1/e2)=p(0/01)=0.5p(e4/e2)=p(x2/e2)=p(1/01)=0.5p(e1/e3)=p(x1/e3)=p(0/10)=0.5p(e2/e3)=p(x2/e3)=p(1/10)=0.5p(e3/e4)=p(x1/e4)=p(0/11)=0.2p(e4/e4)=p(x2/e4)=p(1/11)=0.8第五十三頁，共七十五頁，2022年，8月28日由二元信源X∈{0,1}得到的狀態(tài)空間(e1,e2,e3,e4)和相應的一步轉移概率構成的2階馬爾可夫信源模型為求出穩(wěn)定狀態(tài)下的p(ej)

，稱為狀態(tài)極限概率。將一步轉移概率代入上式得p(e1)=0.8p(e1)+0.5p(e3)p(e2)=0.2p(e1)+0.5p(e3)p(e3)=0.5p(e2)+0.2p(e4)p(e4)=0.5p(e2)+0.8p(e4)第五十四頁，共七十五頁，2022年，8月28日解方程組得p(e1)=p(e4)=5/14p(e2)=p(e3)=2/14計算極限熵第五十五頁，共七十五頁，2022年，8月28日例：一個二元二階馬爾可夫信源，信源符號集A={0,1}。信源開始時，它以概率p(0)=p(1)=0.5發(fā)出隨機變量X1。然后，下一單位時間輸出的隨機變量X2與X1有依賴關系，由條件概率p(x2|x1)表示：

再下一單元時間輸出隨機變量X3，而X3依賴于前面變量。依賴關系由條件概率p(x3|x1x2)表示：x1x1x20100.30.410.70.6第五十六頁，共七十五頁，2022年，8月28日由從第四單位時間開始，任意時刻信源發(fā)出的隨機變量Xi只與前面二個單位時間的隨機變量有關，根據(jù)提議可得信源的狀態(tài)轉移圖：x1x2x1x2x1x2x1x2X30001101100.40.20.30.410.60.80.70.6第五十七頁，共七十五頁，2022年，8月28日000110110.40.80.30.60.20.70.60.4第五十八頁，共七十五頁，2022年，8月28日解得：

代入得

＝0.8956當馬爾可夫信源達到穩(wěn)定后，符號0和1的分布概率可根據(jù)下式計算

因此得：

第五十九頁，共七十五頁，2022年，8月28日[概念]連續(xù)信源-——輸出在時間、取值上都連續(xù)，屬隨機過程｛x(t)｝，以概率密度描述2.3連續(xù)信源第六十頁，共七十五頁，2022年，8月28日2.3.1連續(xù)信源的熵[熵計算兩法][法一]連續(xù)消息→離散消息再用離散信源方法計算[法二]連續(xù)消息抽樣→時間離散的連續(xù)消息分析時先量化，再令△→0第六十一頁，共七十五頁，2022年，8月28日[分類]單變量信源——無記憶信源

(與單符號離散源相似)

隨機過程中取一個時間t1多變量信源——有記憶信源

(與多符號離散源相似)

隨機過程中取多個時間ti[說明]對單變量信源，可研究：數(shù)學期望、方差對兩變量信源，可研究：自相關函數(shù)第六十二頁，共七十五頁，2022年，8月28日一、單變量連續(xù)信源數(shù)學模型

(R——連續(xù)變量X的取值范圍)二、連續(xù)信源的熵由法二得：

(上式中第2項為∞)

即連續(xù)信源熵值無窮大(取值可能性無限多)舍第2項得定義(相對熵)第六十三頁，共七十五頁，2022年，8月28日[兩個連續(xù)變量]聯(lián)合熵條件熵第六十四頁，共七十五頁，2022年，8月28日2.3.2幾種特殊連續(xù)信源的熵和最大熵定理一、均勻分布信源：

Hc(X)=log2(b-a)[結論]①熵值只與均勻分布間隔(b-a)有關，②若b-a<1