信息論-基礎(chǔ)理論與應(yīng)用：第四章波形信源和波形信道

1、 第四章 波形信源和波形信道第一節(jié) 波形信源的統(tǒng)計(jì)特性和離散化第二節(jié) 連續(xù)信源和波形信源的信息測(cè)度第三節(jié) 連續(xù)信源熵的性質(zhì)及最大差熵定理第四節(jié) 連續(xù)信源熵的變換第五節(jié) 連續(xù)信道和波形信道的分類第六節(jié) 連續(xù)信道和波形信道的信息傳輸率第七節(jié) 連續(xù)信道和波形信道的信道容量第八節(jié) 香農(nóng)公式的重要實(shí)際指導(dǎo)意義第一節(jié) 波形信源的統(tǒng)計(jì)特性和離散化 實(shí)際某些信源的輸出常常是時(shí)間和取值都是連續(xù)的消息。例如語音信號(hào)、電視信號(hào)。這樣的信源稱為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過程x(t)來表示。 隨機(jī)過程x(t)可以看成由一族時(shí)間函數(shù) 組成 稱為樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。 （1）隨機(jī)波形信源中消息

2、數(shù)是無限的。（2）隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維函數(shù)概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來描述。 就統(tǒng)計(jì)特性的區(qū)別來說，隨機(jī)過程大致可分為平穩(wěn)隨機(jī)過程和非平穩(wěn)過程兩大類。平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)特性/各維概率密度函數(shù)不隨時(shí)間平移而變化。非平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)特性隨時(shí)間平移而變化。 最常見的平穩(wěn)隨機(jī)過程為遍歷過程，它不但統(tǒng)計(jì)特性不隨時(shí)間平移而變化，而且它的集平均以概率1等于時(shí)間平均。 隨機(jī)過程x(t)中某一樣本函數(shù)x(t)的時(shí)間平均值定義：隨機(jī)過程x(t)在某時(shí)刻ti所取的隨機(jī)變量X(ti) 的統(tǒng)計(jì)平均值/集平均定義：遍歷的隨機(jī)過程：時(shí)間平均與統(tǒng)計(jì)平均相等，即 對(duì)于隨機(jī)過程來說，只要是限頻的，它的每

3、個(gè)樣本函數(shù)也可作同樣的取樣處理。每個(gè)樣本函數(shù)都可以用一系列 時(shí)刻上的樣本值 來表征。因?yàn)殡S機(jī)過程的樣本函數(shù)x(t)有無限多個(gè)，因此，取樣后瞬間 的樣本值是一個(gè)隨機(jī)變量。 這樣，通過取樣，隨機(jī)過程就成為可數(shù)的無限維的隨機(jī)序列 。 如果隨機(jī)過程又是限時(shí)的，時(shí)間間隔為T，則就成為2FT個(gè)有限維的隨機(jī)序列。取樣之后還要通過取值的離散化（量化），使之成為取值為可數(shù)的離散型隨機(jī)變量。即：取樣加量化才使隨機(jī)過程變換成時(shí)間和取值都是離散的隨機(jī)序列。量化必然帶來量化噪聲，引起信息損失。 隨機(jī)過程描述輸出消息的信源稱為隨機(jī)波形信源。用連續(xù)隨機(jī)序列描述輸出消息的信源稱為連續(xù)信源。對(duì)平穩(wěn)隨機(jī)波形信源通過取樣就可變換成

4、連續(xù)平穩(wěn)信源來處理。連續(xù)平穩(wěn)信源也可分連續(xù)平穩(wěn)無記憶信源和連續(xù)平穩(wěn)有記憶信源。一般認(rèn)為，通信系統(tǒng)中的信號(hào)都是平穩(wěn)的隨機(jī)過程。雖然在無線通信系統(tǒng)中，受衰落干擾的無線電信號(hào)屬于非平穩(wěn)隨機(jī)過程，但在正常通信條件下，都可近似地當(dāng)做平穩(wěn)隨機(jī)過程或分段平穩(wěn)的隨機(jī)過程來處理。 （1）計(jì)算連續(xù)信源一般有兩種方法。第一種方法：把連續(xù)消息經(jīng)過時(shí)間抽樣和幅度量化變成離散消息，再用前面介紹的計(jì)算離散信源的方法進(jìn)行計(jì)算。第二種方法：通過時(shí)間抽樣把連續(xù)消息變換成時(shí)間離散的函數(shù)，它是未經(jīng)幅度量化的抽樣脈沖序列，可看成是量化單位x趨近于零的情況來定義和計(jì)算連續(xù)信源熵。第二節(jié) 連續(xù)信源和波形信源的信息測(cè)度(2) 連續(xù)信源的種類

5、與單符號(hào)和多符號(hào)離散信源類似，連續(xù)信源也分為單變量和多變量。多變量連續(xù)信源屬于有記憶信源，直接計(jì)算有記憶連續(xù)信源的熵十分困難。一般處理方法是采用某種變換把有記憶信源變成無記憶信源，然后再計(jì)算信源熵。由于多變量的情況比較復(fù)雜，限于學(xué)時(shí)，我們只對(duì)單變量連續(xù)信源的信息測(cè)度進(jìn)行討論。(3) 連續(xù)信源的數(shù)學(xué)描述 單變量連續(xù)信源的輸出是取值連續(xù)的隨機(jī)變量?？捎米兞康母怕拭芏群瘮?shù)、變量間的條件概率密度和聯(lián)合概率密度函數(shù)描述。 一維概率密度函數(shù) 條件概率密度和聯(lián)合概率密度函數(shù) 一維概率密度函數(shù)隨機(jī)變量X的一維概率密度函數(shù)/邊緣概率密度函數(shù)為 條件概率密度和聯(lián)合概率密度函數(shù)條件概率密度函數(shù)聯(lián)合概率密度函數(shù)它們之

6、間的關(guān)系為邊緣概率密度函數(shù)滿足因?yàn)楦怕拭芏群瘮?shù)是不同的函數(shù)，所以用腳標(biāo)來加以區(qū)分，以免混淆。為了簡(jiǎn)化書寫，往往省去腳標(biāo)，但在使用時(shí)要注意。(4) 連續(xù)信源的熵 單變量連續(xù)信源數(shù)學(xué)模型 連續(xù)信源的熵 舉例 連續(xù)信源熵的意義 單變量連續(xù)信源數(shù)學(xué)模型單變量連續(xù)信源數(shù)學(xué)模型R是連續(xù)變量X的取值范圍-全實(shí)數(shù)集。先將連續(xù)信源在時(shí)間上離散化，再對(duì)連續(xù)變量進(jìn)行量化分層，并用離散變量來逼近連續(xù)變量。量化間隔越小，離散變量與連續(xù)變量越接近，當(dāng)量化間隔趨近于零時(shí)，離散變量就等于連續(xù)變量。設(shè)p(x)如圖2.3.1所示。把連續(xù)隨機(jī)變量X的取值區(qū)間分割成n個(gè)小區(qū)間，各小區(qū)間等寬，即=(b-a)/n。則變量落在第i個(gè)小區(qū)間

7、的概率為其中xi是a+(i-1)到a+i之間的某一值。當(dāng)p(x)是X的連續(xù)函數(shù)時(shí)，由中值定理可知，必存在一個(gè)xi值使上式成立。這樣連續(xù)變量X就可用取值為xi(i=1,2,n)的離散變量近似。連續(xù)信源被量化成離散信源。 連續(xù)信源的熵上式右端的第一項(xiàng)一般是定值，而第二項(xiàng)在0時(shí)是一無限大量。丟掉后一項(xiàng)，定義連續(xù)信源的熵為上式定義的熵在形式上和離散信源相似，也滿足離散熵的主要特性，如可加性，但在概念上與離散熵有差異因?yàn)樗チ穗x散熵的部分含義和性質(zhì)。 舉 例若連續(xù)信源的統(tǒng)計(jì)特性為均勻分布的概率密度函數(shù)當(dāng)(b-a)1時(shí)，h(X)0，為負(fù)值，即連續(xù)熵不具備非負(fù)性。連續(xù)信源熵的意義連續(xù)信源熵并不是實(shí)際信源輸

8、出的絕對(duì)熵；連續(xù)信源的絕對(duì)熵還有一項(xiàng)正的無限大量，雖然log2(b-a)小于0，但兩項(xiàng)相加還是正值，且一般還是一個(gè)無限大量。因?yàn)檫B續(xù)信源的可能取值數(shù)有無限多，若假定等概率，確知其輸出值后所得信息量也將為無限大；h(X)已不能代表信源的平均不確定度，也不能代表連續(xù)信源輸出的信息量。這種定義可以與離散信源在形式上統(tǒng)一起來；在實(shí)際問題中常常討論的是熵之間的差值問題，如信息變差、平均互信息等。在討論差熵時(shí)，兩個(gè)無限大量互相抵消。所以差熵具有信息的特征；連續(xù)信源的熵h(X)具有相對(duì)性，因此h(X)也稱為相對(duì)熵。(5) 連續(xù)信源的聯(lián)合熵和條件熵兩個(gè)連續(xù)變量的聯(lián)合熵兩個(gè)連續(xù)變量的條件熵波形信源的差熵 實(shí)際信

9、源的輸入和輸出都是平穩(wěn)隨機(jī)過程，其 x(t)和y(t)可以通過取樣，分解成取值連續(xù)的無窮平穩(wěn)隨機(jī)序列來表示，所以平穩(wěn)隨機(jī)過程的熵就是無窮平穩(wěn)隨機(jī)序列的熵。波形信源的差熵: 當(dāng)對(duì)于限頻F/限時(shí)T的平穩(wěn)隨機(jī)過程，它可以近似地用有限維N=2FT平穩(wěn)隨機(jī)矢量表示。這樣，一個(gè)頻帶和時(shí)間都為有限的連續(xù)時(shí)間過程就轉(zhuǎn)化為有限維時(shí)間離散的平穩(wěn)隨機(jī)序列了。 和離散變量中一樣， 易于證明: 且當(dāng)隨機(jī)序列中各變量統(tǒng)計(jì)獨(dú)立時(shí)等式成立。兩種特殊連續(xù)信源的差熵1.均勻分布連續(xù)信源的熵值 一維連續(xù)隨機(jī)變量X在a,b區(qū)間內(nèi)均勻分布時(shí)，這基本連續(xù)信源的熵為N維連續(xù)平穩(wěn)信源，若其輸出N維矢量其分量分別在 的區(qū)域內(nèi)均勻分布，N維連續(xù)

10、平穩(wěn)信源的差熵為無記憶連續(xù)平穩(wěn)信源和無記憶離散平穩(wěn)信源一樣，差熵也滿足限頻、限時(shí)均勻分布的波形信源的熵為在波形信源中常采用單位時(shí)間內(nèi)信源的差熵熵率。均勻分布的波形信源的熵率為2.高斯信源的熵值一維隨機(jī)變量X的取值范圍是整個(gè)實(shí)數(shù)軸R，概率密度函數(shù)呈正態(tài)分布，即這個(gè)連續(xù)信源的熵為高斯連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與方差2有關(guān)；熵描述的是信源的整體特性，由圖2.3.2看出，當(dāng)均值m變化時(shí)，只是p(x)的對(duì)稱中心在橫軸上發(fā)生平移，曲線的形狀沒有任何變化，即數(shù)學(xué)期望m對(duì)高斯信源的總體特性沒有任何影響；若方差2不同，曲線的形狀隨之改變，所以高斯連續(xù)信源的熵與方差有關(guān)而與數(shù)學(xué)期望無關(guān)。這是信源熵的總體特性

11、的再度體現(xiàn)。如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機(jī)矢量是正態(tài)分布則稱此信源為N維高斯信源。其差熵為：當(dāng)各變量之間統(tǒng)計(jì)獨(dú)立，則C為對(duì)角線矩陣，并有所以，N維無記憶高斯信源的熵即N維統(tǒng)計(jì)獨(dú)立的正態(tài)分布隨機(jī)變量的差熵為高斯噪聲信源的熵第三節(jié) 連續(xù)信源熵的性質(zhì)及最大差熵定理一、連續(xù)信源的差熵只具有熵的部分含義和性質(zhì)（1）可加性（2）凸?fàn)钚院蜆O值性 差熵h(X)是輸入概率密度函數(shù)p(x)的上凸函數(shù)，對(duì)于某一概率密度函數(shù)可以得到差熵的最大。（3）差熵可為負(fù)值：信源熵在數(shù)量上與信源輸出的平均信息量相等，平均信息量為負(fù)值在概念上難以理解。雖然在討論它的原因時(shí)，已經(jīng)知道是由連續(xù)熵的相對(duì)性所致，但另一方面，也說明

12、香農(nóng)熵在描述連續(xù)信源時(shí)還不是很完善。所以可得并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。（4）變換性連續(xù)信源輸出的隨機(jī)變量（或隨機(jī)矢量）通過確定的一一對(duì)應(yīng)變換，其差熵會(huì)發(fā)生變化即：二、最大差熵定理對(duì)離散信源：當(dāng)信源呈等概率分布時(shí)，信源熵取最大值；對(duì)連續(xù)信源：如果沒有限制條件，就沒有最大熵；連續(xù)信源在不同的限制條件下，信源的最大熵也不同。(1) 限峰值功率的最大熵定理(2) 限平均功率的最大熵定理(1) 限峰值功率的最大熵定理 限峰值功率的最大熵定理 證明過程 說明 限峰值功率的最大熵定理 若某信源輸出信號(hào)的峰值功率受限為P，它等價(jià)于信源輸出的連續(xù)隨機(jī)變量X的取值幅度受限，限于a,b內(nèi)取值。在約束條件下

13、 信源的最大相對(duì)熵。 定理4.1 若信源輸出的幅度被限定在a,b區(qū)域內(nèi)，則當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)信源具有最大熵。其值等于log(b-a)。若當(dāng)N維隨機(jī)矢量取值受限時(shí)，也只有隨機(jī)分量統(tǒng)計(jì)獨(dú)立并均勻分布時(shí)具有最大熵。 證明過程設(shè)N維隨機(jī)變量定義q(x)為除均勻分布以外的其它任意概率密度函數(shù) hp(x),X表示均勻分布連續(xù)信源的熵 hq(x),X表示任意分布連續(xù)信源的熵 說 明在實(shí)際問題中，常令bi0,ai=-bi, i=1,2,N。這種定義域邊界的平移并不影響信源的總體特性，因此不影響熵的取值；此時(shí)，隨機(jī)變量Xi(i=1,2, ,N)的取值就被限制在bi之間，峰值就是bi；如果把取值看作

14、輸出信號(hào)的幅度，則相應(yīng)的峰值功率為bi2；所以上述定理被稱為峰值功率受限條件下的最大熵定理，簡(jiǎn)稱限峰值功率的最大熵定理。此時(shí)最大熵值為(2) 限平均功率的最大熵定理 限平均功率的最大熵定理 證明過程 說明 限平均功率的最大熵定理定理4.2 若一個(gè)連續(xù)信源輸出信號(hào)的平均功率被限定為P，則其輸出信號(hào)幅度的概率密度分布是高斯分布時(shí)，信源有最大熵，其值為 。 對(duì)于N維連續(xù)平穩(wěn)信源來說，若其輸出的N維隨機(jī)序列的協(xié)方差矩陣C被限定，則N維隨機(jī)矢量為正態(tài)分布時(shí)信源的熵最大，也就是N維高斯信源的熵最大，其值 。 這一結(jié)論說明，當(dāng)連續(xù)信源輸出信號(hào)的平均功率受限時(shí)，只有信號(hào)的統(tǒng)計(jì)特性與高斯統(tǒng)計(jì)特性一樣時(shí)，才會(huì)有最

15、大的熵值。 證明過程單變量連續(xù)信源X呈高斯分布時(shí)的概率密度函數(shù)為對(duì)平均功率和均值的限制就等于對(duì)方差的限制；把平均功率受限的問題變成方差受限的問題來討論；把平均功率受限當(dāng)成是m=0情況下，方差受限的特例。定義高斯分布的連續(xù)信源的熵記為hp(x),X定義任意分布的連續(xù)信源的熵記為hq(x),X已知hp(x),X=(1/2)log2(2e2)任意分布的連續(xù)信源的熵為 說 明當(dāng)連續(xù)信源輸出信號(hào)的均值為零、平均功率受限時(shí)，只有信源輸出信號(hào)的幅度呈高斯分布時(shí)，才會(huì)有最大熵值。兩種功率受限情況與噪聲比較峰值功率受限、均勻分布的連續(xù)信源熵最大；平均功率受限、均值為零高斯分布的連續(xù)信源熵最大；在這兩種情況下，信

16、源的統(tǒng)計(jì)特性與兩種常見噪聲均勻噪聲和高斯噪聲的統(tǒng)計(jì)特性相一致。從概念上講這是合理的，因?yàn)樵肼暿且粋€(gè)最不確定的隨機(jī)過程，而最大的信息量只能從最不確定的事件中獲得。 我們已知在離散信源中若有確定的對(duì)應(yīng)變換關(guān)系，變換后信源的熵是不變的。那么，在連續(xù)信源中，輸出的消息經(jīng)過變換后，其熵(差熵)會(huì)不會(huì)改變?從數(shù)學(xué)觀點(diǎn)來看，這可歸結(jié)為坐標(biāo)變換問題，所以，首先討論坐標(biāo)變換后多維概率密度函數(shù)如何變化，然后再討論連續(xù)信源熵的變化。第四節(jié) 連續(xù)信源熵的變換1、坐標(biāo)變換后概率密度函數(shù)的變化 假設(shè)N維隨機(jī)矢量X與Y有確定的函數(shù)關(guān)系，即：而隨機(jī)變量Yi是Xi的單值連續(xù)函數(shù)，故X也可以表示成新變量Y的單值連續(xù)函數(shù)矢量X和矢

17、量Y之間有一一對(duì)應(yīng)的映射關(guān)系，它使X的樣本空間映射到另一新的Y的樣本空間。 原多維隨機(jī)變量落在樣本空間一個(gè)給定區(qū)域內(nèi)的概率，應(yīng)該等于變換后的多維隨機(jī)變量落在新樣本空間中相應(yīng)區(qū)域內(nèi)的概率。 根據(jù)多重積分的變量變換有雅可比行列式 2. 坐標(biāo)變換后差熵的變化 若Y和X有對(duì)應(yīng)的變換關(guān)系 Y=g(X)和 X=f(Y)則 可見，通過處理網(wǎng)絡(luò)后連續(xù)平穩(wěn)信源的熵(差熵)發(fā)生了變化。變換器(處理網(wǎng)絡(luò))輸出信源的熵等于輸入信源的熵減去雅可比行列式對(duì)數(shù)的統(tǒng)計(jì)平均值。這正是連續(xù)信源的差熵與離散信源熵的一個(gè)不同之處。這說明連續(xù)信源的差熵不具有變換的不變性。 例4.1設(shè)原連續(xù)信源輸出的信號(hào)X時(shí)方差為2，均值為0的正態(tài)分布

18、隨機(jī)變量，其概率密度函數(shù)為 經(jīng)一個(gè)放大倍數(shù)為k直流分量為a的放大器放大輸出，這時(shí)放大器網(wǎng)絡(luò)輸入與輸出的變換關(guān)系為y=kx+a,由前式可得：當(dāng)信道的輸入和輸出都是隨機(jī)過程x(t)和y(t)時(shí)，這個(gè)信道稱之為波形信道。隨機(jī)過程x(t)和y(t)的每個(gè)樣本函數(shù)都是不僅在時(shí)間上而且在幅度上都是連續(xù)的信號(hào)。在實(shí)際模擬通信系統(tǒng)中，信道都是波形信道。 而且一般都認(rèn)為x(t)和y(t)都是平穩(wěn)的隨機(jī)過程。第五節(jié) 連續(xù)信道和波形信道的分類 我們研究波形信道，就是要研究波形信道的信息傳輸問題。一方面為了便于研究，另一方面因?yàn)閷?shí)際波形信道的頻帶寬度總是受限的,所以在有限觀察時(shí)間T內(nèi)，能滿足限頻F，限時(shí)T的條件。因此

19、，根據(jù)時(shí)域采樣定理把波形信道的輸入x(t)和輸出y(t)的平穩(wěn)隨機(jī)過程信號(hào)離散化成N(=2FT)個(gè)時(shí)間離散，取值連續(xù)的平穩(wěn)隨機(jī)序列 : 和 這樣，波形信道就轉(zhuǎn)化成多維連續(xù)信道。波形信道：信道的輸入和輸出都是隨機(jī)過程x(t) 和y(t)。多維連續(xù)信道：用連續(xù)隨機(jī)變量來描述信道的輸入和輸出的消息。取樣多維連續(xù)信道與基本連續(xù)信道。一、按信道輸入和輸出的統(tǒng)計(jì)特性分類連續(xù)無記憶信道：信道在任一時(shí)刻輸出的變量只與對(duì)應(yīng)時(shí)刻輸入變量有關(guān)，與以前時(shí)刻的輸入、輸出變量無關(guān)，也與以后的輸入變量無關(guān)。連續(xù)有記憶信道：信道任何時(shí)刻的輸出變量與其他任何時(shí)刻的輸入變量、輸出變量都有關(guān)。1.高斯信道 信道中的噪聲是高斯噪聲。

20、高斯噪聲是平穩(wěn)遍歷的隨機(jī)過程，其瞬時(shí)值的概率密度函數(shù)服從高斯分布（即正態(tài)分布）。一維概率密度函數(shù)為常見的是二維高斯隨機(jī)變量。二、按噪聲的統(tǒng)計(jì)特性分類二維高斯隨機(jī)變量。 信道中的噪聲是白噪聲。白噪聲也是平穩(wěn)遍歷的隨機(jī)過程。它的功率譜密度均勻分布于整個(gè)頻率區(qū)間 功率譜密度為一常數(shù) 其瞬時(shí)值的概率密度函數(shù)可以是任意的。此處白噪聲的功率是按正、負(fù)兩半軸上的頻譜定義的。只采用正半軸頻譜來定義，則功率譜為N0，常稱為單邊譜密度。而 N0/2稱為雙邊譜密度，單位為瓦/赫(W/Hz)。顯然。白噪聲的相關(guān)函數(shù)是函數(shù)：2.白噪聲信道 具有高斯分布的白噪聲稱為高斯白噪聲。一般情況把既服從高斯分布而功率譜密度又是均勻

21、的噪聲稱為高斯白噪聲。關(guān)于低頻限帶高斯白噪聲有一個(gè)很重要的性質(zhì)，即低頻限帶高斯白噪聲經(jīng)過取樣函數(shù)取值后可分解成N（2FT）個(gè)統(tǒng)計(jì)獨(dú)立的高斯隨機(jī)變量（方差為 ，均值也為零）。 低頻限帶高斯白噪聲可以看成是無限帶寬的高斯白噪聲通過一個(gè)理想低通濾波器后所得。如果理想低通濾波器其帶寬為F 赫茲，那么它的傳遞函數(shù)的頻率響應(yīng)為3.高斯白噪聲信道考慮雙邊譜密度，低頻限帶高斯白噪聲的功率譜密度為其自相關(guān)函數(shù)其中 為噪聲的平均功率，因?yàn)槠渚禐榱悖栽肼暤钠骄β蕿?所以各樣本值之間不相關(guān)。又因?yàn)殡S機(jī)變量是高斯概率密度分布的，所以隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立。 除白噪聲以外的噪聲稱為有色噪聲。信道的噪聲是有色噪聲稱此

22、信道為有色噪聲信道。一般有色噪聲信道都是有記憶信道。4.有色噪聲信道1.乘性信道 信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為是與信號(hào)相乘的關(guān)系，則信道稱為乘性信道，噪聲稱為乘性干擾。 在實(shí)際無線電通信系統(tǒng)中常會(huì)遇到乘性干擾。2.加性信道 信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為與信號(hào)相加的關(guān)系，則此信號(hào)稱為加性信道，此噪聲稱為加性噪聲。三、按噪聲對(duì)信號(hào)的功能分類對(duì)于加性信道，信道的條件概率密度函數(shù)等于噪聲的概率密度 p(y/x)=p(n) 這進(jìn)一步說明信道的傳遞概率是由于噪聲所引起的。噪聲n輸入Y輸入X 信道+加性信道的條件熵等于其噪聲熵。說明h(Y/X)是由噪聲引起的，故稱h(n)為噪聲熵。 該結(jié)論說明了條件

23、熵是由于信道中噪聲引起的，它完全等于噪聲信源的不確定性，即噪聲信源的熵，所以稱它為噪聲熵。 基本連續(xù)信道就是輸入和輸出都是單個(gè)連續(xù)型隨機(jī)變量的信道，基本連續(xù)信道就是單符號(hào)連續(xù)信道，其輸入是連續(xù)型隨機(jī)變量X，X取值于a,b或?qū)崝?shù)域R；輸出也是連續(xù)性隨機(jī)變量Y，取值于 或?qū)崝?shù)域R；信道的傳遞概率密度函數(shù)為p(y|x)，并滿足 因此，可用 來描述單符號(hào)連續(xù)信道。 根據(jù)噪聲的統(tǒng)計(jì)特性和作用，多維連續(xù)信道和單符號(hào)連續(xù)信道同樣有加性信道，乘性信道和高斯信道等之區(qū)分。 對(duì)于加性信道，信道的傳遞概率密度函數(shù)就等于噪聲的概率密度函數(shù)。這也進(jìn)一步說明了信道的傳遞概率是由于噪聲所引起的。第六節(jié) 連續(xù)信道和波形信道的

24、信息傳輸率單符號(hào)連續(xù)信道的平均互信息單符號(hào)連續(xù)信道的數(shù)學(xué)模型為輸入信源X為輸出信源Y為而信道的傳遞概率密度函數(shù)為 對(duì)于連續(xù)信道的平均互信息來說，關(guān)系式和離散信道下平均互信息的關(guān)系式完全類似，而且保留了離散信道平均互信息的含義和性質(zhì)，只是表達(dá)式中用連續(xù)信源的差熵代替了離散信源的熵。 單符號(hào)連續(xù)信道的信息傳輸率 （比特/自由度）平均互信息為：多維連續(xù)信道的平均互信息 多維連續(xù)信道的數(shù)學(xué)模型是X，p(y|x)，Y，其傳遞概率密度函數(shù)為： 多維連續(xù)信道的平均互信息為：根據(jù)隨機(jī)矢量X和Y的差熵和條件差熵的表達(dá)式可得：以上表達(dá)式與離散信道下平均互信息的完全類似，只是表達(dá)式中概率分布函數(shù)用概率密度函數(shù)來替代

25、，求和號(hào)用積分號(hào)來替代。因此，離散擴(kuò)展信道中平均互信息的性質(zhì)在多維連續(xù)信道中仍成立。多維連續(xù)信道的信息傳輸率 （比特/N自由度）平均每個(gè)自由度的信息傳輸率 （比特/自由度）波形信道的信息傳輸率 波形信道輸入是平穩(wěn)隨機(jī)過程x(t)，輸出也是平穩(wěn)隨機(jī)過程y(t)。一般情況，對(duì)于波形信道來說，都是研究其單位時(shí)間內(nèi)的信息傳輸率Rt1.非負(fù)性2.對(duì)稱性（交互性） 因?yàn)?當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)即p(x/y)=p(x),I(X;Y)=I(Y;X)=0 就不可能從一個(gè)隨機(jī)變量獲得關(guān)于另一個(gè)隨機(jī)變量的信息。3.凸?fàn)钚?連續(xù)變量之間的平均互信息是輸入連續(xù)變量X和概率密度函數(shù)p(x)的型上凸函數(shù)；平均互信息又是連續(xù)信道

26、傳遞概率密度函數(shù)p(y/x)的下凸函數(shù)。連續(xù)信道平均互信息的特性4、信息不增性（數(shù)據(jù)處理定理）5、坐標(biāo)變換平均互信息的不變性 我們已知，通過一一對(duì)應(yīng)的變換，差熵會(huì)發(fā)生變換，但所傳輸?shù)钠骄バ畔⑹遣蛔兊?。因?yàn)槠骄バ畔⑹莾伸刂睿ㄟ^變換后，雅克比行列式對(duì)數(shù)的統(tǒng)計(jì)平均那一項(xiàng)正好抵消，因此平均互信息保持不變。因此，在一一對(duì)應(yīng)的變換下，傳輸?shù)男畔⒘坎粫?huì)增加，也不會(huì)減少，符合數(shù)據(jù)處理定理。第七節(jié) 連續(xù)信道和波形信道的信道容量 和離散信道一樣，對(duì)于固定的連續(xù)信道和波形信道都有一個(gè)最大的信息傳輸率，稱為信道容量。它也是信道可靠傳輸?shù)淖畲笮畔鬏斅?。?duì)于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道

27、的帶寬以及信號(hào)的各種限制不同，所以具有不同的信道容量。一般的多維連續(xù)信道的信道容量為:一般的波形信道的信道容量為:一般多維加性連續(xù)信道的信道容量為:加性信道的信道容量取決于噪聲的統(tǒng)計(jì)特性和輸入隨機(jī)矢量所受的限制條件。一般的實(shí)際信道中，無論輸入信號(hào)和噪聲的平均功率或能量總是有限的。一般加性波形信道的信道容量為:高斯加性連續(xù)信道： 如果加性信道中的噪聲N是均值為0，方差為2的高斯隨機(jī)變量，即：?jiǎn)畏?hào)高斯加性信道信道的傳遞概率密度函數(shù)：p(y/x)=p(n)如果把x看成是一個(gè)常數(shù)，則上式就變成了隨y變化的高斯函數(shù)，即當(dāng)已知X=x時(shí)，Y也是一個(gè)高斯變量，均值為x，方差為因此高斯加性信道的容量為輸入概率

28、密度函數(shù)p(x)是什么樣的函數(shù)時(shí)，才能使Y呈高斯分布？設(shè)限定輸入信號(hào)的平均功率為PX，噪聲的平均功率PN=2，則輸出隨機(jī)變量Y的平均功率PY也是受限的。根據(jù)最大連續(xù)熵定理，要使h(Y)達(dá)到最大，Y必須是一個(gè)均值為0、方差為2Y= PY的高斯隨機(jī)變量。平均功率受限的加性信道的信道容量高斯加性信道中輸入X 和噪聲N 相互統(tǒng)計(jì)獨(dú)立，且Y=X+N。由概率論可知：若輸入X是均值為0、方差為2X= PX 的高斯隨機(jī)變量，即X 的概率密度函數(shù)為p(x) ，則可以證明，輸出Y 的概率密度函數(shù)就等于即當(dāng)輸入隨機(jī)變量X的概率密度是均值為0、方差2X的高斯隨機(jī)變量；加性信道的噪聲N是均值為0、方差為2的高斯隨機(jī)變量

29、時(shí)；輸出隨機(jī)變量Y也是一個(gè)高斯隨機(jī)變量，其均值為0方差為2Y = 2X + 2 = PY 。這時(shí)輸出端的連續(xù)熵h(Y)達(dá)到最大值，即(PS/PN)稱為信道的信噪功率比。設(shè)信道的頻帶限于(0,W)；根據(jù)采樣定理，如果每秒傳送2W個(gè)采樣點(diǎn)，在接收端可無失真地恢復(fù)出原始信號(hào)；香農(nóng)公式：把信道的一次傳輸看成是一次采樣，由于信道每秒傳輸2W個(gè)樣點(diǎn)，所以單位時(shí)間的信道容量為 結(jié) 論香農(nóng)公式說明：當(dāng)信道容量一定時(shí)，增大信道帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過提高信噪功率比來補(bǔ)償。一些實(shí)際信道是非高斯連續(xù)信道，但高斯加性信道的信道容量是非高斯連續(xù)信道的信道容量的下限值。所以，香農(nóng)

30、公式可適用于其他一般的非高斯連續(xù)信道，由香農(nóng)公式得到的值是非高斯連續(xù)信道的信道容量的下限值。例：已知彩色電視圖像由 個(gè)像素組成，設(shè)每個(gè)象素有64種彩色度，每種彩色度有16個(gè)亮度級(jí)。設(shè)所有彩色度和亮度級(jí)的組合機(jī)會(huì)均等，并統(tǒng)計(jì)獨(dú)立。（1）試計(jì)算每秒傳送100個(gè)畫面所需的信道容量。 （2）如果接收機(jī)信噪比為 30db，為了傳送彩色圖像所需信道帶寬為多少？解第八節(jié) 香農(nóng)公式的重要實(shí)際指導(dǎo)意義 香農(nóng)公式把信道的統(tǒng)計(jì)參量（信道容量）和實(shí)際物理量（頻帶寬度W，時(shí)間T，信噪功率比Ps/Pn）聯(lián)系起來。它表明一個(gè)信道可靠傳輸?shù)淖畲笮畔⒘客耆蒞，T， Ps/Pn所確定。一旦這三個(gè)物理量給定，理想通信系統(tǒng)的極限信息傳輸率確定了。Ps是信號(hào)的平均功率，N0W 是高斯白噪聲在帶寬W 內(nèi)的平均功率 (其功率譜密度為N0/2)由香農(nóng)公式可得出以下幾個(gè)重要結(jié)論1、提高信號(hào)與噪聲功率