信息科學第六章

1、信息科學第六章第1頁，共47頁，2022年，5月20日，1點0分，星期一第一節(jié) 波形信源的統(tǒng)計特性和離散化 實際某些信源的輸出常常是時間和取值都是連續(xù)的消息。例如語音信號、電視信號。這樣的信源成為隨機波形信源，其輸出消息可以用隨機過程x(t)來表示。 隨機過程x(t)可以看成由一族時間函數 組成 稱為樣本函數。每個樣本函數是隨機過程的一個實現。 （1）隨機波形信源中消息數是無限的。（2）隨機波形信源可用有限維概率密度函數族以及與各維函數概率密度函數有關的統(tǒng)計量來描述。第2頁，共47頁，2022年，5月20日，1點0分，星期一第一節(jié) 波形信源的統(tǒng)計特性和離散化 就統(tǒng)計特性的區(qū)別來說，隨機過程大致

2、可分為平穩(wěn)隨機過程和非平穩(wěn)過程兩大類。 最常見的平穩(wěn)隨機過程為遍歷過程，它不但統(tǒng)計特性不隨時間平移而變化，而且它的集平均以概率1等于時間平均。 對于隨機過程來說，只要是限頻的，它的每個樣本函數也可作同樣的取樣處理。每個樣本函數都可以用一系列 時刻上的樣本值 來表征。因為隨機過程的樣本函數x(t)有無限多個，因此，取樣后瞬間 的樣本值是一個隨機變量。第3頁，共47頁，2022年，5月20日，1點0分，星期一第一節(jié) 波形信源的統(tǒng)計特性和離散化 這樣，通過取樣，隨即過程就成為可數的無限維的隨機序列 。 如果隨機過程又是限時的，時間間隔為T，則就成為2FT個有限維的隨機序列。取樣之后還要對取值的離散化

3、。取樣加量化才使隨機過程變換成時間的取值都是離散的隨機序列。量化必然帶來量化噪聲，引起信息損失。 隨機過程描述輸出消息的信源稱為隨機波形信源。用連續(xù)隨機變量描述輸出消息的信源稱為連續(xù)信源。第4頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度連續(xù)信源的差熵 先看單個變量的基本連續(xù)信源的信息測度?；具B續(xù)信源的輸出是取值連續(xù)的單個隨機變量?？捎米兞康母怕拭芏?，變量間的條件概率密度和聯(lián)合概率密度來描述。 變量的一維概率密度函數為 一維概率分布函數為 條件概率密度函數為 聯(lián)合概率密度函數為第5頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信

4、源和波形信源的信息測度它們之間的關系為基本連續(xù)信源的數學模型為其中R是全實數集。第6頁，共47頁，2022年，5月20日，1點0分，星期一連續(xù)信源的差熵連續(xù)信源的信息熵第二節(jié) 波形信源和波形信源的信息測度這樣的話：舍棄無窮大的第二項，可得：定義連續(xù)信源的熵為：第7頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度同理可以定義兩個連續(xù)變量X、Y的聯(lián)合熵和條件熵第8頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度連續(xù)信源的差熵只具有熵的部分含義和性質（1）可加性并當且僅當X與Y統(tǒng)計獨立時所以可得（2）凸狀性和極值性

5、差熵h(X)是輸入概率密度函數p(x)的型凸函數，對于某一概率密度函數可以得到差熵的最大。（3）差熵可為負值第9頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度波形信源的差熵 實際信源的輸入和輸出都是平穩(wěn)隨機過程，其 x(t)和y(t)可以通過取樣，分解成取值連續(xù)的無窮平穩(wěn)隨機序列來表示，所以平穩(wěn)隨機過程的熵就是無窮平穩(wěn)隨機序列的熵。波形信源的差熵:第10頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度 當對于限頻F/限時T的平穩(wěn)隨機過程，它可以近似地用有限維N=2FT平穩(wěn)隨機矢量表示。這樣，一個頻帶和時間都為

6、有限的連續(xù)時間過程就轉化為有限維時間離散的平穩(wěn)隨機序列了。 和離散變量中一樣， 易于證明: 且當隨機序列中各變量統(tǒng)計獨立時等式成立。第11頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度兩種特殊連續(xù)信源的差熵1.均勻分布連續(xù)信源的熵值 一維連續(xù)隨機變量X在a,b區(qū)間內均勻分布時，這基本連續(xù)信源的熵為N維連續(xù)平穩(wěn)信源，若其輸出N維矢量其分量分別在 的區(qū)域內均勻分布，N維連續(xù)平穩(wěn)信源的差熵為第12頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度無記憶連續(xù)平穩(wěn)信源和無記憶離散平穩(wěn)信源一樣，差熵也滿足限頻、限時均勻分布

7、的波形信源的熵為在波形信源中常采用單位時間內信源的差熵熵率。均勻分布的波形信源的熵率為第13頁，共47頁，2022年，5月20日，1點0分，星期一第二節(jié) 波形信源和波形信源的信息測度連續(xù)信源的熵為:可見，正態(tài)分布的連續(xù)信源的熵與數學期望m無關，只與其方差 有關。2.高斯信源的熵值基本高斯信源是指信源輸出是一維隨機變量X的概率密度分布是正態(tài)分布，即第14頁，共47頁，2022年，5月20日，1點0分，星期一高斯噪聲信源的熵第二節(jié) 波形信源和波形信源的信息測度如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機矢量是正態(tài)分布則稱此信源為N維高斯信源。其差熵為：當各變量之間統(tǒng)計獨立，則C為對角線矩陣，并有所以，N

8、維無記憶高斯信源的熵即N維統(tǒng)計獨立的正態(tài)分布隨機變量的差熵為當均值m=0時，X的方差 就等于信源輸出的平均功率P：第15頁，共47頁，2022年，5月20日，1點0分，星期一第三節(jié) 具有最大熵的連續(xù)信源 通常我們最感興趣的是兩種情況：一種是信源的輸出值受限；一種是信源的輸出平均功率受限。峰值功率受限條件下信源的最大值 若某信源輸出信號的峰值功率受限為，它等價于信源輸出的連續(xù)隨機變量X的取值幅度受限，限于a,b內取值。在約束條件 下信源的最大相對熵。定理6.1 若信源輸出的幅度被限定在a,b區(qū)域內，則當輸出信 號的概率密度是均勻分布時信源具有最大熵。其值等 于log(b-a)。若當N維隨機矢量取

9、值受限時，也只有隨 機分量統(tǒng)計獨立并均勻分布時具有最大熵。第16頁，共47頁，2022年，5月20日，1點0分，星期一第三節(jié) 具有最大熵的連續(xù)信源平均功率受限條件下信源的最大值定理6.2 若一個連續(xù)信源輸出信號的平均功率被限定為P， 則其輸出信號幅度的概率密度分布是高斯分布時， 信源有最大熵，其值為 。 對于N維連續(xù)平穩(wěn)信源來說，若其輸出的N維隨機序列的協(xié)方差矩陣C被限定，則N維隨機為正態(tài)分布時信源的熵最大，N維高斯信源的熵最大，其值為 。 這一結論說明，當連續(xù)信源輸出信號的平均功率受限時，只有信號的統(tǒng)計特性與高斯統(tǒng)計特性一樣時，才會有最大的熵值。第17頁，共47頁，2022年，5月20日，1

10、點0分，星期一第三節(jié) 具有最大熵的連續(xù)信源 對于N維平穩(wěn)信源也可用類似證明方法，證得當其輸出的N維協(xié)方差矩陣C受限時，N維高斯信源的熵最大，最大值為 。 隨機序列 中各分量之間不相關，又 ，則可證得N維隨機序列得各分量彼此統(tǒng)計獨立，并各自達到正態(tài)分布時熵最大，也就是N維無記憶高斯信源的熵最大，最大值為 。 如果序列中各分量的均值為零，而平均功率為 ，則得N維無記憶高斯信源得熵最大，最大值為 第18頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類波形信道：信道的輸入和輸出都是隨機過程x(t)和y(t)。連續(xù)信道：用連續(xù)隨機變量來描述信道的輸入和輸出的消息。取

11、樣主要研究：噪聲 系統(tǒng)外噪聲 系統(tǒng)內噪聲 熱噪聲 散粒噪聲第19頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類按噪聲統(tǒng)計特性分類1.高斯信道 信道中的噪聲是高斯噪聲。高斯噪聲是平穩(wěn)遍歷的隨機過程，其瞬時值的概率密度函數服從高斯分布（即正態(tài)分布）。一維概率密度函數為常見的是二維高斯隨機變量。第20頁，共47頁，2022年，5月20日，1點0分，星期一信道中的噪聲是白噪聲。白噪聲也是平穩(wěn)遍歷的隨機過程。它的功率譜密度均勻分布于整個頻率區(qū)間 功率譜密度為一常數其瞬時值的概率密度函數可以是任意的。此處白噪聲的功率是按正、負兩半軸上的頻譜定義的。只采用正半軸頻譜來

12、定義，則功率譜為 ，常稱為單邊譜密度。而 稱為雙邊譜密度，單位為瓦/赫(W/Hz)。顯然。白噪聲的相關函數是 函數：第四節(jié) 連續(xù)信道和波形信道的分類2.白噪聲信道第21頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類3.高斯白噪聲信道 具有高斯分布的白噪聲稱為高斯白噪聲。一般情況把既服從高斯分布而功率譜密度又是均勻的噪聲稱為高斯白噪聲。關于低頻限帶高斯白噪聲有一個很重要的性質，即低頻限帶高斯白噪聲經過取樣函數取值后可分解成N（2FT）個統(tǒng)計獨立的高斯隨機變量（方差為 ，均值也為零）。 低頻限帶高斯白噪聲可以看成是無限帶寬的高斯白噪聲通過一個理想低通濾波器后

13、所得。如果理想低通濾波器其帶寬為F赫茲，那么它的傳遞函數的頻率響應為第22頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類考慮雙邊譜密度，低頻限帶高斯白噪聲的功率譜密度為其自相關函數由功率譜密度可知在時間間隔 的兩個樣本點之間的相關函數等于零， 所以各樣本值之間不相關。有因為隨即變量是高斯概率密度分布的，所以隨機變量之間統(tǒng)計獨立。第23頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類4.有色噪聲信道 除白噪聲以外的噪聲稱為有色噪聲。信道的噪聲是有色噪聲稱此信道為有色噪聲信道。第24頁，共47頁，2022年，5月20日，

14、1點0分，星期一按噪聲對信號的功能分類1.乘性信道 信道中噪聲對信號的干擾作用表現為是與信號相乘的關系，則信道稱為乘性信道，噪聲稱為乘性干擾。 在實際無線電通信系統(tǒng)中常會遇到乘性干擾。2.加性信道 信道中噪聲對信號的干擾作用表現為與信號相加的關系，則此信號稱為加性信道，此噪聲稱為加性噪聲。第四節(jié) 連續(xù)信道和波形信道的分類第25頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類連續(xù)信道的分類 我們研究波形信道，就是要研究波形信道的信息傳輸問題。一方面為了便于研究，另一方面因為實際波形信道的頻率總是受限的,所以在有限觀察時間T內，能滿足限頻F，限時T的條件。因此

15、，根據時間取樣定理把波形信道的輸入x(t)和輸出y(t)的平穩(wěn)隨機過程信號離散化成N(=2FN)個時間離散，取值連續(xù)的平穩(wěn)隨即序列 : 和 這樣，波形信道就轉化成多維連續(xù)信道。第26頁，共47頁，2022年，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類 若多維連續(xù)信道的傳遞概率密度函數滿足 則稱此信道為連續(xù)無記憶信道。若連續(xù)信道在任一時刻輸出的變量只與對應時刻的輸入變量有關，與以前時刻的輸入，輸出變量無關，也與以后的輸入變量無關，則此信道為無記憶連續(xù)信道。 連續(xù)信道任何時刻的輸出變量與其他任何時刻的輸入，輸出變量都有關。則此信道稱為連續(xù)有記憶信道。第27頁，共47頁，2022年

16、，5月20日，1點0分，星期一第四節(jié) 連續(xù)信道和波形信道的分類 基本連續(xù)信道就是輸入和輸出都是單個連續(xù)型隨機變量的信道，基本連續(xù)信道就是單符號連續(xù)信道，其輸入是連續(xù)型隨機變量X，X取值于a,b或實數域R；輸出也是連續(xù)性隨機變量Y，取值于 或實數域R；信道的傳遞概率密度函數為p(y|x)，并滿足 因此，可用 來描述單符號連續(xù)信道。 根據噪聲的統(tǒng)計特性和作用，多維連續(xù)信道和單符號連續(xù)信道同樣有加性信道，乘性信道和高斯信道等之區(qū)分。 對于加性信道，信道的傳遞概率密度函數就等于噪聲的概率密度函數。這也進一步說明了信道的傳遞概率是由于噪聲所引起的。第28頁，共47頁，2022年，5月20日，1點0分，星

17、期一噪聲n輸入Y輸入X第四節(jié) 連續(xù)信道和波形信道的分類因此，在加性信道中，條件熵為 根據坐標變換得 所以 結論說明了條件熵 是由于信道中噪聲引起的，它完全等于噪聲信源的熵，所以稱為噪聲熵。 以后主要討論的是加性信道，噪聲源主要是高斯白噪聲。 信道+第29頁，共47頁，2022年，5月20日，1點0分，星期一第五節(jié) 連續(xù)信道和波形信道的信息傳輸率單符號連續(xù)信道的平均互信息單符號連續(xù)信道的數學模型為輸入信源X為輸出信源Y為而信道的傳遞概率密度函數為第30頁，共47頁，2022年，5月20日，1點0分，星期一第五節(jié) 連續(xù)信道和波形信道的信息傳輸率 對于連續(xù)信道的平均互信息來說，關系式和離散信道下平均

18、互信息的關系式完全類似，而且保留了離散信道平均互信息的含義和性質，只是表達式中用連續(xù)信源的差熵代替了離散信源的熵。 單符號連續(xù)信道的信息傳輸率 （比特/自由度）平均互信息為：第31頁，共47頁，2022年，5月20日，1點0分，星期一第五節(jié) 連續(xù)信道和波形信道的信息傳輸率多維連續(xù)信道的平均互信息 多維連續(xù)信道的數學模型是X，p(y|x)，Y，其傳遞概率密度函數為： 多維連續(xù)信道的平均互信息為：第32頁，共47頁，2022年，5月20日，1點0分，星期一第五節(jié) 連續(xù)信道和波形信道的信息傳輸率根據隨機矢量X和Y的差熵和條件差熵的表達式可得：以上表達式與離散信道下平均互信息的完全類，只是表達式中概率

19、分布函數用概率密度函數來替代，求和號用積分號來替代。因此，離散擴展信道中平均互信息的性質在多維連續(xù)信道中仍成立。第33頁，共47頁，2022年，5月20日，1點0分，星期一第五節(jié) 連續(xù)信道和波形信道的信息傳輸率多維連續(xù)信道的信息傳輸率 （比特/N自由度）平均每個自由度的信息傳輸率 （比特/自由度）波形信道的信息傳輸率 波形信道輸入是平穩(wěn)隨機過程x(t)，輸出也是平穩(wěn)隨機過程y(t)。一般情況，對于波形信道來說，都是研究其單位時間內的信息傳輸率第34頁，共47頁，2022年，5月20日，1點0分，星期一第五節(jié) 連續(xù)信道和波形信道的信息傳輸率1.非負性2.對稱性（交互性） 因為 當X和Y統(tǒng)計獨立時

20、即p(x|y)=p(x),I(X;Y)=I(Y;X)=0 就不可能從一個隨機變量獲得關于另一個隨機變量的信息。3.凸狀性 連續(xù)變量之間的平均互信息是輸入連續(xù)變量X和概率密度函數p(x)的型凸函數；平均互信息又是連續(xù)信道傳遞概率密度函數p(y|x)的U型凸函數。連續(xù)信道平均互信息的特性第35頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量 和離散信道一樣，對于固定的連續(xù)信道和波形信道都有一個最大的信息傳輸率，稱為信道容量。它也是信道可靠傳輸的最大信息傳輸率。對于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道的帶寬以及信號的各種限制不同，所以具有不

21、同的信道容量。一般的多維連續(xù)信道的信道容量為:一般的波形信道的信道容量為:第36頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量一般多維加性連續(xù)信道的信道容量為:加性信道的信道容量取決于噪聲的統(tǒng)計特性和輸入隨機矢量所受的限制條件。一般的實際信道中，無論輸入信號和噪聲的平均功率或能量總是有限的。一般加性波形信道的信道容量為:第37頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量單符號高斯加性信道 單符號高斯加性信道的輸入和輸出都是取值連續(xù)的一維隨機變量，而加入信道的噪聲是加性高斯噪聲。 設信道迭加的噪聲n是均值為

22、零，方差為 的一維高斯噪聲，噪聲信源的熵為 高斯加性信道的信道容量 平均功率受限高斯信道的信道容量 只有當信道的輸入信號是均值為零，平均功率為高斯分布的隨機變量時，信息傳輸率才能達到最大值。第38頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量單符號非高斯加性信道 信道的輸入和輸出都是取值連續(xù)的一維隨機變量X和Y。信道的噪聲Z時均值為零，平均功率為Pn的加性噪聲。而且輸入信號X的平均功率受限為Ps。這時噪聲是非高斯噪聲。 當且僅當噪聲為高斯加性時，等號才成立。多維無記憶高斯加性連續(xù)信道信道輸入隨機序列 ，輸出隨機序列第39頁，共47頁，2022年，5月

23、20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量因為是加性信道，所以有Y=X+n，其中 是均值為零的高斯噪聲。 當且僅當輸入隨機矢量X中各分量統(tǒng)計獨立，并且均值為零，方差為不同的高斯變量時才能達到此信道容量。高斯白噪聲加性波形信道 信道的輸入和輸出信號是隨機過程x(t)和y(t)，而加入信道的噪聲是加性高斯白噪聲n(t)（其均值為零，功率譜密度為 ，輸出信號滿足y(t)=x(t)+n(t)第40頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量 波形信道可以分解成N維統(tǒng)計獨立得隨機序列，每個分量均值為0，方差為 每個信號樣本值的平均功率為在0

24、,T時刻內，信道的信道容量為第41頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量要達到這個信道容量要求輸入N維隨機序列X中每一分量Xi都是均值為零，方差為Ps，彼此統(tǒng)計獨立的高斯變量。 高斯白噪聲加性信道的單位時間的信道容量其中Ps是信號的平均功率， 為高斯白噪聲在帶寬W內的平均功率?？梢姡诺廊萘颗c信噪功率比和帶寬有關。第42頁，共47頁，2022年，5月20日，1點0分，星期一第六節(jié) 連續(xù)信道和波形信道的信道容量這就是重要的香農公式。當信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。 一些實際的信道是非高斯波形信道。由前可知高斯加性信道的信道容量是非高斯信道容量的下限值。所以，香農公式可適用于其他一般的非高斯波形信道，由香農公式得到的值是非高斯波形信道的信道容量的下限值。 由香農公式可以看出，當帶寬W增大時，信道容量 也開始增大，當 時， 趨于一極限值 。第43頁，共47頁，2022年，5月20日，1點0分，星期一第七節(jié) 連續(xù)信道編碼定理 第五章中討論了香農第二定理，對連續(xù)信道同樣是成立的。只是和研究信道容量一樣，還必須對輸入信源加以某些限制條件才能建立編碼定理。由信源編碼定理得知，連續(xù)信道的信道容量C同樣是連續(xù)信