信息論基礎(chǔ)完整版本

第1講信息論回顧信息的含義信息論的基本問題信息論的基本假設(shè)信息論的基本概念信息論的三個層次課后作業(yè)及問題完信息的含義信息是由物質(zhì)和能量在時間和空間上的不均勻分布產(chǎn)生的信息是可以用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等人類可感知的消息來表達的信息是無形的、可共享的、無限的、可度量的信息是事物運動狀態(tài)或存在方式的不確定性的描述信息是與物質(zhì)和能量一樣重要的基本概念信息不同于消息、情報、知識、信號什么是消息消息是客觀物質(zhì)運動和主觀思維活動狀態(tài)的表達，是能夠被人們的感覺器官所感知的某種形式什么是情報情報是軍事學、文獻學方面的習慣用詞情報通常指對敵方情況的報告、對最新文獻資料的報道在情報學中，情報是人們對于某個特定對象所見、所聞、所理解而產(chǎn)生的知識什么是知識知識是人們根據(jù)某種目的，從自然界收集得來的數(shù)據(jù)中，整理、概括和提取得到的知識是一種具有普遍性和概括性的高層次信息知識是在實踐的基礎(chǔ)上通過抽象思維對客觀事物規(guī)律性的概括知識是有價值的信息，但只是信息的一部分什么是信號信號是由消息變換而來、適合在信道上傳輸?shù)奈锢砹啃盘柊娦盘?、光信號、聲信號、生物信號等等信號是消息的運載工具、通過反變換可以還原消息同一信號可以表示不同的信息、同一信息也可不同的信號表示信息論的基本問題如何描述信息在案傳輸和處理過程中存在的基本規(guī)律主要內(nèi)容包括與信息和信道相關(guān)的各種度量、編碼及定理等。信息論的基本假設(shè)信息是可以用一組符號來編碼的信息的產(chǎn)生和傳輸是可以用概率論和隨機過程來描述的從概率角度看同樣的信息包含同樣的信息量信息論的基本概念通信系統(tǒng)模型:一般模型和加密模型自信息量和互信息量信息熵、聯(lián)合熵和條件熵平均互信息量信道和信道容量一般通信系統(tǒng)模型信源編碼器信道譯碼器信宿噪聲源信號信號+干擾干擾消息消息加密通信系統(tǒng)模型信源信源編碼信道編碼信道信道譯碼信源譯碼信宿加密編碼加密譯碼噪聲源什么是自信息量離散隨機變量

X~P(ai)的數(shù)學模型符號ai的自信息量定義為:自信息量是對單個符號不確定性的測度X:a1

a2

…aＮp(a1)p(a2)…p(aＮ)什么是互信息量發(fā)送變量

X~P(ai)，接收變量Y~P(bj)ai和bj的互信息量定義為：后驗概率什么是信息熵離散隨機變量X~P(ai)的信息熵定義為：信息熵是從平均意義上對信息不確定性的測度計算舉例想一想信息熵的計算舉例已知計算X的信息熵如下：X:12p1-p(0≤p≤1)1.p=0.5時,H(X)=-0.5log0.5+(-0.5log0.5)=1bit/信符2.p=0，1-p=1（或p=1，1-p=0）時,H(X)=-0log0+(-1log1)=0bit/信符3.對任意p,H(X)=H(p)=-plogp-(1-p)log(1-p)想一想設(shè)隨機變量X等概率取26個小寫英文字母和空格共27個符號，其信息熵是多少?27·(-1/27)·log(1/27)=3log3信息熵什么時候取最小值?在某個符號概率為1，其余符號概率為0時信息熵什么時候取最大值?在所有符號出現(xiàn)概率項等時什么是聯(lián)合熵X~P(ai)和Y~P(bj)是兩個隨機變量，它們的聯(lián)合熵定義為：聯(lián)合熵是對兩個聯(lián)合信息不確定性的測度什么是條件熵X~P(ai)和Y~P(bj)是兩個隨機變量，在已知Y的條件下關(guān)于X的條件熵定義為:條件熵是在已知某個信息時對另一個信息不確定性的測度什么是平均互信息量設(shè)X~P(ai)、Y~P(bi)是兩個離散隨機變量，它們的平均互信息量定義為：平均互信息量與條件熵和聯(lián)合熵的關(guān)系如下：疑義度噪聲熵聯(lián)合熵想一想平均互信息量與條件熵和聯(lián)合熵的關(guān)系想一想在什么條件下平均互信息量I(X;Y)=0，其通信意義是什么？平均互信息量I(X;Y)可不可能取負值，其通信意義又是什么？什么是信道信道的含義信道的模型和分類信道的含義信道是指通信系統(tǒng)把載荷消息的信號從一個地方傳輸?shù)搅硪粋€地方的媒介常見信道主要有明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等信道除了傳送信號以外，還有存儲信號的作用信道中還存在噪聲源產(chǎn)生的干擾，信道的輸出一般是疊加了干擾的信號信道的特性可以用概率空間來描述信道的模型信道有輸入端和輸出端，輸入端接受物理事件，輸出端則送出受擾的輸入事件：信道矩陣信道傳遞圖信道舉例XYa1a2arb1b2bsP

(Y/X)信道矩陣PY|X→信道矩陣信道傳遞圖(線圖)信道舉例二進制(二元)對稱信道二進制(二元)刪除信道離散無記憶信道二進制(二元)對稱信道這是一種很重要的特殊信道．輸入符號集X：(0，1)輸出符號集Y：(0，1)，這里r＝s＝2．測定的傳遞概率是：(i=1,2)二進制(二元)刪除信道這種信道的輸入符號集X：(0，1)，輸出符號集Y：(0，?，1)，傳遞概率為：離散無記憶信道如果離散信道對任意長為Ｌ的輸入序列X1X２…XL和輸出序列和Y1Y２…YL都滿足：則稱它為離散無記憶信道，簡記為DMC.DMC在任何時刻的輸出只與此時信道的輸入有關(guān)信道分類根據(jù)輸入、輸出和時間的連續(xù)與否：離散信道，連續(xù)信道，半連續(xù)信道，波形信道根據(jù)輸入和輸出的個數(shù)：兩端信道，多端信道根據(jù)統(tǒng)計特性是否變化：固定信道，時變信道根據(jù)有無反饋：反饋和無反饋信道根據(jù)是否對稱：對稱和非對稱信道什么是信道容量信道容量C就是信道的每次應(yīng)用所能傳送的最大平均信息量，也就是最大的平均互信息量,即：單位為bit/符號。信道容量舉例p(aibj)p(aibj)/p(ai)p(bj)信道容量舉例K元對稱信道（KSC）：

K=2時得到二元對稱信道(BSC)無損無噪信道的容量為連續(xù)信道容量的Shannon公式:

其中W為信號帶寬，S為輸入信號功率，N0為信道加性Gaussian白噪聲的單邊功率譜密度。二元對稱信道的容量計算logp(bj/ai)-logp(bj)信息論的三個層次狹義信息論一般信息論廣義信息論狹義信息論香農(nóng)信息論、概率信息論主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。最大貢獻者是香農(nóng)一般信息論主要也是研究信息傳輸和處理問題包括狹義信息論還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計、調(diào)制理論、信息處理理論以及保密理論等。最大貢獻者是維納和柯爾莫哥洛夫廣義信息論不僅包括狹義信息論和一般信息論而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，如模式識別、計算機翻譯、心理學、遺傳學、神經(jīng)生理學、語言學、語義學甚至包括社會學中有關(guān)信息的問題。課后作業(yè)試證明對數(shù)的換底公式：利用信息熵、聯(lián)合熵、條件熵和平均互信息量的定義證明：敘述信道容量的定義，并證明K元對稱信道的容量為試證明:如果信道矩陣為r階單位陣,則信道容量C=logr。課后作業(yè)中的問題1.C=max{p(X)}{I(X,Y)}:沒有