信息論期末復(fù)習(xí)課件

信息論期末復(fù)習(xí)幽默來自智慧，惡語來自無能信息論期末復(fù)習(xí)幽默來自智慧，惡語來自無能1信息論期末復(fù)習(xí)●●●●●●●●●●●●●●●●●●●●●●●●●信息論期末復(fù)習(xí)2●●●●●第一章概述●0●0●0●0●信息論的創(chuàng)始人:美國科學(xué)家香農(nóng)1948年發(fā)表“通信的數(shù)學(xué)理論”,標(biāo)志著信息論的誕生信息論是人們?cè)陂L期通信工程的實(shí)踐中,由通信技術(shù)與概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐漸發(fā)展起來的一門學(xué)科。通常人們公認(rèn)信息論的奠基人是當(dāng)代偉大的數(shù)學(xué)家、美國貝爾實(shí)驗(yàn)室杰出的科學(xué)家香農(nóng)C.E.Shannon),他在1948年發(fā)表了著名的論文<<通信的數(shù)學(xué)理論》>,為信息論奠定了理論基礎(chǔ)?！瘛瘛?●信息的概念●●●●●●0●01.信息、情報(bào)、知識(shí)、消息及信號(hào)間的區(qū)別與聯(lián)系●2.信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。這就是香農(nóng)信息的定義。●3.香農(nóng)信息定義的優(yōu)點(diǎn)首先,它是一個(gè)科學(xué)的定義,有明確的數(shù)學(xué)模型和定量計(jì)算其次,它與日常用語中的信息的含意是一致的再者,它排除了對(duì)信息一詞某些主觀上的含義香農(nóng)信息定義的缺陷4.首先,只考慮概率引發(fā)的不確定性其次,這個(gè)定義和度量沒有考慮收信者的主觀特性和主觀意義,信息的具體含意、具體用途、重要程度和引起后果等因素。而信息是有很強(qiáng)的主觀性和實(shí)用性的●信息的概念4●信息論的研究對(duì)象●●●命●信源編碼器信道譯碼器信宿消息信號(hào)消息天擾信號(hào)+干擾噪聲源圖1.3通信系統(tǒng)模型信息論研究的對(duì)象正是這種統(tǒng)一的通信系統(tǒng)模型,這個(gè)模型主要分成五部分:信息源(簡稱信源);編碼器;信道:譯碼器;信宿●信息論的研究目的信息論研究的目的就是要找到信息傳輸過程的共同規(guī)律,以提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性,使信息傳輸系統(tǒng)達(dá)到最優(yōu)化?！裥畔⒄摰难芯繉?duì)象5信息的一些重要性質(zhì)●●●●●●0●0●●存在的普遍性可壓縮性0●0有序性>可替代性相對(duì)性可擴(kuò)散性D可度量性D>可共享性>可擴(kuò)充性時(shí)效性可存儲(chǔ)、傳輸與攜帶性信息的獨(dú)有性質(zhì)信息的一些重要性質(zhì)6信息論的研究范圍●●●●經(jīng)典信息論(狹義信息論、香農(nóng)信息論)●0●0●0●0主要研究信息的測度、信道容量、信息率失真函數(shù)與這三個(gè)概念相對(duì)應(yīng)的香農(nóng)三定理以及信源和信道編碼一般信息論主要是研究信息傳輸和處理問題。除了香農(nóng)基本理論之外,還包括噪聲理論、信號(hào)濾波和預(yù)測、統(tǒng)計(jì)檢測與估計(jì)理論、調(diào)制理論。后一部分內(nèi)容以美國科學(xué)家維納(NWiener)為代表。廣義信息論概括說來,凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng),都能用信息基本理論來研究。信息論的研究范圍7●●●第二章離散信源及其信息測度●●●0●0●0●0●信源的數(shù)學(xué)模型及分類高源:可能軸出的消總是有限成可歌的每『x拋女分物出的幕息性軾量:可能著出的息數(shù)是無的或不可款的,每歡只出一個(gè)潤息2]11[21]:非平肯推述價(jià)源輸出剎息的險(xiǎn)機(jī)學(xué)引x是非平監(jiān)機(jī)一寫細(xì)可夫物出的煎機(jī)序死中各量之間做美關(guān)系。但記長莊有限,并足馬爾可大健的件式[28〔時(shí)空向離離做平哪伯;出的機(jī)到xX萬放的魔機(jī)序列中↓量x1,2.取值是高平健溫推信測驗(yàn)出息的機(jī)的并且機(jī)安量置的各分布不時(shí)輸出的平菌機(jī)序到x中各隨機(jī)變量序判K是平的筐機(jī)乳聞平葶面或變吏定為離放無記憶x的N擴(kuò)限你溫,機(jī)式(29)則為燭平裁箱B的機(jī)x中各驗(yàn)機(jī)變恥之機(jī)(潮罩(腦凱懼抓憮產(chǎn)就平供源:軸出圍前機(jī)序列X(X題信輸幽的消息是時(shí)間〔成空刺中每個(gè)機(jī)變量X,2,“,M攻值基續(xù)為限記憶信源并且機(jī)免量x的各晶率密度函數(shù)不隨時(shí)●●●8自信息1ax)=lg●●●P(a)●●●0●0(a)代表兩種含義當(dāng)事件a,發(fā)生以前,表示事件a發(fā)生的不確定性;當(dāng)事件a,發(fā)生以后,表示事件a所含有(或所提供)的信息量。自信息采用的單位取決于對(duì)數(shù)所選取的底比特奈特哈特●信息熵自信息的數(shù)學(xué)期望為信源的平均自信息量,即H()=ELogP(a,1=∑P(a)logP(a1)信息熵具有以下三種物理含義第一,信息熵H(X)是表示信源輸出后,每個(gè)消息(或符號(hào))所提供的平均信息量第二,信息熵H(X)是表示信源輸出前,信源的平均不確定性第三,用信息熵H(X)來表征變量Y的隨機(jī)性。自信息1ax)=lg9·條件熵H(X/Y)=E(a1/b)●●●●●●0●0●∑∑p(anb,)logp(a1/b)0●0j=1i=1H(Y/X)=EL/(b,ai)∑∑pab)gp(b/a)·聯(lián)合熵H(XY)=∑∑p(ab)(ab)∑∑p(ab/)ogp(ab)·條件熵H(X/Y)=E(a1/b)10信息熵的基本性質(zhì)●●●●●●●0●H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P●0●0H(P是概率矢量P的函數(shù),我們稱H(P為熵函數(shù)具有下列性質(zhì):1.對(duì)稱性H(P1P2…P)=H(P2P3…PB)=…=團(tuán)(P2P…P21)2.確定性H(1,0)=H(1,0,0)=…=H(1,0,…,0)=03.非負(fù)性H(P)=H(2P2;…P)=∑plogp20擴(kuò)展性mH:(12P2…,P-6,)=H2(1,P2;…,P45.可加性(1)=B(X)+H()6.強(qiáng)可加性(X7)=H()+l(信息熵的基本性質(zhì)11信息論期末復(fù)習(xí)課件12信息論期末復(fù)習(xí)課件13信息論期末復(fù)習(xí)課件14信息論期末復(fù)習(xí)課件15信息論期末復(fù)習(xí)課件16信息論期末復(fù)習(xí)課件17信息論期末復(fù)習(xí)課件18信息論期末復(fù)習(xí)課件19信息論期末復(fù)習(xí)課件20信息論期末復(fù)習(xí)課件21信息論期末復(fù)習(xí)課件22信息論期末復(fù)習(xí)課件23信息論期末復(fù)習(xí)課件24信息論期末復(fù)習(xí)課件25信息論期末復(fù)習(xí)課件26信息論期末復(fù)習(xí)課件27信息論期末復(fù)習(xí)課件28信息論期末復(fù)習(xí)課件29信息論期末復(fù)習(xí)課件30信息論期末復(fù)習(xí)課件31信息論期末復(fù)習(xí)課件32信息論期末復(fù)習(xí)課件33信息論期末復(fù)習(xí)課件34信息論期末復(fù)習(xí)課件35信息論期末復(fù)習(xí)課件36信息論期末復(fù)習(xí)課件37信息論期末復(fù)習(xí)課件38信息論期末復(fù)習(xí)課件39信息論期末復(fù)習(xí)課件40信息論期末復(fù)習(xí)課件41信息論期末復(fù)習(xí)課件42信息論期末復(fù)習(xí)課件43信息論期末復(fù)習(xí)課件44信息論期末復(fù)習(xí)課件45信息論期末復(fù)習(xí)課件46信息論期末復(fù)習(xí)課件47信息論期末復(fù)習(xí)課件48信息論期末復(fù)習(xí)課件49信息論期末復(fù)習(xí)課件50信息論期末復(fù)習(xí)課件51信息論期末復(fù)習(xí)課件52信息論期末復(fù)習(xí)課件53信息論期末復(fù)習(xí)課件54信息論期末復(fù)習(xí)課件55信息論期末復(fù)習(xí)課件56信息論期末復(fù)習(xí)課件57信息論期末復(fù)習(xí)課件58信息論期末復(fù)習(xí)課件59信息論期末復(fù)習(xí)課件60信息論期末復(fù)習(xí)課件6131、只有永遠(yuǎn)躺在泥坑里的人，才不會(huì)再掉進(jìn)坑里?！诟駹?/p>

32、希望的燈一旦熄滅，生活剎那間變成了一片黑暗。——普列姆昌德

33、希望是人生的乳母?！撇卟?/p>

34、形成天才的決定因素應(yīng)該是勤奮。——郭沫若

35、學(xué)到很多東西的訣竅，就是一下子不要學(xué)很多?！蹇?1、只有永遠(yuǎn)躺在泥坑里的人，才不會(huì)再掉進(jìn)坑里62信息論期末復(fù)習(xí)幽默來自智慧，惡語來自無能信息論期末復(fù)習(xí)幽默來自智慧，惡語來自無能63信息論期末復(fù)習(xí)●●●●●●●●●●●●●●●●●●●●●●●●●信息論期末復(fù)習(xí)64●●●●●第一章概述●0●0●0●0●信息論的創(chuàng)始人:美國科學(xué)家香農(nóng)1948年發(fā)表“通信的數(shù)學(xué)理論”,標(biāo)志著信息論的誕生信息論是人們?cè)陂L期通信工程的實(shí)踐中,由通信技術(shù)與概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐漸發(fā)展起來的一門學(xué)科。通常人們公認(rèn)信息論的奠基人是當(dāng)代偉大的數(shù)學(xué)家、美國貝爾實(shí)驗(yàn)室杰出的科學(xué)家香農(nóng)C.E.Shannon),他在1948年發(fā)表了著名的論文<<通信的數(shù)學(xué)理論》>,為信息論奠定了理論基礎(chǔ)。●●●65●信息的概念●●●●●●0●01.信息、情報(bào)、知識(shí)、消息及信號(hào)間的區(qū)別與聯(lián)系●2.信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。這就是香農(nóng)信息的定義。●3.香農(nóng)信息定義的優(yōu)點(diǎn)首先,它是一個(gè)科學(xué)的定義,有明確的數(shù)學(xué)模型和定量計(jì)算其次,它與日常用語中的信息的含意是一致的再者,它排除了對(duì)信息一詞某些主觀上的含義香農(nóng)信息定義的缺陷4.首先,只考慮概率引發(fā)的不確定性其次,這個(gè)定義和度量沒有考慮收信者的主觀特性和主觀意義,信息的具體含意、具體用途、重要程度和引起后果等因素。而信息是有很強(qiáng)的主觀性和實(shí)用性的●信息的概念66●信息論的研究對(duì)象●●●命●信源編碼器信道譯碼器信宿消息信號(hào)消息天擾信號(hào)+干擾噪聲源圖1.3通信系統(tǒng)模型信息論研究的對(duì)象正是這種統(tǒng)一的通信系統(tǒng)模型,這個(gè)模型主要分成五部分:信息源(簡稱信源);編碼器;信道:譯碼器;信宿●信息論的研究目的信息論研究的目的就是要找到信息傳輸過程的共同規(guī)律,以提高信息傳輸?shù)目煽啃浴⒂行?、保密性和認(rèn)證性,使信息傳輸系統(tǒng)達(dá)到最優(yōu)化?！裥畔⒄摰难芯繉?duì)象67信息的一些重要性質(zhì)●●●●●●0●0●●存在的普遍性可壓縮性0●0有序性>可替代性相對(duì)性可擴(kuò)散性D可度量性D>可共享性>可擴(kuò)充性時(shí)效性可存儲(chǔ)、傳輸與攜帶性信息的獨(dú)有性質(zhì)信息的一些重要性質(zhì)68信息論的研究范圍●●●●經(jīng)典信息論(狹義信息論、香農(nóng)信息論)●0●0●0●0主要研究信息的測度、信道容量、信息率失真函數(shù)與這三個(gè)概念相對(duì)應(yīng)的香農(nóng)三定理以及信源和信道編碼一般信息論主要是研究信息傳輸和處理問題。除了香農(nóng)基本理論之外,還包括噪聲理論、信號(hào)濾波和預(yù)測、統(tǒng)計(jì)檢測與估計(jì)理論、調(diào)制理論。后一部分內(nèi)容以美國科學(xué)家維納(NWiener)為代表。廣義信息論概括說來,凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng),都能用信息基本理論來研究。信息論的研究范圍69●●●第二章離散信源及其信息測度●●●0●0●0●0●信源的數(shù)學(xué)模型及分類高源:可能軸出的消總是有限成可歌的每『x拋女分物出的幕息性軾量:可能著出的息數(shù)是無的或不可款的,每歡只出一個(gè)潤息2]11[21]:非平肯推述價(jià)源輸出剎息的險(xiǎn)機(jī)學(xué)引x是非平監(jiān)機(jī)一寫細(xì)可夫物出的煎機(jī)序死中各量之間做美關(guān)系。但記長莊有限,并足馬爾可大健的件式[28〔時(shí)空向離離做平哪伯;出的機(jī)到xX萬放的魔機(jī)序列中↓量x1,2.取值是高平健溫推信測驗(yàn)出息的機(jī)的并且機(jī)安量置的各分布不時(shí)輸出的平菌機(jī)序到x中各隨機(jī)變量序判K是平的筐機(jī)乳聞平葶面或變吏定為離放無記憶x的N擴(kuò)限你溫,機(jī)式(29)則為燭平裁箱B的機(jī)x中各驗(yàn)機(jī)變恥之機(jī)(潮罩(腦凱懼抓憮產(chǎn)就平供源:軸出圍前機(jī)序列X(X題信輸幽的消息是時(shí)間〔成空刺中每個(gè)機(jī)變量X,2,“,M攻值基續(xù)為限記憶信源并且機(jī)免量x的各晶率密度函數(shù)不隨時(shí)●●●70自信息1ax)=lg●●●P(a)●●●0●0(a)代表兩種含義當(dāng)事件a,發(fā)生以前,表示事件a發(fā)生的不確定性;當(dāng)事件a,發(fā)生以后,表示事件a所含有(或所提供)的信息量。自信息采用的單位取決于對(duì)數(shù)所選取的底比特奈特哈特●信息熵自信息的數(shù)學(xué)期望為信源的平均自信息量,即H()=ELogP(a,1=∑P(a)logP(a1)信息熵具有以下三種物理含義第一,信息熵H(X)是表示信源輸出后,每個(gè)消息(或符號(hào))所提供的平均信息量第二,信息熵H(X)是表示信源輸出前,信源的平均不確定性第三,用信息熵H(X)來表征變量Y的隨機(jī)性。自信息1ax)=lg71·條件熵H(X/Y)=E(a1/b)●●●●●●0●0●∑∑p(anb,)logp(a1/b)0●0j=1i=1H(Y/X)=EL/(b,ai)∑∑pab)gp(b/a)·聯(lián)合熵H(XY)=∑∑p(ab)(ab)∑∑p(ab/)ogp(ab)·條件熵H(X/Y)=E(a1/b)72信息熵的基本性質(zhì)●●●●●●●0●H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P●0●0H(P是概率矢量P的函數(shù),我們稱H(P為熵函數(shù)具有下列性質(zhì):1.對(duì)稱性H(P1P2…P)=H(P2P3…PB)=…=團(tuán)(P2P…P21)2.確定性H(1,0)=H(1,0,0)=…=H(1,0,…,0)=03.非負(fù)性H(P)=H(2P2;…P)=∑plogp20擴(kuò)展性mH:(12P2…,P-6,)=H2(1,P2;…,P45.可加性(1)=B(X)+H()6.強(qiáng)可加性(X7)=H()+l(信息熵的基本性質(zhì)73信息論期末復(fù)習(xí)課件74信息論期末復(fù)習(xí)課件75信息論期末復(fù)習(xí)課件76信息論期末復(fù)習(xí)課件77信息論期末復(fù)習(xí)課件78信息論期末復(fù)習(xí)課件79信息論期末復(fù)習(xí)課件80信息論期末復(fù)習(xí)課件81信息論期末復(fù)習(xí)課件82信息論期末復(fù)習(xí)課件83信息論期末復(fù)習(xí)課件84信息論期末復(fù)習(xí)課件85信息論期末復(fù)習(xí)課件86信息論期末復(fù)習(xí)課件87信息論期末復(fù)習(xí)課件88信息論期末復(fù)習(xí)課件89信息論期末復(fù)習(xí)課件90信息論期末復(fù)習(xí)課件91信息論期末復(fù)