版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、第一章緒論練習題一、填空題信息是事物運動狀態(tài)或存在方式的的描述,不確定性可以用TOC o 1-5 h z概率來表達,因而可以用概率論與隨機過程來描述信源輸出的消息。單符號信源用概率空間來描述,即信源符號的及其O信源的某一種取值概率大,則其不確定性(度);相反,某一種取值概率小,則其不確定性(度)。信源發(fā)出消息,傳輸信息的過程是:發(fā)出消息之前,信源即將發(fā)出什么消息存在不確定性(度),不確定性(度)的大小由消息的概率決定;發(fā)出某個具體消息后,就消除了對應大小的。在這一過程中,從未知到己知,傳遞了信息,信息的大小就是。個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為h信息量,簡稱H信息,其定義為1(兀)=
2、-10笑P(兀)_,白信息量的單位與所用的有關(guān)。這就是香農(nóng)信息的度量規(guī)則。聯(lián)合自信息是聯(lián)合事件發(fā)生時所帶來的信息量;條件自信息量是帶有條件是事件發(fā)生時所帶來的信息量。離散單符號信源爛是信源中各個消息符號(隨機變量各個取值)不確定度(或者自信息量)的數(shù)學期望,代表了信息源的平均不確定度,記作H(X),用數(shù)學式子表達為H(X)=EI(兀)=一工p(耳)logp(xQ。1=1離散信源爛有最大值,其取得最大值的條件是離散信源;離散信源爛一定有最大值的原因是爛函數(shù)是輕o例如,包含11個不同離散消息的信源X的爛H(X)log2n(選填、2、W或者二),當滿足X中條件時,上式取得等號。聯(lián)合爛是聯(lián)合離散符號集
3、合XY上,聯(lián)合消息兀為的聯(lián)合鬥信息量的數(shù)學期望(或者概率統(tǒng)計/加權(quán)平均),在數(shù)學上表達為nntnmH(XY)=工工p(兀yjl(%yj=-工工p(%yjlogp(兀yj。i=lj=li=lj=l條件爛是聯(lián)合離散符號集合XYJL,條件h信息量的的數(shù)學期望(或者概率統(tǒng)計/加權(quán)平均),在數(shù)學上表達為Ximnmh(x/y)=Pyja/yj=p(兀yjogp(/y3)i=lj=li=lj=l平均符號爛是離散平穩(wěn)信源輸出N長的信源符號序列中平均每個信源符號所攜帶的信息量稱為平均符號爛,記為Hn(X),數(shù)學上表達為HN(x)=A7H(x1x2.xN)。相關(guān)長度為L的一般有記憶序列信源的爛為h(x1x2.xl
4、)=h(x1)+h(x2/x1)+h(x3/x1x2)+.+h(xl/x1x2.xl_1),特別,當相關(guān)長度為2時H(XXJ=H(XJ+H(xyxj,當序列信源為N次擴展信源時其爛值為H(Xn)=NH(X)o極限爛一若離散平穩(wěn)信源序列長度N趨丁無窮時,平均符號爛的極限存在,則稱此極限為離散平穩(wěn)信源的極限爛(也稱爛率),記為Hg(X),在數(shù)學上表達為Hg(X)=limHn(X)=limH(務冬.吝)N-coNt8NM階馬爾科夫信源信源的剩余度(冗余度)任何離散信源只耍它的消息符號等概條件,其信源爛達到最大值H。,即理想信源每個消息符號平均承載的信息量的最大能力為H.;實際信源由丁信源消息符號概率
5、分布不均等或者前后發(fā)出消息的相互關(guān)聯(lián),從而使實際爛值H/卜T-Ho,即實際承載的信息量小于其最大能力H.。丁是,實際信源消息符號承載信息的能力有剩余,此即信源的剩余度(冗余度),在數(shù)學上表達為/=1-7=1-。連續(xù)信源的絕對爛為無窮大,但相對嫡為有限值,在數(shù)學上表達為Hc(X)=-px(x)logpx(x)(bc,連續(xù)信源相對爛不滿足非負性在實際問題中,常遇到的是爛之間的差,如互信息量,因而常用相對爛代替絕對爛進行研究。與離散信源爛相似也可以定義出連續(xù)信源的相對聯(lián)合爛、相對條件爛等概念。連續(xù)信源最大相對嫡定理:1)峰值功率受限(取值幅度受限)時,均勻分布的連續(xù)信源爛值最大,H(X)=logr(
6、b_a);2)平均功率受限(方差受限)時,高斯分布的信源爛值最大,Hc(X)=-log.2心:23)均值受限時,指數(shù)分布的信源爛值最大,H,X)=lo%me連續(xù)信源的絕對爛為無窮大,因此用任何離散消息符號去對連續(xù)信源進行編碼時必然存在部分信息丟失(失真),而只能實現(xiàn)限失真編碼。爛功率與q(x)分布的實際信源爛值相等的高斯分布信源的實際平均功率的限定值。互信息是信道輸出端接收到消息符號y后,從消息符號y獲得的關(guān)于輸入端發(fā)出某個消息符號x的信息量,記為I(x;y),在數(shù)學上表達為i(;yj=log=i(兀)-1(莓/比)?;バ畔⒕哂袑ΨQ性。平均互信息是互信息在對應聯(lián)合概率空間上的數(shù)學期望(概率統(tǒng)計
7、平均/概率加權(quán)平均),也具有對稱性I(X;Y)=I(Y;X),有三種表達形式:1)I(X;Y)=H(X)-H(X/Y);2)I(Y;X)=H(Y)-H(Y/X):3)I(X;Y)=H(X)+H(Y)-H(XY)o平均互信息l(x;Y)=fPypiog,啤孚是信源概率分布P(兀)1=1j=iP(Yj)的上凸函數(shù),即在定義域內(nèi)有最大值存在;平均互信息是信道傳遞概率分布P(y/x)的下凸函數(shù),即在定義域內(nèi)有最小值存在。二、選擇題TOC o 1-5 h z關(guān)于h信息量和離散信源爛的下列說法正確的是()白信息量20,離散信源爛20;B.h信息量W0,離散信源爛W0;C.白信息量$0,離散信源爛WO;D.
8、h信息量W0,離散信源爛20;關(guān)于連續(xù)信源絕對爛和相對源爛的下列說法正確的是()A.絕對爛20,相對源爛必定$0;B.絕對爛W0,相對源爛必定W0;C.絕對爛$0,相對源爛不一定WO;D.絕對爛W0,相對源爛不一定$0關(guān)于互信息和平均互信息的下列說法正確的是()A.互信息取值20,但平均互信息WO;B.互信息W0,但平均互信息W0;C.互信息可正可負,但平均互信息20;D.互信息W0,但平均互信息20;下列選項中()能建立信源的概率空間各事件互不包含,且的概率滿足00時,hix0的關(guān)系,并注意logx=lnxloge,得np(ax)H(X)-logn述P(aJ1=11loge=npQJf丄一f
9、P(6)】oge=1=1n1=1條件爛不大丁無條件爛即H(X/Y)H(X)證明:H(X/Y)=-工工p(y3)P(兀|為)log2p(兀IX)丄j=-工p(yj工p(Ix)嗨2p(%IyjTOC o 1-5 h zji8=limH(XXoX”_Xh)N-aN=lim丄NH(X)=H(X)=0.971bit/symbolNT8NH(X4)=4H(X)=-4x(0.41og0.4+0.61og0.6)=3.884bit/symbolX的所有符號:000000010010001101000101011001111000100110101011110011011110mi馬爾科夫信源問題見PPT例題和
10、習題每幀電視圖像可以認為是由3X105個像素組成的,所有像素均是獨立變化,且每像素乂取128個不同的亮度電平,并設(shè)亮度電平是等概出現(xiàn),問每幀圖像含有多少信息量?若有一個廣播員,在約10000個漢字中選出1000個漢字來口述此電視圖像,試問廣播員描述此圖像所廣播的信息量是多少(假設(shè)漢字字匯是等概率分布,并彼此無依賴)?若要恰當?shù)拿枋龃藞D像,廣播員在口述中至少需耍多少漢字?解:1)H(X)=logn=logl28=7bit/symbolH(Xn)=NH(X)=3x105x7=2.1X106bit/symbol2)H(X)=logn=logl0000=13.288bit/symbolH(Xn)=NH
11、(X)=1000 x13.288=13288bit/symbol3)=158037H(Xn)_2.1X106H(X)13.288設(shè)有一連續(xù)隨機變量,其概率密度函數(shù)P(x)=bx20 x0)的爛HcCO;試求Y=2X的爛HcCO。解:1)Hc(X)=-匚f(x)logf(x)dx=一f(x)logbx2dx=_logbff(x)dx-If(x)logx2dxJRJR=-logb-2bx2logxdxi2baa3=-logblog9e/、bx/ba3,T%(x)=,Fx(a)=1a3.HC(X)=-logblog一bit/symbole2)vOx0y-AaAya+AFY(y)=P(Yy)=P(X+Ay)=P(Xy-=Jabx-ctx=-(y-f(y)=F(y)=b(y-刃2Hc(y)=-Jrf(刃嗨f(y)dy=-JRf(y)logb(y-A)2dy=-logb-Jrf(y)dy-Jrf(y)log(y-A)2dy=-logb-2bjR(y-A)2log(y-刃d(y-A)=-logb-3logbit/symbol9eFv(y)=?(y-Q3,FyG+a)=-=ia/.H(Y)=-logblogbit/symbolev0 xa0fa/.0y2aFY(y)=P(Yy)=P(2Xy)=P(X)Zrf(y)=F,(y)=y2oHc(Y)=-|rf(y)logf(y)dy=
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 出納的實習報告范文十篇
- 六年級周記300字左右有趣的事
- 財務試用期轉(zhuǎn)正自我鑒定5篇
- 重慶市頂級名校2025屆高三上學期11月期中考試物理試題含答案
- 二年級教學工作計劃
- 出納員的工作總結(jié)5篇
- 房產(chǎn)銷售個人工作總結(jié)報告
- 銀行客戶經(jīng)理年終工作總結(jié)
- 大學大一軍訓心得體會
- 河北xx城鎮(zhèn)老舊小區(qū)改造項目可行性研究報告
- 廣西壯族自治區(qū)桂林市2023-2024學年七年級上學期期末數(shù)學試題(無答案)
- 鋰電池行業(yè)2024年工廠管理鋰電池生產(chǎn)工藝優(yōu)化和產(chǎn)品質(zhì)量監(jiān)控技術(shù)改進方案
- 拆除鋼結(jié)構(gòu)安全施工方案
- 梅花落-唐楊炯
- 國際仲裁和調(diào)解案例分析
- 北京市西城區(qū)五年級數(shù)學(上)期末試卷(含答案)
- 五年級上冊《勞動與技術(shù)》期中期末復習測試卷(附答案)
- 傳播學理論復習資料
- 新視野大學英語(第四版)讀寫教程1(思政智慧版)課件 Unit 6 Winning is not everything Section A
- 商務寫作與外貿(mào)函電-第二版-習題答案
- 大面積腦梗死護理查房
評論
0/150
提交評論