信息論上機實驗報告參考模板

信息論上機實驗報告信息論上機實驗報告#/17信息論上機實驗報告信息論與編碼實驗報告實驗一：計算離散信源的熵一、 實驗設(shè)備：1、 計算機2、 軟件:Matlab二、 實驗?zāi)康模?、 熟悉離散信源的特點；2、 學(xué)習(xí)仿真離散信源的方法3、 學(xué)習(xí)離散信源平均信息量的計算方法4、 熟悉Matlab編程；三、習(xí)題：甲地天氣預(yù)報構(gòu)成的信源空間為:X

p(x)晴X

p(x)晴12,云14大雨小雨1 18, 8乙地信源空間為:晴78,晴78,求此兩個信源的熵。小雨一18 _求各種天氣的自信息量。代碼：x=[1/2,1/4,1/8,1/8];y=[7/8,1/8];HX二sum(-x.*log2(x))HY二sum(-y.*log2(y))IX=-log2(x)IY=-log2(y)答案：H(X)=1.75; H(Y)=0.54362、 某信息源的符號集由A、B、C、D、E組成，設(shè)每一符號獨立出現(xiàn)，其出現(xiàn)的概率分別為，1/4，1/8，1/8，3/16，5/16,試求該信源符號的平均信息量。代碼：x=[1/4,1/8,1/8,3/16,5/16];HX=sum(-x.*log2(x))答案：H(X)=2.2272bit/符號3、 設(shè)有四個消息分別以概率1/4,1/8,1/8,1/2傳送，每一消息的出現(xiàn)是相互獨立的。試計算其平均信息量。代碼：x=[1/4,1/8,1/8,1/2];HX=sum(-x.*log2(x))答案：H(X)=1.75bit/符號信息論上機實驗報告信息論上機實驗報告設(shè)一個二元信源（只有0和1兩種符號）其概率空間為:_X-_0r_p^-p_編程畫出H與p的關(guān)系，并說明當(dāng)P呈什么分布時，平均信息量達到最大值。(說明:H=-p.*log2(p)-(l-p)-log2(l-p)；)代碼：p=1/1000000:1/1000:1;H=-p.*log2(p)-(1-p).*log2(1-p);plot(p,H)gridonxlabel('p');ylabel('HP');圖：實驗二：驗證熵的可加性與強可加性1.【例2.6】有一離散無記憶信源aaaX1 23—111p(x)L244」驗證二次擴展信源X2的熵等于離散信源X的熵的2倍，即代碼：x=[1/2,1/4,1/4];信息論上機實驗報告信息論上機實驗報告hx=sum(x.*log2(1./x))x2=[1/4,1/16,1/16,1/8,1/8,1/8,1/16,1/8,1/16]hx2二sum(x2.*log2(1./x2))答案：H(X)=1.5; H(X2)€3.02.驗證兩個統(tǒng)計獨立的信源X'驗證:H(XY)=H(X)+H(Y)其中：——aaabbbX1 23Y1 23——111—111p(x)p(y)一一L244」L333」代碼：x=[1/2,1/4,1/4];y=[1/3,1/3,1/3];xy=[1/6,1/6,1/6,1/12,1/12,1/12,1/12,1/12,1/12]hx=sum(x.*log2(1./x))hy=sum(y.*log2(1./y))Hxy=sum(xy.*log2(1./xy))答案：H(X)=1.5, H(Y)=1.585 H(XY)=3.0853、條件熵的計算與熵的強可加性驗證離散二維平穩(wěn)信源，滿足:

H(XX)=H(X)+H(XIX)1 2 1 2 1X

X

p(x)某一離散二維平穩(wěn)信源012=114136,9,4編程計算：聯(lián)合熵H(XX)條件時(X「％)驗證：H(XiXJ"(X「+H(X2I%)代碼：x1=[11/36,4/9,1/4];x2=[11/36,4/9,1/4];b=[1/4,1/18,0;1/18,1/3,1/18;0,1/18,7/36];HXY=0;fori=1:size(b,1)forj=1:size(b,2)ifb(i,j)>0HXY二HXY-b(i,j).*log2(b(i,j));endendendHXYHx1=sum(x1.*log2(1./x1))Hx2=sum(x2.*log2(1./x2))b0=b(1,:);b1=b(2,:);b2=b(3,:);x1x2=[b0./x2;b1./x2;b2./x2];Hx1x2=0;fori=1:size(x1x2,1)forj=1:size(x1x2,2)ifx1x2(i,j)>0Hx1x2=Hx1x2-b(i,j).*log2(x1x2(i,j));endendendHx1x2H(H(X)€1.5426;答案：1H(XX)€2.414412H(XIX)=0.87172 1H(X)+H(XIX)=2.41441 2 1實驗三：離散信道的平均互信息的計算【習(xí)題3.1】設(shè)信源P(x)0.6,0.4通過一干擾信道，接收到符號為，其信道矩陣為:314,4求信源X中事件Xi和X2分別含有的自信息；收到消息七(j,1,2)后，獲得的關(guān)于七('T'2)的信息量；求信源X和輸出變量Y的信息熵；信道疑義度H(X|K)和噪聲熵H(Y京)；接收到消息Y后獲得的平均互信息；代碼：x=[0.6,0.4];p=[5/6,1/6;3/4,1/4];Ix1=log2(L/(x(1,1)))Ix2=log2(1./(x(1,2)))pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)];py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,l)/py(l,l),pxy(:,2)/py(l,2)];I=log2(p./[py;py])Hx=sum(x.*log2(1./x))Hy=sum(py.*log2(1./py))Hx_y=sum(sum(pxy.*log2(L/px_y)))Hy_x=sum(sum(pxy.*log2(L/p)))Ixy二sum(sum(pxy.*log2(p./[py;py])))答案：I(x),0.737 I(x),1.32191 2I(x;y),0.0589,I(x;y),-0.263,1(x;y),-0.0931,I(x;y),0.32191 1 1 2 2 1 2 2H(X),0.971, H(Y),0.7219H(XIY),0.9635 H(YIX),0.7145I(X;Y),0.0074二元信道的互信息與信源分布的關(guān)系有二元信源：€X--01__P(x)_①1—①信息論上機實驗報告信息論上機實驗報告有二元信道，其傳遞矩陣為:P=1-ppP=0.80.2_p1-p_,其中P=°2，即傳遞矩陣0.20.8編程實現(xiàn)下面題目:1）畫出平均互信息1（X；7）隨信源分布①的關(guān)系曲線，并求出最大平均互信息。驗證：信道容量C（最大平均互信息）滿足：C=1—H（P）2)驗證：信道容量C(最大平均互信息)滿足：C=1"H(P)代碼：symsw;x=[w,1-w];p=[0.8,0.2;0.2,0.8];pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)];py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)];Ix_y=sum(sum(pxy.*log2(p./[py;py])));ezplot(w,Ix_y,[0,1,0,1]);xlabel(,變量w');ylabel('平均互信息量I')title('平均互信息量與w的函數(shù)關(guān)系’)gridon;圖：量息信互均平平均互信息量與的函數(shù)關(guān)系變量量息信互均平平均互信息量與的函數(shù)關(guān)系變量實驗四：離散信道及其信道容量、實驗設(shè)備：1、 計算機2、 軟件：Matlab二、 實驗?zāi)康模?、 了解信道傳輸概率的狀態(tài)圖和信道轉(zhuǎn)移概率矩陣特點;2、 了解什么是信道容量和最佳輸入概率分布；3、 列出計算信道容量和平均互信息的計算步驟；4、 熟悉Matlab編程；三、 習(xí)題：計算下面幾類信道的信道容量C：1無損信道一1/21/20000一P-003/53/101/100000001C-log代碼：p1=[1/2,1/2,0,0,0,0;0,0,3/5,3/10,1/10,0;0,0,0,0,0,1];C1二sum(log2(size(p1(:,1))))答案：c=1.5852無噪有損信道10P?1 0 C?logs0 1代碼：p2=[1,0;1,0;0,1];C2=sum(log2(size(p2(1,:))))答案：c=1一1111-33661111_6633_P?3對稱離散信道【例3.6P?C-logs-H(p.??p)1s代碼：p3=[1/3,1/3,1/6,1/6;1/6,1/6,1/3,1/3];C3二sum(log2(size(p3(1,:))))-sum(p3(1,:).*log2(1./p3(1,:)))答案：c=0.08174一般信道，其信道矩陣為:信息論上機實驗報告信息論上機實驗報告求1)其信道容量C,2)最佳輸入分布p(a)代碼：答案：4.C=0.3109, p(a)=(0.1702, 0.3955, 0.4343)beta=-1.9732-1.1610-0.8927pb=0.20530.36050.4342pa=0.17020.39550.4343實驗五：連續(xù)信源的差熵與波形信道的信道容量一、 實驗設(shè)備：1、 計算機2、 軟件:Matlab二、 實驗?zāi)康模?、 熟悉連續(xù)信源的特點；2、 學(xué)習(xí)仿真連續(xù)信源的方法3、 學(xué)習(xí)連續(xù)信源平均信息量的計算方法4、 熟悉Matlab編程；三、 習(xí)題1、設(shè)在平均功率受限高斯加性波形信道中，信道帶寬為3kHz,又設(shè)（信號功率+噪聲功率）/P101g（1+f）=10dB噪聲功率=10dB。（即 P ，其中l(wèi)g是以10為底的對數(shù)）。1） 試計算該信道傳送的最大信息率（單位時間）；2） 若信噪比降為5dB，要達到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？代碼：symsx,a=4;b=8;p=1/（b—a）;f=p*(log2(p)/log2(2));hx=-int(f,x,a,b);hx=double(hx);hx;m=3;o=2;p2=(1/(2*pi*o"2)”(1/2))*exp(-(x-m)"2/(2*o"2));hx2=log2(2*pi*exp(1)*o"2)/2;hx2=double(hx2);p3=exp(-x/4)/4;hx3=log2(4*exp(1));p4=exp(-abs(x)/4)/8;hx4=log2(4*2*exp(1));hxhx2hx3hx4W=3000;C=W*log2(10);Rt=C/1W2=Rt/log2(1+10”(5/10))答案：最大信息傳輸率R=9965.784(bit/s)帶寬應(yīng)為：W=4.8439e+003實驗六：無失真信源編碼與保真度準則下的信源編碼一、 實驗設(shè)備：1、 計算機2、 軟件：Matlab二、 實驗?zāi)康模?、 理解無失真信源編碼與保真度準則下的信源編碼的物理意義;2、 理解無失真信源編碼與保真度準則下的信源編碼的區(qū)別；3、 熟悉Matlab編程；三、 習(xí)題：1、（習(xí)題5.4）1、（習(xí)題5.4）若有一信源,s1455丄每秒鐘發(fā)出2.66個信源符號將此信源的輸出符號送入某一個二元信道中進行傳輸（假設(shè)信道是無噪無損的），而信道每秒鐘只傳遞兩個二元符號。試問信源不通過編碼能否直接與信道連接？若通過適當(dāng)編碼能否在此信道中進行無失真?zhèn)鬏?？若能連接，試說明如何編碼并說明原因。代碼：Ps=[4/5,1/5];Is=sum(log2(1./Ps))C=log2(2);=1111=1111…4 4 4 4」，接收符號為1一11，求Dmax和Dmin。0供參考!最好找專業(yè)人士起草或?qū)徍薎x=2*C答案：Is=2.6439Ix=2TOC\o"1-5"\h\zs-i€0, 1, 2, 32、(習(xí)題7.1)一個四元對稱信源一0 1 1卩?{0'1'2,3}，其失真矩陣為