中南大學(xué)信息論實(shí)驗(yàn)報(bào)告

中南大學(xué)信息論與編碼課實(shí)驗(yàn)報(bào)告專(zhuān)業(yè)班級(jí):指導(dǎo)老師：張祖平姓名:學(xué)號(hào):實(shí)驗(yàn)一關(guān)于信源熵的實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康恼莆针x散信源熵的原理和計(jì)算方法。熟悉matlab軟件的基本操作，練習(xí)使用matlab求解信源的信息熵。自學(xué)圖像熵的相關(guān)概念，并應(yīng)用所學(xué)知識(shí)，使用matlab或其他開(kāi)發(fā)工具求解圖像熵。掌握Excel的繪圖功能，使用Excel繪制散點(diǎn)圖、直方圖。二、實(shí)驗(yàn)原理離散信源相關(guān)的基本概念、原理和計(jì)算公式產(chǎn)生離散信息的信源稱(chēng)為離散信源。離散信源只能產(chǎn)生有限種符號(hào)。隨機(jī)事件的自信息量I（xi）為其對(duì)應(yīng)的隨機(jī)變量xi出現(xiàn)概率對(duì)數(shù)的負(fù)值。即：I（xi）=-log2p(xi)隨機(jī)事件X的平均不確定度（信源熵）H（X）為離散隨機(jī)變量xi出現(xiàn)概率的數(shù)學(xué)期望，即：信源的信息熵設(shè)信源符號(hào)集X={a1，a2，…，ar}，每個(gè)符號(hào)發(fā)生的概率分別為p(a1)=p1，p(a2)=p2，…，p(ar)，即信源的概率空間為，則該信源的信源熵為：H(X)=-p(a1)logp(a1)–p(a2)logp(a2)–…–p(ar)logp(ar)信道的數(shù)學(xué)模型與相關(guān)熵的計(jì)算單符號(hào)離散無(wú)噪聲無(wú)損信道的信道容量MATLAB二維繪圖用matlab中的命令plot(x,y)就可以自動(dòng)繪制出二維圖來(lái)。例1-2，在matlab上繪制余弦曲線(xiàn)圖，y=cosx，其中0≤x≤2。>>x=0:0.1:2*pi；%生成橫坐標(biāo)向量，使其為0，0.1，0.2，…，6.2>>y=cos(x)；%計(jì)算余弦向量>>plot(x,y)%繪制圖形MATLAB求解離散信源熵求解信息熵過(guò)程：1)輸入一個(gè)離散信源，并檢查該信源是否是完備集。2)根據(jù)H(X)公式，求出離散信源的熵。圖像熵的相關(guān)知識(shí)圖像熵是一種特征的統(tǒng)計(jì)形式，它反映了圖像中平均信息量的多少。圖像的一維熵表示圖像中灰度分布的聚集特征所包含的信息量，令Pi表示圖像中灰度值為i的像素所占的比例，則定義灰度圖像的一元灰度熵為：圖像熵計(jì)算過(guò)程：1)輸入一幅圖像，并將其轉(zhuǎn)換成灰度圖像。2)統(tǒng)計(jì)出圖像中每個(gè)灰度階象素概率。3)計(jì)算出一幅圖像的一維熵。Excel的繪圖功能比如：用Excel或制作二元熵函數(shù)曲線(xiàn)。具體步驟如下：1）啟動(dòng)Excel應(yīng)用程序。2）準(zhǔn)備一組數(shù)據(jù)p。在Excel的一個(gè)工作表的A列（或其它列）輸入一組p，取步長(zhǎng)為0.01，從0至100產(chǎn)生101個(gè)p（利用Excel填充功能）。3）使用Excel的計(jì)算功能，在B列中用二元熵函數(shù)計(jì)算公式，求得A列中各數(shù)值對(duì)應(yīng)的二元熵值。比如：在單元格B2中輸入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。4）使用Excel的圖表向?qū)?，圖表類(lèi)型選“XY散點(diǎn)圖”，子圖表類(lèi)型選“無(wú)數(shù)據(jù)點(diǎn)平滑散點(diǎn)圖”，繪制二元熵函數(shù)散點(diǎn)圖。三、實(shí)驗(yàn)內(nèi)容1、使用matlab軟件繪制信源熵函數(shù)曲線(xiàn)。輸入不少于6個(gè)符號(hào)的信源及其概率(可以界面交互式輸入,也可以以數(shù)據(jù)文件直接輸入)；判斷是否符合完備概率空間，如否則提示重新輸入，如是則計(jì)算每個(gè)符號(hào)的自信量與信源熵（可以直接在界面上顯示，也可以存儲(chǔ)為一個(gè)數(shù)據(jù)文件）；將自信量用線(xiàn)連接，信源熵表示一條直線(xiàn)，即最終圖上將顯示2條線(xiàn)，分別用不同的顏色與標(biāo)簽標(biāo)識(shí)其自信量或信源熵。代碼：a=input('請(qǐng)輸入一組離散的符號(hào)：')p=input('請(qǐng)輸入對(duì)應(yīng)的概率：')La=length(a);Lp=length(p);ifLp~=Ladisp('輸入的概率個(gè)數(shù)與符號(hào)數(shù)不相同,請(qǐng)重新輸入');H1;elsesum=0;forn=1:1:Lpsum=p(n)+sum;endifsum~=1disp('輸入的概率總和不為1,請(qǐng)重新輸入');H1;elseH=0;forn=1:1:LaA(n)=-log2(p(n));H=H-p(n)*log2(p(n));endendn=1:1:La;HX=H;H=H+n-n;plot(n,H,'r',n,A)legend('信源熵','符號(hào)自信量');disp('該離散信息源每個(gè)符號(hào)的自信量分別為')aAdisp('該離散信息源的熵為')HXEnd輸入的符號(hào)為[123456]對(duì)應(yīng)的概率為[0.10.10.10.20.30.2]運(yùn)行結(jié)果：2、使用matlab軟件求解離散單符號(hào)信源的熵與信道相關(guān)熵。在信源空間的基礎(chǔ)上，再輸入轉(zhuǎn)移概率矩陣(可以界面交互式輸入,也可以以數(shù)據(jù)文件直接輸入,Y空間不少于5個(gè)符號(hào))，判斷是否符合概率空間特點(diǎn)(每一行等于1)，如否則提示重新輸入，如是則計(jì)算H(Y)，I(X；Y)，H（X/Y），H（Y/X），H(XY)及考慮此種信道的容量計(jì)算公式及其計(jì)算結(jié)果。將H（X）,H(Y)，I(X；Y)，H（X/Y），H（Y/X），H(XY)用柱狀圖表示出來(lái)。代碼：b=input('請(qǐng)輸入轉(zhuǎn)移矩陣：')F=0;s=size(b);ifs(1)~=Lpdisp('輸入的矩陣行數(shù)與信源符號(hào)個(gè)數(shù)不同，請(qǐng)重新輸入！')H4endforn=1:1:s(1)sum=0;form=1:1:s(2)sum=b(n,m)+sum;endifsum~=1F=1;endendifF==1disp('輸入的轉(zhuǎn)移矩陣不正確，請(qǐng)重新輸入')H4elsedisp('輸入正確')py=p*b;HY=0;forn=1:1:length(py)HY=HY-py(n)*log2(py(n));endI=0;forn=1:1:s(1)form=1:1:s(2)ifb(n,m)==0;Z=0;I=Z+I;elseZ=p(n)*b(n,m)*log2(b(n,m)/py(m));I=Z+I;endendendHXY=HX-I;HYX=HY-I;HXY2=HX+HY-I;disp(['H(Y)=',num2str(HY),'H(X/Y)=',num2str(HXY),'H(Y/X)=',num2str(HYX),'H(XY)=',num2str(HXY2),'I(X;Y)=',num2str(I)])K=[HX,HY,HXY,HYX,HXY2,I];bar(K,0.4,'g')set(gca,'XTickLabel',{'H(X)','H(Y)','H(X/Y)','H(Y/X)','H(XY)','I(X;Y)'})end輸入的轉(zhuǎn)移矩陣：[000001000010000100001000010000100000]運(yùn)行結(jié)果：3、使用matlab軟件計(jì)算圖像一維圖像熵，請(qǐng)自己選擇任意兩幅圖像，根據(jù)求解結(jié)果說(shuō)明其物理意義。代碼：m=imread('C:\Users\Administrator\Desktop\HUA.jpg');m=rgb2gray(m);imshow(m);s=size(m);h=zeros(1,256);fori=1:s(1)forj=1:s(2)h(1,m(i,j)+1)=h(1,m(i,j)+1)+1;endendhp2=h/(s(1)*s(2));hp=hp2;y=ones(1,256)