信息論與編碼實驗指導書

《信息論與編碼》實驗指導書網(wǎng)絡與通信工程學院6月目錄實驗一繪制信源熵函數(shù)曲線 4實驗二哈夫曼編解碼 7實驗三離散信道容量 13實驗一繪制信源熵函數(shù)曲線（2學時）一、實驗目的掌握離散信源熵的原理和計算辦法。熟悉matlab軟件的基本操作，練習應用matlab軟件進行信源熵函數(shù)曲線的繪制。理解信源熵的物理意義，并能從信源熵函數(shù)曲線圖上進行解釋其物理意義。二、實驗原理離散信源有關的基本概念、原理和計算公式產生離散信息的信源稱為離散信源。離散信源只能產生有限種符號。假定X是一種離散隨機變量，即它的取值范疇R={x1，x2，x3，…}是有限或可數(shù)的。設第i個變量xi發(fā)生的概率為pi=P{X=xi}。則：定義一種隨機事件的自信息量I（xi）為其對應的隨機變量xi出現(xiàn)概率對數(shù)的負值。即：I（xi）=-log2p(xi)定義隨機事件X的平均不擬定度H（X）為離散隨機變量xi出現(xiàn)概率的數(shù)學盼望，即：單位為比特/符號或比特/符號序列。平均不擬定度H（X）的定義公式與熱力學中熵的表達形式相似，因此又把平均不擬定度H（X）稱為信源X的信源熵。必須注意一下幾點：某一信源，不管它與否輸出符號，只有這些符號含有某些概率特性，必有信源的熵值；這熵值是在總體平均上才故意義，因而是個擬定值，普通寫成H（X），X是指隨機變量的整體（涉及概率分布）。信息量則只有當信源輸出符號而被接受者收到后，才故意義，這就是給與信息者的信息度量，這值本身也能夠是隨機量，也能夠與接受者的狀況有關。熵是在平均意義上來表征信源的總體特性的，信源熵是表征信源的平均不擬定度，平均自信息量是消除信源不擬定度時所需要的信息的量度，即收到一種信源符號，全部解除了這個符號的不擬定度。或者說獲得這樣大的信息量后，信源不擬定度就被消除了。信源熵和平均自信息量兩者在數(shù)值上相等，但含義不同。當某一符號xi的概率p(xi)為零時，p(xi)logp(xi)在熵公式中無意義，為此規(guī)定這時的p(xi)logp(xi)也為零。當信源X中只含有一種符號x時，必有p(x)=1，此時信源熵H（X）為零。例1-1，設信源符號集X={0，1}，每個符號發(fā)生的概率分別為p(0)=p，p(1)=q，p+q=1，即信源的概率空間為則該二元信源的信源熵為：H(X)=-plogp–qlogq=-plogp–(1-p)log(1-p)即：H(p)=-plogp–(1-p)log(1-p)其中0≤p≤1P=0時，H(0)=0P=1時，H(1)=0MATLAB二維繪圖例對函數(shù)y=f(x)進行繪圖，則用matlab中的命令plot(x,y)就能夠自動繪制出二維圖來。如果打開過圖形窗口，則在近來打開的圖形窗口上繪制此圖；如果未打開圖形窗口，則開一種新的圖形窗口繪圖。例1-2，在matlab上繪制余弦曲線圖，y=cosx，其中0≤x≤2。>>x=0:0.1:2*pi；%生成橫坐標向量，使其為0，0.1，0.2，…，6.2>>y=cos(x)；%計算余弦向量>>plot(x,y)%繪制圖形三、實驗內容用matlab軟件繪制二源信源熵函數(shù)曲線。根據(jù)曲線闡明信源熵的物理意義。四、實驗規(guī)定提前預習實驗，認真閱讀實驗原理以及對應的參考書。認真高效的完畢實驗，實驗中服從實驗室管理人員以及實驗指導老師的管理。認真填寫實驗報告。五、實驗成果：1、程序以下：p=0:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);h(1)=0;h(end)=0;plot(p,h)xlabel('概率p');ylabel('信道容量');2、圖形以下：3、信源熵的物理意義：熵是在平均意義上來表征信源的總體特性的,能夠表征信源的平均不擬定。實驗二哈夫曼編碼（4學時）一、實驗目的掌握哈夫曼編碼的原理及編碼環(huán)節(jié)練習matlab中哈夫曼編碼函數(shù)的調用及通信工具箱的使用二、實驗原理通信的根本問題是如何將信源輸出的信息在接受端的信宿精確或近似的復制出來。為了有效地復制信號，就通過對信源進行編碼，使通信系統(tǒng)與信源的統(tǒng)計特性相匹配。若接受端規(guī)定無失真地精確地復制信源輸出的信息，這樣的信源編碼即為無失真編碼。即使對于一種小的時間段內，持續(xù)信源輸出的信息量也能夠是無限大的，因此對其是無法實現(xiàn)無失真編碼的；而離散信源輸出的信息量卻能夠當作是有限的，因此只有離散信源才可能實現(xiàn)無失真編碼。但凡能載荷一定的信息量，且碼字的平均長度最短，可分離的變長碼的碼字集合都能夠稱為最佳碼。為此必須將概率大的信息符號編以短的碼字，概率小的符號編以長的碼字，使得平均碼字長度最短。變字長編碼的最佳編碼定理：在變字長碼中，對于概率大的信息符號編以短字長的碼；對于概率小的信息符號編以長字長的碼。如果碼字長度嚴格按照符號概率的大小次序排列，則平均碼字長度一定不大于俺任何次序排列方式得到的碼字長度。哈夫曼編碼就是運用了這個定理，講等長分組的信源符號，根據(jù)其概率分布采用不等長編碼。概率大的分組，使用短的碼字編碼；概率小的分組，使用長的碼字編碼。哈夫曼編碼把信源按概率大小次序排列，并設法按逆次序分派碼字的長度。在分派碼字的長度時，首先將出現(xiàn)概率最小的兩個符號相加，合成一種概率；第二步把這個合成的概率當作是一種新組合符號的概率，重復上述做法，直到最后只剩余兩個符號的概率為止。完畢以上概率相加次序排列后，再反過來逐步向邁進行編碼。每一步有兩個分支，各賦予一種二進制碼，能夠對概率大的編為0碼，概率小的編為1碼。反之亦然。哈夫曼編碼的具體環(huán)節(jié)歸納以下：統(tǒng)計n個信源消息符號，得到n個不同概率的信息符號。將這n個信源信息符號按其概率大小依次排序：

p(x1)≥p(x2)≥…≥p(xn)取兩個概率最小的信息符號分別配以0和1兩個碼元，并將這兩個概率相加作為一種新的信息符號的概率，和未分派的信息符號構成新的信息符號序列。將剩余的信息符號，按概率大小重新進行排序。重復環(huán)節(jié)3，將排序后的最后兩個小概論相加，相加和與其它概率再排序。如此重復重復n-2次，最后只剩余兩個概率。從最后一級開始，向前返回得到各個信源符號所對應的碼元序列，即對應的碼字，構成霍夫曼編碼字。編碼結束。哈夫曼編碼產生最佳整數(shù)前綴碼，即沒有一種碼字是另一種碼字的前綴，因此哈夫曼編碼是唯一碼。編碼之后，哈夫曼編碼的平均碼長為：哈夫曼編碼的效率為：例2-1設信源共7個符號消息，其概率以下表所示信源消息符號xix1x2x3x4x5x6x7符號概率P（xi）0.200.190.180.170.150.100.01其編碼過程以下所示：該哈夫曼碼的平均碼長為編碼效率為：三、實驗內容為某一信源進行哈夫曼編碼。該信源的字符集為X={x1,x2,…x6}，對應的概率矢量為：P=(0.30,0.25,0.21,0.10,0.09,0.05)，即X，P的概率空間為：根據(jù)哈夫曼編碼算法對該信源進行哈夫曼編碼。并計算其平均碼長和編碼效率。調用matlab哈夫曼編碼函數(shù)進行哈夫曼編碼，與人工編碼成果做比較。huffmandict函數(shù)：為已知概率分布的信源模型生成哈夫曼編解碼索引表。調用辦法以下：[dict，avglen]=Huffman(symbols,p)[dict，avglen]=huffmandict(symbols,p,N)[dict，avglen]=huffmandict(symbols,p,N,variance)四、實驗規(guī)定提前預習實驗，認真閱讀實驗原理以及對應的參考書。認真高效的完畢實驗，實驗中服從實驗室管理人員以及實驗指導老師的管理。認真填寫實驗報告。五、實驗成果：1、程序以下：clc;symbols=1:6;p=[0.30,0.25,0.21,0.10,0.09,0.05];[dict,avglen]=huffmandict(symbols,p);H=0;fori=1:length(symbols)H=H-p(i).*log2(p(i));end;R=H./avglen;dictavglenR2、成果以下:dict=[1][1x2double][2][1x2double][3][1x2double][4][1x3double][5][1x4double][6][1x4double]avglen=2.3800R=0.9894實驗三離散信道容量（2學時）一、實驗目的掌握離散信道容量的計算。理解離散信道容量的物理意義。練習應用matlab軟件進行二元對稱離散信道容量的函數(shù)曲線的繪制，并從曲線上理解其物理意義。二、實驗原理信道是傳送信息的載體—信號所通過的通道。信息是抽象的，而信道則是具體的。例如二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。研究信道的目的：在通信系統(tǒng)中研究信道，重要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。二元對稱信道BSC（BinarySymmetricChannel）二進制離散信道模型有一種允許輸入值的集合X={0，1}和可能輸出值的集合Y={0，1}，以及一組表達輸入和輸出關系的條件概率（轉移概率）構成。如果信道噪聲和其它干擾造成傳輸?shù)亩M序列發(fā)生統(tǒng)計獨立的差錯，且條件概率對稱，即這種對稱的二進制輸入、二進制輸出信道稱做二元對稱信道（或二進制對稱信道，簡稱BSC信道），以下圖所示：信道容量公式：三、實驗內容BSC信道是DMC信道對稱信道的特例，對于轉移概率為P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matl