信息論課程論文匯總

1、從通信聯(lián)合收發(fā)優(yōu)化剖析香農(nóng)三大定理 -“信息論與編碼 ”課程論文 課程：信息論與編碼 指導(dǎo)老師：王忠 姓名：秦天柱 學(xué)號：2012141441420 摘要 本文立足之點為通信系統(tǒng)的收發(fā)聯(lián)合優(yōu)化，主要根據(jù)一種基于廣義的率失真函數(shù)的信源編碼、信道編碼和差錯隱藏聯(lián)合優(yōu)化的方法對此進行討論。并在此基礎(chǔ)上，對香農(nóng)三大定理進行剖析，分析了香農(nóng)三大定理的內(nèi)在聯(lián)系與通信系統(tǒng)理論構(gòu)建之間的關(guān)系。 1 引言 隨著現(xiàn)代通信技術(shù)的發(fā)展，通信的重要性不言而喻。早在二十世 紀(jì)四十年代初，香農(nóng)提出三大定理，奠定了通信的數(shù)字理論基礎(chǔ)。用戶數(shù)量也隨之增長，傳輸錯誤當(dāng)然也不可避免。自此，容錯恢復(fù)編碼技術(shù)近年來成為無線視頻傳輸研究

2、中的熱點。傳統(tǒng)的方法 3, 4 往往假設(shè)視頻信源是統(tǒng)計平穩(wěn)的， 然后對整個視頻序列建立經(jīng)驗的或理論的率失真模型來進行碼率分配優(yōu)化；并且只考慮信源編碼和信道編碼本身的性能，而沒有考慮差錯隱藏技術(shù)的影響。 本文著重分析了一種針對圖像局部區(qū)域的信源信道編碼以及差錯隱藏特性的廣義的率失真函數(shù). 這種基于局部廣義率失真特性的信源編碼,信道編碼和差錯隱藏的聯(lián)合優(yōu)化(以下簡稱JSCE)有可能取得更好的視頻傳輸效果。并由此將香農(nóng)的三大定理（無失真信源編碼定理、信道編碼定理和限失真信源編碼定理）進行剖析，深入研究其內(nèi)在聯(lián)系和為通信系統(tǒng)的聯(lián)合優(yōu)化提供的理論支撐。 2 通信系統(tǒng)的聯(lián)合優(yōu)化 2.1 廣義的率失真函數(shù)

3、在進行無線視頻傳輸?shù)拇a率優(yōu)化分配時,我們將信源編解碼,信道 編解碼和差錯隱藏聯(lián)合起來進行考慮.失真因素包括信源的量化誤差,信道傳輸錯誤而引起的失真,以及差錯隱藏的增益優(yōu)化的目的, 是在一定的碼流速率和信道條件下,獲得最小的端對端失真. 實現(xiàn)這種聯(lián)合優(yōu)化, 需要獲得每一最小編碼單元在一定的碼率分我們將之定義為廣義, 配方案和信道條件下的端對端的失真期望值的率失真函數(shù), 用D(rs , rc c)表示, 其中rs為信源編碼的碼率, 單位是比特/ 像素(bpp), rc 為信道編碼的效率, c 為信道的狀態(tài)矩陣, 它和所選的信道模型有關(guān).例如,對于加性高斯白噪聲(AWGN)信道, 可以用一個的參數(shù),

4、 即信噪比Eb/ N0 來表征信道狀態(tài).本文中采用均方誤差(MSE)來作為圖像失真的度量, 其表達(dá)式為: 其中M, N 為二維圖像的大小, pn , m和 pn , m為發(fā)送和接收圖像像素的灰度值.廣義率失真函數(shù)D(rs , rc| c), 可由圖像宏塊丟失后經(jīng)差錯隱藏后的失真dL 和量化誤差引起的失真dQ 加權(quán)得到, 如下式: D(rs , rc|c)=Pe(rs , rc|c)dL +(1-Pe(rs , rc|c)dQ(rs) 其中, Pe(rs , rc c)為宏塊的丟失概率, 它和信源信道的碼率分配rs , rc , 以及信道編碼的性能有關(guān).式(2)表明, 在相同的信道和信道編碼條件

5、下, 決定廣義率失真特性的參數(shù)為dQ(rs)和dL .由于量化電平是離散的, 所以dQ(rs)是一組離散的點;同時我們可以認(rèn)為dL 是信源編碼的碼率為0, 但經(jīng)過差錯隱藏之后的失真.進一步, 我們構(gòu)造由歸一化后的不同量化電平下的失真和碼率組成的特征矢量: Vdr = ( d 0 , rs0),( d 1 , rs1), ,( dN , rsN) 其中:di =di/ dmax , rsN=rsi/ rs max , i =0, 1 , , N dmax和rsmax為所允許的最大失真和最大的信源編碼速率 則兩矢量之間的度量可定義為: N( di - d= dr Vdr -Vdr)=dr -d(V

6、dr , V i)2+( rsi - rSi)2) 1/2 根據(jù)上式所定義的廣義率失真函數(shù)和其特征矢量, 就可以獲得對最小視頻編碼單元的信源編碼、信道編碼和差錯隱藏率失真特性的有效描述, 從而可以利用它來進行碼率分配優(yōu)化, 以獲得最小的端對端失真。 2.2 信源編碼、信道編碼和差錯隱藏的聯(lián)合優(yōu)化算法 為降低運算復(fù)雜度, 可以在優(yōu)化前將具有相同廣義率失真特性的 .圖像宏塊合并, 從而使得優(yōu)化單元的數(shù)目控制在可接受的范圍之內(nèi).假設(shè)合并后的區(qū)域控制在N0 以內(nèi), 則合并算法如下: (1)設(shè)定dr-d門限值T 的初始值為T0 . (2)選取一尚未合并的宏塊bi , 并將之合并到新的區(qū)域Rl .如果所有

7、宏塊均已合并, 轉(zhuǎn)入(4). (3)對于尚未合并的宏塊bj , 其率失真矢量為Vdr , 如果對區(qū)域Rl 中的任何一個宏塊bi , 都滿足:dr-d(Vdr , Vdr)N0 , 則將T 增加T, 轉(zhuǎn)入式(2)重新開始. 采用以上算法, 每幀圖像被分割為若干區(qū)域, 而屬于同一區(qū)域的圖像宏塊具有相近的廣義率失真特性, 從而可以采用針對整個圖像序列的碼率優(yōu)化分配可以分解為兩步.首先是對所有的區(qū)域, 在給定: 獲得其最佳的碼率分配方案, 的總碼率下 其中Kl 為該區(qū)域中MDU 的數(shù)目, rs , l , rc, l 滿足: rs , l/ rc , l =rs +c , l rs +c , l是分配

8、給該區(qū)域每一MDU 的總碼率.然后將總碼率在圖像的各區(qū)域上進行優(yōu)化分配, 總碼率滿足: 其中rs+c為信道可以傳輸?shù)目偞a率, K 為總的最小編碼單元的數(shù)目。 針對無線視頻序列的有效和可靠傳輸, 本文提出了一種基于廣義率失真函數(shù)的信源編碼, 信道編碼和差錯隱藏的聯(lián)合優(yōu)化算法.仿真結(jié)果表明, 由于這種廣義率失真函數(shù)綜合反映了圖像每一區(qū)域?qū)α炕娖胶托诺勒`碼的失真敏感程度,因此它可以比傳統(tǒng)的以整幅圖像或以整個圖像序列來進行碼率聯(lián)合優(yōu)化的方法取得更好的效果，對通信系統(tǒng)的收、發(fā)聯(lián)合優(yōu)化有著非常重要的作用。 3 香農(nóng)三大定理 3.1 香農(nóng)第一定理 設(shè)離散無記憶信源X包含N個符號x1,x2,xi,.,xN，

9、信源發(fā) 其中個不同的符號序列消息，Nk則此信源可發(fā)出重符號序列，K出第j個符號序列消息的出現(xiàn)概率為PKj，其信源編碼后所得的二進制 代碼組長度為Bj，代碼組的平均長度B為 B=PK1B1+PK2B2+PNkBNk 當(dāng)K趨于無限大時，B和H(X)之間的關(guān)系為B/K=H(X)(K趨近無窮） 香農(nóng)第一定理又稱為無失真信源編碼定理或變長碼信源編碼定理。 香農(nóng)第一定理的意義：將原始信源符號轉(zhuǎn)化為新的碼符號，使碼符號盡量服從等概分布，從而每個碼符號所攜帶的信息量達(dá)到最大，進而可以用盡量少的碼符號傳輸信源信息。 3.2香農(nóng)第二定理 有噪信道編碼定理。當(dāng)信道的信息傳輸率不超過信道容量時，采用合適的信道編碼方法

10、可以實現(xiàn)任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現(xiàn)可靠的傳輸。 設(shè)某信道有r個輸入符號，s個輸出符號，信道容量為C，當(dāng)信道的信息傳輸率RC，碼長N足夠長時，總可以在 輸入的集合中(含有rN個長度為N的碼符號序列)，找到M （(M=2(N(C-a)，a為任意小的正數(shù))個碼字，分別代表M個等可能性的消息，組成一個碼以及相應(yīng)的譯碼規(guī)則,使信道輸出端的最小平均錯誤譯碼概率Pmin達(dá)到任意小。 公式： ）表示。dB為信噪比，通常用分貝（S/N為信道帶寬；B注： 3.3 香農(nóng)第三定理保真度準(zhǔn)則下的信源編碼定理，或稱有損信源編碼定理。只要碼 使編碼后的信息傳輸率略大于長足夠長，總可以找到

11、一種信源編碼， D0D=0， 和任意小的真函數(shù)，對于任意允許平均失真度，其碼字個數(shù)為W意足夠長的碼長N，則一定存在一種信源編碼 失真度D(W)=D+a。 M=EXPNR(D)+a，而編碼后碼的平均 3.4 香農(nóng)三大定理的內(nèi)在聯(lián)系對于信源來說，都希望把所有的信息毫無保留地傳送到接收端， 就要求信源消息與碼序列一即實現(xiàn)無失真?zhèn)魉?。要做到無失真?zhèn)魉?，只要碼字傳輸?shù)囊粚?yīng)，即每個信源消息可以譯成唯一的一個碼字。無失真編碼總可實現(xiàn)幾乎無失真編碼。信息大于信源攜帶的信息量，以使信息能夠在信道定理實現(xiàn)在信源處對需要發(fā)送的信息進行處理， 較好的傳輸。對于信道來說，信道容量是一個臨界值，只要信息傳輸率不超過若有

12、一離散無記憶平穩(wěn)信道，這個值，信道傳輸就幾乎不會產(chǎn)生失真?？偪梢哉?，只要待傳送的信息率BC,C其容量為，輸入序列長度為L的正Pe小于任意大于0足夠長時，譯碼差錯概率到一種編碼，當(dāng)L 數(shù)。由此可知，信道編碼的作用是保證信息在信道的可靠傳輸。保真度準(zhǔn)則下的信源編碼定理，或稱有損信源編碼定理。只要碼使編碼后的信息傳輸率略大于總可以找到一種信源編碼，長足夠長，率失真函數(shù)，而碼的平均失真度不大于給定的允許失真度。 香農(nóng)三大定律雖然都是理想編碼方式，但三者結(jié)合起來就構(gòu)成了現(xiàn)代信息論的基礎(chǔ)理論，三大理論之間相輔相成，相互聯(lián)系，為現(xiàn)代通信數(shù)字理論的發(fā)展做出了巨大的貢獻。 結(jié)束語 隨著現(xiàn)代數(shù)字通信的發(fā)展，對通信

13、系統(tǒng)的要求越來越高。如何高 質(zhì)量的傳送信息是人們研究的主要問題，香農(nóng)三大定理是其主要理論支撐。正如本文所提到的，信源編碼、信道編碼和差錯隱藏的聯(lián)合優(yōu)化算法為人們提供的新穎的想法，把信源編碼和信道編碼結(jié)合起來實現(xiàn)通信系統(tǒng)的收發(fā)最優(yōu)化！由此可見，香農(nóng)三大定理在通信中發(fā)揮著重要的作用 參考文獻： 1 J Hagenauer.Rate-compatible punctured convolutional codes (RCPC)and their appli cations J .IEEE Trans .Commun ., 1988 , 36(4):389-400 . 2 M Bystrom , et al.Combined source-channel coding sc