信息論與編碼課程設(shè)計(jì)論文

《信息理論與編碼》課程論文日1 2關(guān)鍵詞 2 32信息的度量 42.1概述 42.2離散信源及其信息度量 42.2.1離散隨機(jī)信源的自信息與信息熵 42.2.2離散平穩(wěn)信源 52.2.3馬爾可夫信源 63離散信道 63.1概述 63.2平均互信息 73.3離散信道的信道容量 74連續(xù)信道 75無失真信源編碼 85.1信源編碼到無失真編碼的概述 85.2定長編碼 95.3變長編碼 95.3.1概述 95.3.2香農(nóng)編碼 5.3.3費(fèi)諾編碼 5.3.4霍夫曼編碼 6本次課程論文總結(jié) 參考文獻(xiàn) 2信息論的基本理論探究信息是從人類出現(xiàn)以來就存在于這個(gè)世界上，人類社會(huì)的生存和發(fā)展都離不開信息的獲取、傳遞、處理、再生、控制和處理。而信息論正是一門把信息作為研究對象，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論、隨即過程和數(shù)理統(tǒng)計(jì)等方法來研究信息的存儲(chǔ)、傳輸、處理、控制、和利用等一般規(guī)律的學(xué)科。主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。在信息論的指導(dǎo)下，信息技術(shù)得到飛速發(fā)展，這使得信息論滲透到自然科學(xué)和社會(huì)科學(xué)的所有領(lǐng)域，并且應(yīng)用與眾多領(lǐng)域：編碼學(xué)、密碼學(xué)與密碼分析、數(shù)據(jù)壓縮、數(shù)據(jù)傳輸、檢測理論、估計(jì)理論等。信息論的主要基本理論包括：信息的定義和度量；各類離散信源和連續(xù)信源的信源熵；有記憶，無記憶離散和連續(xù)信道的信道容量，平均互信息；無失真信源編碼相關(guān)理論。關(guān)鍵詞信息度量；離散和連續(xù)信源；信道容量；平均互信息；信源編碼31前言被稱為“信息論之父”的美國科學(xué)家香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報(bào)》上的論文《AMathematicalTheoryofCommunication》(通信的數(shù)學(xué)理論)作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。他為信息論奠定了理論基礎(chǔ)。后來其他的科學(xué)家做出了更深入的探究，使信息論到現(xiàn)在形成了比較完整的理論體系。信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源-信道隔離定理相互聯(lián)系。信息不同于情報(bào)、知識、消息、信號等概念。信息論所包含的含義比其他幾種理論概念更加廣泛，更具有概括性。情報(bào)的定義是對某個(gè)特定的對象所見、所聞、所理解而產(chǎn)生的知識，情報(bào)的含義要比“信息”窄得多。知識是人們根據(jù)某種目的，從自然界收集得來的數(shù)據(jù)中，整理、概括、提取得到的價(jià)值的、人們所需的信息。消息是用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主管思維活動(dòng)的狀態(tài)表達(dá)出來的就成為“消息”。所以信息不等同于消息，而信號攜帶消息，是消息的運(yùn)載工具，所以信息也不等同于信號。信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述，這就是香濃信息的定義。4下面從信息論的一些基本理論研究。2信息的度量信息這一概念是比較抽象的，它不像通常的長度，重量等概念，有一個(gè)比較直觀的印象，信息必須要有一個(gè)比較容易用來分析的度量的數(shù)學(xué)工具。這樣才方便人們能夠更好的認(rèn)識和理解它。香農(nóng)對信息的度量給出了嚴(yán)格的數(shù)學(xué)定義。2.2離散信源及其信息度量2.2.1離散隨機(jī)信源的自信息與信息熵在通信系統(tǒng)的各種信源中，離散隨機(jī)信源是最基本的一種信源，信源輸出是單個(gè)的符號的消息，并且消息之間是兩兩互不相容的。我們知道，事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)：事件的發(fā)生概率越小，不確定性就越大，事件發(fā)生的概率越大，不確定性就越小，對于發(fā)生概率為1的必然事件就不存在不確定性。設(shè)一離散信源的概率空間為：門|如果知道a,已發(fā)生，則該事件所含有的信息量稱自信息，52.2.2離散平穩(wěn)信源的概率分布完全相同，則稱為一維離散平穩(wěn)信源。二維離散平穩(wěn)信62.2.3馬爾可夫信源(1)某一時(shí)刻信源符號的輸出只與此刻信源所出的狀態(tài)有關(guān)，而與以m階有記憶的離散信源用馬氏鏈來描述就成了m階馬爾可夫源，3.1概述信道中引入。信道根據(jù)用戶的多少，可以分為兩端信道，多端信道。根據(jù)信道輸入端和輸出端的關(guān)聯(lián)，可以分為無反饋信道，反饋信道。74連續(xù)信道和離散信道一樣,對于固定的連續(xù)信道和波形信道都有一個(gè)最大的信息傳輸率,稱之為信道容量。它是信道可靠傳輸?shù)淖畲笮畔?傳輸率。對于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道帶寬及對信號的各種限制不同，所以具有不同的信道容量。我們先來討論單符號高斯加性信道的信道容量,單符號高斯加性信道是指信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量,而加入信5無失真信源編碼5.1信源編碼到無失真編碼的概述為了減少信源輸出符號序列中的剩余度，提高符號的平均信息95.2定長編碼在定長編碼中，K是定值，編碼的目的即為找到最小的K值。要實(shí)現(xiàn)無失真?zhèn)鬏數(shù)男旁淳幋a，不但要求信源符號的碼字是一一對應(yīng)的，而且還要求有碼字組成的符號序列的逆變換也是唯一的。由定長編碼定理可知，當(dāng)編碼器容許的信息率，也就是當(dāng)每個(gè)信源符號必須輸出的碼長是K=K?/logm。由定理表明，只要碼字所能攜帶的信息量大于信源序列輸出的信息量，則可以使傳輸幾乎無失真?zhèn)鬏?，但是條件是L足夠大。這就為傳輸帶來了很大的麻煩，并且實(shí)現(xiàn)起來很困難，并且編碼效率也不高。而要達(dá)到編碼效率接近1的理想編碼器雖有存在性，在實(shí)際上是不可能的，因?yàn)長非常大，無法實(shí)現(xiàn)。由此產(chǎn)生了變長編碼。5.3變長編碼5.3.1概述在變長編碼中，碼長K是變化的，可根據(jù)信源各個(gè)符號的統(tǒng)計(jì)特性，對概率大的符號用短碼，而對概率曉的符號用長碼。這樣大量信源符號編程碼后，平均每個(gè)信源符號所需的輸出符號數(shù)就降低，從而提高編碼效率。用變長編碼來達(dá)到相當(dāng)高的編碼效率，一般所要求的符號長度L可以比定長編碼小得多得多。很明顯，定長編碼需要的信源序列長，這使得碼表很大，且總存在起碼差錯(cuò)。而變長碼要求編碼效率達(dá)到96%時(shí)，需要L=2。因此用變長編碼編碼時(shí)，L不需要很大就可達(dá)到相當(dāng)高的編碼效率，而且可實(shí)現(xiàn)無失真編碼。并且隨著信源序列長度的增加，編碼效率越來越接近于1,編碼后的信息傳輸率R也越來越接近于無噪無損二元對稱信道的信道容量C=1bit/二元碼符號，達(dá)到信源與信道匹配，使信道得到充分利用。5.3.2香農(nóng)編碼香農(nóng)第一定理指出了平均碼長與信源之間的關(guān)系，同時(shí)也指出了可以通過編碼使平均碼長達(dá)到極限值，這是一個(gè)很重要的極限定理。香農(nóng)第一定理指出，每個(gè)碼字的長度Ki滿足下式：I(xi)<Ki<I(xi)+1,就可以得到這種碼。編碼方式如下：首先將信源消息符號按其出現(xiàn)的概率大小依次從大到小排列，為了編成位移可譯碼，計(jì)算第i個(gè)消息的累加概率P=Zp(a),并將累加概率pi變換成二進(jìn)制數(shù)。最后把pi的二進(jìn)制數(shù)的小數(shù)點(diǎn)后Ki位提出，即為該信息符號的二進(jìn)制碼字。由此可見香農(nóng)編碼法剩余度稍大，實(shí)用性不強(qiáng)，但它是依據(jù)編碼定理而來，因此具有重要的理論意義。5.3.3費(fèi)諾編碼費(fèi)諾編碼屬于概率編碼，但不是最佳的編碼方法。在編N進(jìn)制時(shí)首先將信源消息符號按其出現(xiàn)的概率依次由小到大排列開來，并將排列好的信源符號概率值分N大組，使N組的概率之和近似相同，并對各組賦予一個(gè)N進(jìn)制碼元“0”“1”……大組內(nèi)的信源符號做如上處理，即再分為概率和相同的N組，賦予N進(jìn)制碼元。如此重復(fù)，直至每組只剩下一個(gè)信源符號為止。此時(shí)每個(gè)信源符號所對應(yīng)的碼字即為費(fèi)諾碼。針對同一信源，費(fèi)諾碼要比香農(nóng)碼的平均碼長小，傳輸速率大，編碼效率高。5.3.4霍夫曼編碼編碼方法：也是先將信源符號按其出現(xiàn)的概率大小依次排列，并取概率最小的字母分別配以0和1兩個(gè)碼元(先0后1或者先1后0,以后賦值固定),再將這兩個(gè)概率相加作為一個(gè)新字母的概率，與未分配的二進(jìn)制符號的字母重新排隊(duì)。并不斷重復(fù)這一過程，直到最后兩個(gè)符號配以0和1為止。最后從最后一級開始，向前返回得到各個(gè)信源符號所對應(yīng)的碼元序列，即為對應(yīng)的碼字?；舴蚵幋a方式得到的碼并非唯一的。在對信源縮減時(shí)，兩個(gè)概率最小的符號合并后的概率與其他信源符號的概率相同時(shí)，這兩者在縮減中的排序?qū)?huì)導(dǎo)致不同碼字，但不同的排序?qū)?huì)影響碼字的長度，一般講合并的概率放在上面，這樣可獲得較小的碼方差?；舴蚵a的平均碼長最小，消息傳輸效率最大，編碼效率最高。6本次課程論文總結(jié)通過對信息論的學(xué)習(xí)，我們發(fā)現(xiàn)信息論其實(shí)是一門理論性很強(qiáng)的學(xué)科，它涉及到眾多學(xué)科。對于整個(gè)信息論的理論體系的認(rèn)識也有了一個(gè)清晰的思路：首先介紹到的是信息的定義及其本質(zhì)，我收獲最大的是香農(nóng)提出的狹義信息論的條件(非絕對論觀點(diǎn)，形式假說，不確定性)。再而學(xué)習(xí)到了各類信源的熵，信道及信道容量，主要研究的是離散信源和連續(xù)信源。最后是無失真信源編碼，其中包含等長信源編碼和變長信源編碼；主要研究的變長信源編碼。這就差不多構(gòu)成信息論的整個(gè)基本理論結(jié)構(gòu)。在此我也要感謝萬老師的悉心教導(dǎo)，使我更好的掌握了信息論的理論基礎(chǔ)，為以后在通信領(lǐng)域以及其他方面的研究都奠定了堅(jiān)實(shí)的基礎(chǔ)。信息論發(fā)展到今天雖然已經(jīng)做到比較全面，但仍舊存在一些不足，需要我們做更多的探討，所以我會(huì)更加努力的學(xué)習(xí)，培養(yǎng)敢于創(chuàng)新，敢于挑戰(zhàn)，為以后的