信息論課程論文

PAGEPAGE13摘要：信息是自從人類(lèi)出現(xiàn)以來(lái)就存在于這個(gè)世界上了，天地萬(wàn)物，飛禽走獸，以及人類(lèi)的生存方式都離不開(kāi)信息的產(chǎn)生和傳播。人類(lèi)每時(shí)每刻都在不停的接受信息，傳播信息，以及利用信息。從原來(lái)的西漢時(shí)期的造紙，到近代西方的印刷術(shù)，以及現(xiàn)在的計(jì)算機(jī)，信息技術(shù)在人類(lèi)歷史的進(jìn)程當(dāng)中隨著生產(chǎn)力的進(jìn)步而發(fā)展。而信息理論的提出卻遠(yuǎn)遠(yuǎn)落后于信息的出現(xiàn)，它是在近代才被提出來(lái)而形成一套完整的理論體系。信息論的主要基本理論包括：信息的定義和度量；各類(lèi)離散信源和連續(xù)信源的信息熵；有記憶、無(wú)記憶離散和連續(xù)信道的信道容量；無(wú)失真信源編碼定理。關(guān)鍵字：平均自信息信道容量信源編碼霍夫曼碼Abstract：Sincethehumanbeingcomeout,theinformationhasbeenexistenceintheworld.Theuniverse,birdsandbeasts,andthelivestyleofthemankindallcan’tliveoutoftheproductionandtransmissionoftheinformation.Thehumanbeingreceivesthemassage,transmitstheinformationandusestheinformationallthetime.FromthepapermakingintheWesternHanDynastytotheprintingofthewest,andthecomputernow,theinformationtechnologyinhumanhistorydevelopedwiththeproductiveforces.ButInformationTheory’sappearanceisfarbehindtheemergenceoftheinformation.Itisraisedinmoderntimesandformedacompletetheoreticalsystem.Themainbasictheoryofinformationincludes:thedefinitionandmeasurementofinformation;theallkindsofdiscreteandcontinuoussourceofinformationentropy;channelcapacityofmemorial,memoryofdiscreteandcontinuouschannels;losslesssourcecodingtheorem.Keyword:Theaverageself-informationChannelcapacitySourceCodingHuffmancode

目錄一．緒論 3二．信息的度量 4三．平均互信息 6四．連續(xù)信道 9五．無(wú)失真信源編碼 10六．結(jié)束語(yǔ) 12參考文獻(xiàn) 13

香農(nóng)信息論的基本理論探究一．緒論信息論的理論定義是由當(dāng)代偉大的數(shù)學(xué)家美國(guó)貝爾實(shí)驗(yàn)室杰出的科學(xué)家香農(nóng)在他1948年的著名論文《通信的數(shù)學(xué)理論》所定義的，它為信息論奠定了理論基礎(chǔ)。后來(lái)其他科學(xué)家，如哈特萊、維納、朗格等人又對(duì)信息理論作出了更加深入的探討。使得信息論到現(xiàn)在形成了一套比較完整的理論體系。信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來(lái)考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。香農(nóng)被稱(chēng)為是“信息論之父”。人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報(bào)》上的論文《AMathematicalTheoryofCommunication》（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開(kāi)端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。信息不同于消息、信號(hào)、情報(bào)、知識(shí)等概念。信息論所包含的含義比其他幾種理論概念更加廣泛，更具有概括性。情報(bào)是軍事學(xué)、文獻(xiàn)學(xué)方面的術(shù)語(yǔ)。情報(bào)的定義是對(duì)某個(gè)特定的對(duì)象所見(jiàn)、所聞、所理解而產(chǎn)生的知識(shí)，情報(bào)的含義要比“信息”窄得多。消息是用文字、符號(hào)、數(shù)據(jù)、語(yǔ)言、音符、圖片、圖像等能夠被人們感覺(jué)器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主管思維活動(dòng)的狀態(tài)表達(dá)出來(lái)的就成為“消息”。所以信息也不同于消息。香農(nóng)對(duì)信息所作的科學(xué)的定義是在通信系統(tǒng)框架的基礎(chǔ)上產(chǎn)生的。在香農(nóng)看來(lái)，在通信系統(tǒng)的傳輸過(guò)程當(dāng)中，收信者在收到消息以前是不知道消息的具體內(nèi)容的。在收到消息以前，收信者無(wú)法判斷發(fā)送者將會(huì)發(fā)來(lái)描述何種事物運(yùn)動(dòng)狀態(tài)的的具體消息，它也無(wú)法判斷是描述這種狀態(tài)還是那種狀態(tài)。或者，由于干擾的存在，它也不能斷定所得到的消息是否正確和可靠。這樣，收信者存在“不知”，“不確定性”。那么通過(guò)消息的傳遞，收信者知道了消息的具體內(nèi)容，原先的不確定性就部分的或者全部消除了。因此，信息傳輸之后，對(duì)于收信者來(lái)講，減少了很多的不確定性和疑義度。所以，通信過(guò)程是一種消除不確定性的過(guò)程。不確定性的消除，就獲得了信息。如果原先的不確定性全部消除了，就獲得了全部的信息；若消除了部分的不確定性，就獲得了部分的信息；若原來(lái)的不確定性沒(méi)有任何的消除，就沒(méi)有獲得任何信息；所以，香農(nóng)所定義的信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。以下我從信息論的幾個(gè)主要基礎(chǔ)理論來(lái)闡述下信息論。二．信息的度量通過(guò)以上信息的定義的描述，信息這一概念是比較抽象的，它不像通常的長(zhǎng)度，重量等概念，有一個(gè)比較直觀的印象，信息必須要有一個(gè)比較容易用來(lái)分析的度量的數(shù)學(xué)工具。這樣才方便人們能夠更好的認(rèn)識(shí)和理解他，所以，香農(nóng)在他的論文里面，對(duì)信息的度量給出了嚴(yán)格的數(shù)學(xué)定義。在各種通信系統(tǒng)的信源當(dāng)中，離散隨機(jī)信源是一類(lèi)最基本的信源，信源輸出是單個(gè)的符號(hào)的消息，并且消息之間是兩兩互不相容的。假設(shè)有個(gè)一維離散無(wú)記憶信源，它的概率分布函數(shù)決定了他所攜帶的信息。該信源空間中共有q個(gè)符號(hào)，每個(gè)符號(hào)發(fā)生的概率是Pi,那么發(fā)出某個(gè)符號(hào)所攜帶的信息量是-logPi,由于概率是在0和1之間的，使得每一事件的信息量是非負(fù)的。如果該事件發(fā)生的概率是0，或者是1，則表明該事件一定不會(huì)發(fā)生或者一定會(huì)發(fā)生。那么他所攜帶的信息量是0。從理論上講，該事件發(fā)生的概率越小，那么它的不確定性也就越大，它所攜帶的信息量也就越大。該事件發(fā)生的概率越大，它所攜帶的信息量也就越大。這也是人們?yōu)槭裁匆宦?tīng)到一件不可思議的事情發(fā)生了之后，會(huì)感到非常驚訝的原因。對(duì)于通信系統(tǒng)的信源來(lái)說(shuō)，它不會(huì)僅僅只發(fā)出一個(gè)消息，這個(gè)消息發(fā)生的概率也不是1。必然會(huì)有別的可能的情況發(fā)生。那么對(duì)于一個(gè)信源來(lái)講，它所包含的信息量是什么樣子的，我們可以用平均自信息量來(lái)度量，即對(duì)每個(gè)事件各自所攜帶的信息量做一個(gè)加權(quán)平均。即可以得到信源的平均自信息量。信息熵的定義如下：平均自信息量也稱(chēng)為信息熵。信息熵是從平均意義上來(lái)表征信源的總體信息測(cè)度的。對(duì)于某特定的信源，它的信息熵是一個(gè)確定的數(shù)值。不同的信源因?yàn)槠涓怕史植疾煌?，它的熵也不同。信息熵具有一些基本的性質(zhì)，比如，對(duì)稱(chēng)性，確定性，非負(fù)性，擴(kuò)展性，可加性等等。這里面有一個(gè)最大離散熵定理，表明:離散信源情況下，對(duì)于具有q個(gè)符號(hào)的離散信源，只有在q個(gè)信源符號(hào)等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這樣也表明等概率分布信源的平均不確定性為最大。這個(gè)定理為我們后面研究有噪信道編碼定理提供了有力的依據(jù)。離散平穩(wěn)信源是一種非常重要的信源模型。如果不同時(shí)刻信源輸出符號(hào)的概率分布完全相同，則稱(chēng)為一維離散平穩(wěn)信源。一維離散平穩(wěn)信源無(wú)論在什么時(shí)候均按P(X)的概率分布輸出符號(hào)。最簡(jiǎn)單的離散平穩(wěn)信源就是二維離散平穩(wěn)信源。二維離散平穩(wěn)信源就是信源輸出的隨機(jī)序列…，X1,X2,…,Xi，…，滿(mǎn)足其一維和二維概率分布與時(shí)間起點(diǎn)無(wú)關(guān)。二維離散平穩(wěn)信源的聯(lián)合熵 此聯(lián)合熵表明原來(lái)信源X輸出任意一對(duì)可能的消息的共熵，即描述信源X輸出長(zhǎng)度為2的序列的平均不確定性，或者說(shuō)所含有的信息量?？梢杂米鳛槎S離散平穩(wěn)信源X的信息熵的近視值。除了平穩(wěn)離散信源之外，還存在著非平穩(wěn)離散信源。在非平穩(wěn)離散信源中有一類(lèi)特殊的信源。這種信源輸出的符號(hào)序列中符號(hào)之間的依賴(lài)關(guān)系是有限的，這種關(guān)系滿(mǎn)足我們?cè)陔S機(jī)過(guò)程中講到的馬爾可夫鏈的性質(zhì)，因此可用馬爾可夫鏈來(lái)處理。馬爾可夫信源是一種非常重要的非平穩(wěn)離散信源。那么馬爾可夫信源需要滿(mǎn)足一下兩個(gè)條件：（1）某一時(shí)刻信源符號(hào)的輸出只與此刻信源所出的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號(hào)都無(wú)關(guān)。（2）信源某時(shí)刻所處的狀態(tài)由當(dāng)前的輸出符號(hào)和前一時(shí)刻（-1）信源的狀態(tài)唯一決定。馬爾可夫信源的輸出的符號(hào)是非平穩(wěn)的隨機(jī)序列，它們的各維概率分布隨時(shí)間的推移可能會(huì)改變。第時(shí)間信源輸出什么符號(hào)，不但與前一（-1）時(shí)刻信源所處的狀態(tài)和所輸出的符號(hào)有關(guān)，而且一直延續(xù)到與信源初始所處的狀態(tài)和所輸出的符號(hào)有關(guān)。一般馬爾可夫信源的信息熵是其平均符號(hào)熵的極限值，它的表達(dá)式就是：.三．平均互信息前一部分簡(jiǎn)要描述了一下離散信源的主要度量方式?，F(xiàn)在來(lái)討論離散信道及其信道容量。信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息的。我們知道信源輸出的是攜帶著信息的消息。消息必須要轉(zhuǎn)換成能在信道中傳輸或存儲(chǔ)的信號(hào)，然后通過(guò)信道傳送到收信者。并且認(rèn)為噪聲或干擾主要從信道中引入。信道根據(jù)用戶(hù)的多少，可以分為兩端信道，多端信道。根據(jù)信道輸入端和輸出端的關(guān)聯(lián)，可以分為無(wú)反饋信道，反饋信道。根據(jù)信道的參數(shù)與時(shí)間的關(guān)系信道可以分為固定參數(shù)信道，時(shí)變參數(shù)信道。根據(jù)輸入和輸出信號(hào)的統(tǒng)計(jì)特性可以分為離散信道，連續(xù)信道，半離散或半連續(xù)信道和波形信道。為了能夠引入平均互信息量的定義，首先要看一下單符號(hào)離散信道的數(shù)學(xué)模型，在這種信道中，輸出變量和輸入變量的傳遞概率關(guān)系：傳遞概率所表達(dá)的意思是，在信道當(dāng)輸入符號(hào)為，信道的輸出端收到的概率。我們知道，信道輸入信源X的熵是表明接收端收到符號(hào)之前信源的平均不確定性，可以稱(chēng)為先驗(yàn)熵。如果信道中無(wú)干擾噪聲，信道輸出符號(hào)與輸出符號(hào)一一對(duì)應(yīng)，那么，接受到傳送過(guò)來(lái)的符號(hào)就消除了對(duì)發(fā)送符號(hào)的先驗(yàn)不確定性。但是我們實(shí)際的生活中一般信道中有干擾存在，接收到輸出后對(duì)發(fā)送的是什么符號(hào)仍有不確定性。表示在輸出端收到輸出變量Y的符號(hào)后，對(duì)于輸入端的變量X尚存在的平均不確定性。即信道疑義度：這個(gè)信道的疑義度是由于干擾噪聲引起的。前面我們看到了輸出端接收到輸出符號(hào)前關(guān)于變量X的先驗(yàn)熵，以及接收到輸出符號(hào)后關(guān)于輸入變量X的平均不確定性，通過(guò)信道傳輸消除了一定的不確定性，獲得了一定的信息。那么定義單符號(hào)信道的平均互信息量平均互信息是表示了收到輸出Y的前，后關(guān)于X的不確定性的消除量，就是在接到了輸出符號(hào)之后，對(duì)輸入端輸入什么符號(hào)得到了更多的信息。平均互信息量具有一些基本的特征：第一點(diǎn)，非負(fù)性。我們通過(guò)一個(gè)信道獲得的平均信息量不會(huì)是負(fù)值。也就是說(shuō)，觀察一個(gè)信道的輸出，從平均的角度來(lái)看總能消除一些不確定性，接收到一定的信息。除非信道輸入和輸出是統(tǒng)計(jì)獨(dú)立時(shí)，才接收不到任何信息。因?yàn)樵谶@樣的統(tǒng)計(jì)獨(dú)立信道中，傳輸?shù)男畔⑷繐p失在信道中，以致沒(méi)有任何信息傳輸?shù)浇K端，但也不會(huì)失去已經(jīng)知道了的信息。第二，平均互信息量的大小不大于輸入輸出任一者的信息熵。即從一事件提取關(guān)于另一事件的信息量，最多只有另一事件的信息熵那么多，不會(huì)超過(guò)該事件自身所含有的信息量。第三點(diǎn)是平均互信息的交互性。第四，平均互信息的凸?fàn)钚裕骄バ畔⒅慌c信源的概率分布和信道的傳遞有關(guān)，因此對(duì)于不同信源和不同信道得到的平均互信息是不同的。當(dāng)固定某信道時(shí)，選擇不同的信源與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。而且對(duì)于每一個(gè)固定信道，一定存在有一種信源，是輸出端獲得的信息量為最大。后來(lái)，我們學(xué)習(xí)到信道容量的一般計(jì)算方法。其中最重要的是對(duì)稱(chēng)離散信道的信道容量的計(jì)算。信道矩陣中每一行和每一列分別由同一概率分布集中的元素不同排列組成的，這就是對(duì)稱(chēng)離散信道。計(jì)算對(duì)稱(chēng)離散信道的信道容量公式是：其中，等號(hào)右邊的第一項(xiàng)是輸出符號(hào)的最大信息熵，第二項(xiàng)是信道矩陣分布行矢量的熵函數(shù)。比方說(shuō)，前面提到的，二元對(duì)稱(chēng)信道的信道容量就是除了前面論述到得單符號(hào)離散信道之外，還有獨(dú)立并聯(lián)信道和串聯(lián)信道。一般的獨(dú)立并聯(lián)信道如下：信道1信道2信道1信道2……信道N獨(dú)立并聯(lián)信道的信道容量不大于各個(gè)信道的信道容量之和，只有當(dāng)輸入符號(hào)相互獨(dú)立，且輸入符號(hào)的概率分布達(dá)到各信道容量的最佳輸入分布時(shí)，獨(dú)立并聯(lián)信道的信道容量才等于個(gè)信道容量之和。串聯(lián)信道是一種比較常見(jiàn)的信道模型，比如微波中繼竭力通信就是一種串聯(lián)信道，還有，在信道輸出端對(duì)接受到的信號(hào)或數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶幚?，這種處理稱(chēng)為數(shù)據(jù)處理。數(shù)據(jù)處理系統(tǒng)一般可以單程是一種信道，它和前面?zhèn)鬏敂?shù)據(jù)的信道是串接的關(guān)系。串聯(lián)信道中X、Y、Z有如下關(guān)系：對(duì)于串接信道X、Y、Z有當(dāng)且僅當(dāng)P(z|xy)=P(z|y)時(shí)，等式成立。串聯(lián)信道的信道容量與串接的信道數(shù)有關(guān)，串接的無(wú)源數(shù)據(jù)處理信道越多，其信道容量可能會(huì)越小，當(dāng)串接信道數(shù)無(wú)限大時(shí)，信道容量就有可能接近零。四．連續(xù)信道前面講到的離散信道其輸出的消息是屬于時(shí)間離散、取值有限或可數(shù)的隨機(jī)序列，其統(tǒng)計(jì)特性可以用聯(lián)合概率分布來(lái)描述。但是語(yǔ)音信號(hào)，電視信號(hào)都是連續(xù)波形信號(hào)。在某一固定的時(shí)刻，這樣的可能輸出即是連續(xù)的又是隨機(jī)的，我們稱(chēng)之為隨機(jī)波形信源。它是用隨機(jī)過(guò)程描述輸出消息的信源。用連續(xù)隨機(jī)變量描述輸出消息的信源就是連續(xù)信源。連續(xù)信源的熵的表達(dá)式如下：我們可以看到，連續(xù)信源的熵的定義與離散信源熵的定義方式一樣，只不過(guò)離散情況下是每個(gè)信源符號(hào)的信息量的加權(quán)平均，而連續(xù)信源的熵也是某一時(shí)刻信源輸出為某值的期望值。連續(xù)信源也可以稱(chēng)之為差熵。接下來(lái)由兩種特殊連續(xù)信源的差熵需要計(jì)算。均勻分布連續(xù)信源的熵值，和高斯信源的熵值。連續(xù)信源的差熵具有以下的一些基本性質(zhì)：可加性，上凸性，可負(fù)性，變換性，極值性。在不同的情況下，連續(xù)信源中的差熵具有極大值，有下面兩種情況下連續(xù)信道存在最大的差熵：峰值功率受限條件下信源的最大熵。若信源輸出的幅度被限定在區(qū)域內(nèi)，則當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，這個(gè)時(shí)候信源具有最大熵，為。平均功率受限條件下信源的最大熵。若一個(gè)連續(xù)信源輸出的平均功率被限定為P，那么其輸出信號(hào)幅度的概率密度分布時(shí)高斯分布時(shí)，信源有最大的熵，為。也就是說(shuō)，當(dāng)連續(xù)信源輸出信號(hào)的平均功率受限時(shí)，只有信號(hào)的統(tǒng)計(jì)特性與高斯噪聲統(tǒng)計(jì)特性一樣時(shí)，才會(huì)有最大的熵值。和離散信道一樣，對(duì)于固定的連續(xù)信道和波形信道都有一個(gè)最大的信息傳輸率，稱(chēng)之為信道容量。它是信道可靠傳輸?shù)淖畲笮畔鬏斅?。?duì)于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道帶寬及對(duì)信號(hào)的各種限制不同，所以具有不同的信道容量。我們先來(lái)討論單符號(hào)高斯加性信道的信道容量，單符號(hào)高斯加性信道是指信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是一維高斯加性噪聲。它的信道容量表達(dá)式為：其中，是輸入信號(hào)X的平均功率，是高斯噪聲的平均功率。只有當(dāng)信道的輸入信號(hào)是均值為零，平均功率為高斯分布的隨機(jī)變量時(shí)。信息傳輸率才能達(dá)到這個(gè)最大值。注水定理是對(duì)于多維無(wú)記憶高斯加性連續(xù)信道的個(gè)信道功率分配問(wèn)題而提出來(lái)的，對(duì)于多維的情況，因?yàn)檩斎氲氖瞧椒€(wěn)隨機(jī)序列，輸出的也是平穩(wěn)隨機(jī)序列，我們可以將它等價(jià)為N個(gè)獨(dú)立并聯(lián)加性信道。假如各單元時(shí)刻上的噪聲仍是均值為零，方差為不同的的高斯噪聲，單輸入信號(hào)的總體平均功率受限，此時(shí)我們可以使用拉格朗日乘子法萊確定平均功率的分配。當(dāng)N個(gè)獨(dú)立并聯(lián)的組合高斯加性信道，各分信道的噪聲平均功率不相等時(shí)，為了達(dá)到最大的信息傳輸率，要對(duì)輸入信號(hào)的總能量適當(dāng)?shù)剡M(jìn)行分配。如果該信道分得的平均功率小于次信道的噪聲功率，那么就不能分配能量，使之不傳送任何信息；如果信道分得的平均功率要大于信道的噪聲功率，就在這些信道上分配能量，使，這樣得到的信道容量為最大。我們總是希望在噪聲大的信道少傳送或甚至不傳送信息，而在噪聲小的信道多傳送些信息。五．無(wú)失真信源編碼在這一章里面，我們學(xué)習(xí)了信源編碼中需要遵循的幾個(gè)重要定理。1.編碼，是將輸入信源中需要傳遞的符號(hào)用更加適合信道傳輸?shù)拇a符號(hào)序列來(lái)表示。如果要實(shí)現(xiàn)無(wú)失真編碼，必須這種映射是一一對(duì)應(yīng)的、可逆的。這種碼就是唯一可譯碼，唯一可譯碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能被唯一地譯成所對(duì)應(yīng)的信源符號(hào)序列，如果要所編的碼是唯一可譯碼，不但要求編碼時(shí)不同的信源符號(hào)變換成不同的碼字，而且還必須要求任意有限長(zhǎng)的信源序列所對(duì)應(yīng)的碼符號(hào)序列各不相同，也就是要求碼的任意有限長(zhǎng)N次擴(kuò)展碼都是非奇異碼。因?yàn)橹挥腥我庥邢揲L(zhǎng)的信源序列所對(duì)應(yīng)的碼符號(hào)序列各不相同，才能把該碼符號(hào)序列唯一地分割成一個(gè)個(gè)對(duì)應(yīng)的信源符號(hào)，從而實(shí)現(xiàn)唯一的譯碼。若要對(duì)信源S進(jìn)行等長(zhǎng)編碼，則必須滿(mǎn)足信源符號(hào)數(shù)不大于碼元數(shù)的碼長(zhǎng)次方；如果是信源的N次擴(kuò)展進(jìn)行等長(zhǎng)編碼，則必須滿(mǎn)足下面的不等式：.2等長(zhǎng)信源編碼定理一個(gè)熵為H(S)的離散無(wú)記憶信源，若對(duì)信源長(zhǎng)為N的符號(hào)序列進(jìn)行等長(zhǎng)編碼，設(shè)碼字是從個(gè)字母的碼符號(hào)集中，選取個(gè)碼元組成。對(duì)于任意，只要滿(mǎn)足則當(dāng)N足夠大時(shí)，可實(shí)現(xiàn)幾乎無(wú)失真編碼，即譯碼錯(cuò)誤概率能為任意小。反之，若則不可能實(shí)現(xiàn)無(wú)失真編碼，而當(dāng)N足夠大時(shí)，譯碼錯(cuò)誤概率近似等于1.等長(zhǎng)編碼定理告訴我們：只要碼字傳輸?shù)男畔⒘看笥谛旁葱蛄袛y帶的信息量，總可以實(shí)現(xiàn)幾乎無(wú)失真編碼。3.變長(zhǎng)碼變長(zhǎng)碼的產(chǎn)生式在信道容量有限的情況下，希望用較短的碼就可以編出效率很高而且無(wú)失真的碼。變長(zhǎng)碼必須是唯一可譯碼，才能實(shí)現(xiàn)無(wú)失真編碼。在唯一可譯變長(zhǎng)碼中，有一類(lèi)碼，它在譯碼時(shí)無(wú)須參考后續(xù)的碼符號(hào)就能立即做出判斷，譯成對(duì)應(yīng)的信源符號(hào)，它就是即時(shí)碼。即時(shí)碼的充要條件是沒(méi)有任何完整的碼字是其他碼字的前綴。即時(shí)碼可以由樹(shù)圖法來(lái)構(gòu)造。判斷即時(shí)