信源編碼的基本原理及其應(yīng)用

1、信源編碼的基本原理及其應(yīng)用 課程名稱 通信原理 專 業(yè) 通信工程 班 級 * 學(xué)號 * 學(xué)生姓名 * 論文成績 指導(dǎo)教師 * *信源編碼的基本原理及其應(yīng)用 信息論的理論定義是由當(dāng)代偉大的數(shù)學(xué)家美國貝爾實(shí)驗(yàn)室杰出的科學(xué)家香農(nóng)在他1948 年的著名論文通信的數(shù)學(xué)理論所定義的，它為信息論奠定了理論基礎(chǔ)。后來其他科學(xué)家，如哈特萊、維納、朗格等人又對信息理論作出了更加深入的探討。使得信息論到現(xiàn)在形成了一套比較完整的理論體系。信息通過信道傳輸?shù)叫潘薜倪^程即為通信，通信中的基本問題是如何快速、準(zhǔn)確地傳送信息。要做到既不失真又快速地通信，需要解決兩個問題：一是不失真或允許一定的失真條件下，如何提高信息傳輸速度

2、（如何用盡可能少的符號來傳送信源信息）；二是在信道受到干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大（如何盡可能地提高信息傳輸?shù)目煽啃裕?。這樣就對信源的編碼有了要求，如何通過對信源的編碼來實(shí)現(xiàn)呢？通常對于一個數(shù)字通信系統(tǒng)而言，信源編碼位于從信源到信宿的整個傳輸鏈路中的第一個環(huán)節(jié)，其基本目地就是壓縮信源產(chǎn)生的冗余信息，降低傳遞這些不必要的信息的開銷，從而提高整個傳輸鏈路的有效性。在這個過程中，對冗余信息的界定和處理是信源編碼的核心問題，那么首先需要對這些冗余信息的來源進(jìn)行分析，接下來才能夠根據(jù)這些冗余信息的不同特點(diǎn)設(shè)計(jì)和采取相應(yīng)的壓縮處理技術(shù)進(jìn)行高效的信源編碼。簡言之，信息的冗

3、余來自兩個主要的方面：首先是信源的相關(guān)性和記憶性。這類降低信源相關(guān)性和記憶性編碼的典型例子有預(yù)測編碼、變換編碼等；其次是信宿對信源失真具有一定的容忍程度。這類編碼的直接應(yīng)用有很大一部分是在對模擬信源的量化上，或連續(xù)信源的限失真編碼?？梢园研旁淳幋a看成是在有效性和傳遞性的信息完整性（質(zhì)量）之間的一種折中有段。信源編碼的基本原理： 信息論的創(chuàng)始人香農(nóng)將信源輸出的平均信息量定義為單消息（符號）離散信源的信息熵：香農(nóng)稱信源輸出的一個符號所含的平均信息量為 為信源的信息熵。通信原理中對信源研究的內(nèi)容包括3個方面：(1)信源的建模 信源輸出信號的數(shù)學(xué)描述已有成熟的理論隨機(jī)過程，一般的隨機(jī)過程理論并不涉及和

4、討論信號中所攜帶的信息，而通信原理所關(guān)心的中心內(nèi)容則是信號中攜帶的信息。發(fā)射器發(fā)送1和發(fā)送0的概率是不相等的，因此需要討論發(fā)送1和發(fā)送0的不同概率。(2)信源輸出信號中攜帶信息的效率的計(jì)算 在通信原理中，信源輸出信號所攜帶信息的效率是用熵率或冗余度來表示的。(3)信源輸出信息的有效表示 一般地，信源輸出信號中攜帶信息的效率并不很高，如何用適當(dāng)?shù)男盘栍行У乇硎拘旁摧敵龅男畔⑹侨藗兏信d趣的問題，這就是信源編碼的問題。信源編碼的方式：一、模數(shù)轉(zhuǎn)化：脈沖編碼調(diào)制和增量編碼調(diào)制PCM/DM二、離散無記憶信源編碼DMS，包括有Huffman編碼和等長編碼三、線性預(yù)測編碼LPC，將信源等效地視為在一個適當(dāng)輸

5、入信號激勵下的線性系統(tǒng)輸出。用線性系統(tǒng)的參數(shù)及伴隨的輸入激勵信號進(jìn)行編碼。 一、脈沖編碼調(diào)制1.1低通信號的抽樣定理Nyquist抽樣定理（均勻采樣定理） 一個帶限于（0，fm）Hz內(nèi)的連續(xù)時間信號f(t)，如果以Ts1/2fm秒的時間間隔進(jìn)行抽樣，則f(t)將由得到的抽樣值f(kTt)完全確定。Nyquist抽樣速率：Nyquist最大時間間隔：低通信號的抽樣示意圖： 1.2量化：1.2.1均勻量化 在整個輸入信號的幅度范圍內(nèi)各量化分級間隔相等的量化方式即為均勻量化。其原理圖為： 在滿足信噪比要求的輸入信號取值范圍內(nèi)進(jìn)行均勻量化時，信號動態(tài)范圍將受到較大的限制。因此均勻量化的缺陷十分明顯。1

6、.2.2非均勻量化 為克服均勻量化的缺點(diǎn)，使小信號的量化臺階減小，大信號的量化臺階增大，而形成的量化方式為非均勻量化。即根據(jù)信號的不同區(qū)間確定間隔。（1）方法：壓擴(kuò)處理，在發(fā)送端進(jìn)行壓縮，在接收端進(jìn)行擴(kuò)張。（2）非均勻量化框圖：1.2.3優(yōu)點(diǎn)（1）當(dāng)輸入量化器的信號具有非均勻的概率密度時，非均勻量化器的輸出端可以得到較高的平均信噪比；（2）非均勻量化時，量化噪聲功率的均方根值基本與信號抽樣值成正比，從而改善了小信號的信噪比；可以做到在不增大量化級數(shù)N的條件下，使信號在較寬的動態(tài)范圍內(nèi)的(S/Nq)dB達(dá)到指標(biāo)的要求。 1.3非均勻量化的生活中應(yīng)用：A律13折線壓擴(kuò)技術(shù)（我國現(xiàn)在使用） 目前應(yīng)用

7、較多的是以數(shù)字電路方式實(shí)現(xiàn)的A律特性折線近似。具體實(shí)現(xiàn)：1.對x軸在01(歸一化)范圍內(nèi)以1/2遞減規(guī)律分成8個不均勻段，其分段點(diǎn)是1/2，1/4，1/8，1/16，1/32，1/64和1/128；2.對y軸在01(歸一化)范圍內(nèi)以均勻分段方式分成8個均勻段，其分段點(diǎn)是1/8，2/8，3/8，4/8，5/8，6/8，7/8和1。3.將x軸和y軸對應(yīng)的分段線在x-y平面上的相交點(diǎn)相連接的折線就是有8個線段的折線。1.4DM增量編碼調(diào)制 DM：把過去的信號樣值作為預(yù)測值的單純預(yù)測編碼的方式。40年代提出的，是脈沖編碼的一種特殊形式，是模擬信號數(shù)字化的另一種基本方法。它的編碼設(shè)備比較簡單。二、離散無

8、記憶信源編碼DMS 在DMS編碼中，我們給每個符號賦予一定長度的代碼表示。因此假設(shè)，信源的輸出來自一個由有限個符號組成的集合， 表示符號出現(xiàn)的概率，則：調(diào)整平均數(shù)據(jù)速率。由此可以看出，在賦予一定長度的代碼時，每個符號的二進(jìn)制代碼平均長度最短不應(yīng)小于信源的熵。我們對信源編碼的要求是：不僅要使傳遞編碼序列的信息速率盡量變小，還要從該編碼序列能無失真的恢復(fù)出源信號的輸出符號即能正確的進(jìn)行反變換或者譯碼，稱此信源編碼為無失真離散信源編碼。2.1等長編碼：信源編碼原理圖為：等長編碼又稱為均勻編碼，即不管符號出現(xiàn)的概率如何，每個符號都用N位二進(jìn)制代碼表示。碼長為：編碼效率為：它表示信源的平均每個符號的信息

9、熵 與信源平均每個符號的編碼長度R之比值。 若信源編碼器用不同長度的符號來表示信源的輸出符號，則稱為變長編碼。 變長編碼的思路是根據(jù)信源輸出符號出現(xiàn)概率的不同來選擇碼字，出現(xiàn)概率大的用短碼表示，出現(xiàn)概率小的用長碼，使平均編碼長度最短，因而可提高編碼效率。變長編碼可以無失真編碼，無差錯編碼。使用變長編碼可以達(dá)到相當(dāng)高的編碼效率。一般，變長碼所要求的信源消息序列長度L比等長編碼的小得多。其特點(diǎn)是：1.當(dāng)L為2的整數(shù)次冪且等概出現(xiàn)時，編碼效率為100%；2.當(dāng)符號等概出現(xiàn)，但L不是2的整數(shù)次冪時，編碼效率下降，符號平均信息量與碼長N之間最多可相差1比特；3.L較小時，編碼效率較低，因此，可以采用擴(kuò)展

10、編碼的方法，即將連續(xù)J個符號進(jìn)行統(tǒng)一編碼，則： 取整即：也就是說，每個符號所增加的1比特下降到1/J比特，編碼效率增加。2.2哈夫曼編碼 在信源編碼的變長編碼中哈夫曼編碼（Huffman）是無前綴的變長編碼，它沒有一個碼字是其他碼字的前綴，以確保唯一可以碼。它能夠提供信源熵的編碼序列，其編碼效率高，且能無失真的編譯碼。哈夫曼編碼步驟： （1）將信源消息符號按其出現(xiàn)的概率大小依次排列P1 P2 Pn 。 （2）取兩個概率最小的字母分別配以0和1兩個碼元，并將這兩個概率相 加作為一個新的字母的概率，與未分配的二進(jìn)制符號的字母重新排隊(duì)。（3） 對重排后的兩個概率最小符號重復(fù)步驟（2）的過程。（4）

11、不斷繼續(xù)上述過程，直到最后兩個符號配以0和1為止。（5） 從最后一級開始，向前返回得到各個信源符號所對應(yīng)的碼元序列，即 相應(yīng)的碼字平均編碼效率：哈夫曼編碼的主要特點(diǎn)：1.哈夫曼編碼構(gòu)造的碼字不唯一；2.哈夫曼編碼是變長編碼，硬件實(shí)現(xiàn)比較困難；3.采用哈夫曼編碼，要傳送編碼表，占用傳送時間；4.哈夫曼編碼是變長編碼，出錯時難以識別；哈夫曼編碼方法不唯一，因?yàn)榫幋a時的0和1是任意給的，另外在兩個符號有相同概率時的編碼過程不唯一，造成編碼結(jié)果不同，但平均碼長相同。其次：對信源進(jìn)行縮減時兩個概率最小的符號合并后的概率與其他信源符號的概率相同時，這兩者在縮減信源中進(jìn)行概率排序，其位置放置次序是可以任意的

12、，故會得到不同的哈夫曼碼此時將影響碼字的長度，一般將合并的概率放在上面，這樣可以獲得較小的碼方差。對于多進(jìn)制哈夫曼編碼，為了提高編碼效率，就要使長碼的符號數(shù)量盡量少、概率盡量小，所以信源符號數(shù)最好滿足,其中r為進(jìn)制數(shù)，n為縮減的次數(shù)。例如，要進(jìn)行三進(jìn)制編碼，那么最好信源有7個符號，第1次合并后減少2個成為5個，第2次合并后又減少2個成為3個，這樣給每一步賦予三進(jìn)制符號就沒有浪費(fèi)了。但如果信源只有6個符號時，為了盡量減少最長碼的數(shù)量，則應(yīng)該在第1次合并時添置概率為零的虛擬符號1個，事實(shí)上只合并2個概率最小的符號，后面每次合并三個，就可以使得最長碼的符號數(shù)量最少，也就是長碼的概率最小，從而得到最高

13、的編碼效率。哈夫曼編碼現(xiàn)已廣泛應(yīng)用于各類圖像編碼中，然而應(yīng)用最早、最為有效的則是在傳真編碼中。在傳真編碼中應(yīng)用的是游程編碼，它是一類基于哈夫曼編碼的推廣。 哈夫曼編碼被稱為最優(yōu)的變長信源編碼，但是這一最佳性能是建立在穩(wěn)定、確知的概率統(tǒng)計(jì)特性的基礎(chǔ)上，一旦統(tǒng)計(jì)特性不穩(wěn)定或發(fā)生變化或不完全確知，變長編碼將失去統(tǒng)計(jì)匹配的前提，其性能必然引起惡化，實(shí)際信源往往不可能提供很穩(wěn)定、確知的概率特性，因此人們開始研究比較穩(wěn)健、適應(yīng)性比較強(qiáng)的準(zhǔn)最佳信源編碼。而且哈夫曼編碼仍然存在一些分組碼所具有的缺點(diǎn)。例如概率特性必須得到精確地測定，它若略有變化，還需要換碼表，以及對于二元信源，常需要多個符號合起來編碼，才能取

14、得好的效果，但當(dāng)合并的符號數(shù)不大時，編碼效率提高不多，尤其對于相關(guān)信源，不能令人滿意，而合并的符號數(shù)增大時，碼表中的碼字?jǐn)?shù)很多，設(shè)備將越來越復(fù)雜。 當(dāng)容量設(shè)定后，隨著時間的增長，存儲器溢出和取空的的概率都將增。當(dāng)T 很大時，幾乎一定會溢出或損失；由此可見，對于無線長的信息，很難采用變長碼而不出現(xiàn)錯誤。一般來說，變長碼只適用于有限碼的傳輸；即送出一段信息后，信源就停止輸出，例如傳真機(jī)送出一張紙上的信息后停止。對于長信息在實(shí)際使用時可把長信息分段送出，也可通過檢測存儲器的狀態(tài)調(diào)節(jié)信源輸出即發(fā)現(xiàn)存儲器將要溢出就停止信源輸出；發(fā)現(xiàn)存儲器將要被取空就在信道上插上空閑標(biāo)志，或加快信源輸出。 變長碼可以無失

15、真的譯碼，這是理想情況。如果這種變長碼是由信道輸入的，一個碼子前面有一個碼元錯了，就可能誤認(rèn)為是另一個碼字而斷點(diǎn)，結(jié)果后面一系列的碼字也會譯錯，這常稱為差錯的擴(kuò)散。當(dāng)然也可以采用某些措施，使碼元錯了一段以后，能恢復(fù)正常的碼字分離和譯碼，這一般要求在傳輸過程中差錯很少，或者加糾錯用的監(jiān)督碼位，但是這樣一來又增加了信息率。 此外，當(dāng)信源有記憶時，用單個符號編碼不可能是編碼效率接近于1，因此信息率只能接近一維熵H1，而H一定小于H1 。此時仍需要多個符號一起編碼，才能提高編碼效率。但導(dǎo)致碼表長，存儲器多。三、線性預(yù)測編碼LPC預(yù)測編碼：根據(jù)過去的信號樣值預(yù)測下一個樣值，并僅把預(yù)測值與當(dāng)前樣值之差（預(yù)

16、測誤差）加以量化編碼再傳輸?shù)姆绞健?.1基本思想 用一個階梯波逼近模擬信號，只用一位二進(jìn)制編碼表示抽樣時刻波形的變化趨向。3.2基本原理 首先根據(jù)信號的幅度大小和抽樣頻率(注意抽樣頻率大于等于2fm）去規(guī)定階梯信號的臺階，在抽樣時刻ti把信號f(ti)與前一時刻的階梯波形值進(jìn)行比較，確定該時刻的輸出碼字。經(jīng)過預(yù)測編碼就可以解除信源的相關(guān)性，然后對信源進(jìn)行編碼就不再是記憶的了。 以上就是信源編碼的基本原理了，而在移動通信中的信源編碼又是又是如何呢。其實(shí)，移動通信中的信源編碼與有線通信不同，它不僅需要對信息傳輸有效性進(jìn)行保障，還應(yīng)該與其他一些系統(tǒng)指標(biāo)密切相關(guān)，例如容量、覆蓋和質(zhì)量。以GSM為例說明

17、。以GSM系統(tǒng)中普通的全速率和版速率話音編碼來說，其速率分別為9.6kbps和4.8kbps，前者的話音質(zhì)量好于后者，但占用的系統(tǒng)資源是后者的兩倍左右。當(dāng)系統(tǒng)的覆蓋不是限制因素時，使用半速率編碼可以犧牲質(zhì)量換取倍增的容量，即提高系統(tǒng)的有效性。而當(dāng)系統(tǒng)的容量相對固定時，可以通過使用半速率編碼犧牲質(zhì)量換取覆蓋的增加，因?yàn)榘胨俾示幋a對于接收信號質(zhì)量的要求降低了。除此之外，移動通信中的信源編碼的設(shè)計(jì)和實(shí)現(xiàn)還要考慮其他一些因素。由于移動終端是由電池供電，其運(yùn)算處理能力悠閑，因此信源編碼就要在保證質(zhì)量的前提下盡可能地降低復(fù)雜度。另外考慮到信宿處理能力的差異，編碼后的數(shù)據(jù)流量應(yīng)該也包含不同質(zhì)量的信息，以適應(yīng)

18、不同終端的需求?？紤]到移動通信信道的差錯特性和一些話音、多媒體業(yè)務(wù)的實(shí)時性，這類業(yè)務(wù)通常要求移動通信中的信源編碼能夠容忍一定的差錯而無需復(fù)雜的傳播。2G/3G中的話音信源編碼的基本原理是相同的，都采用了矢量量化和參數(shù)編碼的方式。1. IS-95中的變速率碼激勵線性預(yù)測編碼（CELP） IS-95中的CELP技術(shù)通過四個等級的變速率編碼實(shí)現(xiàn)話音激活，即使用者發(fā)聲時進(jìn)行全速率（9.6kbps）編碼，而不發(fā)聲時僅僅傳遞八分之一（1.2kbps）的背景噪聲，以降低功耗和對其他用戶的干擾。2. GPRS/WCDMA中的自適應(yīng)多速率編碼（AMR） 數(shù)字蜂窩系統(tǒng)自適應(yīng)多碼率語音傳輸解編碼器（Adaptive

19、 MultiRate Speech Codec:AMR）是歐洲電信標(biāo)準(zhǔn)化協(xié)會（ETSI）下屬的SMG11（Special Mobile Group11）制定的語音編解碼標(biāo)準(zhǔn)，提供了一種自適應(yīng)的解決方法來跟蹤快速變化的無線信道情況和本地流量情況。AMR編碼器實(shí)時根據(jù)信道類型（全速率或半速率）選擇多種碼率中的一種，從而達(dá)到語音編碼和信道編碼的最優(yōu)組合以滿足瞬時的無線信道條件和本地容量需求。AMR提供了從4.75kbits/s到12.2kbits/s的多種碼率選擇。AMR憑借其優(yōu)異的性能成為UMTS和ITU第三代系統(tǒng)的語音編碼方案之一。ARM語音編碼器的原理：ARM編碼器由多個固定速率的語音編碼器、

20、信源控制器的速率方式、能夠有效克服傳輸錯誤和丟包的錯誤對消器組成。多速率的語音編碼器是一種單個集成的，它有8個固定的信源速率模式，從4.75kbps 到12.2kbps, 此編碼器能夠根據(jù)命令在每20MS語音幀中改變它的速率.語音仍然是第三代移動通信系統(tǒng)中最重要的業(yè)務(wù)之一，問題在于:如何在優(yōu)化頻譜資源的同時增強(qiáng)靈活性和語音質(zhì)量，尤其是在用戶密集的區(qū)域。一個好的解決方案必須能夠在無噪信道條件下提供最好的質(zhì)量，而且能夠在干擾嚴(yán)重的信道條件下保持較好的質(zhì)量。WCDMA采用的自適應(yīng)多速率（AMR）語音編解碼器，能夠根據(jù)通信信道的改變而動態(tài)地在信源編碼和信道編碼之間調(diào)整比特分配。3. CDMA2000演進(jìn)系統(tǒng)中的可選擇模式語音編碼（SMV）SMV用于CDMA2000演進(jìn)系統(tǒng)中，其基本原理與前述兩種基本相同，它也是可變速率的，從速率等級上看與IS-95中的CELP一樣，有9.6kbps、4.8kbps、2.4kbps、1.2kbps四種，不同的是SMV允許有四種模式供系統(tǒng)側(cè)選擇，即MODE0（高品質(zhì)模式）、MODE1（標(biāo)準(zhǔn)模式）、MODE2（經(jīng)濟(jì)模式）、MODE3（容量節(jié)省模式），不同的模式實(shí)現(xiàn)不同程度的話音質(zhì)量和平均速率的折中，通過調(diào)整不同等級速率所占的比例實(shí)現(xiàn)不同的模式，從而調(diào)整平均數(shù)據(jù)速率。4.3G系統(tǒng)中的視頻信源編碼H.264