Informationtheory(信息論與編碼)

1、Information theory ?=? ?=? 即是滿足保真度準則 ?= ?= ?條件下，？?= ? = ?= ?g?- ?(?/?)這時必須 記住，構(gòu)造的試驗信道是滿足 平均交互信息等于 0的條件。即此時？?= ? = 0為什么？即 是說，在保真度要求很低，此時相當(dāng)于信道獨立，不需要傳輸任何信息。但是這種情況也不可取， 因為沒有意義。 (3)?(?) 此時我們來看一般的情況，兩種極端我們都分別驗證了。不失一般性，可以這樣理解平均失真度。 可以理解為信道把符號 ？賢?= 0,1,r)錯誤的傳輸為符號？?労？?的錯誤傳遞概率。即錯誤概率？初? H?工?(?？?。 對于?個符號信源來說，平均

2、失真度？?就等于信道的平均錯誤傳遞概率?,即 ? ? ? ?=刀刀？(?)?？(？?？=刀？?(?刀?(?/?=刀？?(?刃?？ ? ?=1 ?工?=1?工?=1 ?= ?= ?- ?/? ? ?;?;?= ?(? =? ?-?(?) A 7 V 對于一般的二元離散無記憶信源？來說，r = 2，所以？ = ?:? - ?. 因此，在概率分布為(?,1 - ?)(? 1/2)的二元離散無記憶信源 ？?在漢明失真度下的信息率-失真函 數(shù) ?3 = ?彳？)-?,?客? ? / V 7 ? ?- ? ? ?/? ?/? 當(dāng)r=2時，此時表明在漢明失真度下，二元 等概離散無記憶信源 X的信息率-失真函

3、數(shù)為: ? = ?. ?(? ? ? ?/? ?.? ? TX 實際求解條件熵？?(?/?？?-?)在?TX時的極限值，就相當(dāng)于把信源X當(dāng)作無限記憶長度的 信源來處理(unbelievable, harsh!).然而對于某些特殊的離散平穩(wěn)有記憶信源，如馬爾科夫(Markov) 信源，不需測定無窮多維條件概率和聯(lián)合概率，就可求出條件熵？?(?？/?-?在? t X時的 極限值，極限熵?. 馬爾科夫信源的特征：信 源序列中某個符號只于前面m個信源符號有關(guān)，與更前面的符號沒有 任何關(guān)系。這種信源序列 X稱為m階Markov信源(簡稱m-M信源)。其是有記憶信源，但是記憶 不會延伸至無限長， 只有m階

4、。離散平穩(wěn)m階Markov信源的消息的n步轉(zhuǎn)移概率矩陣p(n),等于 消息的一步轉(zhuǎn)移概率矩陣P的n次連乘.即有 ? = ? 離散平穩(wěn)各態(tài)歷經(jīng)的 m-M信源X的符號集X: ?，則離散平穩(wěn)各態(tài)歷經(jīng)m-M信源的X的 極限熵？X即卩 ?X = ?(?+?/?. ?) 我們考試中遇到的有記憶信源都是馬爾科夫信源，不會是無限長記憶的信源，那樣根本不現(xiàn)實，計 算太復(fù)雜了。另外也只會出現(xiàn)2次擴展，2次擴展的信源其是就可以理解為 2階的馬爾科夫信源， 這樣我們計算極限熵就可以直接等于條件熵，這就是理論來源。在實際的解題中也會經(jīng)常會給出條 件轉(zhuǎn)移概率，然后需要聯(lián)立方程組求解每個消息的概率。為什么要聯(lián)立方程組？其實

5、這也是各信源 符號之間還存在相互依賴關(guān)系的體現(xiàn)，只有通過聯(lián)立求解才能得出結(jié)果。 例如，某個信源概率空間分布未知，但是已知條件轉(zhuǎn)移概率矩陣如下 P = (0.90.1) (0.20.8) 矩陣的含義為：p(ee1)=0.9, p(e2/e”=0.1, p(ee2)=0.2, p(e2/e2)=0.8.根據(jù)此轉(zhuǎn)移概率矩陣的關(guān)系，求解 出發(fā)送消息?)=刀?(?刀？?(?？ ?工?=1?=1?=1?工? 簡單點，所有的錯誤概率就是將概率轉(zhuǎn)移矩陣中譯碼正確的概率排除，然后 將所有的譯碼錯誤的概率相加。這種譯碼方式為最大后驗概率準則，即選取最大后驗概率的碼符號 譯碼。即?(? ?(?/?時，?(? = ?

6、優(yōu)而？坊?則是將第i行對應(yīng)的排除正確的轉(zhuǎn)移概率之外的 其他概率相加。 假設(shè)在信源等概的情況下，就可以推導(dǎo)出一種極大似然譯碼準則，此時選取信道轉(zhuǎn)移概率最大的作 為譯碼信符。 ? ? 1 ?=刀刀？?(?(？?？ = ?產(chǎn)刀？(?？ ?工？=1 ?工？=1 最大似然譯碼準則的最小平均錯誤譯碼概率？?也就是等概信源 X各信源符號在發(fā)出的前提下， 用極大似然譯碼準則所產(chǎn)生的最小錯誤譯碼概率？易?的算術(shù)平均值。很顯然，極大似然譯碼準則是 最大后驗概率譯碼準則的特殊情況！ ！ 對于給定的通信系統(tǒng)，信道轉(zhuǎn)移概率固定，因此錯誤概率是由信源概率分布決定的，當(dāng)信源概率分 布確定后，最小錯誤概率是固定不變的。最小平

7、均錯誤概率是給定通信系統(tǒng)的信息特征參量。 最小平均錯誤概率譯碼準則：分為極大似然譯碼準則和最大后驗概率譯碼準則。這兩種譯碼準則的 錯誤概率都是有信道轉(zhuǎn)移矩陣決定，由于沒有增加冗余，所以可靠性很難得到提升。 具體的方式，例子如下: 信道的轉(zhuǎn)移矩陣為 3 tb q 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4 假定信源概率分布相等，此時根據(jù)極大似然準則譯碼，能使平均錯誤概率達到最小值。 譯碼規(guī)則為(接收？?譯碼成？?是任意的，因為三個概率相等) ?) = ? ?) = ? ?) = ? 最小平均錯誤概率 3 1? ?方?尹刀？韻 ?工?=1？? 1 =-X

8、 (0.2+ 0.3) + (0.3+ 0.3) + (0.2 + 0.4) = 0.57 3 其中 ?=? ?2?) ? ?叼= 0.3 + 0.2 = 0.5 ?=? ?謁 (?=3)? ? ?) 3 ? ?叼= ? ?才 0.2 + 0.3 + 0.3 0.4 0.5 0.7 _ 1 ?=?刀 ? ？=1 0.57 ?；)?=?X (0.5 + 0.5 + 0.7) 3 漢明距離與最小誤碼率 設(shè)給定的信道編碼和給定信道的傳遞特性，如何選擇適當(dāng)?shù)淖g碼規(guī)則，使其平均誤碼率？?達到最小 值?Hamming Distanee給最小平均錯誤概率注入了新的含義。譯碼規(guī)則的選擇可明顯地改變碼 字誤碼率

9、的大小。對信道編碼系統(tǒng)來說，信道編碼、譯碼規(guī)則和信道傳遞特性，是影響碼字誤碼率 的主要因素。 1. 在信道編碼 C的M個碼字？?先驗等概的條件下，若 ？?,? ?羽?？(i=1,2,M則選 用譯碼規(guī)則？?(?？= ? (j=1,2,.2 n).其平均誤碼率？?達到最小值？加?？ 2. 在信道編碼 C的M個碼字？?先驗等概的條件下，信道編碼C中任何兩個不同碼字？?和？?的最小 則選擇譯碼規(guī)則譯碼的最小平均錯誤譯 漢明距離min越大，采用最大似然譯碼準則, ?M? 碼概率？?就越小。 信道編碼定理： ? ?= -?-? M為碼字數(shù)，？平均碼 香農(nóng)信道編碼定理并沒有給出具體的信道編碼定理，但是給出了

10、數(shù)學(xué)上的指導(dǎo)意義。一個通信系統(tǒng) 的好壞，很大程度上取決于其有效性和可靠性的大小。我們根據(jù)前面的有效性定義，定義信道編碼 有效性的概念。平均每個碼字(碼符號)能攜帶的信息量，即碼率 長，一般為定長碼，比較簡單。信道編碼定理告訴我們，能存在一種R接近于C且？?接近于0的 信道編碼方式。這表明存在一種有效性達到最大，無錯誤的編碼方式。 6. 線性分組碼 信道編碼最為關(guān)鍵的是求出生成矩陣，一個生成矩陣就對應(yīng)一種信道編碼方式，接下來會有一致 檢驗矩陣等相關(guān)概念。但是在介紹這些復(fù)雜的概念之前，我們必須清楚一些基礎(chǔ)知識。 前面的信道編碼定理可以告訴我們，通過增加冗余位可以有效的增加可靠性，那么怎樣去編寫這些

11、 冗余位。這個系統(tǒng)的數(shù)學(xué)模型是什么，這是非常關(guān)鍵的！信源存在信息序列，怎樣將其映射成對應(yīng) 的碼字呢？線性分組碼的概念就因此提出來了。我們的信息序列有k位，我們現(xiàn)在碼字有 n位。其 中n=k+r，r位就是冗余位。按照數(shù)學(xué)上理解，我們將 k維k重的線性空間映射到k維n重的線性空 間中。線性分組碼(n,k)就是一種固定的叫法，我們?nèi)〔煌闹?，就會生成常見的碼字。(N,N-1)分組 碼稱為奇偶校驗碼。 (n.k)分組碼能發(fā)現(xiàn)小于或等于f個錯誤的充分必要條件是 (n,k)分組碼的最小漢明距離 ？?= ?+ ? (n,k)分組碼能自動糾正小于或等于e個錯誤的充分必要條件是，(n,k)分組碼的最小漢明距離

12、?=?+?(n,k)分組碼能自動糾正小于或等于e個錯誤，同時又能發(fā)現(xiàn)f(fe)個錯誤的充分必要 條件是，(n,k)分組碼的最小漢明距離 ？?= ?+ ?+ ? 生成矩陣和一致檢驗矩陣 生成矩陣G的特點：對于(n,k)分組碼，其碼字有 2k個，信息位也有2k個，冗余位為r。生成矩 陣為k行n列。信息位乘以生成矩陣，就得到相應(yīng)的碼字。信息位矢量為1行k列，生成矩陣位k 行n列，正好計算出對應(yīng)的 n位碼字。生成矩陣中所有的行都線性無關(guān)，可以從生成的碼字中選取 k行線性無關(guān)的碼字組成生成矩陣。k 系統(tǒng)碼：系統(tǒng)碼的生成矩陣的前k列為單位矩陣氓其他的部分為分塊矩陣？?,?,?,? 凡是生成矩陣可以表示成該

13、形式的，都可以成為系統(tǒng)碼。一個非系統(tǒng)碼可以轉(zhuǎn)化為系統(tǒng)碼，其糾錯 檢錯能力保持不變。此外，我們引入碼字的重量的概念，碼字的重量為其非零碼符號的個數(shù)。(n,k)線 性分組碼 W中(2 ?- 1)個非0的碼字中的最小重量 ?) = ? (?,? ?, ? ? 又因為兩碼字的漢明距離定義類似，我們可以這樣理解：假設(shè)存在一個參考重量，兩碼字的漢明距 離要最小，實際上就是碼字的最小重量。當(dāng)兩個碼字相對同一參考碼字且做模2加的運算時，可以 不考慮參考的碼型(或者理解為參考碼型為 全零)，直接用最小重量表示。 這個最小重量決定了碼字 的糾錯能力和檢錯能力。當(dāng)最小重量越小時，能力越差。 一致檢驗矩陣：首先必須明

14、確該矩陣的代數(shù)結(jié)構(gòu)。該矩陣由n-k行n列組成。并且還存在很多代數(shù) 特性。一致檢驗矩陣 H與碼字w的關(guān)系為： ?= ? ?*?= ? 但是當(dāng)我們只知道生成矩陣前提下，怎樣計算一致檢驗矩陣呢？ 很顯然，一致檢驗矩陣 H與生成矩陣的關(guān)系為 ?= ? ?= ? ?,進行轉(zhuǎn)置，變成？?,?然 我們首先將生成矩陣寫成系統(tǒng)碼的形式，然后將之前提到的分塊矩陣 后在補上單位矩陣？?-?=?這個就是簡單的計算形式。?,?,? 一致檢驗矩陣的k列矢量中，線性無關(guān)矢量的個數(shù)為檢錯能力 （漢明距離dmin-1），糾錯能力為其一半。 自然檢錯能力的上限是 n-k（矩陣的秩）或者是（n,k）線性分組碼的最小距離為 dmin

15、的上界是n-k+1. 錯誤圖樣和伴隨式 錯誤圖樣是干啥的，為什么要定義錯誤圖樣？在（7,3）線性分組碼中，若碼字w=（0 1 1 1 0 1 0），經(jīng)過 信道傳輸后接收到的碼字（7 重矢量）為 R=（1 0 0 0 1 1 0）. It is obvious that the transmission is wrong. In order to correct the fault, the mod plus 2 rule has been introduced. We define the vector E=w+R=（1 1 1 1 1 0 0）. Therefore, the positio

16、n which is“因此，我們n可以發(fā)現(xiàn)如果能知道矢量E，則任何錯 誤都能糾正。此時我們正式定義矢量E為碼字w的錯誤圖樣。任何碼字存在自己的錯誤圖樣。另外， 碼字w，接收碼字R和錯誤圖樣E之間存在這樣的關(guān)系： ?= ?+ ? ?= ?+ ? ?= ?+ ? 錯誤圖樣的個數(shù)問題：當(dāng)E=（0 0（時，這個錯誤圖樣是零錯誤的錯誤圖樣。其他的凡是含有1的 錯誤圖樣都是不同錯誤的錯誤圖樣?？偟膫€數(shù)為2n-1.因此就是簡單的組合關(guān)系。 伴隨式又是干啥的，他又有什么用？其實很easy,伴隨式就是檢查接收的碼字或發(fā)送的碼字是不是 （n,k）線性分組碼！ !下面我們作如下推到，在此之前必須認可接收的碼字和發(fā)送

17、的碼字有相同的線 性結(jié)構(gòu)。 設(shè)信道輸出端的接收矢量為R,根據(jù)前面的定理有： ? ?尹=? 則可斷定接收矢量 R 一定是（n,k）線性分組碼的碼字，若有 ？?？/工?則一定不是（n,k）線性分組碼 的碼字。又根據(jù)前面的錯誤圖樣的關(guān)系式：R=w+E，因此我們做出如下變換: ?尹=? ?+ ? =? ?+ ? ?= ? ? 因此令 ?= ? ?*?= ? ? 我們稱S為錯誤圖樣E的伴隨式，亦稱為接收序列R的伴隨式.？?是伴隨式S的轉(zhuǎn)置矩陣。這樣就 能根據(jù)伴隨式S來判斷接收碼字或者發(fā)送碼字是否為（n,k）線性分組碼的碼字。 其實簡單的引入這兩個矢量是沒有多大意義的！科學(xué)家往往是為了介紹自己更深層次的作

18、用而做出 的鋪墊。我們發(fā)現(xiàn)即使有了生成矩陣和一致校驗矩陣，每次接收到碼字不能都去解方程吧！這樣的 工作量是極為龐大的。解方程其實是這樣的過程，（前提是知道 H或G）通過接收碼字 R可以求出 伴隨式E,求出伴隨式就可以求出錯誤圖樣E,然后就可以求出 w。但是這個過程是針對一個碼子， 若是碼字比較多時，工作量是非常大的！ 因此，引出了標(biāo)準陣列和譯碼表的概念。我們事根據(jù)（n,k）線性分組碼的生成矩陣將所有的碼字w寫 岀，然后組成一個表格，這個表格就是一個標(biāo)準陣列！標(biāo)準陣列第一列是由伴隨式組成，第二列是 由錯誤圖樣組成，后面的2k列是由2k個碼字組成。 + c2 = d * * Y B- = E: +

19、 Ct = E? e2+c2 耳十q* *! t f * Ej 心 Ej E, + C J亠 * * 爲(wèi)十G * A r i U J s = E J?岡峠 卄 ?嚴十c E + C n * - Information theory & coding | Tailong Xiao 問題是這個標(biāo)準陣列怎么組成？標(biāo)準陣列的第一行是固定的，首先選擇零錯誤的錯誤圖樣E作為第 一個行第一列的元素，然后后面的第一行第二列，第三列的元素依次根據(jù)生成矩陣的碼字填寫。 第二行的第一列的錯誤圖樣選擇最輕的錯誤圖樣(就是含1的個數(shù)最小的圖樣)，但是前提是這個圖 樣不能和前面出現(xiàn)的碼字或錯誤圖樣重復(fù)，然后本行第2,3,

20、列的元素依次將其所在列的碼字與錯 誤圖樣相加。直到錯圖圖樣選擇完全為止。應(yīng)該有2n-k個。一定會有疑問，為什么選擇前面未出現(xiàn)的 最輕的錯誤圖樣？現(xiàn)在我先解釋“未出現(xiàn)”的這個規(guī)定！我們知道若是選擇了前面出現(xiàn)的碼字或圖樣， 那么這一行的伴隨式將會和重復(fù)的哪一行的伴隨式重復(fù)，這是不容許發(fā)生的。因為無論是E還是R 還是w都是和伴隨式存在等價變換關(guān)系。至于選擇最輕的，可能是因為 本著錯誤最小的原則，或許 我的猜想是正確的，我們肯定先選擇譯碼錯誤最小的碼字！ 值得注意的是：伴隨式和錯誤圖樣的個數(shù)是不一樣的！伴隨式的個數(shù)為2n-k個，但是錯誤圖樣的個數(shù) 為2k個。一個接收碼字對應(yīng)一個伴隨式，然后根據(jù)伴隨式再

21、去解錯誤圖樣，此時得到錯誤圖樣的解 個數(shù)為2k個，很明顯錯誤圖樣是不唯一的，因此必須選擇最小的錯誤圖樣，這樣才能使差錯控制的 最小。 另外，怎樣根據(jù)一致校驗矩陣H列的線性無關(guān)數(shù)來判斷糾錯能力和檢錯能力。其實存在一種特殊的 關(guān)系。為了表達方便，設(shè)碼字為？加=(?說?十？, ,?) 一致校驗矩陣H : ?11 ? ?1? H = ? ? ?1 ? ? ? 設(shè)(n,k)線性分組碼能糾正小于或等于e個錯誤，則最小漢明距離與最小重量為2e+1 則證明碼字中 有2e+1個仁 (n,k)線性分組碼必定滿足此關(guān)系式： ?11? ?1? ?-1 ?= ?= ? ? ? ? ?=? ?1 ? ? ? 展開即有：

22、?11 ? ?-1 + ?12 ? ?-2 + ? + ?1? ?= 0 ?21 ? ?-1 + ?22 ? ?-2 + ? + ?2? ?= 0 ? ?1? ?-1 + ?2? ?-2 + ? + ? ? ?= 0 即有 ?11?12 ? 1? ? 21?23 -?1 ? ?-1 + ?3 ?-2 + ? + ?j ? =0 ?1 ?2 ? 在上面的表達式中，所有的列向量是非零的。 因為碼字C中有2e+1個1則一致校驗矩陣中有 2e+1 列是線性相關(guān)的，則必有 2e列是線性無關(guān)的。e為碼字中錯誤的位數(shù)。同時又因為碼字有2e+1個 1，則碼字的重量就為2e+1，此時最小漢明距離 dmin就是2

23、e+1。我們知道檢錯能力為 dmin-1，糾錯 能力為(dmin-1)/2，所以就能糾正e個錯誤，能檢測2e個錯誤?？偨Y(jié)起來，一致校驗矩陣 H中列的線 性無關(guān)數(shù)為糾錯數(shù)，為檢錯數(shù)的 2倍。 怎樣才能得到生成矩陣呢？(一致校驗矩陣？) 最常見的就是漢明碼(hamming code),漢明碼不是一種碼字，而是一類碼字。這種碼字有什么 characteristics ?首先要有完備碼的概念。完備碼的必備條件為：(n ,k)線性分組碼的陪集首數(shù) ? ? 等式右邊表示(n,e)的組合數(shù)，這樣的碼字稱為完備碼。這其實是大大減小了錯誤圖樣的數(shù)目，我們對 此不作理論推導(dǎo)。 漢明碼特點：錯誤圖樣E中只能含有1個

24、1其他的全部為零。同時滿足 (n,k) = (2 ?- 1,2?- 1 - r) 因此對應(yīng)的伴隨式也即是一致校驗矩陣的列向量。到底存在怎樣的對應(yīng)關(guān)系呢？用一個數(shù)學(xué)公式可 以描述：？?= ?+ ?-?.本式中，將？?看做一個十進制的數(shù)。假設(shè)(15,11)線性分組碼，則根據(jù)接 收的碼字算出伴隨式為0110,則對應(yīng)的十進制為 6. n-6=9.就表明錯誤圖樣 E=(0 0 0 0 0 1 0 0 0 0 0 0 0 0 0).表明這種漢明碼只具有 1位糾錯能力，2位檢錯能力。最輕的碼字重量含有 3 1. 另外怎樣根據(jù)一致校驗矩陣求出陪首集和伴隨式集合呢？前面已經(jīng)提到，一致校驗矩陣的每一列都 對應(yīng)一個

25、伴隨式。因為錯誤圖樣只能含有1個T此時錯誤圖樣E與一致校驗矩陣 H的轉(zhuǎn)置相乘時， 表明只有一列能夠保留下來。同時，一致校驗矩陣H的編寫是固定的，其每一列都是從0n-1的二 進制組成。為了突出順序，我們一般都是從1寫到n-1，這樣對應(yīng)的錯誤圖樣就是最高位為1,其他 的位都為0，對應(yīng)的伴隨式就是Hi.其實從矩陣的乘法中也能獲得此信息。 (1) 為了優(yōu)化算法設(shè)計，我們對于恢復(fù)碼字w的運算w=R+E，般采用按位異或的方式，即將接 收到的R矢量與算出的錯圖圖樣E進行按位異或就能恢復(fù)出正確的碼字。 (2) 對于矩陣的乘法，即RHt怎么優(yōu)化算法？我們僅討論矩陣的某一行。此時只需將接收矢量R與 一致校驗矩陣H

26、的某一行矢量進行按位與，然后將每次得到的結(jié)果相加最后進行mod 2運算。得到 的結(jié)果就是對應(yīng)伴隨矢量S中某一個元素的值。 補充關(guān)于陪首集的個數(shù)問題： 根據(jù)接受碼字 R，不能唯一求解出其對應(yīng)的錯誤圖樣E。我們知道RHt對應(yīng)唯一的伴隨式 S，然后 再反解錯誤圖樣 E時，對應(yīng)的解會出現(xiàn)很多，具體數(shù)目為多少？我們假設(shè)(n,k)線性分組碼的錯誤圖 樣？?= (?,?,? ?，根據(jù)接受碼字求解出的伴隨式？?= (?,?,? ?.當(dāng)然一致校驗矩陣是已知，為 1? ? ? ?11 ?= ? ?1 ?11 ?)? ?1 ? ?1? ? ? 因此根據(jù)伴隨式的定義有: ? ? = (?,?,? ? 展開得到： ?=

27、 ?= ?11 + ? ? ?21 + ?12 + ? + ? ? ?22 + ? + ? ? 1? ? ?2? ?= ? ? ?1 + ? ? ? ?2+ ? + ? ? In the equation set, there are r known variables and n unknown variables. However, only r equations cannot figure out the n variables uniquely.為了分析的簡便，我們假定在n個未知量中前r個未知量是確定的， 則還剩下k個未知量是可變的，因此存在2k個解。我們希望得到2r個解，很顯然需要挑選出一部分 解。那么挑選的原則是什么？在伴隨式S和錯誤圖樣E的對應(yīng)關(guān)系中，我們引入標(biāo)準陣列的概念。 錯誤圖樣的選取是在 2k個解中優(yōu)先選取最輕的錯圖圖樣來和伴隨式匹配。 與漢明碼對應(yīng)的循環(huán)碼： 循環(huán)碼是另外一種信道編碼的編碼方式。主要是思考的角度就是簡化生成矩陣的復(fù)雜。生成矩陣G 的每一行都是線性無關(guān)的，前面已經(jīng)提到這些行向量都是有k