通信原理 第2章 信息論初步

第2版《電子工業(yè)出版社》第二章信息論初步2.1

信息論的兩條發(fā)展途徑2.2

信息論研究的主要內(nèi)容2.3

信息的對數(shù)量度

2.4

離散信源與連續(xù)信源

2.5

信道容量與香農(nóng)公式

2.6

信道編碼

Chapter2PreparationofInformationTheory2.1信息論的兩條發(fā)展途徑

維納和香農(nóng)都認為信號和噪聲均可用規(guī)定集合的統(tǒng)計規(guī)律來描述，但他們探討的數(shù)學模型卻大不相同。不過，目的都是要在接收端盡可能地重現(xiàn)原信號。簡介研究對象噪聲對接收端重現(xiàn)原信號的影響代表人物理論研究側(cè)重應用途徑一維納微弱信號檢測理論自動控制過程中的信號預測問題

在干擾作用下信號的最佳接收問題，它是通信、雷達、導航、遙測、遙控以及電子對抗等的理論基礎。途徑二香農(nóng)信道設計和編碼理論重現(xiàn)正時延的原信號

信源和信道的統(tǒng)計特性及編碼方法，目的是提高信息傳輸?shù)男屎涂煽啃浴?.2信息論研究的主要內(nèi)容

信息論研究的基本問題則是有關(guān)信源、信宿和信道的統(tǒng)計特性，以及信源編碼和信道編碼等問題。它對通信體制和通信系統(tǒng)的研究具有指導意義。簡介◆信息論在理論上指出了建立最佳編碼、最佳調(diào)制和最佳接收方法的最佳系統(tǒng)的理論原則。

信源

信源所包含的信息量，以及在單位時間內(nèi)信源發(fā)出的信息量（信息熵）信源編碼

使信源發(fā)出的消息變換成其碼長度與信源各消息概率分布達到匹配的代碼組，以提高傳輸消息的有效性信宿在無擾信道和有擾信道上信宿能收到的信息量的多少

信道信道傳輸信息量的能力（信道容量），并敘述了有擾離散信道的信道編碼定理

信道編碼各種糾錯編碼方式的數(shù)學理論、糾錯能力和實施方案

2.3信息的對數(shù)量度

一個預先確知的消息不會給接收者帶來任何信息，沒有傳遞的必要。為了衡量通信系統(tǒng)的傳輸能力，需要對被傳輸?shù)男畔⑦M行定量的測度，如互信息量、熵等。簡介2.3.1互信息量◆兩個隨機變量

——發(fā)生事件X

——觀察事件Y◆事件Y=yj

出現(xiàn)，說明事件X=xi提供的信息量：條件概率：事件Y=yj出現(xiàn)時，事件X=xi發(fā)生的概率先驗概率：事件X=xi發(fā)生的概率情況條件概率信息量隨機變量X和Y統(tǒng)計獨立事件Y=yj

的出現(xiàn)唯一地決定事件X=xi

的發(fā)生——X=xi的自信息量I(xi)◆條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。隨機事件的不確定性（或不肯定性）◆一個隨機事件出現(xiàn)的概率接近于1，說明該事件發(fā)生的可能性很大，它所包含的不確定性就很小?！舫霈F(xiàn)概率很小的隨機事件，它所包含的不確定性就很大?！魳O限情況下，當出現(xiàn)P(xi)=1的確定事件，則有I(xi)=0。出現(xiàn)概率小的隨機事件所包含的不確定性大，也就是它的自信息量大。出現(xiàn)概率大的隨機事件所包含的不確定性小，也就是它的自信息量小。

互信息量的三個特征

1）互易性

2）當xi與yj

相互獨立時，互信息量為零3）互信息量可正可負——Y=yj

的出現(xiàn)提供事件X=xi

發(fā)生的信息量等于的出現(xiàn)X=xi

提供事件Y=yj發(fā)生的信息量。2.3.2通信熵◆信源熵：無記憶信源的平均自信息量是各消息自信息量的概率加權(quán)平均值(統(tǒng)計平均值)?！舳ɡ?：熵滿足不等式，當且僅當當且僅當信源X中各消息的出現(xiàn)概率P(x)都等于1/M時，等號成立。二元信源：◆條件熵：二維聯(lián)合空間XY上的條件自信息量的概率加權(quán)平均值。聯(lián)合概率或同理，◆共熵：(又稱聯(lián)合熵)是聯(lián)合空間XY上的每個元素對xy的自信息量的概率加權(quán)平均值。或互換關(guān)系OrOr2.3.3各種熵的性質(zhì)聯(lián)合集XY上的條件熵H(Y|X)滿足下式：◆定理2：當且僅當y和x是相互獨立時，即在P(y|x)=P(y)的條件下，等號成立?！舳ɡ?：聯(lián)合集XYZ上的條件熵，即H(Z|XY)和H(Z|Y)滿足下列不等式：◆定理4：聯(lián)合集上的聯(lián)合熵小于或等于各個集合的熵之和。當且僅當各個集合相互獨立時，聯(lián)合熵等于各個集合的熵之和，并且為聯(lián)合熵的最大值。條件愈多，熵就愈小。2.3.4平均互信息量◆XY聯(lián)合集上的平均條件互信息量：◆定理5：XY聯(lián)合集上的平均條件互信息量滿足下式：當且僅當X集合中的各個x都與yj互相獨立，即P(x|yj)=P(x)時，才取等號。And平均互信息量的性質(zhì)

1）互易性2）平均互信息量與熵和條件熵的關(guān)系And3）4）平均互信息量與熵和共熵的關(guān)系2.4離散信源與連續(xù)信源

產(chǎn)生離散消息的信源稱為離散信源，其統(tǒng)計特性用離散型隨機過程描述；產(chǎn)生連續(xù)消息的信源則稱為連續(xù)信源，其統(tǒng)計特性用概率密度函數(shù)描述。簡介2.4.1離散信源離散消息可以看成是一種有限個狀態(tài)的隨機序列，它可以用離散型隨機過程的統(tǒng)計特性予以描述?！綦x散消息xi所攜帶的信息量◆如果消息中各符號的出現(xiàn)統(tǒng)計相關(guān)，則必須用條件概率來計算平均信息量。條件熵如右定義：例2.1某離散信源由A、B、C三種符號組成，相鄰兩符號的出現(xiàn)統(tǒng)計相關(guān)，其轉(zhuǎn)移概率矩陣為：已知，求信源的平均信息量？◆信源的條件平均信息量為：◆若A、B、C符號統(tǒng)計獨立，則平均信息量為：當符號間統(tǒng)計獨立時信源的熵高于統(tǒng)計相關(guān)時的熵，也就是說，符號間相互關(guān)聯(lián)將使平均信息量減小。說明◆當離散信源中各符號等概率出現(xiàn)，而且各符號的出現(xiàn)為統(tǒng)計獨立時，該信源的平均信息量最大?！粝鄬兀骸粜旁吹娜哂喽龋?/p>

無用信息比例

2.4.2連續(xù)信源◆連續(xù)信源產(chǎn)生的是連續(xù)消息?！暨B續(xù)消息：實際上是一個統(tǒng)計過程X(t)?！暨B續(xù)信息的平均信息量：◆若發(fā)送的離散消息為xi，而相應的接收消息為yj，那么接收端收到的信息量等于yj接收到之前對發(fā)送消息xi的不確定性，減去接收到y(tǒng)j之后對xi余留的不確定性。◆在x和y的全部幅度上的平均信息量：2.4.3信源編碼◆信源編碼的目的：-把信源發(fā)出的符號消息（或數(shù)字消息）變換為用信道的基本符號構(gòu)成的代碼組；-壓縮信息速率，以提高傳輸消息的有效性。信源編碼器的數(shù)學模型◆正規(guī)編碼器：能把信源發(fā)出的所有消息一一對應地變換成相應代碼組的信源編碼器，不會損失能量。

◆非正規(guī)編碼器：會有一部分消息沒有相應的代碼組，在編碼過程中損失掉這部分信息量。

VsVs設◆消息能在信道上不失真?zhèn)鬏數(shù)臈l件是信息傳輸速率必須小于或等于信道的信道容量。若信息傳輸速率大于信道容量，則所傳輸?shù)南⒈厝划a(chǎn)生失真。

◆均勻編碼信道：各代碼組包含的碼元個數(shù)相同，即各個代碼組的時間長度都相同。

代碼組時間長度為b秒，包含的碼元個數(shù)為m個，每個碼元為D進制，則Dm個狀態(tài)，每個狀態(tài)對應一個代碼組。設-等效信源的熵：

-時間熵：-信息傳輸速率：

-最大信息傳輸速率：

◆編碼效率：信息傳輸速率R與信道容量C的比值。

◆最佳編碼的兩個原則：-把信源符號集合中出現(xiàn)概率大的符號編成長度較短的代碼組，而把出現(xiàn)概率小的符號編成長度較長的代碼組；-在信源編碼器輸出的代碼組序列中不必使用碼組間隔就能把序列逐個分成代碼組。2.5信道容量與香農(nóng)公式

實際的通信信道都是存在著干擾的有擾信道，其信道容量與帶寬、干擾有關(guān)。香農(nóng)公式給出了在傳輸信號的平均功率受限制和峰值功率受限制的條件下的信道容量。簡介2.5.1無擾離散信道的信道容量◆信道的信道容量：單位時間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘俊Ｈ魧?shù)的底為2，時間單位為秒，則信道容量的單位比特/秒。◆若給定的無擾離散信道在時間T內(nèi)能傳輸?shù)牟煌⒌目倲?shù)為N(T)，則此信道的信道容量為2.5.2有擾離散信道的信道容量◆若信道中存在干擾，則輸入符號與輸出符號之間存在某種隨機性，具有一定的統(tǒng)計相關(guān)性，取決于轉(zhuǎn)移概率P(yi|xi)，即信道輸入符號（即發(fā)送符號）為xi，信道輸出符號（即接收符號）為yi的條件概率。二進制有擾信道傳輸特征◆信道矩陣◆對稱信道：信道矩陣的各行和各列分別具有相同集合的元素。

◆具有L種消息的有擾離散的對稱信道，其信道容量為：若信源發(fā)出的符號序列的各符號之間互相獨立，并在無擾信道或弱干擾的信道上傳輸，則信道輸出的各符號之間也是互相獨立的，且傳送的符號序列的平均互信息量等于各個符號的平均互信息量之和。當信道的輸入消息集合與輸出消息集合互相獨立時，信道不能傳送任何信息。對稱信道的信道容量在給定信道輸入消息概率分布的條件下能使誤碼率最小的方案稱為最佳譯碼方案，能夠?qū)崿F(xiàn)最佳譯碼方案的檢測器就稱為理想觀察者。通常使用的最佳譯碼方案是按照后驗概率最大的譯碼準則設計的，這個準則又稱為最大似然判決準則。最佳譯碼方案若，把yj譯成xi*?！舢斝畔鬏斔俾蔙小于信道容量C時，傳輸消息的誤碼率為：碼組長度（碼元數(shù)目）隨機編碼指數(shù)2.5.3有擾連續(xù)信道的信道容量◆有擾連續(xù)信道中，接收到的信號y是發(fā)送信號x和信道噪聲n的線性疊加，且x和n在各抽樣點上均為獨立正態(tài)分布?！魲l件概率密度函數(shù)p(y|x)等于噪聲的概率密度函數(shù)f(n)。◆連續(xù)信源的相對條件熵：◆連續(xù)信道的信道容量：2.5.4香農(nóng)公式香農(nóng)信道容量公式：帶寬信號功率噪聲功率◆結(jié)論1：若提高信噪比S/N，則信道容量C也提高。

◆結(jié)論2：若噪聲的功率譜密度n0→0，噪聲功率，則信道容量C→∞，也就是說無干擾信道的信道容量為無窮大。

◆結(jié)論3：若增加信道帶寬B，則信道容量C也增加，但不能無限制地增加，即當B→∞時，?！艚Y(jié)論4：信道容量C一定時，帶寬B和信噪比S/N可以互換。◆結(jié)論5：若信源的信息速率R小于或等于信道容量C，則理論上可以實現(xiàn)無差錯傳輸。若信息速率R大于信道容量C，則不可能實現(xiàn)無差錯傳輸。

香農(nóng)信道容量公式：帶寬信號功率噪聲功率香農(nóng)公式曲線歸一化信道容量和信噪比

歸一化信道帶寬與信噪比

2.6信道編碼

若信道容量為C，消息源產(chǎn)生信息的速率為R，只要C≥R，則總可以找到一種信道編碼方式實現(xiàn)無誤傳輸；若C<R，則不可能實現(xiàn)無誤傳輸，即香農(nóng)第二定理。簡介2.6.1香農(nóng)第二定理◆定理6：有噪信道編碼定理設離散無記憶信道，P(x|y)為信道傳遞概率，信道容量為C。當信息傳輸率R<C時，只要碼長n足夠長，總可以在輸入的符號集中找到2nR個碼字組成的一組碼和相應的譯碼規(guī)則，使譯碼的錯誤概率任意小(Pe→0)?！舳ɡ?：有噪信道編碼逆定理設離散無記憶信道，P(x|y)為信道傳遞概率，信道容量為C。當信息傳輸率R>C時，無論碼長n多長，均找不到一種編碼2nR，使譯碼的錯誤概率任意小。當n→∞時，差錯概率接近為1.2.6.2編碼方法無錯傳送的界限【二元對稱信道為例】

n個輸入符號共有2n種序列，只選用2k種序列(k＜n)作為碼字（k個信息位，r=n-k個監(jiān)督位），則信息率R＝k/n比特/符號。倘若這種編碼方法能糾正傳輸引起的t個錯誤符號，則當n→∞、信道的誤碼率ε<t/n時，能達到無錯誤的傳輸。信道容量為1-H(ε)bit／符號。取等號時的曲線稱為漢明上限。任何編碼方法不可能超過此界限。2.6.3檢錯與糾錯◆信道編碼的本質(zhì)是引入冗余度，即在傳輸?shù)男畔⒋a元后面增加一定數(shù)量的碼元，使接收端能根據(jù)這些碼元檢測錯誤，并糾正。-檢錯編碼：檢查有無錯誤發(fā)生的編碼-糾錯編碼：能糾正已發(fā)生錯誤的編碼。差錯類型1）隨機差錯：熱噪聲引起的差錯，