信息論與編碼技術(第2版)

InformationTheoryandCodingTechniques信息論與編碼技術Wherethereisawill,thereisaway.第一章緒論相結合逐步發(fā)展而形成的一門新興科學

本章內容：信息的概念數字通信系統(tǒng)模型信息論與編碼理論研究的主要內容及意義奠基人：美國數學家香農（C.E.Shannon）

1948年“通信的數學理論”信息論通信技術概率論隨機過程數理統(tǒng)計1.1信息的概念信息是信息論中最基本、最重要的概念，既抽象又復雜信息在日常生活中被認為是“消息”、“知識”、“情報”等“信息”不同于消息（在現代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴格的數學含義），消息是表現形式，信息是實質；“信息”不同于情報，情報的含義比“信息”窄的多，一般只限于特殊的領域，是一類特殊的信息；信息不同于信號，信號是承載消息的物理量；信息不同于知識，知識是人們根據某種目的,從自然界收集得來的數據中整理、概括、提取得到的有價值的信息，是一種高層次的信息。消息：用文字等能夠被人們感覺器官所感知的形式，把客觀物質運動和主觀思維活動的狀態(tài)表達出來。

知識：一種具有普遍和概括性質的高層次的信息

，以實踐為基礎，通過抽象思維，對客觀事物規(guī)律性的概括。情報：是人們對于某個特定對象所見、所聞、所理解而產生的知識。它們之間有著密切聯系但不等同，信息的含義更深刻、廣泛就狹義而言，在通信中對信息的表達分為三個層次：信號、消息、信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。消息：(或稱為符號)是信息的數學表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數學抽象，可將具體物理信號抽象為兩大類型：離散(數字)消息，一組未知量，可用隨機序列來描述：X=(X1…Xi…Xn)連續(xù)(模擬)消息，未知量，它可用隨機過程來描述：X(t,ω)

信息：它是更高層次哲學上的抽象，是信號與消息的更高表達層次。

信息、消息和信號是既有區(qū)別又有聯系的三個不同的概念。

消息中包含信息，是信息的載體。信號攜帶著消息，它是消息的運載工具。信息可認為是由具體的物理信號、數學描述的消息的內涵，即信號具體載荷的內容、消息描述的含義。而信號則是抽象信息在物理層表達的外延；消息則是抽象信息在數學層表達的外延。同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數學表達形式(比如離散或連續(xù))來定量描述。同一信號形式，比如“0”與“1”可以表達不同形式的信息，比如無與有、斷與通、低與高(電平)等等。

什么是信息關于信息的科學定義，到目前為止，國內外已有不下百余種流行的說法，它們都是從不同的側面和不同的層次來揭示信息的本質的。1928年，哈特萊(R．V．LHartley)

在《信息傳輸》一文中提出：發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式局限性：定義不涉及到信息的價值和具體內容，只考慮選擇的方式。即使考慮選擇的方法，但沒有考慮各種可能選擇方法的統(tǒng)計特性。1948年，維納(N．Wiener)

在《控制論--動物和機器中通信與控制問題》一書中，指出：“信息是信息，不是物質，也不是能量”。將“信息”上升到“最基本概念”的位置。后來，維納在《人有人的用處》一書中提出：“信息是人們適應外部世界并且使這種適應反作用于外部世界的過程中，同外部世界進行互相交換的內容的名稱?！本窒扌裕喊研畔⑴c物質、能量混同起來。所以，維納關于信息的定義是不確切的。1948年，香農（C.E.Shannon）發(fā)表了一篇著名的論文，“通信的數學理論”。他從研究通信系統(tǒng)傳輸的實質出發(fā)，對信息作了科學的定義，并進行了定性和定量的描述。信息是事物運動狀態(tài)或存在方式的不確定性的描述。

通信系統(tǒng)模型信源信源編碼器信道編碼器調制器信道解調器信宿信源譯碼器信道譯碼器干擾源編碼信道信源：產生消息和消息序列的來源。消息可以是離散的，也可以是連續(xù)的（數據、文字、語言、圖像），通常信源的消息序列是隨機發(fā)生的，因此要用隨機變量來描述。

編碼器：把消息變換成適合于信道傳輸的信號。信源編碼器：將信源的輸出進行適當的變換，以提高信息傳輸的有效性。信道編碼器：對信源編碼器的輸出進行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信息傳輸的可靠性。調制器：將信道編碼器輸出的數字序列變換為振幅、頻率或相位受到調制控制的形式，以適合在信道中進行較長距離的傳輸。信道：信號由發(fā)送端傳輸到接收端的媒介。典型的傳輸信道有明線、電纜、高頻無線信道、微波通道和光纖通道等；典型的存儲媒介有磁芯、磁鼓、磁盤、磁帶等。干擾源：對傳輸信道或存儲媒介構成干擾的來源的總稱。干擾和噪聲往往具有隨機性，所以信道的特征也可以用概率空間來描述；而噪聲源的統(tǒng)計特性又是劃分信道的依據。干擾可以分為兩類：1）加性干擾，它是由外界原因產生的隨機干擾，它與信道中傳送的信號的統(tǒng)計特性無關，因而信道的輸出是輸入和干擾的疊加；2）乘性干擾：信道的輸出信號可看成輸入信號和一個時變參量相乘的結果。解調器：從載波中提取信號，是調制的逆過程信道譯碼器：利用信道編碼時所提供的多余度，檢查或糾正數字序列中的錯誤。信源譯碼器：把經過信道譯碼器核對過的信息序列轉換成適合接收者接收的信息形式。信宿：消息傳送的對象

（人或機器）。在通信系統(tǒng)中形式上傳輸的是消息，但實質上傳輸的是信息。消息只是表達信息的工具、載荷信息的客體。顯然，在通信中被利用的(亦即攜帶信息的)實際客體是不重要的，而重要的是信息。通信的結果是消除或部分消除不確定性從而獲得信息。香農定義信息的局限性：（1）定義的出發(fā)點是假定事物狀態(tài)可以用一個以經典集合論為基礎的概率模型來描述，在實際中要尋找一個合適的概率模型往往是非常困難的。有時是否存在這樣一種模型還值得探討。（2）定義沒有考慮收信者的主觀特性和主觀意義，不顧信息的具體含意、具體用途、重要程度和引起后果等因素。這就與實際情況不完全一致。其實，信息有很強的主觀性和實用性。信息的測度：信息量與不確定性消除的程度有關。用數學的語言來講，不確定就是隨機性，可運用研究隨機事件的數學工具----概率論和隨機過程來測度不確定性的大小。

某一事物狀態(tài)的不確定性的大小，與該事物可能出現的不同狀態(tài)數目以及各狀態(tài)出現的概率大小有關。既然不確定性的大小能夠度量，所以信息是可以測度的。

與信息測度相關的幾個概念：樣本空間、概率空間、先驗概率、自信息、后驗概率、互信息

樣本空間：所有可能選擇的消息的集合（某事物所有可能出現的狀態(tài)）概率空間：一個樣本空間和它的概率測度

可用[X，P]來表示

先驗概率：選擇符號ai作為消息的概率----P(ai)自信息：ai本身攜帶的信息量

后驗概率：接收端收到消息(符號)bj后而發(fā)送端發(fā)的是ai的概率

P(ai/bj)互信息：收信者獲得的信息量-----先驗的不確定性減去尚存在的不確定性如果信道沒有干擾，信道的統(tǒng)計特性使ai以概率“1”傳送到接收端。這時，收信者接到消息尚存在的不確定性就等于零，即P(ai/bj)＝1，log（1/P(ai/bj))＝0，不確定性全部消除。由此得互信息：有關自信息和互信息的概念即為香農關于信息的定義和度量，通常也稱為概率信息

信息具有以下特征：（1）信息是可以識別的（2）信息的載體是可以轉換的（3）信息是可以存貯的（4）信息是可以傳遞的（5）信息是可以加工的（6）信息是可以共享的1.2信息論研究的對象,目的,內容一、研究對象前面介紹的統(tǒng)一的通信系統(tǒng)模型。人們通過系統(tǒng)中消息的傳輸和處理來研究信息傳輸和處理的共同規(guī)律。二、研究目的找到信息傳輸過程的共同規(guī)律，提高信息傳輸的可靠性、有效性、保密性和認證性，以達到信息傳輸系統(tǒng)的最優(yōu)化?？煽啃允剐旁窗l(fā)出的消息經過信道傳輸以后，盡可能準確地、不失真地再現于接收端。有效性經濟性好，即用盡可能短的時間和盡可能少的設備來傳送—定數量的信息。保密性隱蔽和保護通信系統(tǒng)中傳送的消息，使它只能被授權接收者獲取，而不能被未授權者接收和理解。認證性接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造的和被竄改的。有效性、可靠性、保密性和認證性四者構成現代通信系統(tǒng)對信息傳輸的全面要求。三、研究內容對信息論的研究內容一般有以下三種理解。狹義信息論（經典信息論）：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。這部分內容是信息論的基礎理論，又稱為香農信息論。一般信息論（通信理論）：主要是研究信息傳輸和處理問題，除了香農理論外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調制理論以及信息處理理論等。廣義信息論：廣義信息論不僅包括上述兩方面的內容，而且包括所有與信息有關的領域，如模式識別、計算機翻譯、心理學、遺傳學、語言學等等。信息論是一門應用概率論、隨機過程、數理統(tǒng)計和近代代數的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的學科。它的主要目的是提高信息系統(tǒng)的可靠性、有效性、保密性和認證性，以便達到系統(tǒng)最優(yōu)化；它的主要內容(或分支)包括香農理論、編碼理論、維納理論、檢測和估計理論、信號設計和處理理論、調制理論、隨機噪聲理論和密碼學理論等。本課程討論香農信息理論

1.3信息論發(fā)展簡史與現狀

信息論是在長期的通信工程實踐和理論研究的基礎上發(fā)展起來的。一、簡史現代信息論實際上是從20世紀20年代奈奎斯特和哈特萊的工作開始的。1924年奈奎斯特(H．Nyquist)的“影響電報速率因素的確定”一文，1928年哈特萊(R．V．Hartley)的“信息傳輸”一文研究了通信系統(tǒng)傳輸信息的能力，并給出了信息度量的方法1946年柯切爾尼柯夫的學位論文“起伏噪聲下的潛在抗干擾理論”，根據最小錯誤概率準則和最小均方誤差準則研究了離散和連續(xù)信道的最佳接收問題1948年香農的權威性長文“通信的數學理論”，討論了信源和信道特性，1949年香農“噪聲中的通信”，上述兩篇文章奠定了現代信息論的理論基礎此后，在基本理論和實際應用方面，信息論都得到了巨大的發(fā)展二、現狀在香農理論基礎上給出的最佳噪聲通信系統(tǒng)模型近年來正在成為現實；在噪聲中信號過濾與檢測基礎上發(fā)展起來的信號檢測理論和抗干擾編碼基礎上發(fā)展起來的編碼理論已成為現代信息論的兩個重要分支；此外，模糊信息處理、相對信息處理、主觀信息處理、智能信息處理、自動化信息控制等大量嶄新課題的研究也相繼展開，使信息理論的面貌一新，并將大大促進信息科學的發(fā)展。第二章信源及其熵本章介紹信源的統(tǒng)計特性和數學模型各類信源的信息測度----熵及其性質引入信息理論的一些基本概念和重要結論第一章的幾個推論通信系統(tǒng)模型：對信息論的學習可從信源開始消息是信息的載荷者。信息是抽象的，消息是具體的。要研究信息，還得從研究消息入手。由于信源發(fā)送什么消息預先是不可知的，只能用概率空間來描述信源2.1信源的數學模型及分類單符號信源：輸出是單個符號（代碼）的消息離散信源連續(xù)信源平穩(wěn)隨機序列信源：信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量

X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關----平穩(wěn)！離散平穩(wěn)信源連續(xù)平穩(wěn)信源無記憶（獨立）離散平穩(wěn)信源有記憶信源m階馬爾可夫信源隨機波形信源離散信源(單符號)特點：輸出是單個符號（代碼）的消息，符號集的取值A:{a1,a2,…,aq}是有限的或可數的，可用一維離散型隨機變量X來描述。例：投硬幣、書信、電報符號等等。數學模型：設每個信源符號ai出現的(先驗)概率p(ai)(i=1,2,…,q)

滿足：概率空間能表征離散信源的統(tǒng)計特性，因此也稱概率空間為信源空間。連續(xù)信源特點：輸出是單個符號（代碼）的消息，輸出消息的符號集A的取值是連續(xù)的，可用一維的連續(xù)型隨機變量X

來描述。例：語音信號、熱噪聲信號、遙控系統(tǒng)中有關電壓、溫度、壓力等測得的連續(xù)數據等等。數學模型：連續(xù)型的概率空間。即：

或滿足

或

平穩(wěn)隨機序列信源總體特點：信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量

X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關

平穩(wěn)?。‰x散平穩(wěn)信源：每個隨機變量Xi(i＝1,2,…,N)都是離散型隨機變量連續(xù)平穩(wěn)信源：每個隨機變量Xi(i＝1,2,…,N)

都是取值連續(xù)的隨機變量離散無記憶平穩(wěn)信源離散平穩(wěn)信源的特例，信源發(fā)出的符號都相互統(tǒng)計獨立，即各隨機變量Xi

(i＝1,2,…,N)之間統(tǒng)計獨立性質：獨立－>P(X)=P(X1,X2,…,XN)=P1(X1)·P2(X2)···PN(XN)平穩(wěn)－>P1

(Xi)=P2

(Xi)=···=PN

(Xi)－>N維隨機矢量的一個取值，

i＝(ai1ai2…aiN)P(aik)是符號集A的一維概率分布

設各隨機變量Xi取值同樣符號集A:{a1,a2,…,aq}，則描述的信源X的各輸出Xi間統(tǒng)計獨立、且取值同一符號集A，則X為離散無記憶信源，稱該信源輸出的N維隨機矢量X為離散無記憶信源X的N次擴展信源若X取值為符號集

i＝(ai1ai2…aiN),其中(i1,i2,…,iN=1,2

,

…,q)，則離散無記憶信源的N次擴展信源的數學模型是X信源空間的N重空間：有記憶信源信源在不同時刻發(fā)出的符號之間是相互依賴的，即信源輸出的平穩(wěn)隨機序列X中，各隨機變量Xi之間相互依賴。需在N維隨機矢量的聯合概率分布中，引入條件概率分布來說明它們之間的關聯。

例：漢字組成的中文序列中，只有根據中文的語法、習慣用語、修辭制約和表達實際意義的制約所構成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現是有依賴的，不能認為是彼此不相關的。其他如英文，德文等自然語言都是如此m階馬爾可夫信源不同時刻發(fā)出的符號間的依賴關系記憶信源的記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源若上述條件概率與時間起點

i無關，信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可夫信源更一般情況：隨機波形信源實際信源輸出的消息常常是時間和取值都是連續(xù)的。這類信源稱為隨機波形信源。隨機波形信源在某一固定時間t0的可能取值是連續(xù)和隨機的。對于這種信源輸出的消息，可用隨機過程來描述。例：語音信號X(t)、熱噪聲信號n(t)、電視圖像信號X(r(t),g(t),b(t))等時間連續(xù)函數。2.2離散信源的信息熵其性質

討論基本的離散信源(即輸出為單個符號的消息，且這些消息間兩兩互不相容)基本的離散信源可用一維隨機變量X來描述信源的輸出，信源的數學模型可抽象為:問題：這樣的信源能輸出多少信息?

每個消息的出現攜帶多少信息量?信息的度量考慮：信息的度量（信息量）和不確定性消除的程度有關，消除的不確定性＝獲得的信息量；不確定性就是隨機性，可以用概率論和隨機過程來測度，概率小－>不確定性大；推論：概率?。?gt;信息量大，即信息量是概率的單調遞減函數；信息量應該具有可加性；信息量的計算公式為（香農（自）信息量的度量）：一.自信息設離散信源X的概率空間為：I(ai)代表兩種含義：（1）當事件ai發(fā)生以前，表示事件ai發(fā)生的不確定性（2）當事件ai發(fā)生以后，表示事件ai所提供的信息量稱事件ai發(fā)生所含有的信息量為ai的自信息量。定義為：[例]8個串聯的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現假設其中有一個燈泡已損壞，問每進行一次測量可獲得多少信息量？總共需要多少次測量才能獲知和確定哪個燈泡已損壞。解：收到某消息獲得的信息量(即收到某消息后獲得關于某事件發(fā)生的信息量)

＝不確定性減少的量＝(收到此消息前關于某事件發(fā)生的不確定性)-(收到此消息后關于某事件發(fā)生的不確定性)已知8個燈泡等概率損壞，所以先驗概率P(x1)＝1/8

，即第二次測量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測量獲得的信息量=

I[P(x3)]=1(bit)至少要獲得3個比特的信息量就可確切知道哪個燈泡已壞了。

第一次測量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經過二次測量后，剩2個燈泡，等概率損壞，P(x3)＝1/2一次測量后，剩4個燈泡，等概率損壞，P(x2)＝1/4自信息的推導某事件發(fā)生所含有的信息量應該是該事件發(fā)生的先驗概率的函數。即：

I(ai)

＝f[p(ai)]根據客觀事實和人們的習慣概念，函數f[p(ai)]應滿足以下條件：（1）它應是先驗概率p(ai)的單調遞減函數，即當

p

(a1)>p

(a2)

時，有f

[

p

(a1)]

<f

[

p

(a2)

]

；（2）當p

(ai)=1時，f

[

p

(ai)]=0

（3）當p

(ai)=0時，f

[

p

(ai)]=

（4）兩個獨立事件的聯合信息量應等于它們分別的信息量之和。即統(tǒng)計獨立信源的信息量等于它們分別的信息量之和?？梢宰C明對數函數滿足上述條件：一點說明計算自信息量時要注意有關事件發(fā)生概率的計算；自信息量的單位取決于對數的底；底為2，單位為“比特（bit,binaryunit）”；底為e，單位為“奈特（nat,natureunit）”；底為10，單位為“哈特（hat,Hartley）”；根據換底公式得：一般計算都采用以“2”為底的對數，為了書寫簡潔，常把底數“2”略去不寫1nat=1.44bit,1hat=3.32bit；二.信息熵對一個信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個隨機變量，不能用它來作為整個信源的信息測度定義自信息的數學期望為平均自信息量Hr(X)，稱為信息熵：由于這個表達式和統(tǒng)計物理學中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；信息熵的單位由自信息量的單位決定，即取決于對數的底。H(X)的單位：r進制單位／符號（r>1）熵的計算例：

有一布袋內放l00個球，其中80個球是紅色的，20個球是白色的。隨便摸出一個球，猜測是什么顏色，那么其概率空間為：

如果被告知摸出的是紅球，那么獲得的信息量是：

I(a1)

＝－logp(a1)

＝－log0.8=0.32

（比特）如被告知摸出來的是白球，所獲得的信息量應為：

I(a2)

＝

－logp(a2)

＝－log0.2

=2.32

（比特）平均摸取一次所能獲得的信息量為：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號）熵的含義熵是從整個集合的統(tǒng)計特性來考慮的，它從平均意義上來表征信源的總體特征。在信源輸出后，信息熵H(X)表示每個消息提供的平均信息量；在信源輸出前，信息熵H(X)

表示信源的平均不確定性；信息熵H(X)表征了變量X的隨機性。例如，有兩信源X、Y，其概率空間分別計算其熵，得：H(X)=0.08（bit/符號）

H(Y)=1（bit/符號）H(Y)＞H(X)，因此信源Y比信源X的平均不確定性要大。

[例]

設甲地的天氣預報為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設乙地的天氣預報為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預報各自提供的平均信息量。若甲地天氣預報為兩極端情況，一種是晴出現概率為1而其余為0。另一種是晴、陰、小雨、大雨出現的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現這兩極端情況所提供的平均信息量。兩個信源解：甲地天氣預報構成的信源空間為:則其提供的平均信息量即信源的信息熵:乙地天氣預報的信源空間為:結論：甲地天氣預報提供的平均信息量大于乙地，因為乙地比甲地的平均不確定性小。甲地極端情況極端情況1：晴天概率＝1

結論：等概率分布時信源的不確定性最大，所以信息熵（平均信息量）最大。極端情況2：各種天氣等概率分布乙地極端情況極端情況1：晴天概率＝1

結論：在極端情況2下，甲地比乙地提供更多的信息量。因為，甲地可能出現的消息數比乙地可能出現的消息數多。極端情況2：各種天氣等概率分布信息熵是信源概率空間的一種特殊矩函數。這個矩函數的大小，與信源的符號數及其概率分布有關。我們用概率矢量P來表示概率分布P(x)：三、信息熵的基本性質這樣，信息熵H(X)是概率矢量P或它的分量p1，p2，…，pq的q-1元函數(因各分量滿足上述條件限制，所以獨立變量只有q-1元)。一般H(X)可寫成：熵函數H(P)是概率矢量P的函數，稱為熵函數。我們用下述表示方法：用H(x)

表示以離散隨機變量x描述的信源的信息熵；用H(P)

或H(p1,p2,…,pq

)表示概率矢量為

P=(p1,p2,…,pq

)的q個符號信源的信息熵。若當q=2時，因為p1+p2=1,所以將兩個符號的熵函數寫成H(p1)或H(p2)。熵函數H(P)是一種特殊函數，具有以下性質。性質：1、對稱性：H(P)的取值與分量p1,p2

,···,pq的順序無關。說明：

從數學角度：H(P)=

pi·logpi中的和式滿足交換率；從隨機變量的角度：熵只與隨機變量的總體統(tǒng)計特性有關。一個例子：2、確定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0性質說明：從總體來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現，而其它符號則是幾乎不可能出現，那么，這個信源是一個確知信源，其熵等于零。

3、非負性：H(P)0說明：隨機變量X的概率分布滿足0＜pi＜1，當取對數的底大于1時，log(pi)

＜0，-pilog(pi)

＞0，即得到的熵為正值。只有當隨機變量是一確知量時熵才等于零。這種非負性合適于離散信源的熵，對連續(xù)信源來說這一性質并不存在。以后可看到在相對熵的概念下，可能出現負值。

非負性體現信息是非負的。4、擴展性性質說明：信源的取值數增多時，若這些取值對應的概率很小(接近于零)，則信源的熵不變。所以，上式成立因為5、可加性

統(tǒng)計獨立信源X和Y的聯合信源的熵等于信源X和Y各自的熵之和。

H(XY)=H(X)+H(Y)

可加性是熵函數的一個重要特性，正因具有可加性，才使熵函數的形式是唯一的。證明：例如，甲信源為它們的聯合信源是可計算得聯合信源的聯合熵：H(Z)=H(XY)=log(nm)=logm+logn=H(X)+H(Y)乙信源為6、強可加性兩個互相關聯的信源X和Y的聯合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。

H（XY）=H（X）+H（Y/X）H（Y/X）表示信源X

輸出一符號的條件下，信源Y再輸出一符號所能提供的平均信息量，稱為條件熵。H（XY）=H（X）+H（Y/X）的證明：

H（XY）=H（X）+H（Y/X）7、遞增性

若原信源X中有一個符號分割成了m個元素(符號)，這m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則新信源的熵增加。熵的增加量等于由分割而產生的不確定性量。證明可以從熵的定義或強可加性得出：因為而當i≠n時pij=0，所以即得：遞增性的推廣它表示n個元素的信源熵可以遞推成(n-1)個二元信源的熵函數的加權和。這樣，可使多元信源的熵函數的計算簡化成計算若干個二元信源的熵函數。因此，熵函數的遞增性又可稱為遞推性。[例]：運用熵函數的遞增性（的推廣），計算熵函數H(1/3，1/3，1/6，1/6)的數值。8、極值性在離散信源情況下，信源各符號等概率分布時，熵值達到最大。性質表明等概率分布信源的平均不確定性為最大。這是一個很重要的結論，稱為最大離散熵定理。證明：因為對數是∩型凸函數，滿足詹森不等式E[logY]

logE[Y]，則有：

二進制信源是離散信源的一個特例。

該信源符號只有二個，設為“0”和“1”。符號輸出的概率分別為“”和“1-”，即信源的概率空間為：H(X)=-log–(1-)log(1-)=H()

即信息熵H(x)是

的函數。

取值于[0，1]區(qū)間，可畫出熵函數H(

)的曲線來，如右圖所示。熵函數H(P)是概率矢量P＝(p1，p2，…，pq)的嚴格∩型凸函數(或稱上凸函數)。它表示：對任意概率矢量P1＝(p1,p2,…,pq)和P2＝(p’1,p’2,…,p’q)，和任意的0＜

＜1，有：

H[

P1十(1-

)P2]＞

H(P1)十(1-

)H(P2)因為熵函數具有上凸性，所以熵函數具有極值，其最大值存在。9、上凸性2.3離散無記憶的擴展信源離散信源單符號離散信源離散序列信源離散無記憶信源一般無記憶平穩(wěn)無記憶離散有記憶信源平穩(wěn)序列信源馬爾可夫信源當離散平穩(wěn)無記憶信源信源發(fā)出固定長度的消息序列時，則得到原信源的擴展信源。例如在電報系統(tǒng)中，若信源輸出的是二個二元數字組成的符號序列，此時可認為是一個新的信源，它由四個符號（00，01，10，11）組成，我們把該信源稱為二元無記憶信源的二次擴展信源。如果把N個二元數字組成一組，則信源等效成一個具有2N個符號的新信源，把它稱為二元無記信源的N次擴展信源。一般情況下，對一個離散無記憶信源X，其樣本空間為{a1,a2,…,aq}，對它的輸出消息序列，可用一組組長度為N的序列來表示它。這時，它等效成一個新信源。新信源輸出的符號是N維離散隨機矢量X

=(X1，X2,……,XN)，其中每個分量Xi(i＝1,2,…,N)都是隨機變量，它們都取值于同一信源符號集，并且分量之間統(tǒng)計獨立，則由隨機矢量X組成的新信源稱為離散無記憶信源X的N次擴展信源。

單符號離散信源X的數學模型：N次擴展信源與單符號離散信源比較：數學模型相同但輸出不是單個符號，而是一串N個相互獨立的符號序列：

X＝(X1,X2,…,XN)，聯合分布密度P(X)=P(X1X2…XN)把X等效為一個新信源，稱為X的N次擴展信源，其數學模型：因為是無記憶的(彼此統(tǒng)計獨立)則：

離散平穩(wěn)無記憶N次擴展信源的熵

H(X)=H(XN)=N·H(X)其中：同理計算式中其余各項，得到：H(XN)=H(X)+H(X)+……+H(X)=NH(X)證：[例]

求如下離散無記憶信源的二次擴展信源及其熵。解：二次擴展信源的概率空間為X2的信源符號

1

2

3

4

5

6

7

8

9對應的符號序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率P(

i)1/41/81/81/81/161/161/81/161/16一、離散平穩(wěn)信源的數學定義

在一般情況下，信源在t=i

時刻將要發(fā)出什么樣的符號決定于兩方面：

(1)信源在t=i

時刻隨機變量Xi

取值的概率分布P(xi)。

[一般P(xi)

P(xj)](2)t=i

時刻以前信源發(fā)出的符號。

[即與條件概率P(xi/xi-1xi-2…)有關]對平穩(wěn)隨機序列，序列的統(tǒng)計性質與時間的推移無關，即信源發(fā)出符號序列的概率分布與時間起點無關。

2.4離散平穩(wěn)信源平穩(wěn)隨機序列的數學定義如下：

若當t=i，t=j時(i,j

是大于1的任意整數)，P(xi)=P(xj)=P(x)，則序列是一維平穩(wěn)的。具有這樣性質的信源稱為一維平穩(wěn)信源。除上述條件外，如果聯合概率分布P(xixi+1)也與時間起點無關，即P(xixi+1)=P(xjxj+1)(i,j為任意整數且i

j)，則信源稱為二維平穩(wěn)信源。它表示任何時刻信源發(fā)出二個符號的聯合概率分布也完全相等。如果各維聯合概率分布均與時間起點無關，那么，信源是完全平穩(wěn)的。這種各維聯合概率分布均與時間起點無關的完全平穩(wěn)信源稱為離散平穩(wěn)信源。這時有：P(xi)=P(xj)P(xixi+1)=P(xjxj+1)……

P(xixi+1…xi+N)=P(xjxj+1…xi+N)由于聯合概率與條件概率有以下關系：結論：對于平穩(wěn)信源來說，其條件概率均與時間起點無關，只與關聯長度N有關。即平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關系與時間起點無關。從平穩(wěn)性可得：對平穩(wěn)信源如果某時刻發(fā)出什么符號只與前面發(fā)出的N個符號有關，那么任何時刻它們的依賴關系都是一樣的。即：二、二維平穩(wěn)信源及其信息熵

最簡單的平穩(wěn)信源就是二維平穩(wěn)信源。它滿足一維和二維概率分布與時間起點無關。

同時已知：連續(xù)兩個信源符號出現的聯合概率分布為P(aiaj)

(i,j=1,…,q)

，且：設有一個離散二維平穩(wěn)信源，其概率空間為：對離散二維平穩(wěn)信源的信息測度：

由于只有兩個符號有關聯，且其關聯與時間無關，則我們可把這個信源輸出的隨機序列分成每二個符號一組(因為相鄰的兩個符號才有關聯)，每組構成新信源的一個符號，并假設組與組之間統(tǒng)計無關(實際上，組尾的符號與下一組組頭的符號是有關的)。這時，等效成一個新的信源X1X2，它們的聯合概率空間為：

根據信息熵的定義，得：H(X1X2)稱為X1X2的聯合熵。關于離散二維平穩(wěn)信源聯合熵H(X1X2)表示原來信源X輸出任意一對消息的共熵，即描述信源X輸出長度為2的序列的平均不確定性（或所含有的信息量）?？捎肏(X1X2)/2作為信源X的信息熵的近似值。

從另一角度（來研究信源X的信息熵的近似值）：（1）由于信源X發(fā)出的符號序列中前后兩個符號之間有依賴性，可以先求出在已知前面一個符號Xl＝ai時，信源輸出下一個符號的平均不確定性：（2）前面一個符號Xl又可取ai{a1，a2，…，aq}中任一個，對某一個ai存在一個平均不確定性H(X2/X1＝ai)，那么對所有ai的可能值進行統(tǒng)計平均就得當前面一個符號巳知時，再輸出下一個符號的總的平均不確定性H(X2/X1)：（3）根據概率關系，可以得到聯合熵與條件熵的關系：

即：H(X1X2)＝H(X1)+H(X2/X1)

而H(X2/X1)

H(X2)因此H(X1X2)＝H(X1)+H(X2/X1)

H(X1)+H(X2)=2H(X)所以，一般情況下，輸出二個符號的聯合熵總是小于二倍信源的熵。

[例]

某一離散二維平穩(wěn)信源其發(fā)出的符號只與前一個符號有關，即可用聯合概率P(aiaj)給出它們的關聯程度，如下表所示

求信源的熵H(X)、條件熵H(X2/X1)和聯合熵H(X1X2)。P(aiaj)ajai01201/41/18011/181/31/18201/187/36

解：根據概率關系可計算得條件概率P（aj/ai）,計算結果列表如下：ajai01209/111/8012/113/42/9201/87/9P(aiaj)ajai01201/41/18011/181/31/18201/187/36

得：

雖然信源X發(fā)出的隨機序列中每個符號只與前一個有直接關聯，但在平穩(wěn)序列中，由于每一時刻的符號都通過前一個符號與更前一個符號聯系起來，因此序列的關聯是可引伸到無窮的。

二維平穩(wěn)信源的信息熵的近似值

到底選取哪一個值更能接近實際二維平穩(wěn)信源的熵，通過后面對一般離散平穩(wěn)信源的分析來解決這個問題。三、離散平穩(wěn)信源的極限熵對于一般平穩(wěn)有記憶信源，設其概率空間為：發(fā)出的符號序列為(X1，X2，…，XN，…)，假設信源符號之間的依賴長度為N，且各維概率分布為：簡記為滿足：已知聯合概率分布可求得離散平穩(wěn)信源的一系列聯合熵：定義N長的信源符號序列中平均每個信源符號所攜帶的信息量(平均符號熵

)，為：

另一方面，若已知前面N一1個符號，后面出現一個符號的平均不確定性（平均信息量），可從條件熵得出：對離散平穩(wěn)信源若H1(X)＜

，則有以下性質：(1)條件熵H(XN/X1X2…XN-1)隨N的增加是遞減的；(2)HN(X)

H(XN/X1X2…XN-1)；(3)HN(X)也是隨N增加而遞減的；(4)H

存在，并且:上式表明：當依賴關系趨于無窮時，平均符號熵和條件熵都非遞增地一致趨于平穩(wěn)信源的信息熵。對于一般平穩(wěn)信源，求H

相當困難。但N不很大時有：H

HN(X)或H

H(XN|X1X2…XN-1)。對離散二維平穩(wěn)信源此時：對于有限記憶長度的平穩(wěn)信源可用有限記憶長度的條件熵來對平穩(wěn)信源進行信息測度。上例為離散二維平穩(wěn)信源，所以得此信源的信息熵應等于:H(X2/X1)=0.87比特/符號。當平穩(wěn)信源的記憶長度有限時(m)，得離散平穩(wěn)信源的極限熵：

熵之間的相互關系H(XY)=H(X)+H(Y|X)H(XY)=H(Y)+H(X|Y)H(X)>=H(X|Y)H(Y)>=H(Y|X)H(XY)<=H(X)+H(Y)

熵的意義（對通信系統(tǒng)）H(X)：表示信源中每個符號的平均信息量（信源熵）。H(Y)：表示信宿中每個符號的平均信息量（信宿熵）。H(X|Y)：表示在輸出端接收到Y的全部符號后，發(fā)送端X尚存的平均不確定性。這個對X尚存的不確定性是由于干擾引起的。信道疑義度(損失熵，含糊度)H(Y|X)：表示在已知X的全部符號后，對于輸出Y尚存的平均不確定性。信道散布度(噪聲熵)H(XY)：表示整個信息傳輸系統(tǒng)的平均不確定性（聯合熵）。解：信源X的熵為：[例]：有兩個同時輸出的信源X和Y，其中X的信源符號為{A，B，C}，Y的信源符號為{D，E，F，G}，已知P(X)和P（Y/X），求聯合信源的聯合熵和條件熵。XABCP(x)1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6信源XY輸出每一對消息的聯合概率為：P(XY)=P(Y/X)P(X)

，結果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36聯合信源的聯合熵：

信源Y的條件熵：信道散布度

(噪聲熵)從上述結果可得：H(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/每對符號)當兩個信源統(tǒng)計獨立時，H(XY)=H(X)+H(Y)，為最大。對第二個信源Y，其熵H(Y)的計算。由全概率公式：因此：聯合熵的最大值為：由于信源相關，使聯合熵減小，其減小量為：2.5連續(xù)信源的信息熵2.5.1單符號連續(xù)信源的熵2.5.2波形信源的熵2.5.3最大熵定理對離散信源，信源符號等概率分布時熵最大，其平均自信息量記為:H0＝logq由于信源符號間的依賴關系使信源的熵減小，使下式成立：信源符號之間依賴關系越強，每個符導提供的平均信息量越小。為此，引入信源的冗余度來衡量信源的相關程度(有時也稱為多余度)。2.6信源的冗余度定義：熵的相對率———一個信源實際的信息熵與具有同樣符號集的最大熵的比值稱為相對率。式中：H0為熵的最大值，H

為熵的實際值信源冗余度———等于1減去熵的相對率。

關于冗余度冗余度

越大，實際熵H

越小。說明信源符號之間的依賴關系越強，即符號之間的記憶長度越長。冗余度

越小，表明信源符號之間依賴關系越弱，即符號之間的記憶長度越短。當冗余度等于零時，信源的信息熵就等于最大值H0

，這表明信源符號之間不但統(tǒng)計獨立無記憶，而且各符號還是等概率分布。從提高信息傳輸效率的角度出發(fā)，總是希望減少剩余度（壓縮），這是信源編碼的作用；從提高信息抗干擾能力來看，總是希望增加或保留剩余度，這是信道編碼要達到的目的。在通信系統(tǒng)中，除了在傳輸或恢復信息時所必須的最少消息外，其他的符號或系統(tǒng)都是剩余的。例如要求傳送兩個可能的消息“是”、“否”，用編碼“++---”、“+-+-+”，這個信源的剩余度就很高，因為同樣的消息只需用“+”和“-”來表示即可。例１：英語----字母表以英文字母組成的信源為例，信源的輸出是英文字母組成的序列。英文字母共26個加上空格共27個符號。所以由英文字母組成的信源的最大熵：

H0＝log27＝4.76（比特／符號）考慮到字母之間的依賴關系，可以把英文信源作進一步的近似，看作為M階馬爾可夫信源。這樣可以求得：

H1＝4.03比特／符號

H2＝3.32比特／符號

H3＝3.1比特／符號

……H

＝1.4比特／符號熵的相對率：=0.29信源剩余度：=0.71英文信源的剩余度說明：文中有71％是由語言結構定好的；只有29％是寫文字的人可以自由選擇的。在傳遞或存儲英語信息時，那些有關聯的字母可進行大幅度地壓縮。例如100頁的書，大約只要存儲29頁就可以了，其中71頁可以壓縮掉。信源的剩余度表示這種信源可壓縮的程度。德語、法語等自然語言與英語類似，而漢語信源則復雜得多。2.7離散無失真信源編碼定理離散信源的無失真編碼是要將信源輸出的離散消息符號變換成適合于信道傳輸的信道基本符號，在這一變換過程中同時還要考慮在信源消息不失真的前提下，如何用較短的碼字(代碼組)來代表每一條消息。一、信源編碼器單符號離散信源無失真編碼器的基本原理圖

N次擴展信源無失真編碼器的基本原理圖[例]

設信源S的概率空間為：

若把它通過—個二元信道進行傳輸，就必須把信源符號變換成0，1符號組成的碼符號序列(二元序列)。采用不同的二元序列與信源符號一一對應，可得到不同的二元碼，如下表所示（q=4）：信源符號si符號出現概率P(si)碼1碼2s1P(s1)000s2P(s2)0101s3P(s3)10001s4P(s4)11111信源S的二次擴展信源：上例碼2的二次擴展碼為：信源符號碼字信源符號碼字信源符號碼字α100=W1W1=B1α5010=W2W1=B5：：α2001=W1W2=B2：：：：α30001=W1W3=B3：：：：α40111=W1W4=B4：：α16111111=W4W4=B16

離散無記憶信源S的N次擴展信源SN={

1,

2,…,

qN}，其熵為H(SN)，并有碼符號X={x1,x2,…,xr}。對信源SN

進行編碼，總可以找到一種編碼方法，構成惟一可譯碼，使信源S中每個信源符號所需的平均碼長滿足：當N

時，有：二、香農第一定理定理2.7.1無失真變長信源編碼定理(香農第一定理)香農第一定理說明：要做到無失真的信源編碼，每個信源符號平均所需最少的r元碼元數為信源的熵Hr(S)。即Hr(S)

是無失真信源壓縮的極限值。若編碼的平均碼長小于信源的熵值Hr(S)

，則惟一可譯碼不存在，在譯碼或反變換時必然要帶來失真或差錯。通過對擴展信源進行變長編碼，當N

時，平均碼長

Hr(S)

。第三章信道及其容量信道的任務是以信號方式傳輸信息和存儲信息。研究信道中能夠傳送或存儲的最大信息量，即信道容量。3.1信道的數學模型和分類圖3.1.1數字通信系統(tǒng)的一般模型3.1信道的數學模型和分類一、信道的分類

根據載荷消息的媒體不同根據信息傳輸的方式郵遞信道電信道光信道聲信道輸入和輸出信號的形式信道的統(tǒng)計特性信道的用戶多少根據信息傳輸的方式分類中根據信道的用戶多少：兩端(單用戶)信道多端(多用戶)信道根據信道輸入端和輸出端的關聯：無反饋信道反饋信道根據信道的參數與時間的關系：固定參數信道時變參數信道根據輸入和輸出信號的特點：離散信道連續(xù)信道半離散或半連續(xù)信道波形信道二、離散信道的數學模型條件概率P(y/x)描述了輸入信號和輸出信號之間統(tǒng)計依賴關系。反映了信道的統(tǒng)計特性。根據信道的統(tǒng)計特性即條件概率P(y/x)的不同，離散信道又可分成三種情況：

無干擾信道有干擾無記憶信道有干擾有記憶信道

(1)無干擾(噪聲)信道信道中沒有隨機性的干擾或者干擾很小，輸出信號y與輸入信號x之間有確定的、一一對應的關系。即：y＝f(x)(2)有干擾無記憶信道信道輸入和輸出之間的條件概率是一般的概率分布。如果任一時刻輸出符號只統(tǒng)計依賴于對應時刻的輸入符號，則這種信道稱為無記憶信道。

(3)有干擾(噪聲)有記憶信道實際信道往往是既有干擾(噪聲)又有記憶的這種類型。例如在數字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。在這一類信道中某一瞬間的輸出符號不但與對應時刻的輸入符號有關，而且還與此以前其他時刻信道的輸入符號及輸出符號有關，這樣的信道稱為有記憶信道。三、單符號離散信道單符號離散信道：輸入符號為X，取值于{a1,a2,…,ar}。輸出符號為Y，取值于{b1,b2,…,bs}。條件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai)這一組條件概率稱為信道的傳遞概率或轉移概率，可以用來描述信道干擾影響的大小。信道中有干擾(噪聲)存在，可以用傳遞概率P(bj/ai)來描述干擾影響的大小。一般簡單的單符號離散信道可以用[X,P(y/x),Y]三者加以描述。其數學模型可以用概率空間[X,P(y/x),Y]描述。當然，也可用下圖來描述：a1b1

a2b2X .

.Y..arbsP(bj/ai)[例1]

二元對稱信道，[BSC，BinarySymmetricalChannel]解：此時，X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。傳遞概率:p是單個符號傳輸發(fā)生錯誤的概率。（1-p）表示是無錯誤傳輸的概率。轉移矩陣:01011－p

a1=00=b11－p

a2=11=b2pp符號“2”表示接收到了“0”、“1”以外的特殊符號02101p001－p11q1－q2[例2]二元刪除信道。[BEC，BinaryEliminatedChannel]解：X:{0，1}Y:{0，1，2}此時，r＝2，s＝3，傳遞矩陣為：一般離散單符號信道的傳遞概率可用矩陣形式表示，即

矩陣P完全描述了信道的特性，可用它作為離散單符號信道的另一種數學模型的形式。

P中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸的概率。所以該矩陣又稱為信道矩陣（轉移矩陣）

。

b1b2

…

bsa1P(b1|a1)P(b2|a1)…

P(bs|a1)a2P(b1|a2)P(b2|a2)…

P(bs|a2)

…

….…

…arP(b1|ar)P(b2|ar)…

P(bs|ar)3.2信道疑義度與平均互信息

本節(jié)進一步研究離散單符號信道的數學模型下的信息傳輸問題。一、信道疑義度信道輸入信源X的熵

H(X)是在接收到輸出Y以前，關于輸入變量X的先驗不確定性，稱為先驗熵。

接受到bj后，關于X的不確定性為

后驗熵在輸出符號集Y范圍內是個隨機量，對后驗熵在符號集Y中求數學期望，得條件熵----信道疑義度：這是接收到輸出符號bj后關于X的后驗熵。

后驗熵是當信道接收端接收到輸出符號bj后，關于輸入符號的信息測度?；バ畔⒘?/p>

I(xi;yj)：收到消息yj

后獲得關于xi的信息量即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量對于無干擾信道，I(xi;yj)=I(xi)；對于全損信道，I(xi;yj)=0；二、平均互信息平均互信息I(X;Y)：

I(xi;yj)的統(tǒng)計平均。它代表接收到符號集Y后平均每個符號獲得的關于X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。關于平均互信息I(X;Y)

互信息I(x;y)代表收到某消息y后獲得關于某事件x的信息量。它可取正值，也可取負值。若互信息I(x

;

y)<0，說明在未收到信息量y以前對消息x是否出現的不確定性較小，但由于噪聲的存在，接收到消息y后，反而對x是否出現的不確定程度增加了。

I(X;Y)是I(x;y)的統(tǒng)計平均，所以I(X;Y)>=0。若I(X;Y)=0，表示在信道輸出端接收到輸出符號Y后不獲得任何關于輸入符號X的信息量----全損信道。I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：平均互信息與各類熵的關系平均互信息與各類熵之間關系的集合圖（維拉圖）表示：

H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)

H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)H(XY)圖中，左邊的圓代表隨機變量X的熵，右邊的圓代表隨機變量Y的熵，兩個圓重疊部分是平均互信息I(X;Y)。每個圓減去I(X;Y)后剩余的部分代表兩個疑義度。

兩種特殊信道（1）、離散無干擾信道(無損信道)

信道的輸入和輸出一一對應，信息無損失地傳輸，稱為無損信道。

H(X|Y)=H(Y|X)=0[損失熵和噪聲熵都為“0”]

由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息:I(X;Y)=H(X)=H(Y)

（2）、輸入輸出獨立信道(全損信道)

信道輸入端X與輸出端Y完全統(tǒng)計獨立

H(X|Y)=H(X),H(Y|X)=H(Y)

所以I(X;Y)=0[I(X;Y)=H(X)-H(X|Y)]

信道的輸入和輸出沒有依賴關系，信息無法傳輸，稱為全損信道。

接收到Y后不可能消除有關輸入端X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從X中獲得任何關于Y的信息量。平均互信息I(X;Y)等于零，表明了信道兩端隨機變量的統(tǒng)計約束程度等于零。二種極限信道各類熵與平均互信息之間的關系H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)無損信道：完全重迭全損信道：完全獨立無損信道：全損信道：3.2平均互信息的性質平均互信息

I(X;Y)具有以下特性：（1）非負性即I(X;Y)>=0

當X、Y統(tǒng)計獨立時等式成立。（2）極值性即I(X;Y)<=H(X)

當H(X/Y)=0時，即信道中傳輸信息無損時，等式成立。（3）交互性（對稱性）即I(X;Y)=I(Y;X)

當X、Y統(tǒng)計獨立時

I(X;Y)=I(Y;X)=0

當信道無干擾時

I(X;Y)=I(Y;X)=H(X)=H(Y)（4）凸狀性

所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的傳遞概率P(y/x)的函數，即：

I(X;Y)=f[P(x),P(y|x)]

平均互信息I(X;Y)是輸入信源的概率分布P(x)的∩型凸函數。（1）對固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。（2）對于每一個固定信道，一定存在有一種信源(某一種概率分布P(x))，使輸出端獲得的平均信息量為最大。

平均互信息I(X;Y)是信道傳遞的概率P(y/x)的∪型凸函數。當信源固定后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關于信源的信息量是不同的。對每一種信源都存在一種最差的信道，此時干擾(噪聲)最大，而輸出端獲得的信息量最小。3.3離散無記憶信道的擴展信道

離散無記憶信道(DMC，DiscreteMemorylessChannel)，其傳遞概率滿足：仍可用[X，P(y/x)，Y]概率空間來描述。設離散無記憶信道的輸入符號集A＝{a1，…，ar}，輸出符號集B＝{b1

，…，bs}，信道矩陣為:則此無記憶信道的N次擴展信道的數學模型如圖所示:而信道矩陣：其中：

[例3]

求二元無記憶對稱信道（BSC）的二次擴展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，因此，二次擴展信道的輸入符號集為A＝{00，01，10，11}，共有22＝4個符號，輸出符號集為B＝{00，01，10，11}。由于是無記憶信道，可求得二次擴展信道的傳遞概率：信道矩陣：

根據平均互信息的定義，可得無記憶信道的N次擴展信道的平均互信息：若信道的輸入隨機序列為X=(X1X2…XN)，通過信道傳輸，接收到的隨機序列為Y＝(Y1Y2…YN)。假若信道是無記憶的，即信道傳遞概率滿足：則有：式中XiYi是對應第i位的隨機變量。若信源是無記憶的，則等式成立。

直觀分析：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔ⅲ沟煤竺鎮(zhèn)魉偷姆柕幕バ畔p少若信道的輸入隨機序列為X=(X1X2…XN)，通過信道傳輸，接收到的隨機序列為Y＝(Y1Y2…YN)。假若信源是無記憶的，則有：其中Xi和Yi是隨機序列X和Y中的第i位隨機變量。直觀分析：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾印Ｈ粜诺篮托旁炊际菬o記憶的，則：研究信道的目的是要討論信道中平均每個符號所能傳送的信息量-----信息傳輸率R平均互信息I(X;Y)就是接收到符號Y后平均每個符號獲得的關于X的信息量。所以：

R=I(X;Y)=H(X)–H(X|Y)(比特/符號)3.4離散信道的信道容量信道中每秒平均傳輸的信息量----信息傳輸速率RtRt＝R/t=I(X;Y)/t=H(X)/t–H(X|Y)/t（比特/秒）一、

信道容量的定義

由于平均互信息I(X;Y)是輸入隨機變量的∩型凸函數，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大。即存在一個最大的信息傳輸率------定義為信道容量C（比特/符號）(Bit/s)Ct仍稱為信道容量

若平均傳輸一個符號需要t秒鐘，則信道在單位時間內平均傳輸的最大信息量為Ct：即：[例4]

信道容量的計算因此，二元對稱信道的信道容量為：二元對稱信道，I(X;Y)時，I(X;Y)最大。當(比特／符號)離散無噪信道二、簡單離散信道的信道容量例如：其信道矩陣是單位矩陣：滿足：I(X;Y)=H(X)=H(Y)有