配套課件-信息論基礎(chǔ)教程

信息論基礎(chǔ)教程

實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)驗(yàn)一：信道容量的迭代算法2學(xué)時(shí)實(shí)驗(yàn)二：Huffman編碼2學(xué)時(shí)實(shí)驗(yàn)三：通信系統(tǒng)仿真4學(xué)時(shí)（備選題目：LZW壓縮編碼）國(guó)外參考教材T.M.Cover,FundamentalofInformationTheory

最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用

數(shù)學(xué)推導(dǎo)適中，強(qiáng)調(diào)概念，作為參考教材R.G.Gallager,InformationTheoryandReliableCommunication

數(shù)學(xué)推導(dǎo)較為艱深

作為提高教材第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展1.概述2.信息的通俗概念3.信息的狹義概念（香農(nóng)信息）4.信息的廣義概念組成客觀世界的三大基本要素：物質(zhì)能量信息沒(méi)有物質(zhì)什么都不存在，沒(méi)有能量什么都不會(huì)發(fā)生，沒(méi)有信息什么都沒(méi)有意義。

——美國(guó)學(xué)者歐廷格研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論1.概述2.信息的通俗概念

信息的通俗概念：消息就是信息。用文字、符號(hào)、數(shù)據(jù)、語(yǔ)言、音符、圖片、圖像等能夠被人們感覺(jué)器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)，就稱(chēng)為消息。研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論消息中包含信息，消息是信息的載體。2.信息的通俗概念（續(xù)1）信號(hào)是表示消息的物理量，包括電信號(hào)、光信號(hào)等。信號(hào)中攜帶著消息，信號(hào)是消息的載體。信息信號(hào)消息研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論3.信息的狹義概念（香農(nóng)信息）第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型香農(nóng)信息：信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。通信的基本問(wèn)題是在一點(diǎn)(信宿）精確或近似恢復(fù)另一點(diǎn)（信源）所選擇的消息?！?/p>

香農(nóng)通信的過(guò)程就是消除不確定性的過(guò)程。3.信息的狹義概念（香農(nóng)信息）（續(xù)1）第一章：緒論例1：甲袋紅、白球各50個(gè)，乙袋紅、白、藍(lán)、黑球各25個(gè)。比較從甲袋中取出一個(gè)球是紅球的事件和從乙袋中取出一個(gè)球是紅球的事件發(fā)生的難易程度，也就是事件發(fā)生的不確定性。研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)2）第一章：緒論例2：北京地區(qū)十月份可能出現(xiàn)的天氣包括：晴、陰、雨、雪。比較天氣預(yù)報(bào)為“晴”和天氣預(yù)報(bào)為“雪”，給人們帶來(lái)的信息量。研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型結(jié)論：不確定性的大小與事件發(fā)生的概率有關(guān)。3.信息的狹義概念（香農(nóng)信息）（續(xù)3）第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關(guān)因此，信息量可以表示為概率的函數(shù)。不確定性是概率的函數(shù)3.信息的狹義概念（香農(nóng)信息）（續(xù)4）信息與概率的關(guān)系：事件發(fā)生的概率越大，該事件包含的信息量越?。蝗绻粋€(gè)事件發(fā)生的概率為1，那么它包含的信息量為0；兩個(gè)相互獨(dú)立事件所提供的信息量應(yīng)等于它們各自提供的信息量之和。第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)5）某個(gè)消息的不確定性（含有的信息量）可以表示為：第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型信源的平均不確定性：3.信息的狹義概念（香農(nóng)信息）（續(xù)6）第一章：緒論香農(nóng)信息的優(yōu)點(diǎn)：有明確的數(shù)學(xué)表達(dá)式，定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認(rèn)為同一消息對(duì)任何收信者，所得信息量相同。研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)7）第一章：緒論香農(nóng)信息的局限：沒(méi)有考慮收信者的主觀特性和主觀意義研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型4.信息的廣義概念研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。語(yǔ)法信息語(yǔ)義信息語(yǔ)用信息第一章：緒論第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展1.通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標(biāo)的措施1.通信系統(tǒng)模型研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論圖1通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)1）信源編碼器信道譯碼器信宿第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1）信源研究?jī)?nèi)容：信源發(fā)出的消息的統(tǒng)計(jì)特性離散信源、連續(xù)信源、波形信源有記憶信源和無(wú)記憶信源平穩(wěn)信源和非平穩(wěn)信源信源產(chǎn)生信息的速率熵率第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)2）2）編碼器編碼器的功能：將消息變成適合信道傳輸?shù)男盘?hào)編碼器包括：信源編碼器信道編碼器調(diào)制器第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)3）第一章：緒論圖2編碼器的組成研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)4）信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行浴５谝徽拢壕w論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)5）信道編碼器：將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型圖3信道編碼示例1.通信系統(tǒng)模型（續(xù)6）第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型思考題：

信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？1.通信系統(tǒng)模型（續(xù)7）調(diào)制器：功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)目的：提高傳輸效率第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)8）3）信道狹義信道廣義信道第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)9）研究?jī)?nèi)容：信道的統(tǒng)計(jì)特性無(wú)噪聲信道、有噪聲信道離散信道、連續(xù)信道、波形信道有記憶信道和無(wú)記憶信道恒參信道（平穩(wěn)信道）和隨參信道（非平穩(wěn)信道）單用戶(hù)信道和多用戶(hù)信道信道傳輸信息的最高速率

信道容量1.通信系統(tǒng)模型（續(xù)10）第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型4）譯碼器譯碼器的功能：從接收到的信號(hào)中恢復(fù)消息。包括：解調(diào)器信道譯碼器信源譯碼器第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)11）第一章：緒論圖4譯碼器的組成研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)12）5）信宿信宿是消息傳送的對(duì)象（人或機(jī)器）。香農(nóng)信息論不研究信宿。第一章：緒論研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)13）第一章：緒論提高有效性：（數(shù)據(jù)壓縮）信源編碼：無(wú)失真信源編碼和限失真信源編碼提高可靠性：（可靠傳輸）信道編碼2.提高通信系統(tǒng)性能指標(biāo)的措施研究?jī)?nèi)容形成和發(fā)展什么是信息通信系統(tǒng)模型第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展1.信息論研究的主要問(wèn)題2.什么是信息論3.信息論的應(yīng)用1.信息論研究的主要問(wèn)題第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容

狹義信息論：又稱(chēng)香農(nóng)信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論一般信息論狹義信息論

1.信息論研究的主要問(wèn)題（續(xù)1）1）什么是信息？如何度量信息？第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容2）怎樣確定信源輸出信息的速率？3）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是多少？1.信息論研究的主要問(wèn)題（續(xù)2）4）無(wú)失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？第一章：緒論

香農(nóng)第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無(wú)失真信源編碼方法；否則，不存在這樣的一種無(wú)失真信源編碼方法。通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容1.信息論研究的主要問(wèn)題（續(xù)3）5）在有噪聲信道中，有沒(méi)有可能實(shí)現(xiàn)幾乎無(wú)差錯(cuò)的傳輸信息？第一章：緒論

香農(nóng)第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意?。环駝t，不存在使差錯(cuò)任意小的信道編碼方式。通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容1.信息論研究的主要問(wèn)題（續(xù)4）6）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需要的最少碼符號(hào)數(shù)又是多少？第一章：緒論

香農(nóng)第三定理：對(duì)于任意的失真度，只要碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容

信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個(gè)關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。

信息論創(chuàng)立的標(biāo)志:香農(nóng)于1948年發(fā)表的論文：

——AMathematicalTheoryofCommunication（通信的數(shù)學(xué)理論）2.什么是信息論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容第一章：緒論2.什么是信息論（續(xù)1）以概率論、隨機(jī)過(guò)程為基本研究工具。第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容研究的是通信系統(tǒng)的整個(gè)過(guò)程，而不是單個(gè)環(huán)節(jié)，并以編、譯碼器為重點(diǎn)。關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不具體設(shè)計(jì)系統(tǒng)）。要求信源為隨機(jī)過(guò)程，不研究信宿。信息論的特點(diǎn)信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開(kāi)發(fā)的必備的知識(shí)。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容2.信息論的應(yīng)用（續(xù)1）

通信的基本問(wèn)題是在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語(yǔ)義方面的問(wèn)題與通信問(wèn)題無(wú)關(guān)，而重要的方面是實(shí)際消息是從一個(gè)可能的消息集合中選擇出的一條消息。

————

香農(nóng)第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語(yǔ)音信號(hào)壓縮（G.711,GSM,Vocoder…）計(jì)算機(jī)文件壓縮模擬話(huà)路中數(shù)據(jù)傳輸速率的提高其他（音頻信號(hào)壓縮MP3、圖象信號(hào)的壓縮JPEG,MPEG等）第一章：緒論通信系統(tǒng)模型形成和發(fā)展什么是信息研究?jī)?nèi)容第一章：緒論一、什么是信息二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展1.技術(shù)背景2.理論背景3.香農(nóng)的主要工作1.技術(shù)背景當(dāng)時(shí)通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：

電報(bào)（Morse，1838）、電話(huà)（Bell，1876）、無(wú)線(xiàn)電報(bào)(Marconi,1887)、調(diào)幅廣播（1900’s早期）、單邊帶調(diào)制（Carson，1922）、電視（1925-1927）、調(diào)頻廣播（Armstrong，1936）、脈沖編碼調(diào)制（Reeves，1937-1939）、聲碼器（Dudley，1939）、擴(kuò)頻通信（1940’s）等。第一章：緒論通信系統(tǒng)模型研究?jī)?nèi)容什么是信息形成和發(fā)展2.理論背景1948年以前，Nyquist、Hartley、Wiener做了許多有影響的工作。第一章：緒論通信系統(tǒng)模型研究?jī)?nèi)容什么是信息形成和發(fā)展3.香農(nóng)的主要工作1948年，發(fā)表《通信的數(shù)學(xué)理論》。第一章：緒論1949年，發(fā)表《噪聲下的通信》。1959年，發(fā)表《在保真度準(zhǔn)則下的離散信源編碼定理》。1961年，發(fā)表《雙路通信系統(tǒng)》。通信系統(tǒng)模型研究?jī)?nèi)容什么是信息形成和發(fā)展1956年，發(fā)表《噪聲信道的零差錯(cuò)容量》。大寫(xiě)字母等表示隨機(jī)變量小寫(xiě)字母等表示隨機(jī)變量的具體取值大寫(xiě)黑體字母等表示多維隨機(jī)變量，也就是隨機(jī)矢量小寫(xiě)黑體字母等表示隨機(jī)矢量的具體取值本課程約定的符號(hào)表示第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息第二章：信息的度量1.自信息2.互信息一、自信息和互信息二、平均自信息三、平均互信息平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）公理性條件：

(1)如果p(x1)<p(x2)，則I(x1)>I(x2)，I(xi

)是p(xi)的單調(diào)遞減函數(shù)；

(2)如果p(xi)=0，則I(xi

)→∞;如果p(xi)=1，則I(xi

)=0;(3)由兩個(gè)相對(duì)獨(dú)立的事件所提供的信息量，應(yīng)等于它們分別提供的信息量之和：I(xiyj)=I(xi

)+I(yj)

平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)1）

隨機(jī)事件的自信息定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值：關(guān)于對(duì)數(shù)底的選取：以2為底，單位為比特(bit)以e為底，單位為奈特(nat)以10為底，單位為哈特萊

(Hartley)

一般都采用以2為底的對(duì)數(shù)，為了書(shū)寫(xiě)簡(jiǎn)潔，有時(shí)把底數(shù)2略去不寫(xiě)。1.自信息（量）（續(xù)2）平均自信息平均互信息自信息和互信息第二章：信息的度量

單位之間的換算關(guān)系：

1奈特=log2

e比特=1.443比特

1哈特萊=log210比特=3.322比特

1r進(jìn)制單位=log2r比特自信息可以從兩個(gè)方面來(lái)理解：自信息是事件發(fā)生前，事件發(fā)生的不確定性。自信息表示事件發(fā)生后，事件所包含的信息量。試問(wèn)四進(jìn)制、八進(jìn)制的每一波形所含的信息量是二進(jìn)制每一波形所含的信息量的多少倍？

1.自信息（量）（續(xù)3）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)4）平均自信息平均互信息自信息和互信息第二章：信息的度量例1:設(shè)在甲袋中放入n個(gè)不同阻值的電阻，隨意取出一個(gè)，求當(dāng)被告知“取出的電阻阻值為i”時(shí)所獲得的信息量。解：比特由于是隨意取出一個(gè)電阻,所以取出任意阻值的電阻的概率相等:例2:在乙袋中放入個(gè)電阻，其中阻值為1的1個(gè)，2的2個(gè)，…，n

的n個(gè)，隨意取出一個(gè)，求被告知“取出的電阻阻值為1

”和“取出的電阻阻值為n”時(shí)分別獲得的信息量。解：1.自信息（量）（續(xù)5）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)6）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續(xù)7）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：設(shè)在A袋放入n個(gè)不同阻值的電阻，隨意取出一個(gè)，求當(dāng)被告知“取出的電阻阻值為i”時(shí)所獲得的信息量。在B袋中放入m種不同功率的電阻，任意取出一個(gè)，求被告知“取出的電阻功率為j”時(shí)獲得的信息量。在C袋中放入n種不同阻值，而每種阻值又有m種不同功率的電阻，即共有nm個(gè)電阻，隨意選取一個(gè)，被告知“取出的電阻阻值為i，功率為j”時(shí)獲得的信息量。

1.自信息（量）（續(xù)8）平均自信息平均互信息自信息和互信息第二章：信息的度量I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi

yj)=–logp(xi

yj)=log(n

m)

=I(xi)+I(yj)比特解：對(duì)應(yīng)A,B,C三袋，隨意取出一個(gè)電阻事件的概率分別為：因此1.自信息（量）（續(xù)9）平均自信息平均互信息自信息和互信息第二章：信息的度量例4：設(shè)在一正方形棋盤(pán)上共有64個(gè)方格，如果甲將一粒棋子隨意的放在棋盤(pán)中的某方格且讓乙猜測(cè)棋子所在位置。（1）

將方格按順序編號(hào)，令乙猜測(cè)棋子所在的順序號(hào)。問(wèn)猜測(cè)的難易程度。（2）將方格按行和列編號(hào)，甲將棋子所在方格的列編號(hào)告訴乙之后，再令乙猜測(cè)棋子所在行的位置。問(wèn)猜測(cè)的難易程度。解：p(xi

yj)=1/64i=1,2,…,8;j=1,2,…,8（1）

I(xi

yj)=–logp(xi

yj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xi

yj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特

1.自信息（量）（續(xù)10）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量設(shè)X為信源發(fā)出的離散消息集合；Y為信宿收到的離散消息集合；信源發(fā)出的消息，經(jīng)過(guò)有噪聲的信道傳遞到信宿；信宿信道信源

圖1通信系統(tǒng)的簡(jiǎn)化模型噪聲XY2.互信息（量）（續(xù)1）平均自信息平均互信息自信息和互信息第二章：信息的度量信宿信道信源噪聲XYxixi無(wú)噪I(xi)p(xi)p(xi|yj)I(xi)yjI(xi;yj)=I(xi)–

I(xi|yj)

先驗(yàn)概率：信源發(fā)出消息的概率。后驗(yàn)概率：信宿收到消息

后推測(cè)信源發(fā)出

的概率，即條件概率。2.互信息（量）（續(xù)2）平均自信息平均互信息自信息和互信息第二章：信息的度量互信息定義為：互信息有兩方面的含義：表示事件出現(xiàn)前后關(guān)于事件的不確定性減少的量；事件出現(xiàn)以后信宿獲得的關(guān)于事件的信息量。2.互信息（量）（續(xù)3）平均自信息平均互信息自信息和互信息第二章：信息的度量討論：(3)p(xi|yj)=1(2)若p(xi)<p(xi|yj)則I(xi;yj)>0(1)統(tǒng)計(jì)獨(dú)立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)

I(xi;yj)=0

若p(xi)>p(xi|yj)則I(xi;yj)<0I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

2.互信息（量）（續(xù)4）平均自信息平均互信息自信息和互信息第二章：信息的度量例5：某地二月份天氣構(gòu)成的信源為

某一天有人告訴你：“今天不是晴天”，把這句話(huà)作為收到的消息y1,求當(dāng)收到y(tǒng)1后,y1與各種天氣的互信息量。

解：2.互信息（量）（續(xù)5）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（續(xù)6）平均自信息平均互信息自信息和互信息第二章：信息的度量xiyj觀察者站在輸出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

：對(duì)yj一無(wú)所知的情況下xi存在的不確定度；：收到y(tǒng)j

后xi

仍然存在的不確定度；互信息：收到y(tǒng)j

前和收到y(tǒng)j后不確定度被消除的部分。2.互信息（量）（續(xù)7）平均自信息平均互信息自信息和互信息第二章：信息的度量觀察者站在輸入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

觀察者得知輸入端發(fā)出xi前、后對(duì)輸出端出現(xiàn)yj的不確定度的差。xiyjI(yj;

xi)=I(xi;yj)?平均自信息平均互信息自信息和互信息第二章：信息的度量觀察者站在通信系統(tǒng)總體立場(chǎng)上互信息等于通信前后不確定度的差值

通信前：X和Y之間沒(méi)有任何關(guān)系，即X、Y統(tǒng)計(jì)獨(dú)立，p(xiyj)=p(xi)p(yj)，先驗(yàn)不確定度為通信后：p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)，后驗(yàn)不確定度2.互信息（量）（續(xù)8）2.互信息（量）（續(xù)9）平均自信息平均互信息自信息和互信息第二章：信息的度量1)互信息的對(duì)稱(chēng)性2)互信息可為正值、負(fù)值，或?yàn)?3)任何兩個(gè)事件之間的互信息不可能大于其中任一事件的自信息互信息量的性質(zhì)2.互信息（量）（續(xù)10）平均自信息平均互信息自信息和互信息第二章：信息的度量用公式表示為：

互信息的對(duì)稱(chēng)性表明：從yj得到的關(guān)于xi的信息量

與從xi

得到的關(guān)于yj的信息量

是一樣的，只是觀察的角度不同而已。1)互信息的對(duì)稱(chēng)性2.互信息（量）（續(xù)11）平均自信息平均互信息自信息和互信息第二章：信息的度量當(dāng)后驗(yàn)概率大于先驗(yàn)概率時(shí)，互信息為正。

說(shuō)明事件yj的出現(xiàn)有助于消除事件xi的不確定度。當(dāng)后驗(yàn)概率小于先驗(yàn)概率時(shí)，互信息為負(fù)。

說(shuō)明收信者未收到y(tǒng)j以前，對(duì)消息xi是否出現(xiàn)的猜測(cè)難度較小，但接收到消息yj后對(duì)xi是否出現(xiàn)的猜測(cè)的難度增加了，也就是收信者接收到消息yj后對(duì)xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負(fù)值。當(dāng)后驗(yàn)概率與先驗(yàn)概率相等時(shí)，互信息為零。

這就是兩個(gè)隨機(jī)事件相互獨(dú)立的情況。表明xi和yj之間不存在統(tǒng)計(jì)約束關(guān)系，從yj得不到關(guān)于xi的任何信息，反之亦然。2)互信息可正可負(fù)，可為零3)任何兩個(gè)事件之間的互信息不可能大于其中任一事件的自信息2.互信息（量）（續(xù)12）平均自信息平均互信息自信息和互信息第二章：信息的度量例6：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占總數(shù)一半。假如我們得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？2.互信息（量）（續(xù)13）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（續(xù)14）平均自信息平均互信息自信息和互信息第二章：信息的度量解：x=某女孩是大學(xué)生；y=某女孩身高1米6以上。則有“身高1米6以上的某女孩是女大學(xué)生”為事件2.互信息（量）（續(xù)15）平均自信息平均互信息自信息和互信息第二章：信息的度量例7：已知信源發(fā)出和兩種消息，且。此消息在二進(jìn)制對(duì)稱(chēng)信道上傳輸，信道傳輸特性為。求互信息量和。

2.互信息（量）（續(xù)16）平均自信息平均互信息自信息和互信息第二章：信息的度量解：由已知可得2.互信息（量）（續(xù)17）平均自信息平均互信息自信息和互信息第二章：信息的度量第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均自信息的概念2.熵函數(shù)的性質(zhì)3.聯(lián)合熵與條件熵1.平均自信息的概念自信息和互信息平均互信息平均自信息第二章：信息的度量平均自信息（信息熵/信源熵/香農(nóng)熵/無(wú)條件熵/熵函數(shù)/熵）：自信息是一個(gè)隨機(jī)變量：

自信息是指信源發(fā)出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。自信息和互信息平均互信息平均自信息第二章：信息的統(tǒng)計(jì)度量信息熵的單位，取決于對(duì)數(shù)選取的底：以2為底，單位為比特/符號(hào)以e為底，單位為奈特/符號(hào)以10為底，單位為哈特萊/符號(hào)。信息熵的意義：

信源的信息熵是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。它是從平均意義上來(lái)表征信源的總體特性的。對(duì)于某特定的信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，其信息熵也不同。1.平均自信息的概念（續(xù)1）1.平均自信息的概念（續(xù)2）自信息和互信息平均互信息平均自信息第二章：信息的度量通常把一個(gè)隨機(jī)變量的樣本空間和樣本空間中的元素對(duì)應(yīng)的概率稱(chēng)為概率空間。離散隨機(jī)變量的概率空間為：1.平均自信息的概念（續(xù)3）自信息和互信息平均互信息平均自信息第二章：信息的度量例1擲一個(gè)六面均勻的骰子，每次出現(xiàn)朝上一面的點(diǎn)數(shù)是隨機(jī)的，以朝上一面的點(diǎn)數(shù)作為隨機(jī)試驗(yàn)的結(jié)果，并把試驗(yàn)結(jié)果看作一個(gè)信源的輸出，試建立數(shù)學(xué)模型。信源的輸出：離散隨機(jī)變量XX：{1，2，3，4，5，6}——樣本空間P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}[X

?P]=X：123456P(X)：1/61/61/61/61/61/6解：

——概率空間1.平均自信息的概念（續(xù)4）自信息和互信息平均互信息平均自信息第二章：信息的度量例2：一信源有6種輸出符號(hào)，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。

1)計(jì)算H(X)。

2)求符號(hào)序列ABABBA和FDDFDF的信息量，并將之與6位符號(hào)的信息量期望值相比較。

解：

1)由信息熵定義，該信源輸出的信息熵為

1.平均自信息的概念（續(xù)5）自信息和互信息平均互信息平均自信息第二章：信息的度量1.平均自信息的概念（續(xù)6）自信息和互信息平均互信息平均自信息第二章：信息的度量

符號(hào)序列FDDFDF所含的信息量為6位符號(hào)序列的信息量平均值為

符號(hào)序列ABABBA所含的信息量為三者比較為

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)離散隨機(jī)變量X的概率空間為記pi=p(xi)，則

由于概率的完備性，即，所以實(shí)際上是元函數(shù)。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)1）

當(dāng)n=2

時(shí)，自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)2）熵函數(shù)的數(shù)學(xué)特性包括:(1)對(duì)稱(chēng)性(2)確定性(3)非負(fù)性(4)擴(kuò)展性(5)連續(xù)性(6)遞增性(7)上凸性(8)極值性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)3）當(dāng)概率矢量中各分量的次序任意變更時(shí)，熵函數(shù)的值不變，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…該性質(zhì)說(shuō)明：熵只與隨機(jī)變量(信源)的總體統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同（含有的符號(hào)數(shù)和概率分布相同），那么這些信源的熵就相同。（1）對(duì)稱(chēng)性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)4）例3：三個(gè)信源分別為：①

X與Z信源的差別：具體消息其含義不同；②

X與Y信源的差別：同一消息的概率不同；③

但它們的信息熵是相同的。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)5）

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空間中，只要有一個(gè)事件是必然事件，那么其它事件一定是不可能事件，因此信源沒(méi)有不確定性，熵必為0。（2）確定性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)6）只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵H(X)=0。離散信源的熵滿(mǎn)足非負(fù)性，而連續(xù)信源的熵可能為負(fù)。（3）非負(fù)性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)7）擴(kuò)展性說(shuō)明，增加一個(gè)概率接近于零的事件，信源熵保持不變。雖然小概率事件出現(xiàn)后，給予收信者較多的信息，但從總體來(lái)考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出現(xiàn)，所以它對(duì)于離散集的熵的貢獻(xiàn)可以忽略不計(jì)。這也是熵的總體平均性的一種體現(xiàn)。（4）擴(kuò)展性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)8）（5）連續(xù)性（6）遞增性（遞推性)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)9）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)10）例4：利用遞推性計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)11）例4：利用遞推性計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。解：bit/符號(hào)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)13）

凸函數(shù)的定義及詹森不等式（7）上凸性引理（香農(nóng)輔助定理）：其中證明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)14）時(shí)等號(hào)成立?？梢员豢醋鍪且环N新的概率分布。

是概率分布的嚴(yán)格上凸函數(shù)，即證明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)15）等號(hào)成立條件但是所以等號(hào)不成立。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)16）上凸性的幾何意義：

在上凸函數(shù)的任兩點(diǎn)之間畫(huà)一條割線(xiàn)，函數(shù)總在割線(xiàn)的上方.上凸函數(shù)在定義域內(nèi)的極值必為最大值，這對(duì)求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)17）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)18）（8）極值性（最大離散熵定理）定理：

離散無(wú)記憶信源輸出n個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)(即

)，熵最大，即

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)19）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)20）

例5：以二進(jìn)制信源為例，信源的概率空間為二進(jìn)制信源的信息熵為這時(shí)信息熵H(X)是p的函數(shù)，熵函數(shù)H(p)的曲線(xiàn)如圖所示：從圖中可以得出熵函數(shù)的一些性質(zhì)：如果二進(jìn)制信源的輸出是確定的(p=0或p=1)，則該信源不提供任何信息；當(dāng)二進(jìn)制信源符號(hào)0和1等概率發(fā)生時(shí)，信源的熵達(dá)到最大值，等于1比特/符號(hào);在等概率的二進(jìn)制信源輸出的二進(jìn)制數(shù)字序列中，每一個(gè)二元數(shù)字提供1比特的信息量。如果符號(hào)不是等概率分布，則每一個(gè)二元數(shù)字所提供的平均信息量小于1比特。這也進(jìn)一步說(shuō)明了計(jì)算機(jī)術(shù)語(yǔ)中的“比特”與信息量單位“比特”的關(guān)系。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)21）3.聯(lián)合熵和條件熵自信息和互信息平均互信息平均自信息第二章：信息的度量定義2.4隨機(jī)變量X和Y的聯(lián)合分布為p(xiyj)，則這兩個(gè)隨機(jī)變量的聯(lián)合熵定義為：

聯(lián)合熵表示對(duì)于二維隨機(jī)變量的平均不確定性。3.聯(lián)合熵和條件熵（續(xù)1）自信息和互信息平均互信息平均自信息第二章：信息的度量定義2.5隨機(jī)變量X和Y的條件熵定義為：條件熵表示已知一個(gè)隨機(jī)變量時(shí)，對(duì)另一個(gè)隨機(jī)變量的平均不確定性。

表示在已知的情況下,Y的平均不確定性。對(duì)于不同的，是變化的。因此，是一個(gè)隨機(jī)變量。3.聯(lián)合熵和條件熵（續(xù)2）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)3）自信息和互信息平均互信息平均自信息第二章：信息的度量例6：已知聯(lián)合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。1)解：3.聯(lián)合熵和條件熵（續(xù)4）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)5）自信息和互信息平均互信息平均自信息第二章：信息的度量H(X)=2.0662)3)H(Y)=1.8564)3.聯(lián)合熵和條件熵（續(xù)6）自信息和互信息平均互信息平均自信息第二章：信息的度量5)3.聯(lián)合熵和條件熵（續(xù)7）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)8）自信息和互信息平均互信息平均自信息第二章：信息的度量各種熵之間的關(guān)系

H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(X|Y)

H(X)，H(Y|X)

H(Y)H(XY)

H(X)+H(Y)

若X與Y統(tǒng)計(jì)獨(dú)立，則H(XY)=H(X)+H(Y)可推廣到多個(gè)隨機(jī)變量的情況：3.聯(lián)合熵和條件熵（續(xù)9）自信息和互信息平均互信息平均自信息第二章：信息的度量

引入事件的重量，度量事件的重要性或主觀價(jià)值。

加權(quán)熵定義為：加權(quán)熵3.聯(lián)合熵和條件熵（續(xù)10）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)11）自信息和互信息平均互信息平均自信息第二章：信息的度量例7：信源X={A,B,C},信源Y={D,E,F,G},已知條件概率分布和X的概率分布，求聯(lián)合熵和條件熵。P(Y|X)DEFGP(X)A1/41/41/41/41/2B3/101/51/53/101/3C1/61/21/61/61/63.聯(lián)合熵和條件熵（續(xù)12）自信息和互信息平均互信息平均自信息第二章：信息的度量P(XY)DEFGA1/81/81/81/8B1/101/151/151/10C1/361/121/361/36P(Y)91/36033/12079/36091/360解：H(XY)=3.417H(X)=1.46H(Y)=1.997H(Y|X)=1.95H(X|Y)=H(XY)-H(Y)=1.42第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均互信息的概念2.平均互信息的性質(zhì)3.數(shù)據(jù)處理定理第二章：信息的度量1.平均互信息的概念信宿信道信源噪聲XYxiyjI(xi;yj)p(xi

yj)平均交互信息量、交互熵I(X;Y)p(yj|

xi)平均自信息平均互信息自信息和互信息第二章：信息的度量1.平均互信息的概念（續(xù)1）平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)對(duì)稱(chēng)性：I(X;Y)=I(Y;X)非負(fù)性：極值性：I(X;Y)

min{H(X),H(Y)}

4.平均互信息和各類(lèi)熵的關(guān)系:I(X;Y)=H(X)-H(X|Y)=H(Y)

H(Y|X)=H(X)+H(Y)

H(XY)

X,Y互相獨(dú)立時(shí)5.I(X;Y)是信源概率分布p(xi)的上凸函數(shù)和信道傳遞概率p(yj|xi)的下凸函數(shù)。第二章：信息的度量平均自信息平均互信息自信息和互信息平均互信息量不是從兩個(gè)具體消息出發(fā)，而是從隨機(jī)變量X和Y的整體角度出發(fā)，在平均意義上觀察問(wèn)題，所以平均互信息不會(huì)出現(xiàn)負(fù)值。第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)1）H(XY)H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)=0第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)2）符號(hào)圖示表1X、Y之間有依賴(lài)關(guān)系時(shí)第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)3）符號(hào)圖示表2X、Y相互獨(dú)立時(shí)第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理定義2.7平均條件互信息

定義2.8平均聯(lián)合互信息

可以證明同理第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)1）定理2.3（數(shù)據(jù)處理定理）如果隨機(jī)變量X，Y，Z構(gòu)成一個(gè)馬爾可夫鏈，則有以下關(guān)系成立：等號(hào)成立的條件分別是對(duì)于任意的x，y，z

證明第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)2）第二章：信息的度量平均自信息平均互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)3）練習(xí)題1

已知：X為隨機(jī)變量，判斷：？

第二章：信息的度量平均自信息平均互信息自信息和互信息第二章：信息的度量平均自信息平均互信息自信息和互信息第二章：信息的度量平均自信息平均互信息自信息和互信息第七章限失真信源編碼7.1失真測(cè)度7.2信息率失真函數(shù)

7.3信息率失真函數(shù)的計(jì)算

7.4限失真信源編碼定理*7.5常用的限失真信源編碼方法概述第七章：限失真編碼失真測(cè)度信宿信源編碼器/信道YXR=I(X;Y)>R(D)概述第七章：限失真編碼失真測(cè)度7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度失真矩陣7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度常用的失真函數(shù)有：（1）

漢明失真（2）平方誤差失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)大小等人為規(guī)定的。7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度例7.1.1設(shè)信道輸入，輸出，規(guī)定失真函數(shù)

d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D

。解：

7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求D

。符號(hào)序列的失真函數(shù)7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度例7.1.2假設(shè)信源輸出序列，其中每個(gè)隨機(jī)變量均取值于。經(jīng)信道傳輸(編碼）后的輸出為，其中每個(gè)隨機(jī)變量均取值于。定義失真函數(shù)

d(0,0)=d(1,1)=0，

d(0,1)=d(1,0)=1，求失真矩陣D(N）。

7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度7.1.1失真函數(shù)第七章：限失真編碼失真測(cè)度7.1.2平均失真

第七章：限失真編碼失真測(cè)度7.1.2平均失真

第七章：限失真編碼失真測(cè)度例：7.1.2平均失真

第七章：限失真編碼失真測(cè)度例：第七章：限失真編碼失真測(cè)度7.1.2平均失真

第七章：限失真編碼失真測(cè)度7.1.2平均失真

7.2.1D允許信道

保真度準(zhǔn)則

D失真允許信道

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)7.2.2信息率失真函數(shù)的定義當(dāng)信源為離散無(wú)記憶平穩(wěn)信源、信道為離散無(wú)記憶平穩(wěn)信道時(shí)7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信道固定前提下，選擇一種信源概率分布使信息傳輸率最大（求極大值）。它反映了信道傳輸信息的能力，是信道可靠傳輸?shù)淖畲笮畔鬏斅?。信道容量與信源無(wú)關(guān)，是反映信道特性的參量，不同的信道其信道容量不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)是在信源固定，滿(mǎn)足保真度準(zhǔn)則的條件下的信息傳輸率的最小值。反映了滿(mǎn)足一定失真度的條件下信源可以壓縮的程度，也就是滿(mǎn)足失真要求而再現(xiàn)信源消息所必須獲得的最少平均信息量。是信源特性的參量，一旦求到就與求極值過(guò)程中選擇的試驗(yàn)信道無(wú)關(guān)，不同的信源率失真函數(shù)不同。

7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)

這兩個(gè)概念適用范圍是不一樣。研究信道容量C是為了解決在已知信道中盡可能多地傳送信息的問(wèn)題，是為了充分利用已給定的信道，使傳輸?shù)男畔⒘孔畲蠖e(cuò)誤概率任意小，以提高通信的可靠性，這是信道編碼的問(wèn)題。研究信息率失真函數(shù)是為了解決在已知信源和允許失真度條件下，使信源輸出的信息率盡可能小，也就是在允許一定失真度D的條件下，使信源必須傳送給信宿的信息量最少，盡可能用最少的碼符號(hào)來(lái)傳送信源信息，使信源的信息可以盡快地傳送出去，以提高通信的有效性，這是信源編碼問(wèn)題。7.2信息率失真函數(shù)第七章：限失真編碼信息率失真函數(shù)1.

的定義域

第七章：限失真編碼