信息論與編碼技術(shù)第1章緒論

9.電子文檔：1/~mfy/InfoTheory.htm課程的簡單介紹1.“信息的哲學(xué)”：開闊視野，提升對(duì)信息本身及其規(guī)律的認(rèn)識(shí)和抽象能力。有助于從更高、更抽象的層次理解和掌握信息的規(guī)律。發(fā)現(xiàn)不同問題間的相似性和聯(lián)系。1）加解密問題的本質(zhì)(如何隱藏信息)2）中國剩余的定理的信息論解釋（每一同余方程提供全部信息的一部分/概率）2.關(guān)于信息的一般性理論，指導(dǎo)信息科學(xué)問題的研究，或提供信息科學(xué)研究中的一些理論邊界，避免做無用功：比如類似研究“永動(dòng)機(jī)”的各種嘗試。1）如信息在傳輸，處理過程中不會(huì)增加2）不可能不依賴計(jì)算復(fù)雜度從一個(gè)短信息導(dǎo)出更長信息。。。3.…為什么學(xué)習(xí)信息論1.信息的概念2.信息論研究的對(duì)象、目的和內(nèi)容3.信息論簡史與發(fā)展趨勢第1章緒論組成客觀世界的三大基本要素：物質(zhì)、能量和信息，材料科學(xué)、能源科學(xué)和信息科學(xué)一起被稱為當(dāng)代文明的“三大支柱”。Withoutmaterials,thereisnothing.Withoutenergy,nothinghappens.Withoutinformation,nothingmakessense沒有物質(zhì)的世界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界。1.信息的概念無所不在的信息獲取、發(fā)送、傳輸、接收、處理和利用與情報(bào)的區(qū)別情報(bào)是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解而產(chǎn)生的知識(shí)是一類特定的信息，不是信息的全部與知識(shí)的區(qū)別知識(shí)是人們根據(jù)某種目的，從自然界收集得來的數(shù)據(jù)中，整理、概括、提取得到的有價(jià)值的、人們所需的信息。是一種普遍和概括性質(zhì)的高層次信息。也不等同于信息的全部1.1信息是什么？與消息的區(qū)別用特定形式把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來就成為了消息。特定形式（如文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感知的形式）兩個(gè)條件：1）能被人們感知和理解；2）可以進(jìn)行傳遞和獲?。幌⑹切畔⒌妮d體，信息是消息的內(nèi)容與信號(hào)的區(qū)別把消息變換成適合信道傳輸?shù)奈锢砹?，就是信?hào)。如電信號(hào)、光信號(hào)、聲信號(hào)、生物信號(hào)信號(hào)攜帶消息，是消息的運(yùn)載工具信號(hào)(消息（信息）)R.V.L.Hartley–1928《信息的傳輸》發(fā)信者發(fā)出的信息就是他在通信符號(hào)表中選擇符號(hào)的具體方式，用所選擇的自由度來度量信息缺點(diǎn)：未涉及信息的價(jià)值和具體內(nèi)容，只考慮選擇方式；也沒考慮選擇方式的統(tǒng)計(jì)特性N.Wiener–1948<控制論-動(dòng)物和機(jī)器中通信與控制問題>信息就是信息，不是物質(zhì)，也不是能量。（上升到最基本概念的位置）“信息是人們適應(yīng)外部世界并且是這種適應(yīng)反作用與外部世界的過程中，同外部世界進(jìn)行互相交換的內(nèi)容。”信息的各種定義缺點(diǎn)：1.信息不僅與人類有關(guān)，人與外部世界的交換的內(nèi)容不僅限于信息。G.Longe–1975《信息論：新的趨勢與未決問題》“信息是反映事物的形式、關(guān)系和差別的東西。它包含于客體間的差別中，二不在客體本身中?！薄霸谕ㄐ胖袃H僅差別關(guān)系是重要的。”---信息就是差異：沒有差異就沒有信息嗎？缺點(diǎn)：不全面，不確切信息的各種定義香農(nóng)1948年論文--《通信的數(shù)學(xué)理論》從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，科學(xué)定義了信息，并進(jìn)行了定性和定量的描述。（信道可以是空間上、時(shí)間上的）信息：事物運(yùn)動(dòng)或存在方式的不確定性的描述1.2香農(nóng)信息的定義信源信道信宿消息干擾或噪聲（發(fā)送者）（接收者）信息的傳遞：不確定性消除或減小的過程（理想情況下）接收者在收到消息以前不知道消息的具體內(nèi)容（疑義或不知），收到消息后疑義完全消除對(duì)接收者而言，消息傳遞過程是一個(gè)從不知到知的過程（有噪聲干擾時(shí)）接收者收到消息后由于噪聲或干擾，無法獲得準(zhǔn)確的消息對(duì)接收者而言，消息傳遞過程是一個(gè)從知之甚少到知之甚多的過程信息：事物運(yùn)動(dòng)或存在方式的不確定性的描述1.2香農(nóng)信息的定義信源信道信宿消息干擾或噪聲（發(fā)送者）（接收者）01011-q1-ppq信源信宿信息量與不確定性消除的程度有關(guān)不確定性就是隨機(jī)性—概率論和隨機(jī)過程測度不確定性的大小例子：甲袋：100球（50紅+50白）

乙袋：100球（25紅+25藍(lán)+25綠+25白）

問題：從甲袋和乙袋一次取出紅球的不確定性那個(gè)大？（取出前的不確定性,取出后消除的不確定性）1.3香農(nóng)信息的度量1）樣本空間某個(gè)事物各種可能出現(xiàn)的不同狀態(tài)，即所有可能選擇的消息的集合。X=2）概率測度在離散消息集合中，一個(gè)消息發(fā)生的概率（非負(fù)，總和為1）。3）概率空間一個(gè)樣本空間和它的概率測度稱為一個(gè)概率空間。用[X,P]表示。1.3香農(nóng)信息的度量4）自信息對(duì)于接收者而言，樣本空間X中的消息ai出現(xiàn)的不確定性與ai出現(xiàn)的概率p(ai)成反比,I(ai)=log{1/p(ai)}=-logp(ai)I5）互信息（MutualInformation）ai------->bi:由于信道可能的干擾，接收者接收到的bi可能與ai相同，也可能不同。先驗(yàn)概率：p(ai);后驗(yàn)概率：p(ai|bi)互信息：接收者在收到bi后，獲得的關(guān)于ai的信息量I(ai;bi)=log{1/p(ai)}–log{1/p(ai|bi)}=log{p(ai|bi)/p(ai)}如果ai=

bi，I(ai;bi)=？1.3香農(nóng)信息的度量6）香農(nóng)信息定義的優(yōu)缺點(diǎn)優(yōu)點(diǎn)（1）有明確的數(shù)學(xué)模型和定量計(jì)算；

（2）與人們關(guān)于信息的直觀感覺一致；必然事件信息量為0；事件發(fā)生概率越小，發(fā)生時(shí)包含的信息量越大。（3）排除了對(duì)信息的某些主觀上的含義；缺點(diǎn)（1）有時(shí)候?qū)ふ液线m概率模型困難；

（2）沒考慮接收者的主觀特性和主觀意義，忽略了具體含義，用途、重要程度和引起的后果等因素；1.3香農(nóng)信息的度量信息是物質(zhì)世界的三大支柱之一物質(zhì)、能量和信息能量

物質(zhì)永恒運(yùn)動(dòng)與相互作用

運(yùn)動(dòng)狀態(tài)和方式（信息）信息：事物運(yùn)動(dòng)的狀態(tài)和方式的自身顯示信息源于物質(zhì)世界的運(yùn)動(dòng)與相互作用，是普遍存在的信息是物質(zhì)的屬性但非物質(zhì)本身，具有相對(duì)獨(dú)立性信息的主要特征：信息、物質(zhì)和能量統(tǒng)一于事物一身信息的存在具有普遍性，無限性、動(dòng)態(tài)性、時(shí)效性和相對(duì)獨(dú)立性可傳遞、可轉(zhuǎn)換、可擴(kuò)散、可復(fù)制、可存儲(chǔ)、可分割(共享性)可度量性，不因認(rèn)知而消失，也不因傳遞、復(fù)制和擴(kuò)散而增加1.4信息的廣義概念語法、語義和語用信息引入認(rèn)識(shí)主體的一些約束條件

語法、語義和語用信息語法信息:事物運(yùn)動(dòng)狀態(tài)和狀態(tài)改變的方式本身。不涉及狀態(tài)的含義和效用。語義信息：事物運(yùn)動(dòng)狀態(tài)和方式的具體含義；語用信息：事物運(yùn)動(dòng)狀態(tài)和方式及其含義對(duì)觀察者的效用；研究事物運(yùn)動(dòng)狀態(tài)和方式與使用者的關(guān)系，即研究信息的主觀價(jià)值。1.4信息的廣義概念對(duì)象目的內(nèi)容2.信息論研究對(duì)象、目的和內(nèi)容抽象的通信系統(tǒng)模型信源：產(chǎn)生消息和消息序列的來源；出現(xiàn)的消息具有隨機(jī)性和不確定性，但有一定的規(guī)律性；編碼器：編碼把消息變換成信號(hào)的措施；（編碼的部件）信道：消息傳遞的媒介或通道。譯碼器：把信道輸出的編碼信號(hào)（疊加了干擾）進(jìn)行反變換。包括信道譯碼器與信源譯碼器，甚至解密譯碼器。信宿：消息傳送的對(duì)象，即接收消息的一方。噪聲：信道中的干擾。2.1信息論研究對(duì)象信源信道信宿消息（發(fā)送者）（接收者）編碼器譯碼器噪聲源信號(hào)信號(hào)+干擾消息信號(hào)+干擾信源Informationsource離散信源和連續(xù)信源無記憶信源和有記憶信源核心問題：信源的消息中所包含的信息量以及信息如何度量2.1信息論研究對(duì)象編碼器編碼其的功能把消息變成適合信道傳輸?shù)男盘?hào)：信源編碼器（sourceencoder）：將信源消息變成符號(hào)，目的提高傳輸?shù)挠行?。最常見的電?bào)系統(tǒng)的莫爾斯電碼，原則常見消息用短的碼字表示。信道編碼器（channelencoder）：給信源編碼符號(hào)增加冗余符號(hào)，提高傳輸?shù)目煽啃?。調(diào)制器（modulator）：將編碼器輸出符號(hào)變成適合信道傳輸?shù)男盘?hào)，提高傳輸?shù)男?，比如聲音不變成電信?hào)傳輸?shù)木嚯x很近。2.1信息論研究對(duì)象信道狹義信道具體的物理信道，與介質(zhì)相關(guān)廣義信道一種邏輯關(guān)系或者通道比如，y=x+kk={1,2}x=[1..5].無噪聲信道和有噪信道AWGN信道：加性高斯白噪聲信道2.1信息論研究對(duì)象譯碼器功能是從信號(hào)中恢復(fù)消息，包括解調(diào)器信道譯碼器信源譯碼器是編碼的逆變換2.1信息論研究對(duì)象2.1信息論研究目的1.提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性以便達(dá)到系統(tǒng)最優(yōu)化。2.信息傳輸系統(tǒng)模型根據(jù)信息傳輸要求和目的靈活可變。原則：突出關(guān)鍵功能模塊，其余多模塊合并。在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)所選擇的消息。通信系統(tǒng)的三項(xiàng)基本性能指標(biāo)：傳輸?shù)挠行裕鹤疃痰拇a字，單位的時(shí)間傳輸更多。傳輸?shù)目煽啃裕簻p少差錯(cuò)，降低錯(cuò)誤率。傳輸?shù)谋Ｃ苄裕翰槐晃词跈?quán)的一方獲取。傳輸?shù)恼J(rèn)證性：接收消息的正確性、完整性-無偽造和篡改。2.1信息論研究目的？數(shù)學(xué)角度：概率論的分支；物理角度：熵理論狹義信息論（香農(nóng)信息論）

信息的測度、信道容量、信源和信道編碼理論2.2信息論研究內(nèi)容一般信息論

噪聲、濾波與預(yù)測、估計(jì)、保密、統(tǒng)計(jì)監(jiān)測與估計(jì)、調(diào)制與信息處理等廣義信息論所有與信息相關(guān)的領(lǐng)域，如模式識(shí)別，計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)、經(jīng)濟(jì)學(xué)、光學(xué)、量子、生物學(xué)等。本課程主要關(guān)注:信息論基礎(chǔ)理論（香農(nóng)信息理論）2.2信息論研究內(nèi)容信息傳輸手段的五次重大變革①語言產(chǎn)生：人們用語言準(zhǔn)確地傳遞感情和意圖，使語言成為傳遞信息的重要工具。②文字產(chǎn)生：人類開始用書信的方式交換信息，使信息傳遞的準(zhǔn)確性大為提高。③發(fā)明印刷術(shù)：使信息能大量存儲(chǔ)和大量流通，并顯著擴(kuò)大了信息的傳遞范圍。④發(fā)明電報(bào)電話：開始了人類電信時(shí)代，通信理論和技術(shù)迅速發(fā)展。這一時(shí)期還誕生了無線電廣播和電視。更深入的問題：如何定量研究通信系統(tǒng)中的信息，怎樣更有效、更可靠傳遞信息？⑤計(jì)算機(jī)與通信結(jié)合：促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展，寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)的出現(xiàn)，給人們提供了除電話服務(wù)以外的多種服務(wù)，使人類社會(huì)逐漸進(jìn)入了信息化時(shí)代。2.3信息論發(fā)展簡史1924年，Nyquist提出信息傳輸理論；1928年，Hartley提出信息量關(guān)系；1932年，Morse發(fā)明電報(bào)編碼；1946年，柯切尼柯夫提出信號(hào)檢測理論；1948年，Shannon提出信息論，“通信中的數(shù)學(xué)理論”2.3信