信息論培訓(xùn)課程總結(jié)

信息論課程總結(jié)第一頁(yè)，共二十三頁(yè)。信息論的基本概念與術(shù)語(yǔ)信號(hào)，消息，數(shù)據(jù)，知識(shí)，情報(bào)。信息的定義。（香農(nóng)信息）信息的主要特征。信息的重要性質(zhì)。信息的分類。信息技術(shù)的基本內(nèi)容。第二頁(yè)，共二十三頁(yè)。思考題:信息是什么？信息的基本特征是什么？信息與信號(hào)、消息、數(shù)據(jù)、知識(shí)、情報(bào)有那些差別？怎樣進(jìn)行信息分類？信息技術(shù)的“四基元”是什么？為什么說(shuō)數(shù)學(xué)是信息科學(xué)的基礎(chǔ)？第三頁(yè)，共二十三頁(yè)。信息量、熵和不確定度：自信息量、條件自信息量、聯(lián)合自信息量、互信息量。不確定度。熵、條件熵、聯(lián)合熵、平均互信息。應(yīng)用：如何利用它們的性質(zhì)和相互關(guān)系計(jì)算各種信源、隨機(jī)變量和事件的相應(yīng)信息度量。

第四頁(yè)，共二十三頁(yè)。兩個(gè)基本定理：最大熵定理。信息不增原理。第五頁(yè)，共二十三頁(yè)。幾種研究對(duì)象：離散單符號(hào)信源。離散無(wú)記憶序列信源。離散有記憶序列信源。（主要是馬爾可夫信源）連續(xù)信源。第六頁(yè)，共二十三頁(yè)。需掌握的重點(diǎn)：各種定義、概念的實(shí)際含義。各種信息量和熵的計(jì)算方法。第七頁(yè)，共二十三頁(yè)。難點(diǎn)：條件熵、聯(lián)合熵和平均互信息量的計(jì)算。序列熵的計(jì)算。馬爾可夫信源熵的計(jì)算。第八頁(yè)，共二十三頁(yè)。馬爾可夫信源熵的計(jì)算方法：根據(jù)題意畫(huà)出狀態(tài)圖，判斷是否是齊次遍歷的馬爾可夫信源。寫(xiě)出狀態(tài)轉(zhuǎn)移概率矩陣，計(jì)算狀態(tài)穩(wěn)定后的極限概率分布。根據(jù)狀態(tài)轉(zhuǎn)移概率矩陣和極限概率分布，計(jì)算信源的極限熵。第九頁(yè)，共二十三頁(yè)。信道的信息傳輸率:由于在平均意義上,一個(gè)符號(hào)流經(jīng)信道的平均信息量為I(X;Y),所以,信道的信息傳輸率為:R=I(X;Y)=H(X)-H(X|Y)bit/符號(hào)若平均傳輸一個(gè)符號(hào)的時(shí)間為t秒,則信道每秒眾平均傳輸?shù)男畔⒘繛?Rt=I(X;Y)/tbit/s第十頁(yè)，共二十三頁(yè)。定義：信道容量CC＝maxI(X；Y）＝max[H(X)-H(X/Y)]=max[H(Y)-H(Y/X)]P(Xi)P(Xi)P(Xi)P(Xi)信道最大信息傳輸速率第十一頁(yè)，共二十三頁(yè)。離散無(wú)噪信道（一一對(duì)應(yīng)的無(wú)噪信道）此時(shí)，H(X/Y)=0此時(shí)，C=maxH(X)=logn第十二頁(yè)，共二十三頁(yè)。例：二元對(duì)稱信道BSC（BinarySymmetricChannel）第十三頁(yè)，共二十三頁(yè)。BSC的信道容量為：第十四頁(yè)，共二十三頁(yè)。離散信道容量的一般計(jì)算辦法；連續(xù)信道的信道容量。第十五頁(yè)，共二十三頁(yè)。復(fù)習(xí)思考題：隨機(jī)事件的不確定度和它的自信息量之間的關(guān)系及區(qū)別？單符號(hào)離散信源的數(shù)學(xué)模型，自信息量、條件自信息量、聯(lián)合自信息量的含義？互信息量的性質(zhì)？含義？分別從輸入端、輸出端和系統(tǒng)總體來(lái)理解互信息量的含義。各種熵（信源熵，條件熵，聯(lián)合熵（共熵），等）的含義及其關(guān)系。熵的基本性質(zhì)與定理及其理解？第十六頁(yè)，共二十三頁(yè)。平均互信息量的定義及物理意義？疑義度及噪聲熵？平均互信息量的性質(zhì)及理解？最大離散熵定理。數(shù)據(jù)處理定理及其含義。信源的種類（詳細(xì)分類）。離散平穩(wěn)信源的定義，平均符號(hào)熵，極限熵的定義，含義與理解。馬爾可夫信源的定義，含義及其極限熵？第十七頁(yè)，共二十三頁(yè)。連續(xù)信源的熵的定義？幾種特殊連續(xù)信源的熵？信道容量的定義與計(jì)算辦法。第十八頁(yè)，共二十三頁(yè)。例：若你在不知道今天是星期幾的情況下，問(wèn)你的朋友“明天是星期幾？”，從答案中能獲得多少信息量？如果你在已經(jīng)知道今天是星期四的情況下，提出同樣的問(wèn)題，能從答案中獲得多少信息量？第十九頁(yè)，共二十三頁(yè)。解：設(shè)事件A為：不知道今天是星期幾的情況下，問(wèn)“明天是星期幾？”的答案。設(shè)事件B為：知道今天是星期四的情況下，問(wèn)“明天是星期幾？”的答案。則：P(A)=1/7,P(B)=1I(A)=log27≈2.807比特

I(B)=log21＝0比特

第二十頁(yè)，共二十三頁(yè)。習(xí)題1：從統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7％，女性為0.5％，如果你問(wèn)一個(gè)男同志，“你是否是紅綠色盲？”他的回答可能是“是”，可能是“否”，問(wèn):兩個(gè)回答各含有多少信息量？平均每個(gè)回答含有多少信息量？，如果是女同志，結(jié)果又如何？第二十一頁(yè)，共二十三頁(yè)。習(xí)題2：設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的消息，它在任何時(shí)間而且不論以前發(fā)出過(guò)什么符號(hào)，均按P(0)=0.4,P(1)=0.6的概率發(fā)出符號(hào)。（1）試問(wèn)該信源是否是平穩(wěn)的？（2）計(jì)算第二十二頁(yè)，共二十三頁(yè)。內(nèi)容總結(jié)信息論課程總結(jié)。如何利用它們的性質(zhì)和相互關(guān)系計(jì)算各種信源、隨機(jī)變量和事件的相應(yīng)信息度量。條件熵、聯(lián)合熵和平均互信息量的計(jì)算。寫(xiě)出狀態(tài)轉(zhuǎn)移概率矩陣，計(jì)算狀態(tài)穩(wěn)定后的極限概率分布。根據(jù)狀態(tài)轉(zhuǎn)移概率矩陣和極限概率分布，計(jì)算信源的極限熵。由于在平均意義上,一個(gè)符號(hào)流經(jīng)信道的平均信息量為I(X。Y),所以,信道的信息傳輸率為:。若平均傳輸一個(gè)符號(hào)的時(shí)間為t秒,則信道每秒眾平均傳輸?shù)男畔⒘繛?。C＝maxI(X。例：二元