信息論與編碼復(fù)習(xí)

“信息論與編碼”復(fù)習(xí)1．消息、信號(hào)、信息的含義、定義及區(qū)別。 信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。 消息是指包含信息的語(yǔ)言，文字和圖像等。 信號(hào)是消息的物理體現(xiàn)。消息是信息的數(shù)學(xué)載體、信號(hào)是信息的物理載體信號(hào)：具體的、物理的消息：具體的、非物理的信息：非具體的、非物理的同一信息，可以采用不同形式的物理量來(lái)載荷，也可以采用不同的數(shù)學(xué)描述方式。同樣，同一類型信號(hào)或消息也可以代表不同內(nèi)容的信息2．信息的特征與分類。 1接收者在收到信息之前，對(duì)其內(nèi)容是未知的，所以信息是新知識(shí)，新內(nèi)容； 2信息是能使認(rèn)識(shí)主體對(duì)某一事物的未知性或不確定性減少的有用知識(shí)； 3信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶，被存儲(chǔ)及處理； 4信息是可以量度的，信息量有多少的差別。3．狹義信息論、廣義信息論、一般信息論研究的領(lǐng)域。狹義信息論：信息論是在信息可以量度的基礎(chǔ)上，對(duì)如何有效，可靠地傳遞信息進(jìn)行研究的科學(xué)。它涉及信息量度，信息特性，信息傳輸速率，信道容量，干擾對(duì)信息傳輸?shù)挠绊懙确矫娴闹R(shí)。廣義信息論：信息是物質(zhì)的普遍屬性，所謂物質(zhì)系統(tǒng)的信息是指它所屬的物理系統(tǒng)在同一切其他物質(zhì)系統(tǒng)全面相互作用（或聯(lián)系）過(guò)程中，以質(zhì)、能和波動(dòng)的形式所呈現(xiàn)的結(jié)構(gòu)、狀態(tài)和歷史。包含通信的全部統(tǒng)計(jì)問(wèn)題的研究，除了香農(nóng)信息論之外，還包括信號(hào)設(shè)計(jì)，噪聲理論，信號(hào)的檢測(cè)與估值等。概率信息：信息表征信源的不定度，但它不等同于不定度，而是為了消除一定的不定度必須獲得與此不定度相等的信息量4．信息論的起源、歷史與發(fā)展。1924年，Nyquist提出信息傳輸理論；1928年，Hartly提出信息量關(guān)系；1932年，Morse發(fā)明電報(bào)編碼；1946年，柯切尼柯夫提出信號(hào)檢測(cè)理論；1948年，Shannon提出信息論，“通信中的數(shù)學(xué)理論”—現(xiàn)代信息論的開(kāi)創(chuàng)性的權(quán)威論文，為信息論的創(chuàng)立作出了獨(dú)特的貢獻(xiàn)。5．通信系統(tǒng)的物理模型（主要框圖），各單元（方框）的主要功能及要解決的主要問(wèn)題。 信源的核心問(wèn)題是它包含的信息到底有多少，怎樣將信息定量地表示出來(lái)，即如何確定信息量。 信宿需要研究的問(wèn)題是能收到或提取多少信息。 信道的問(wèn)題主要是它能夠傳送多少信息，即信道容量的多少。6．通信的目的？要解決的最基本問(wèn)題？通信有效性的概念。提高通信有效性的最根本途徑？通信可靠性的概念。提高通信可靠性的最根本途徑？通信安全性的概念，提高通信安全性的最根本途徑？ 通信系統(tǒng)的性能指標(biāo)主要是有效性，可靠性，安全性和經(jīng)濟(jì)性。通信系統(tǒng)優(yōu)化就是使這些指標(biāo)達(dá)到最佳。 從提高通信系統(tǒng)的有效性意義上說(shuō)，信源編碼器的主要指標(biāo)是它的編碼效率，即理論上所需的碼率與實(shí)際達(dá)到的碼率之比。提高通信有效性的最根本途徑是信源編碼。減少冗余。 提高可靠性：信道編碼。增加冗余。 提高安全性：加密編碼。 7．隨機(jī)事件的不確定度和它的自信息量之間的關(guān)系及區(qū)別？單符號(hào)離散信源的數(shù)學(xué)模型，自信息量、條件自信息量、聯(lián)合自信息量的含義？信源符號(hào)不確定度：具有某種概率的信源符號(hào)在發(fā)出之前，存在不確定度，不確定度表征該符號(hào)的特性。符號(hào)的不確定度在數(shù)量上等于它的自信息量，兩者的單位相同，但含義不同：?不確定度是信源符號(hào)固有的，不管符號(hào)是否發(fā)出；?自信息量是信源符號(hào)發(fā)出后給予收信者的；?為了消除該符號(hào)的不確定度，接受者需要獲得信息量。自信息量條件自信息量：聯(lián)合自信息量：8．信息量的性質(zhì)？含義？分別從輸入端、輸出端和系統(tǒng)總體來(lái)理解互信息量的含義。自信息量指的是該符號(hào)出現(xiàn)后，提供給收信者的信息量。9.各種熵（信源熵，條件熵，聯(lián)合熵（共熵），等）的含義及其關(guān)系。信源熵： 條件熵：疑義度：噪聲熵： 聯(lián)合熵：10.信源熵的基本性質(zhì)與定理及其理解？?熵的性質(zhì)對(duì)稱性非負(fù)性確定性香農(nóng)輔助定理最大熵定理?xiàng)l件熵小于無(wú)條件熵信源熵和平均自信息量?jī)烧咴跀?shù)值上是相等的，但含義并不同。信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的量度。信源熵是在平均意義上來(lái)表征信源的總體特性，它是信源X的函數(shù)，而X是指隨機(jī)變量的整體（包括概率空間）。信源給定，概率空間就給定，信源熵就是一個(gè)確定值。小結(jié)：信源熵H(X)的三種物理含義：表示信源輸出后，每個(gè)離散消息所提供的平均信息量。表示信源輸出前，信源的平均不確定度。反映了變量X的隨機(jī)性。11.平均互信息量的定義及物理意義？疑義度及噪聲熵？12.平均互信息量的性質(zhì)及理解？13.平均互信息量關(guān)于信源概率和信道轉(zhuǎn)移概率的凸性定理。14.最大離散熵定理及理解。16.數(shù)據(jù)處理定理及其含義。17.信源的種類（詳細(xì)分類）？各舉出幾個(gè)例子。按時(shí)間和幅度分類：離散信源 單符號(hào)離散信源 文字，數(shù)字，數(shù)據(jù)等 離散序列信源連續(xù)信源 連續(xù)幅度信源 話音，圖像，圖形等 隨機(jī)波形信源按符號(hào)之間的關(guān)系：無(wú)記憶信源發(fā)出單個(gè)符號(hào)的無(wú)記憶信源 發(fā)出符號(hào)序列的無(wú)記憶信源有記憶信源 發(fā)出符號(hào)序列的有記憶信源 發(fā)出符號(hào)序列的馬爾可夫信源18.離散平穩(wěn)信源的定義，平均符號(hào)熵，極限熵的定義，含義與理解。信源所發(fā)符號(hào)序列的概率分布與時(shí)間的起點(diǎn)無(wú)關(guān)，這種信源我們稱之為多符號(hào)離散平穩(wěn)信源。馬爾可夫信源的定義，含義及其極限熵？當(dāng)信源的記憶長(zhǎng)度為m+1時(shí)，該時(shí)該發(fā)出的符號(hào)與前m個(gè)符號(hào)有關(guān)聯(lián)性，而與更前面的符號(hào)無(wú)關(guān)。馬爾可夫鏈極限熵：為了使馬爾可夫鏈最后達(dá)到穩(wěn)定，成功之路遍歷的馬爾可夫鏈，還必須滿足兩個(gè)條件：平穩(wěn)信源的概率分布特性具有時(shí)間推移不變性，而齊次馬氏鏈只要求轉(zhuǎn)移概率具有推移不變性，因此一般情況下平穩(wěn)包含齊次，但齊次不包含平穩(wěn)。20.信源的冗余度的定義和含義？為什么有些信源有冗余度？冗余度的計(jì)算。冗余度，表示給定信源在實(shí)際發(fā)出消息時(shí)所包含的多余信息。它來(lái)自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性；二是信源符號(hào)分布的不均勻性.21.連續(xù)信源的熵的定義？ 連續(xù)信源的不確定度應(yīng)為無(wú)窮大，是相對(duì)熵，或叫差熵。在取兩熵之間的差時(shí)才具有信息的所有特性。22.幾種特殊連續(xù)信源的熵。幅度連續(xù)的單個(gè)符號(hào)信源熵 波形信源熵24.信源輸出值受限的最大連續(xù)熵定理。 限峰功率最大熵定理：對(duì)于定義域?yàn)橛邢薜碾S機(jī)變量X，當(dāng)它是均勻分布時(shí)，具有最大熵。25.信源輸出的平均功率受限的最大連續(xù)熵定理。限平均功率最大熵定理：對(duì)于相關(guān)矩陣一定隨機(jī)變量X，當(dāng)它是正態(tài)分布時(shí)具有最大熵。Hc(X)=1/2ln()28.Shannon第一定理—離散無(wú)失真信源編碼定理（定長(zhǎng)和變長(zhǎng)）及含義？克勞夫特不等式只是用來(lái)說(shuō)明唯一可譯碼是否存在，并不能作為唯一可譯碼的判據(jù)。29.信道的數(shù)學(xué)模型和分類？30.信息傳輸速率R的定義？信道轉(zhuǎn)移概率、信道矩陣和信道容量C的定義？幾種離散無(wú)噪信道的C？31.強(qiáng)對(duì)稱，對(duì)稱，準(zhǔn)對(duì)稱信道的含義及其C？式中，m為信道輸出符號(hào)集中符號(hào)的數(shù)目。強(qiáng)對(duì)稱信道：或：32.離散信道容量的一般計(jì)算方法及其步驟？連續(xù)信道，連續(xù)信道的C的定義。連續(xù)單符號(hào)加性信道：多維無(wú)記憶加性連續(xù)信道：34.香農(nóng)公式的含義？由香農(nóng)公式得到的值是其信道的下限值。35Shannon第二定理（信道編碼定理）及其含義？35.對(duì)信源編碼器有些什么基本要求？編碼效率的定義？如何提高編碼效率？36.什么是最佳編碼？說(shuō)出Shannon、Fano和Huffman編碼的基本方法和主要特點(diǎn)。37.理解Huffman編碼是最佳編碼？38.游程編碼相關(guān)定義與步驟？39.算術(shù)編碼（非分組碼）相關(guān)定義與步驟？40.簡(jiǎn)要說(shuō)明下面幾種譯碼準(zhǔn)則：（1）最優(yōu)譯碼準(zhǔn)則；（2）最大似然譯碼準(zhǔn)則BSC信道的最大似然譯碼可以簡(jiǎn)化為信道的最大似然譯碼可以簡(jiǎn)化為最最小漢明距離譯碼小漢明距離譯碼。41.信源與信道達(dá)到匹配的含義以及如何實(shí)現(xiàn)？信道剩余度的概念及計(jì)算？42.失真函數(shù)、平均失真度的定義及其含義？失真函數(shù)定義：推廣-〉L長(zhǎng)序列：平均失真度：43.信息率失真函數(shù)R(D)的定義、性質(zhì)及其含義？R(D)與C的比較？對(duì)于給定信源，在平均失真不超過(guò)失真限度D的條件下，信息率容許壓縮的最小值為R（D）。如果選取對(duì)壓縮更為有利的編碼方案，則壓縮的效果可能更好。但是一旦超過(guò)最小互信息這個(gè)極限值，就是R(D)的數(shù)值，那么失真就要超過(guò)失真限度。如果需要壓縮的信息率更大，則可容忍的平均失真就要大。信息率失真函數(shù)R（D）性質(zhì)：44.Shannon第三定理及其含義？45.常用哪些差錯(cuò)控制的方法？主要特點(diǎn)？46.糾錯(cuò)編碼的分類（從不同的角度）？47.分組碼和卷積碼的定義？區(qū)別？碼率？卷積碼的約束長(zhǎng)度？48.分組碼具有糾、檢錯(cuò)能力的物理本質(zhì)（許用碼組和禁用碼組）？49.二進(jìn)制分組碼糾、檢錯(cuò)能力與漢明距離的關(guān)系？50.漢明距離和漢明重量的定義？錯(cuò)誤圖樣的定義？隨機(jī)錯(cuò)誤和突發(fā)錯(cuò)誤的定義？52.線性分組碼的定義、構(gòu)造、性質(zhì)？53.線性分組碼的伴隨式、標(biāo)準(zhǔn)陣的定義及性質(zhì)？