信息論與編碼復習

“信息論與編碼”復習1．消息、信號、信息的含義、定義及區(qū)別。 信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。 消息是指包含信息的語言，文字和圖像等。 信號是消息的物理體現(xiàn)。消息是信息的數(shù)學載體、信號是信息的物理載體信號：具體的、物理的消息：具體的、非物理的信息：非具體的、非物理的同一信息，可以采用不同形式的物理量來載荷，也可以采用不同的數(shù)學描述方式。同樣，同一類型信號或消息也可以代表不同內(nèi)容的信息2．信息的特征與分類。 1接收者在收到信息之前，對其內(nèi)容是未知的，所以信息是新知識，新內(nèi)容； 2信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識； 3信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶，被存儲及處理； 4信息是可以量度的，信息量有多少的差別。3．狹義信息論、廣義信息論、一般信息論研究的領域。狹義信息論：信息論是在信息可以量度的基礎上，對如何有效，可靠地傳遞信息進行研究的科學。它涉及信息量度，信息特性，信息傳輸速率，信道容量，干擾對信息傳輸?shù)挠绊懙确矫娴闹R。廣義信息論：信息是物質(zhì)的普遍屬性，所謂物質(zhì)系統(tǒng)的信息是指它所屬的物理系統(tǒng)在同一切其他物質(zhì)系統(tǒng)全面相互作用（或聯(lián)系）過程中，以質(zhì)、能和波動的形式所呈現(xiàn)的結(jié)構、狀態(tài)和歷史。包含通信的全部統(tǒng)計問題的研究，除了香農(nóng)信息論之外，還包括信號設計，噪聲理論，信號的檢測與估值等。概率信息：信息表征信源的不定度，但它不等同于不定度，而是為了消除一定的不定度必須獲得與此不定度相等的信息量4．信息論的起源、歷史與發(fā)展。1924年，Nyquist提出信息傳輸理論；1928年，Hartly提出信息量關系；1932年，Morse發(fā)明電報編碼；1946年，柯切尼柯夫提出信號檢測理論；1948年，Shannon提出信息論，“通信中的數(shù)學理論”—現(xiàn)代信息論的開創(chuàng)性的權威論文，為信息論的創(chuàng)立作出了獨特的貢獻。5．通信系統(tǒng)的物理模型（主要框圖），各單元（方框）的主要功能及要解決的主要問題。 信源的核心問題是它包含的信息到底有多少，怎樣將信息定量地表示出來，即如何確定信息量。 信宿需要研究的問題是能收到或提取多少信息。 信道的問題主要是它能夠傳送多少信息，即信道容量的多少。6．通信的目的？要解決的最基本問題？通信有效性的概念。提高通信有效性的最根本途徑？通信可靠性的概念。提高通信可靠性的最根本途徑？通信安全性的概念，提高通信安全性的最根本途徑？ 通信系統(tǒng)的性能指標主要是有效性，可靠性，安全性和經(jīng)濟性。通信系統(tǒng)優(yōu)化就是使這些指標達到最佳。 從提高通信系統(tǒng)的有效性意義上說，信源編碼器的主要指標是它的編碼效率，即理論上所需的碼率與實際達到的碼率之比。提高通信有效性的最根本途徑是信源編碼。減少冗余。 提高可靠性：信道編碼。增加冗余。 提高安全性：加密編碼。 7．隨機事件的不確定度和它的自信息量之間的關系及區(qū)別？單符號離散信源的數(shù)學模型，自信息量、條件自信息量、聯(lián)合自信息量的含義？信源符號不確定度：具有某種概率的信源符號在發(fā)出之前，存在不確定度，不確定度表征該符號的特性。符號的不確定度在數(shù)量上等于它的自信息量，兩者的單位相同，但含義不同：?不確定度是信源符號固有的，不管符號是否發(fā)出；?自信息量是信源符號發(fā)出后給予收信者的；?為了消除該符號的不確定度，接受者需要獲得信息量。自信息量條件自信息量：聯(lián)合自信息量：8．信息量的性質(zhì)？含義？分別從輸入端、輸出端和系統(tǒng)總體來理解互信息量的含義。自信息量指的是該符號出現(xiàn)后，提供給收信者的信息量。9.各種熵（信源熵，條件熵，聯(lián)合熵（共熵），等）的含義及其關系。信源熵： 條件熵：疑義度：噪聲熵： 聯(lián)合熵：10.信源熵的基本性質(zhì)與定理及其理解？?熵的性質(zhì)對稱性非負性確定性香農(nóng)輔助定理最大熵定理條件熵小于無條件熵信源熵和平均自信息量兩者在數(shù)值上是相等的，但含義并不同。信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的量度。信源熵是在平均意義上來表征信源的總體特性，它是信源X的函數(shù)，而X是指隨機變量的整體（包括概率空間）。信源給定，概率空間就給定，信源熵就是一個確定值。小結(jié)：信源熵H(X)的三種物理含義：表示信源輸出后，每個離散消息所提供的平均信息量。表示信源輸出前，信源的平均不確定度。反映了變量X的隨機性。11.平均互信息量的定義及物理意義？疑義度及噪聲熵？12.平均互信息量的性質(zhì)及理解？13.平均互信息量關于信源概率和信道轉(zhuǎn)移概率的凸性定理。14.最大離散熵定理及理解。16.數(shù)據(jù)處理定理及其含義。17.信源的種類（詳細分類）？各舉出幾個例子。按時間和幅度分類：離散信源 單符號離散信源 文字，數(shù)字，數(shù)據(jù)等 離散序列信源連續(xù)信源 連續(xù)幅度信源 話音，圖像，圖形等 隨機波形信源按符號之間的關系：無記憶信源發(fā)出單個符號的無記憶信源 發(fā)出符號序列的無記憶信源有記憶信源 發(fā)出符號序列的有記憶信源 發(fā)出符號序列的馬爾可夫信源18.離散平穩(wěn)信源的定義，平均符號熵，極限熵的定義，含義與理解。信源所發(fā)符號序列的概率分布與時間的起點無關，這種信源我們稱之為多符號離散平穩(wěn)信源。馬爾可夫信源的定義，含義及其極限熵？當信源的記憶長度為m+1時，該時該發(fā)出的符號與前m個符號有關聯(lián)性，而與更前面的符號無關。馬爾可夫鏈極限熵：為了使馬爾可夫鏈最后達到穩(wěn)定，成功之路遍歷的馬爾可夫鏈，還必須滿足兩個條件：平穩(wěn)信源的概率分布特性具有時間推移不變性，而齊次馬氏鏈只要求轉(zhuǎn)移概率具有推移不變性，因此一般情況下平穩(wěn)包含齊次，但齊次不包含平穩(wěn)。20.信源的冗余度的定義和含義？為什么有些信源有冗余度？冗余度的計算。冗余度，表示給定信源在實際發(fā)出消息時所包含的多余信息。它來自兩個方面，一是信源符號間的相關性；二是信源符號分布的不均勻性.21.連續(xù)信源的熵的定義？ 連續(xù)信源的不確定度應為無窮大，是相對熵，或叫差熵。在取兩熵之間的差時才具有信息的所有特性。22.幾種特殊連續(xù)信源的熵。幅度連續(xù)的單個符號信源熵 波形信源熵24.信源輸出值受限的最大連續(xù)熵定理。 限峰功率最大熵定理：對于定義域為有限的隨機變量X，當它是均勻分布時，具有最大熵。25.信源輸出的平均功率受限的最大連續(xù)熵定理。限平均功率最大熵定理：對于相關矩陣一定隨機變量X，當它是正態(tài)分布時具有最大熵。Hc(X)=1/2ln()28.Shannon第一定理—離散無失真信源編碼定理（定長和變長）及含義？克勞夫特不等式只是用來說明唯一可譯碼是否存在，并不能作為唯一可譯碼的判據(jù)。29.信道的數(shù)學模型和分類？30.信息傳輸速率R的定義？信道轉(zhuǎn)移概率、信道矩陣和信道容量C的定義？幾種離散無噪信道的C？31.強對稱，對稱，準對稱信道的含義及其C？式中，m為信道輸出符號集中符號的數(shù)目。強對稱信道：或：32.離散信道容量的一般計算方法及其步驟？連續(xù)信道，連續(xù)信道的C的定義。連續(xù)單符號加性信道：多維無記憶加性連續(xù)信道：34.香農(nóng)公式的含義？由香農(nóng)公式得到的值是其信道的下限值。35Shannon第二定理（信道編碼定理）及其含義？35.對信源編碼器有些什么基本要求？編碼效率的定義？如何提高編碼效率？36.什么是最佳編碼？說出Shannon、Fano和Huffman編碼的基本方法和主要特點。37.理解Huffman編碼是最佳編碼？38.游程編碼相關定義與步驟？39.算術編碼（非分組碼）相關定義與步驟？40.簡要說明下面幾種譯碼準則：（1）最優(yōu)譯碼準則；（2）最大似然譯碼準則BSC信道的最大似然譯碼可以簡化為信道的最大似然譯碼可以簡化為最最小漢明距離譯碼小漢明距離譯碼。41.信源與信道達到匹配的含義以及如何實現(xiàn)？信道剩余度的概念及計算？42.失真函數(shù)、平均失真度的定義及其含義？失真函數(shù)定義：推廣-〉L長序列：平均失真度：43.信息率失真函數(shù)R(D)的定義、性質(zhì)及其含義？R(D)與C的比較？對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值為R（D）。如果選取對壓縮更為有利的編碼方案，則壓縮的效果可能更好。但是一旦超過最小互信息這個極限值，就是R(D)的數(shù)值，那么失真就要超過失真限度。如果需要壓縮的信息率更大，則可容忍的平均失真就要大。信息率失真函數(shù)R（D）性質(zhì)：44.Shannon第三定理及其含義？45.常用哪些差錯控制的方法？主要特點？46.糾錯編碼的分類（從不同的角度）？47.分組碼和卷積碼的定義？區(qū)別？碼率？卷積碼的約束長度？48.分組碼具有糾、檢錯能力的物理本質(zhì)（許用碼組和禁用碼組）？49.二進制分組碼糾、檢錯能力與漢明距離的關系？50.漢明距離和漢明重量的定義？錯誤圖樣的定義？隨機錯誤和突發(fā)錯誤的定義？52.線性分組碼的定義、構造、性質(zhì)？53.線性分組碼的伴隨式、標準陣的定義及性質(zhì)？