信息論與編碼(萬方)復(fù)習(xí)市公開課特等獎市賽課微課一等獎?wù)n件

信息論與編碼

復(fù)習(xí)5/7/2024第1頁考試題型簡答題（8分/題*5）計(jì)算題（10分/題*6）卷面成績70%,平時(shí)成績30分第2頁第1章概論掌握通信系統(tǒng)基本模型；掌握信息論研究內(nèi)容。第3頁第2章信源熵概念：自信息量平均互信息量熵功率信源冗余度定理離散信源最大熵定理限平均功率連續(xù)信源最大熵定理離散信源無失真定長編碼定理離散信源最正確變長編碼定理第4頁第二章

——續(xù)計(jì)算：某個(gè)事件發(fā)生后對外提供自信息量（比如作業(yè)：2.1，2.4（1），2.15（2），2.18（自信息量綜合應(yīng)用））某個(gè)單符號信源熵（比如作業(yè)：2.5（3）（4），2.17（1））序列信源熵（比如作業(yè)：2.15（3））對于一階和二階馬爾可夫信源：會計(jì)算到達(dá)穩(wěn)態(tài)時(shí)狀態(tài)概率分布（作業(yè)2.16（1））和極限熵（作業(yè)2.16（2），2.17（2）和p48例2.2.4）；給定狀態(tài)轉(zhuǎn)移概率，會畫狀態(tài)轉(zhuǎn)移圖，反之亦要求。第5頁第二章

——續(xù)計(jì)算：信源冗余度計(jì)算（作業(yè)2.17（3））依據(jù)給出離散信源，能夠進(jìn)行定長編碼，求出碼字。掌握信源編碼器性能指標(biāo)（編碼效率η）及其與碼長（k）之間關(guān)系。已知一個(gè)非高斯信源熵H，能夠求出高斯信源到達(dá)此熵所需功率求出此高斯信源概率密度函數(shù)第6頁第3章信道容量概念與定理：掌握信道容量概念和用途掌握什么是信道編碼定理。掌握限帶連續(xù)信源信道容量第7頁第3章信道容量計(jì)算：對稱離散無記憶信道容量求解和應(yīng)用如課后作業(yè)4.6準(zhǔn)對稱信道容量求解和應(yīng)用。第8頁第3章信道容量計(jì)算：均勻信道容量求解：已知一個(gè)信源有n個(gè)符號，傳輸正確概率為p，錯誤概率均勻分配給其余符號，求該信道轉(zhuǎn)移概率矩陣求該信道信道容量第9頁第3章信道容量掌握離散無記憶信道N次擴(kuò)展信道容量求解無噪信道容量：見作業(yè)3.14應(yīng)用連續(xù)信道信道容量公式進(jìn)行解題連續(xù)信道容量所需信號功率如作業(yè)3.19,使用公式注意：C就是信號傳輸速率dB表示信噪比在代入時(shí)要進(jìn)行轉(zhuǎn)換第10頁第3章信道容量計(jì)算帶寬無窮大時(shí)連續(xù)信道容量帶寬無窮大時(shí)，連續(xù)信號傳輸所需信號功率如作業(yè)3.20：注意：噪聲功率有時(shí)并不直接給出，而是給出噪聲功率譜密度N0和帶寬B,則N=N0B第11頁第4章信息率失真函數(shù)概念和定理：掌握保真度準(zhǔn)則下信源編碼定理掌握信息率失真函數(shù)概念、是信源特征、有哪些應(yīng)用第12頁計(jì)算：對于離散信源(如作業(yè)4.1(1))：Dmax,R(Dmax)，及到達(dá)Dmax時(shí)對應(yīng)信道轉(zhuǎn)移概率分布第j*列(1)(2)(3)第4章信息率失真函數(shù)第13頁計(jì)算：對于離散信源(如作業(yè)4.1(2))：Dmin,R(Dmin)，及到達(dá)Dmin時(shí)對應(yīng)信道轉(zhuǎn)移概率分布P(Y/X):失真矩陣每行最小元素對應(yīng)位置轉(zhuǎn)移概率才為1，其它為0(1)(2)(3)第4章信息率失真函數(shù)第14頁計(jì)算：對于離散信源(如作業(yè)4.1(3))：R(D)計(jì)算、R(D)與D關(guān)系圖只要求等概信源，對稱失真R(D),見P120(4.2.50式)關(guān)系圖見P109圖4.1.1（注意區(qū)分離散和連續(xù)信源），所取點(diǎn)縱坐標(biāo)依據(jù)R(D)計(jì)算式求得第4章信息率失真函數(shù)第15頁計(jì)算：對于連續(xù)信源（例：課堂上講兩個(gè)例子）失真函數(shù)為均方失真時(shí)，給定連續(xù)信源Dmax和R(D)計(jì)算。失真函數(shù)是絕對失真時(shí)，給定指數(shù)分布信源Dmax和R(D)計(jì)算。第4章信息率失真函數(shù)第16頁第5章信源編碼掌握最正確變長信源編碼定理。計(jì)算：給定一個(gè)離散信源：能進(jìn)行二進(jìn)制香農(nóng)編碼二/三進(jìn)制費(fèi)諾編碼二/三哈夫曼編碼等長編碼平均碼長、編碼速率和編碼效率。第17頁第6章信道編碼概念和定理：信道編碼作用計(jì)算：對于線性分組碼已知G,會求碼字：例p1766.2.2已知G，會求GS和HS:例：p1776.2.3能夠進(jìn)行伴隨式譯碼:例：步驟見p178，課件中有詳細(xì)例子第18頁計(jì)算：對于循環(huán)碼，已知（n,k）循環(huán)碼會求g(x),并依據(jù)g(x)求G，例p191-1926.3.3,p1936.3.4會求h(x)=(xn+1)/g(x),并依據(jù)h(x),例p1936.3.4會求系統(tǒng)循環(huán)碼碼字:由G經(jīng)過初等行變換得Gs,再經(jīng)過C=mGS得系統(tǒng)循環(huán)碼碼字

變換方法見p1776.2.3第6章信道編碼第19頁計(jì)算：對于循環(huán)碼，已知（n,k）循環(huán)碼會使用伴隨式進(jìn)行校驗(yàn)，即依據(jù)接收向量r進(jìn)行判斷方法1：s=rHT,看s是否為0，非零則說明有差錯方法2：s(x)=r(x)modg(x)，看是否有余數(shù)，有則說明有差錯例p