信息論與編碼(萬(wàn)方)復(fù)習(xí)市公開(kāi)課特等獎(jiǎng)市賽課微課一等獎(jiǎng)?wù)n件

信息論與編碼

復(fù)習(xí)5/7/2024第1頁(yè)考試題型簡(jiǎn)答題（8分/題*5）計(jì)算題（10分/題*6）卷面成績(jī)70%,平時(shí)成績(jī)30分第2頁(yè)第1章概論掌握通信系統(tǒng)基本模型；掌握信息論研究?jī)?nèi)容。第3頁(yè)第2章信源熵概念：自信息量平均互信息量熵功率信源冗余度定理離散信源最大熵定理限平均功率連續(xù)信源最大熵定理離散信源無(wú)失真定長(zhǎng)編碼定理離散信源最正確變長(zhǎng)編碼定理第4頁(yè)第二章

——續(xù)計(jì)算：某個(gè)事件發(fā)生后對(duì)外提供自信息量（比如作業(yè)：2.1，2.4（1），2.15（2），2.18（自信息量綜合應(yīng)用））某個(gè)單符號(hào)信源熵（比如作業(yè)：2.5（3）（4），2.17（1））序列信源熵（比如作業(yè)：2.15（3））對(duì)于一階和二階馬爾可夫信源：會(huì)計(jì)算到達(dá)穩(wěn)態(tài)時(shí)狀態(tài)概率分布（作業(yè)2.16（1））和極限熵（作業(yè)2.16（2），2.17（2）和p48例2.2.4）；給定狀態(tài)轉(zhuǎn)移概率，會(huì)畫(huà)狀態(tài)轉(zhuǎn)移圖，反之亦要求。第5頁(yè)第二章

——續(xù)計(jì)算：信源冗余度計(jì)算（作業(yè)2.17（3））依據(jù)給出離散信源，能夠進(jìn)行定長(zhǎng)編碼，求出碼字。掌握信源編碼器性能指標(biāo)（編碼效率η）及其與碼長(zhǎng)（k）之間關(guān)系。已知一個(gè)非高斯信源熵H，能夠求出高斯信源到達(dá)此熵所需功率求出此高斯信源概率密度函數(shù)第6頁(yè)第3章信道容量概念與定理：掌握信道容量概念和用途掌握什么是信道編碼定理。掌握限帶連續(xù)信源信道容量第7頁(yè)第3章信道容量計(jì)算：對(duì)稱(chēng)離散無(wú)記憶信道容量求解和應(yīng)用如課后作業(yè)4.6準(zhǔn)對(duì)稱(chēng)信道容量求解和應(yīng)用。第8頁(yè)第3章信道容量計(jì)算：均勻信道容量求解：已知一個(gè)信源有n個(gè)符號(hào)，傳輸正確概率為p，錯(cuò)誤概率均勻分配給其余符號(hào)，求該信道轉(zhuǎn)移概率矩陣求該信道信道容量第9頁(yè)第3章信道容量掌握離散無(wú)記憶信道N次擴(kuò)展信道容量求解無(wú)噪信道容量：見(jiàn)作業(yè)3.14應(yīng)用連續(xù)信道信道容量公式進(jìn)行解題連續(xù)信道容量所需信號(hào)功率如作業(yè)3.19,使用公式注意：C就是信號(hào)傳輸速率dB表示信噪比在代入時(shí)要進(jìn)行轉(zhuǎn)換第10頁(yè)第3章信道容量計(jì)算帶寬無(wú)窮大時(shí)連續(xù)信道容量帶寬無(wú)窮大時(shí)，連續(xù)信號(hào)傳輸所需信號(hào)功率如作業(yè)3.20：注意：噪聲功率有時(shí)并不直接給出，而是給出噪聲功率譜密度N0和帶寬B,則N=N0B第11頁(yè)第4章信息率失真函數(shù)概念和定理：掌握保真度準(zhǔn)則下信源編碼定理掌握信息率失真函數(shù)概念、是信源特征、有哪些應(yīng)用第12頁(yè)計(jì)算：對(duì)于離散信源(如作業(yè)4.1(1))：Dmax,R(Dmax)，及到達(dá)Dmax時(shí)對(duì)應(yīng)信道轉(zhuǎn)移概率分布第j*列(1)(2)(3)第4章信息率失真函數(shù)第13頁(yè)計(jì)算：對(duì)于離散信源(如作業(yè)4.1(2))：Dmin,R(Dmin)，及到達(dá)Dmin時(shí)對(duì)應(yīng)信道轉(zhuǎn)移概率分布P(Y/X):失真矩陣每行最小元素對(duì)應(yīng)位置轉(zhuǎn)移概率才為1，其它為0(1)(2)(3)第4章信息率失真函數(shù)第14頁(yè)計(jì)算：對(duì)于離散信源(如作業(yè)4.1(3))：R(D)計(jì)算、R(D)與D關(guān)系圖只要求等概信源，對(duì)稱(chēng)失真R(D),見(jiàn)P120(4.2.50式)關(guān)系圖見(jiàn)P109圖4.1.1（注意區(qū)分離散和連續(xù)信源），所取點(diǎn)縱坐標(biāo)依據(jù)R(D)計(jì)算式求得第4章信息率失真函數(shù)第15頁(yè)計(jì)算：對(duì)于連續(xù)信源（例：課堂上講兩個(gè)例子）失真函數(shù)為均方失真時(shí)，給定連續(xù)信源Dmax和R(D)計(jì)算。失真函數(shù)是絕對(duì)失真時(shí)，給定指數(shù)分布信源Dmax和R(D)計(jì)算。第4章信息率失真函數(shù)第16頁(yè)第5章信源編碼掌握最正確變長(zhǎng)信源編碼定理。計(jì)算：給定一個(gè)離散信源：能進(jìn)行二進(jìn)制香農(nóng)編碼二/三進(jìn)制費(fèi)諾編碼二/三哈夫曼編碼等長(zhǎng)編碼平均碼長(zhǎng)、編碼速率和編碼效率。第17頁(yè)第6章信道編碼概念和定理：信道編碼作用計(jì)算：對(duì)于線(xiàn)性分組碼已知G,會(huì)求碼字：例p1766.2.2已知G，會(huì)求GS和HS:例：p1776.2.3能夠進(jìn)行伴隨式譯碼:例：步驟見(jiàn)p178，課件中有詳細(xì)例子第18頁(yè)計(jì)算：對(duì)于循環(huán)碼，已知（n,k）循環(huán)碼會(huì)求g(x),并依據(jù)g(x)求G，例p191-1926.3.3,p1936.3.4會(huì)求h(x)=(xn+1)/g(x),并依據(jù)h(x),例p1936.3.4會(huì)求系統(tǒng)循環(huán)碼碼字:由G經(jīng)過(guò)初等行變換得Gs,再經(jīng)過(guò)C=mGS得系統(tǒng)循環(huán)碼碼字

變換方法見(jiàn)p1776.2.3第6章信道編碼第19頁(yè)計(jì)算：對(duì)于循環(huán)碼，已知（n,k）循環(huán)碼會(huì)使用伴隨式進(jìn)行校驗(yàn)，即依據(jù)接收向量r進(jìn)行判斷方法1：s=rHT,看s是否為0，非零則說(shuō)明有差錯(cuò)方法2：s(x)=r(x)modg(x)，看是否有余數(shù)，有則說(shuō)明有差錯(cuò)例p