信息論與編碼

信息論基礎(chǔ)

第1章引言韓宇輝2/3/20231教材信息論理論基礎(chǔ)（第3版）—賈世樓，電子工業(yè)出版社參考書信息理論與編碼

—姜丹，中國科技大學(xué)出版社信息論基礎(chǔ)理論與應(yīng)用

—傅祖蕓，電子工業(yè)出版社糾錯碼與差錯控制

—王新梅，人民郵電出版社2/3/20232第1章引言1.1通信系統(tǒng)的基本模型1.2信息論的研究范疇2/3/202331.1通信系統(tǒng)的基本模型2/3/202341.1.1通信基本模型2/3/20235信源：信息的發(fā)出者

離散信源連續(xù)信源信宿：信息的接收者信道：信息傳輸?shù)耐ǖ?/p>

有線信道和無線信道恒參信道和變參信道離散信道和連續(xù)信道2/3/20236變換和反變換：使信息適合在信道中傳輸能量變換模數(shù)變換和數(shù)模變換編碼與譯碼提高傳輸?shù)挠行院涂煽啃?/p>

調(diào)制與解調(diào)頻譜搬移2/3/202371.1.2對通信的基本要求有效性：盡量用較少的資源傳輸較多的信息。可靠性：由于受到干擾和噪聲的影響所產(chǎn)生的畸變和錯誤越小越好。

模擬通信系統(tǒng)：SNR

數(shù)字通信系統(tǒng)：SER、BER其它要求：適應(yīng)性、經(jīng)濟(jì)性、實用性。2/3/202381.1.3通信理論的研究方法信源的狀態(tài)是隨機(jī)的，信息傳輸過程中受到的噪聲和干擾也是隨機(jī)的。需要用概率論和隨機(jī)過程等統(tǒng)計數(shù)學(xué)工具來描述和分析通信的問題。2/3/202391.2信息論的研究范疇2/3/2023101.2.1信息論的研究內(nèi)容1.信息論研究的內(nèi)容(1)通信的統(tǒng)計理論的研究利用統(tǒng)計數(shù)學(xué)工具分析信息和信息傳輸?shù)慕y(tǒng)計規(guī)律。信息的度量信息速率與熵信道容量2/3/202311(2)信源的統(tǒng)計特性文字、字母統(tǒng)計特性語音的參數(shù)分析和統(tǒng)計特性圖片和活動圖像的統(tǒng)計特性其他信源的統(tǒng)計特性(3)收信者接收器官的研究與生物學(xué)、生理學(xué)、心理學(xué)密切相關(guān)。

人的聽覺和視覺器官的特性人的大腦感受和記憶能力的模擬2/3/202312(4)編碼理論與技術(shù)的研究有效性編碼（信源編碼）可靠性編碼（信道編碼）(5)提高信息傳輸效率的研究

功率的節(jié)約頻帶的壓縮傳輸時間的壓縮2/3/202313(6)抗干擾理論與技術(shù)的研究

各種調(diào)制制度的抗干擾性理想接收機(jī)的實現(xiàn)(7)噪聲中信號檢測理論與技術(shù)的研究

信號檢測的最佳準(zhǔn)則信號最佳檢測的實現(xiàn)2/3/2023142.信息論的研究范疇狹義信息論也稱為基本信息論，主要研究信息度量、信道容量、信源編碼等。一般信息論主要研究一般的通信理論，包括信號與噪聲理論、信號過濾與檢測、調(diào)制制度、信道編碼、信息處理等問題。廣義信息論不僅包括上述兩個方面，還包括與信息有關(guān)的其他領(lǐng)域，如生理學(xué)、生物學(xué)、遺傳工程學(xué)等。2/3/2023151.2.2信息論的發(fā)展簡史1924年奈奎斯特發(fā)表了“影響電報速率因素的確定”，證明了通信系統(tǒng)的信息傳輸能力與帶寬成正比。1928年哈特萊發(fā)表了“信息傳輸”，給出了信息度量的方法。1946年柯契爾尼科夫發(fā)表了“起伏噪聲下的潛在抗干擾理論”，根據(jù)最小錯誤概率準(zhǔn)則和最小均方誤差準(zhǔn)則研究信號的過濾問題。2/3/2023161848年山農(nóng)發(fā)表了“通信中的數(shù)學(xué)理論”；1949年他又發(fā)表了“噪聲中通信”。這兩篇文章給出了通信系統(tǒng)的模型，討論了信源和信道的統(tǒng)計特性以及信道容量，并給出了信源編碼定