第一講通信概論與信息度量

現(xiàn)代通信原理

2010.9~2011.1任課教師及助教任課教師金德鵬中央主樓901C62781409jindp@助教孫光：sung08@,中央主樓901C作業(yè)及答疑作業(yè)隨堂布置，第二周上課交課堂收取、發(fā)放作業(yè)答疑每周五下午3：30～4：30，中央主樓901C平時可隨時聯(lián)系老師答疑不限于課程，推研、出國、考研、就業(yè)…歡迎大家到辦公室聊天期中期末集中答疑課程安排（1）通信概論與信息度量模擬調(diào)制模擬信號數(shù)字化及壓縮編碼時分多路復用數(shù)字信號基帶傳輸數(shù)字信號載波傳輸差錯控制編碼卷積碼多址技術課程安排（2）教材現(xiàn)代通信原理，清華大學出版社，曹志剛、錢亞生講義每周周一左右上傳到網(wǎng)絡學堂參考書英文參考書：E1.《Introductiontodigitalcommunication》RodgerE.ZiemerE2.《Principleofcommunicationengineering》Wozencraft&JacobsE3.《Communicationsystemsengineering》Proakis&Salehi中文參考書：C1.《數(shù)字通信－基礎與應用（第二版）》，BernardSklarC2.《數(shù)字微波中繼通信工程》，姚彥、梅順良、高葆新，人民郵電出版社C3.《通信原理》（1980,1984），樊昌信，國防工業(yè)出版社C4.《現(xiàn)代通信理論基礎（上冊）》，樊平毅，馮重熙，清華大學出版社課程成績平時成績（作業(yè)，隨堂測驗）期中考試期末考試第一講通信概論與信息度量主要內(nèi)容通信的定義通信的發(fā)展簡史通信系統(tǒng)及其分類信息的度量香農(nóng)定理通信的核心問題是什么？通信系統(tǒng)的的基本框架是怎樣的？從信息論的角度如何看通信？通信的理論極限是什么？通信的定義通信（communication）信息的傳輸和交換，信息的傳遞消息（message)通信系統(tǒng)要傳送的內(nèi)容，包括語音、圖像、數(shù)據(jù)、文字等，消息由信源產(chǎn)生信號（signal）消息的載體，包括電信號、光信號等信息（information）消息中包含的新的、有意義且可被理解的、不可壓縮的東西消息是信息與某種冗余成分之和，是信息的載體本課程著重討論信息的傳輸問題，重點在點對點數(shù)字通信系統(tǒng)基本原理和基本技術！通信的基本問題一個例子烽火臺通信的基本問題有效的通信－在資源受限條件下把信息準確無誤地傳送到目的地傳輸?shù)乃俾矢哒加玫膸捀瓊鬏數(shù)难訒r更小使用更小的功率設備的成本更低可靠的通信復雜惡劣的環(huán)境：噪聲、干擾、衰落對抗條件下的通信：人為的干擾盡量減少信息傳遞所消耗的資源！在給定資源條件下傳送盡可能多的信息！降低信息傳輸?shù)牟铄e率！通信的發(fā)展簡史（1）通信起源人類社會活動中需要互通消息早期的通信以物示意：烽火臺郵政通信：驛站、驛郵電信1837年，摩爾斯發(fā)明有線電報1864年，麥克思韋預言電磁波的存在1876年，貝爾發(fā)明有線電話1887年，赫茲用實驗證明電磁波的存在1893年，史端喬發(fā)明步進式電話交換機1897年，馬可尼發(fā)明無線電報1918年，調(diào)幅無線電廣播商用通信的發(fā)展簡史（2）1928年，奈奎斯特提出抽樣定理1936年，發(fā)明調(diào)頻技術1937年，提出PCM技術1938年，黑白電視廣播系統(tǒng)商用1944－1947年，統(tǒng)計通信理論形成1948－1950年，香農(nóng)信息論形成，糾錯碼出現(xiàn)1948－1951年，晶體管發(fā)明1950年，貝爾實驗室研制出PCM數(shù)字通信設備，TDM技術應用于電話1953年，彩色電視出現(xiàn)1956年，第一條跨越大洋電纜建成，可提供36個話路1960年，發(fā)明激光器1961年，集成電路開始商業(yè)生產(chǎn)通信的發(fā)展簡史（3）1962年，第一顆人造衛(wèi)星上天1962－1966年，數(shù)據(jù)傳輸業(yè)務商用1964年，第一臺程控交換機投入應用1966－1975年，有線電視、商用衛(wèi)星中繼、光纖鏈路投入應用1972年，Motorola開發(fā)蜂窩電話系統(tǒng)，第一次跨越大西洋的衛(wèi)星電視直播成功1977年，光纖通信系統(tǒng)投入商用1978年，模擬蜂窩移動通信系統(tǒng)投入商用1989年，跨大西洋及太平洋的光纜用于通信1991年，GSM移動通信系統(tǒng)投入商用1995年，窄帶CDMA移動通信系統(tǒng)在香港投入商用1995年，F(xiàn)oschini提出了多天線無線傳輸系統(tǒng)1997年，IEEE提出802.11無線局域網(wǎng)標準1998年，Alamouti提出空時編碼1998年，數(shù)字電視業(yè)務在美國開通2001年，NTT試運行WCMDA服務，IEEE提出802.16標準2003年，Li、Yeung、Cai提出了線性網(wǎng)絡編碼…通信的發(fā)展簡史（4）通信的發(fā)展趨勢數(shù)字化：最后一公里的接入網(wǎng)絡、電視網(wǎng)絡等綜合化：電信網(wǎng)、計算機網(wǎng)、電視網(wǎng)三網(wǎng)合一智能化：軟交換、ASON、下一代網(wǎng)絡移動化：移動電話、移動衛(wèi)星、WLAN、WiMAX寬帶化：PON、寬帶無線接入、4G、100G系統(tǒng)個人化：5W（whoever、whenever、wherever、whatever、whoever）通信系統(tǒng)完成通信這一過程的全部設備和傳輸媒介通信系統(tǒng)基本框圖通信系統(tǒng)（1）通信系統(tǒng)（2）模擬通信系統(tǒng)在信道中傳輸?shù)氖悄M信號的通信系統(tǒng)模擬通信的缺點抗噪聲和干擾能力差，傳輸中模擬信號會越來越弱放大器的引入帶來信噪比的惡化通信系統(tǒng)（3）數(shù)字通信系統(tǒng)在信道中傳輸?shù)氖菙?shù)字信號的通信系統(tǒng)數(shù)字通信的優(yōu)缺點抗噪聲、抗干擾能力強：再生、體制差錯可控：糾錯碼易加密：數(shù)字信號適應性強占用頻帶寬系統(tǒng)和設備復雜數(shù)字化是通信發(fā)展的主流和趨勢！通信系統(tǒng)（4）典型數(shù)字通信系統(tǒng)框圖信源編碼和譯碼：壓縮冗余，去除次要信息信道編碼和譯碼：增加冗余，提高傳輸可靠性數(shù)字調(diào)制和解調(diào)同步：載波同步、時鐘同步、字同步通信系統(tǒng)（5）一個更完整的數(shù)字通信系統(tǒng)框圖通信系統(tǒng)（6）通信系統(tǒng)的其它形式從系統(tǒng)構成看任何一個系統(tǒng)可以看成一個單發(fā)單收系統(tǒng)的組合系統(tǒng)。在多發(fā)多收系統(tǒng)中，除了涉及到上述描述的傳輸系統(tǒng)外，還包括信息的交換：即如何有效利用現(xiàn)有的通信資源，最大效率地進行信息地傳送，從而派生出通信網(wǎng)絡的概念。由此引入了交換技術，網(wǎng)絡管理等技術。本課程的重點側重于傳輸系統(tǒng)中涉及的關鍵技術與基本原理.通信系統(tǒng)（7）通信系統(tǒng)的分類按消息的物理特征分類：文字----電報系統(tǒng)語音----電話系統(tǒng)數(shù)字----數(shù)據(jù)通信系統(tǒng)圖象----圖象通信系統(tǒng)通信系統(tǒng)（8）按調(diào)制方式分類：基帶傳輸：實現(xiàn)簡便，用于近距離傳輸，不需考慮頻帶利用率問題，干擾較小，可靠性高。不適用于長距離傳輸。調(diào)制傳輸：實現(xiàn)較復雜，用于長距離傳輸，需將信息轉換成便于傳輸?shù)男问剑鰪娏丝垢蓴_能力，有效地利用頻帶。通信系統(tǒng)（9）按傳輸信號的特征分模擬通信采用原始的信源信號，如語音，圖像信號等；實現(xiàn)相對簡單在長距離中繼通信中抗干擾能力差.信息交換實現(xiàn)較復雜短距離傳輸保真度高數(shù)字通信采用數(shù)字采樣、量化信源在長距離中繼通信中，抗干擾能力強易于數(shù)字化處理設備集成度高信號的傳輸與交換易于融合便于多路復用通信系統(tǒng)（10）按復用方式分頻分復用FDM時分復用TDM碼分復用CDM波分復用WDM空分復用SDM按傳輸媒介分有線通信系統(tǒng)：有線電視、光纖通信系統(tǒng)…無線通信系統(tǒng)：移動電話系統(tǒng)、無線局域網(wǎng)系統(tǒng)…通信方式單工、半雙工和全雙工通信單工通信：消息只能從一點沿一個方向傳輸給另一點，不能沿反方向傳輸。半雙工通信：通信的兩點間能夠在兩個方向上傳輸信息，但在某一時刻信道中只能有一個方向的信號在傳輸。全雙工通信：通信的兩點間可以同時雙向地傳輸信息并行傳輸和串行傳輸并行傳輸：數(shù)字信號碼元序列分割成兩路以上的碼元序列在信道中傳輸串行傳輸：數(shù)字信號的碼元序列按照時間順序一個一個地在信道中傳輸信道（1）信道信號傳輸?shù)拿浇榛蛲緩叫诺赖姆诸愑芯€信道架空明線雙絞線同軸電纜光纖信道（2）無線信道地波傳播：2MHz以下的無線電波沿地球表面?zhèn)鬏斕觳▊鞑ィ航?jīng)電離層反射視距（空間波）傳播：直接從發(fā)射點傳到接收點無線電視距中繼信道衛(wèi)星中繼信道對流層散射信道流星余跡散射信道恒參信道與變參信道信道中的噪聲

通信技術的新進展（1）

有線：電纜：HDSL，VDSLPON：APON，EPON，GPON光纖DWDM技術光交叉連接，幾十GHz（千兆）帶寬ROF無線微波中繼衛(wèi)星通信WLANUWBWSNFSO移動通信2G，GSM，CDMAIS-95技術2.5G，GPRS,EDGES3G,CDMA2000,WCDMA,TD-SCDMA4GMC-CDMA?OFDM?MIMO？認知無線電軟件無線電認知無線電

通信技術的新進展（2）

信息的度量信息新的、有意義且可被理解的、不可壓縮的東西能夠消除不確定性事件的隨機性帶來不確定性不確定的方式由隨機變量給出——概率分布信息度量的特性信息應該是非負的；信息應該與消息的概率有關：出現(xiàn)的概率越低，包含的信息量越大；信息應該與消息的長度有關：若干獨立消息之和的信息應該是每個消息攜帶信息的線性疊加；可能的消息數(shù)目是指數(shù)增長的，但信息是線性的離散信源的信息量消息出現(xiàn)的概率的對數(shù)測度作為離散消息的信息度量。為的概率為與同時出現(xiàn)的概率離散信源的信息量聯(lián)合信源的信息量聯(lián)合消息出現(xiàn)的概率的對數(shù)測度作為聯(lián)合信源的信息度量。離散信源的互信息量反映兩個隨機事件之間的統(tǒng)計關聯(lián)程度由一個隨機實驗的結果所幫助消除的另一個隨機變量的不確定性當與統(tǒng)計獨立時，互信息量為0當后驗概率為1時，互信息量等于的信息量離散信源的互信息量互信息的物理含義觀測到Y以后，從Y所能獲取的關于X的信息，其本質是信息的傳遞——通信條件概率是對一切信道的一致性和本征性描述！互信息描述了可靠傳輸信息的量通信的目標：追求最大的互信息可觀測的結果希望了解的內(nèi)容信息通道互信息的物理意義熵的定義熵的性質熵非負熵的值與對數(shù)底有關取2為底，則熵的單位是比特（Bit）取自然對數(shù)e為底，則熵的單位是奈特（Nat）取10為底，則熵的單位是哈特（Hartely）熵為零，當且僅當熵的物理含義對應于描述信源所需的最少字符數(shù)量－信源壓縮的極限所需字符集合的大小為所取對數(shù)的底離散信源的平均信息量－熵確定了通信系統(tǒng)所要傳遞的信息量的大小或信息速率！聯(lián)合熵多個隨機變量的不確定性測度條件熵消除了一個隨機變量的不確定性后，另一個隨機變量殘留的不確定性離散信源聯(lián)合熵與條件熵物理意義兩個隨機變量的聯(lián)合不確定性，等于一個隨機變量的不確定性，加上知道這個隨機變量后另一個隨機變量殘余的不確定性

證明：熵、聯(lián)合熵及條件熵的關系平均互信息量通信的目標：最大化平均互信息量平均信息量的不等式基本不等式：對于，如下不等式成立證明：令，求導函數(shù)可得熵與條件熵的不等式熵不小于條件熵：證明：熵、條件熵與聯(lián)合熵的不等式聯(lián)合熵不小于條件熵： 證明： 而，因此聯(lián)合熵大于任何一個隨機變量的熵：證明：

聯(lián)合熵不大于兩個隨機變量熵之和證明：離散隨機變量在均勻分布時取得最大熵證明：熵與聯(lián)合熵的不等式拉格朗日乘數(shù)法

抽樣定理如果一個連續(xù)信號的頻帶限制在（0，W）內(nèi)，則它完全可用間隔為的采樣序列無失真地表示。每個抽樣點的平均信息量即連續(xù)信源的平均信息量連續(xù)消息采用了近似于定積分的討論方法：連續(xù)消息信號在每個抽樣點上的取值是一個連續(xù)的隨機變量，其一元概率密度函數(shù)為。將隨機變量的取值范圍分成2N段，取值落在小段內(nèi)的概率可近似表示為

連續(xù)信源的信息度量

令得：直接引用離散信源熵的定義

連續(xù)信源的熵

連續(xù)消息的平均信息量是一個相對的概念，對不同的一一對應變換，它的值發(fā)生變化，因此，連續(xù)消息的平均信息量只能提供一個相對的比較量。絕對熵：相對熵：一連續(xù)信源，其輸出信號在（-1，+1）內(nèi)取值，服從均勻分布，求該連續(xù)消息的平均信息量。如將輸出信號放大2倍，其平均信息量為多少？解：（1）

（2）信號放大后主要原因在于

連續(xù)信源的例子

連續(xù)信源的條件熵與互熵

條件熵：互熵思考題：離散信源各種熵之間的等式和不等式都適用于連續(xù)信源嗎？請證明。連續(xù)信源熵的性質平移不改變微分熵放縮改變微分熵證明：離散信源當其所有符號等概率輸出時，其平均信息量最大。連續(xù)信源與概率密度函數(shù)有關功率受限信源峰值受限信源

熵最大的條件

功率受限連續(xù)信源最大熵分布

已知條件：求：為最大值時,相應的概率密度函數(shù).利用拉格朗日乘數(shù)法,定義一個新的函數(shù)令：可得則：此時最大熵為

功率受限連續(xù)信源最大熵分布

最大熵優(yōu)化問題使用拉格朗日乘子方法對概率分布求導，可得

峰值受限連續(xù)信源最大熵分布

信道容量單位時間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘客ㄐ抛非蟮哪繕嗽谝欢ǖ男诺罈l件下，最大化信息傳輸能力目標是最大化互信息I(x,y)如何優(yōu)化？信道——由客觀物理環(huán)境所決定，不可控制輸入符號的分布——由發(fā)射機設